JP2020024544A - Data analyzer and method for analyzing data - Google Patents
Data analyzer and method for analyzing data Download PDFInfo
- Publication number
- JP2020024544A JP2020024544A JP2018148310A JP2018148310A JP2020024544A JP 2020024544 A JP2020024544 A JP 2020024544A JP 2018148310 A JP2018148310 A JP 2018148310A JP 2018148310 A JP2018148310 A JP 2018148310A JP 2020024544 A JP2020024544 A JP 2020024544A
- Authority
- JP
- Japan
- Prior art keywords
- rule
- feature amount
- feature
- data
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、データ分析装置及びデータ分析方法に関する。 The present invention relates to a data analysis device and a data analysis method.
従来より、大量の情報の中からこれまで未知であった有用な知見を得ようと試みる、いわゆるデータマイニングが知られている。一般的なデータマイニングの手法では、前処理ステップ、特徴抽出ステップ、モデル学習ステップ、後処理ステップの各ステップを順に実行する。前処理ステップでは、分析に必要なデータを収集し、分析の効果を高めるために、データの中から不要なノイズを取り除いたり、欠損した項目を埋めるといった作業を行う。この作業はETL:Extract/Transform/Loadと呼ばれている。特徴抽出ステップでは、元データに存在する特徴量を加工し、分析により役立つ新たな特徴量を生成する。モデル学習ステップでは、前処理ステップ及び特徴抽出ステップで準備されたデータを機械学習アルゴリズムに入力し、分析結果を得る。後処理ステップでは、モデル学習ステップで得られた分析結果を外部の機器に出力したり、分析結果に基づいてレポートを作成するといった処理を行う。 2. Description of the Related Art Conventionally, so-called data mining, which attempts to obtain useful knowledge that has been unknown so far from a large amount of information, has been known. In a general data mining method, steps of a preprocessing step, a feature extraction step, a model learning step, and a post-processing step are sequentially executed. In the preprocessing step, data necessary for the analysis is collected, and in order to enhance the effect of the analysis, work such as removing unnecessary noise from the data and filling in missing items is performed. This operation is called ETL: Extract / Transform / Load. In the feature extraction step, a feature amount existing in the original data is processed, and a new feature amount that is more useful for analysis is generated. In the model learning step, the data prepared in the preprocessing step and the feature extraction step are input to a machine learning algorithm to obtain an analysis result. In the post-processing step, processing such as outputting the analysis result obtained in the model learning step to an external device or creating a report based on the analysis result is performed.
ところで、最適な特徴量の設計には、熟練の分析者による試行錯誤が必要で、データ分析に長い時間を要する原因となっていた。このことに対し、例えば、非特許文献1に開示されているように、新たな特徴量をデータから自動的に生成する技術が知られている。これら文献に開示されている技術では、事前に定義された一連の演算子(+,−,×,÷など)を元の特徴量に対して網羅的に適用し、大量の新たな特徴量を自動的に生成することができる。 By the way, the design of the optimal feature amount requires trial and error by a skilled analyst, which causes a long time for data analysis. On the other hand, for example, as disclosed in Non-Patent Document 1, a technique for automatically generating a new feature amount from data is known. In the techniques disclosed in these documents, a series of predefined operators (+, −, ×, ÷, etc.) are comprehensively applied to an original feature amount, and a large amount of new feature amounts are obtained. Can be generated automatically.
ところで、上記文献の技術では、複数の演算子の組み合わせの結果得られた新たな特徴量は膨大な数になるとともに、データの列ごとの意味を考慮せずに網羅的な組み合わせを試行するため、解釈が困難な特徴量が大量に生成されるという問題があった。 By the way, according to the technology of the above-mentioned document, the number of new features obtained as a result of the combination of a plurality of operators becomes enormous, and an exhaustive combination is attempted without considering the meaning of each data column. However, there is a problem that a large amount of features that are difficult to interpret are generated.
これに対して、分析精度を維持したまま特徴量の数を絞る技術として、特徴選択(Feature Selection)と呼ばれる手法が知られている。この手法を用いることによって、例えば目的変数との相関が高い特徴量だけを残すことができる。 On the other hand, a technique called feature selection is known as a technique for reducing the number of feature amounts while maintaining analysis accuracy. By using this method, for example, only a feature amount having a high correlation with the objective variable can be left.
しかしながら、データにノイズが含まれている場合、本来は目的変数と無関係なはずの特徴量でも、大量に自動生成された中には、偶然目的変数と高い相関を示すものが含まれる場合がある。また、大量に特徴量を生成すると、特徴量の生成と選択に時間がかかるという問題もある。 However, if the data contains noise, there are cases where features that should be irrelevant to the target variable, including those that are accidentally highly correlated with the target variable, are included in a large number of automatically generated features. . In addition, when a large amount of features are generated, there is a problem that it takes time to generate and select the features.
本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、大量のデータから特徴量を得る場合に、生成する特徴量を効果的に絞り込み、有効な特徴量を高速に生成できるようにすることにある。 The present invention has been made in view of such a point, and an object of the present invention is to obtain a feature amount from a large amount of data, effectively narrow down a feature amount to be generated, and quickly obtain an effective feature amount. To be able to generate it.
上記目的を達成するために、第1の発明は、分析対象データを分析するデータ分析装置において、複数の特徴量と目的変数とを含む分析対象データの入力を受け付けるデータ入力部と、前記データ入力部により入力された複数の特徴量を一覧表示する表示部と、前記表示部に一覧表示された各特徴量に対して、異なる種別の複数の補足情報の付与が可能な補足情報付与部と、前記補足情報付与部により付与可能な複数の補足情報に基づいて、新たな特徴量として生成する演算を行うか否かを定めたルールを記憶するルール記憶部と、前記ルール記憶部に記憶された前記ルールに基づいて前記複数の特徴量から新たな特徴量を生成し、前記複数の特徴量と新たに生成された特徴量とに基づいて前記目的変数を予測するための予測モデルを生成する予測モデル生成部とを備えることを特徴とする。 In order to achieve the above object, a first invention is a data analysis device for analyzing data to be analyzed, wherein the data input unit receives input of data to be analyzed including a plurality of feature amounts and objective variables; A display unit for displaying a list of a plurality of feature amounts input by the unit, and a supplementary information providing unit capable of providing a plurality of different types of supplementary information to each feature amount listed on the display unit, A rule storage unit that stores a rule that determines whether to perform an operation to generate a new feature based on a plurality of pieces of supplementary information that can be added by the supplementary information addition unit; and a rule storage unit that stores the rule. A new feature amount is generated from the plurality of feature amounts based on the rule, and a prediction model for predicting the target variable is generated based on the plurality of feature amounts and the newly generated feature amount. Characterized in that it comprises a prediction model generator.
この構成によれば、分析対象データが入力されると、その分析対象データに含まれる複数の特徴量が表示部に一覧表示され、一覧表示された各特徴量に対して使用者により異なる種別の複数の補足情報が付与される。この補足情報は、いわゆるメタ情報と呼ぶことができるものであり、データに付帯された付帯情報、もしくはデータの属性を説明する情報等と呼ぶこともできる。 According to this configuration, when the analysis target data is input, a plurality of feature amounts included in the analysis target data are displayed in a list on the display unit, and for each of the listed feature amounts, different types of A plurality of supplementary information is provided. This supplementary information can be referred to as so-called meta information, and can also be referred to as additional information attached to the data, information describing the attribute of the data, or the like.
補足情報の付与が行われた後、予測モデル生成部は、予め定められているルールに基づいて新たな特徴量を生成する。前記複数の特徴量と、新たに生成された特徴量とに基づいて複数の特徴量から目的変数を予測するための予測モデルを生成する。予測モデルの生成にあたっては、各特徴量に対して付与されている異なる種別の複数の補足情報が所定のルールの元で利用されているので、生成される特徴量が効果的に絞り込まれることになり、目的変数と無関係な特徴量の生成が抑制される。これにより、特徴量の生成に要する時間、及び特徴量の選択に要する時間が短くなる。 After the supplementary information is provided, the prediction model generation unit generates a new feature based on a predetermined rule. A prediction model for predicting a target variable from the plurality of feature values is generated based on the plurality of feature values and the newly generated feature value. In generating a prediction model, a plurality of different types of supplementary information assigned to each feature amount are used under a predetermined rule, so that the generated feature amounts can be effectively narrowed down. That is, generation of a feature amount irrelevant to the objective variable is suppressed. As a result, the time required to generate a feature and the time required to select a feature are reduced.
第2の発明は、前記ルールには、新たな特徴量を生成する演算を行わない場合を規定したブラックリストルールが含まれており、前記ブラックリストルールを定義する前記補足情報が複数あることを特徴とする。 According to a second aspect of the present invention, the rule includes a blacklist rule defining a case where an operation for generating a new feature amount is not performed, and there is a plurality of the supplementary information defining the blacklist rule. Features.
この構成によれば、特徴量を生成しても効果が低いものを複数の補足情報に基づいてブラックリストルール化することができ、ブラックリストルールに適合する場合には、新たな特徴量を生成する演算を行わないので、特徴量の演算効率が向上する。 According to this configuration, it is possible to generate a blacklist rule based on a plurality of pieces of supplementary information on a low effect even if a feature amount is generated, and generate a new feature amount when the blacklist rule is satisfied. Since the calculation is not performed, the calculation efficiency of the feature amount is improved.
第3の発明は、前記ルールには、新たな特徴量を生成する演算を行う場合を規定したホワイトリストルールが含まれており、前記ホワイトリストルールを定義する前記補足情報が複数あることを特徴とする。 A third aspect of the present invention is characterized in that the rule includes a whitelist rule defining a case where an operation for generating a new feature is performed, and the supplementary information defining the whitelist rule is plural. And
この構成によれば、効果の高い特徴量を複数の補足情報に基づいてホワイトリストルール化することができ、ホワイトリストルールに適合する場合には、新たな特徴量を生成する演算を行うので、生成される特徴量をより一層効果的に絞り込むことができる。 According to this configuration, a highly effective feature amount can be converted into a whitelist rule based on a plurality of pieces of supplementary information. When the whitelist rule is satisfied, an operation for generating a new feature amount is performed. The generated feature amount can be narrowed down more effectively.
第4の発明は、前記ルールには、新たな特徴量を生成する演算を行う場合を規定したホワイトリストルールが含まれており、前記予測モデル生成部は、前記ブラックリストルールと前記ホワイトリストルールとに基づいて前記複数の特徴量から新たな特徴量を生成するように構成されていることを特徴とする。 In a fourth aspect of the present invention, the rule includes a whitelist rule that specifies a case where an operation for generating a new feature is performed, and the prediction model generation unit includes the blacklist rule and the whitelist rule. And generating a new feature amount from the plurality of feature amounts based on the above.
この構成によれば、ブラックリストルールによって効果の低い特徴量が削除され、ホワイトリストルールによって効果の高い特徴量が活かされるので、生成される特徴量をより一層効果的に絞り込むことができる。 According to this configuration, a feature amount having a low effect is deleted by the blacklist rule, and a feature amount having a high effect is utilized by the whitelist rule, so that the generated feature amount can be more effectively narrowed down.
第5の発明は、前記ルールには、新たな特徴量として生成する演算を必ず行う場合を規定した選択必須ルールが含まれており、前記予測モデル生成部は、前記ブラックリストルールと前記ホワイトリストルールと前記選択必須ルールとに基づいて前記複数の特徴量から新たな特徴量を生成するように構成されていることを特徴とする。 According to a fifth aspect of the present invention, the rule includes a selection mandatory rule that prescribes a case where an operation to generate a new feature amount is always performed. The prediction model generating unit includes the blacklist rule and the whitelist. The apparatus is configured to generate a new feature quantity from the plurality of feature quantities based on a rule and the selection essential rule.
この構成によれば、選択必須ルールを追加することで、例えば、使用者が重要であると考えていた特徴量から効果の高い新たな特徴量を生成することができる。 According to this configuration, by adding the selection essential rule, for example, a new feature amount that is highly effective can be generated from the feature amount that the user considers important.
第6の発明は、前記補足情報には、重要度が含まれていることを特徴とする。 A sixth invention is characterized in that the supplementary information includes a degree of importance.
この構成によれば、例えば、使用者が重要であると考えている特徴量と、重要でないと考えている特徴量との判別が可能になるので、生成される特徴量をより一層効果的に絞り込むことができる。 According to this configuration, for example, it is possible to discriminate a feature amount that the user considers important and a feature amount that the user considers not important. You can narrow down.
第7の発明は、前記表示部は、新たに生成された特徴量と、当該特徴量の生成に適用されたルールとを表示することを特徴とする。 A seventh invention is characterized in that the display unit displays a newly generated feature amount and a rule applied to the generation of the feature amount.
この構成によれば、特徴量を新たに生成する際に適用されたルールが表示されるので、生成された特徴量を使用者が簡単に理解できる。 According to this configuration, the rule applied when newly generating the feature amount is displayed, so that the user can easily understand the generated feature amount.
第8の発明は、前記表示部は、新たに生成された特徴量と、当該特徴量の単位とを表示することを特徴とする。 An eighth invention is characterized in that the display unit displays a newly generated feature amount and a unit of the feature amount.
この構成によれば、新たに生成された特徴量の単位が表示されるので、生成された特徴量を使用者が簡単に理解できる。 According to this configuration, the unit of the newly generated feature amount is displayed, so that the user can easily understand the generated feature amount.
第9の発明は、前記ルール記憶部には複数のルールが記憶されており、前記予測モデル生成部は、前記ルール記憶部に記憶されたルールのうち、所定数のルールに基づいて前記複数の特徴量から新たな特徴量を生成する精度優先モードと、新たに生成される特徴量の数が前記精度優先モードの場合に比べて少なくなるように、前記所定数のルールとは異なる数のルールに基づいて前記複数の特徴量から新たな特徴量を生成する速度優先モードとに切替可能に構成されていることを特徴とする。 In a ninth aspect, a plurality of rules are stored in the rule storage unit, and the prediction model generation unit sets the plurality of rules based on a predetermined number of rules among the rules stored in the rule storage unit. An accuracy priority mode for generating a new feature amount from a feature amount, and a different number of rules from the predetermined number of rules such that the number of newly generated feature amounts is smaller than in the accuracy priority mode. And a speed priority mode for generating a new feature amount from the plurality of feature amounts based on the plurality of feature amounts.
この構成によれば、精度優先モードでは生成される特徴量の数が多いので、高精度な予測モデルの生成が可能になる。一方、速度優先モードでは生成される特徴量の数が少ないので、高速で予測モデルの生成が可能になる。 According to this configuration, in the accuracy priority mode, since the number of feature amounts generated is large, it is possible to generate a highly accurate prediction model. On the other hand, in the speed priority mode, since the number of generated feature amounts is small, it is possible to generate a prediction model at high speed.
第10の発明は、分析対象データを分析するデータ分析方法において、複数の特徴量と目的変数とを含む分析対象データの入力を受け付けるデータ入力ステップと、前記データ入力ステップで入力された複数の特徴量を一覧表示する特徴量表示ステップと、前記特徴量表示ステップで一覧表示された各特徴量に対して、異なる種別の複数の補足情報の付与が可能な補足情報付与ステップと、前記補足情報付与ステップで付与可能な複数の補足情報に基づいて、新たな特徴量として生成する演算を行うか否かを定めたルールを記憶するルール記憶ステップと、前記ルール記憶ステップに記憶された前記ルールに基づいて前記複数の特徴量から新たな特徴量を生成し、前記複数の特徴量と新たに生成された特徴量とに基づいて前記目的変数を予測するための予測モデルを生成する予測モデル生成ステップとを備えることを特徴とする。 According to a tenth aspect, in the data analysis method for analyzing data to be analyzed, a data input step for receiving an input of data to be analyzed including a plurality of feature amounts and an objective variable; and a plurality of features input in the data input step. A feature quantity display step of listing quantities, a supplementary information assignment step capable of assigning a plurality of different types of supplementary information to each feature quantity listed in the feature quantity display step, and the supplementary information assignment A rule storing step for storing a rule that determines whether or not to perform an operation for generating a new feature based on a plurality of pieces of supplementary information that can be given in the step; Generating a new feature value from the plurality of feature values, and predicting the target variable based on the plurality of feature values and the newly generated feature value. Characterized in that it comprises a prediction model generation step of generating a order of the prediction model.
本発明によれば、分析対象データに含まれる各特徴量に対して異なる種別の複数の補足情報を付与することができ、この補足情報と所定のルールとに基づいて新たな特徴量を生成して目的変数を予測するための予測モデルの生成に利用することができる。これにより、特徴量を効果的に絞り込んで有効な特徴量を高速に生成することができる。 According to the present invention, a plurality of different types of supplementary information can be added to each feature amount included in the analysis target data, and a new feature amount is generated based on the supplementary information and a predetermined rule. Can be used to generate a prediction model for predicting a target variable. As a result, it is possible to effectively narrow down the feature amounts and quickly generate effective feature amounts.
以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものではない。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. It should be noted that the following description of the preferred embodiments is merely an example in nature, and is not intended to limit the present invention, its application, or its use.
図1は、本発明の実施形態に係るデータ分析装置1の概略構成を示す図であり、図2は、データ分析装置1のブロック図である。このデータ分析装置1は、分析対象データを分析する装置であり、このデータ分析装置1を使用することで、本発明に係るデータ分析方法を実行することができる。データ分析装置1及びデータ分析方法は、例えば、大量の情報の中からこれまで未知であった有用な知見を得ようと試みる、いわゆるデータマイニングを行う際に使用することができる。
(データ分析手順)
図3に示すフローチャートに基づいて、一般的なデータ分析の手順について説明する。開始後、ステップSA1では前処理ステップを実行する。前処理ステップでは、分析に必要なデータ、すなわち分析対象データを収集し、分析の効果を高めるために、データの中から不要なノイズを取り除いたり、欠損した項目を埋めるといった作業を行う。この作業はETL:Extract/Transform/Loadと呼ばれている。ステップSA2では特徴抽出ステップを実行する。特徴抽出ステップでは、元データに存在する特徴量を加工し、分析により役立つ新たな特徴量を生成する。ステップSA3ではモデル学習ステップを実行する。モデル学習ステップでは、前処理ステップ及び特徴抽出ステップで準備されたデータを機械学習アルゴリズムに入力し、分析結果を得る。ステップSA4では後処理ステップを実行する。後処理ステップでは、モデル学習ステップで得られた分析結果を外部の機器に出力したり、分析結果に基づいてレポートを作成するといった処理を行う。
FIG. 1 is a diagram showing a schematic configuration of a data analysis device 1 according to an embodiment of the present invention, and FIG. 2 is a block diagram of the data analysis device 1. The data analysis device 1 is a device for analyzing data to be analyzed. By using the data analysis device 1, the data analysis method according to the present invention can be executed. The data analysis device 1 and the data analysis method can be used, for example, when performing so-called data mining, which attempts to obtain useful knowledge that has been unknown so far from a large amount of information.
(Data analysis procedure)
A general data analysis procedure will be described based on the flowchart shown in FIG. After the start, in step SA1, a preprocessing step is executed. In the pre-processing step, data necessary for the analysis, that is, data to be analyzed is collected, and in order to enhance the effect of the analysis, an operation of removing unnecessary noise from the data and filling in missing items is performed. This operation is called ETL: Extract / Transform / Load. In step SA2, a feature extraction step is performed. In the feature extraction step, a feature amount existing in the original data is processed to generate a new feature amount that is more useful for analysis. At step SA3, a model learning step is executed. In the model learning step, the data prepared in the preprocessing step and the feature extraction step are input to a machine learning algorithm to obtain an analysis result. At step SA4, a post-processing step is executed. In the post-processing step, processing is performed such as outputting the analysis result obtained in the model learning step to an external device or creating a report based on the analysis result.
(データ分析装置1の全体構成)
図1及び図2に示すように、データ分析装置1は、装置本体2と、モニタ3と、キーボード4と、マウス5とを備えており、モニタ3、キーボード4及びマウス5は、装置本体2に接続されている。例えば汎用のパーソナルコンピュータに、後述する制御内容を実行するプログラムをインストールすることによってデータ分析装置1とすることができ、また、前記プログラムがインストールされた専用のハードウェアでデータ分析装置1を構成することもできる。装置本体2とモニタ3とは一体化されていてもよいし、装置本体2の一部がモニタ3に内蔵されていてもよい。
(Overall configuration of data analyzer 1)
As shown in FIGS. 1 and 2, the data analysis device 1 includes a device main body 2, a monitor 3, a keyboard 4, and a mouse 5. It is connected to the. For example, a data analysis device 1 can be obtained by installing a program for executing control contents to be described later in a general-purpose personal computer, and the data analysis device 1 is configured by dedicated hardware on which the program is installed. You can also. The device body 2 and the monitor 3 may be integrated, or a part of the device body 2 may be built in the monitor 3.
データ分析装置1は、通信モジュール(図示せず)を内蔵しており、外部との通信が可能に構成されている。これにより、インターネット回線を介して外部サーバーからのデータのダウンロードが可能になる。 The data analyzer 1 has a built-in communication module (not shown) and is configured to be able to communicate with the outside. Thus, data can be downloaded from an external server via the Internet line.
また、キーボード4及びマウス5は、データ分析装置1を操作する操作手段であるとともに、各種情報を入力する入力手段、選択操作を行う選択手段等でもある。キーボード4及びマウス5に加えて、またはキーボード4及びマウス5に変えて、タッチパネル式の入力装置、音声入力装置、ペン型の入力装置等を使用することもできる。 In addition, the keyboard 4 and the mouse 5 are operation means for operating the data analysis device 1, as well as input means for inputting various information, selection means for performing a selection operation, and the like. In addition to or in place of the keyboard 4 and the mouse 5, a touch panel type input device, a voice input device, a pen type input device, or the like can be used.
(モニタ3の構成)
図1に示すモニタ3は、たとえば有機ELディスプレイや液晶ディスプレイ等からなるものであり、それ単体で表示部と呼ぶこともできるし、モニタ3と、図2に示す表示制御部3aとを合わせて表示部と呼ぶこともできる。表示制御部3aは、モニタ3に内蔵されていてもよいし、装置本体10に内蔵されていてもよい。表示制御部3aは、モニタ3に対して画像を表示させる表示用DSPなどから構成される。表示制御部3aには、画像を表示させる際に画像データを一時記憶するVRAMなどのビデオメモリが含まれていてもよい。表示制御部3aは、後述する主制御部11のCPU11aから送られてきた表示指令(表示コマンド)に基づいて、モニタ3に対して所定の画像を表示させるための制御信号を送信する。たとえば、各種ユーザーインターフェースやアイコン、キーボード4やマウス5を用いた使用者の操作内容をモニタ3に表示させるための制御信号も送信する。また、マウス5で操作可能なポインタ等もモニタ3に表示することができるようになっている。
(Configuration of monitor 3)
The monitor 3 shown in FIG. 1 is composed of, for example, an organic EL display, a liquid crystal display, or the like, and can be independently referred to as a display unit. The monitor 3 and the display control unit 3a shown in FIG. It can also be called a display unit. The display control unit 3a may be built in the monitor 3 or may be built in the device body 10. The display control unit 3a includes a display DSP for displaying an image on the monitor 3, and the like. The display control unit 3a may include a video memory such as a VRAM for temporarily storing image data when displaying an image. The display control unit 3a transmits a control signal for displaying a predetermined image on the monitor 3 based on a display command (display command) sent from a CPU 11a of the main control unit 11, which will be described later. For example, a control signal for causing the monitor 3 to display various user interfaces, icons, user's operation contents using the keyboard 4 and the mouse 5 is also transmitted. In addition, a pointer and the like that can be operated with the mouse 5 can be displayed on the monitor 3.
モニタ3をタッチ操作パネル型モニタとすることで、モニタ3に各種情報の入力機能を持たせることができる。 When the monitor 3 is a touch operation panel type monitor, the monitor 3 can have a function of inputting various information.
(装置本体2の全体構成)
図1に示す装置本体2は、制御ユニット10と、記憶部30とを備えている。記憶部30は、ハードディスクドライブ、ソリッドステートドライブ(SSD)等で構成されている。記憶部30は、制御ユニット10に接続されており、制御ユニット10によって制御され、各種データを保存しておくことができるとともに、保存しておいたデータを読み出すこともできるようになっている。図2に示すように、記憶部30は、後述する定型ルールを記憶する定型ルール記憶部30aと、後述する追加ルールを記憶する追加ルール記憶部30bとを備えている。記憶部30は、制御ユニット10の内部に設けられていてもよい。
(Overall configuration of device main body 2)
The device main body 2 shown in FIG. 1 includes a control unit 10 and a storage unit 30. The storage unit 30 includes a hard disk drive, a solid state drive (SSD), and the like. The storage unit 30 is connected to the control unit 10 and is controlled by the control unit 10 so that various data can be stored and the stored data can be read. As shown in FIG. 2, the storage unit 30 includes a fixed rule storage unit 30a for storing a fixed rule described later, and an additional rule storage unit 30b for storing an additional rule described later. The storage unit 30 may be provided inside the control unit 10.
(制御ユニット10)
制御ユニット10は、具体的に図示しないが、MPU、システムLSI、DSPや専用ハードウェア等で構成することができる。制御ユニット10は、後述するように様々な機能を搭載しているが、これらは論理回路によって実現されていてもよいし、ソフトウェアを実行することによって実現されていてもよい。
(Control unit 10)
Although not specifically shown, the control unit 10 can be configured by an MPU, a system LSI, a DSP, dedicated hardware, or the like. The control unit 10 has various functions as described later, but these may be realized by a logic circuit or may be realized by executing software.
図2に示すように、制御ユニット10は、主制御部11と、データ入力部12と、補足情報付与部(メタ情報付与部)13と、予測モデル生成部14とを備えている。制御ユニット10の各部は、上述したように分けて記載しているが、同じ部分が複数種の処理を実行するように構成してもよいし、更に細かく分けてこれらを連携させて1つの処理を実行するように構成してもよい。 As shown in FIG. 2, the control unit 10 includes a main control unit 11, a data input unit 12, a supplementary information adding unit (meta information adding unit) 13, and a prediction model generating unit 14. Although the respective units of the control unit 10 are described separately as described above, the same unit may be configured to execute a plurality of types of processing, or may be further subdivided and linked into one processing. May be executed.
上記各ハードウェアは、バスなどの電気的な通信路(配線)を介し、双方向通信可能または一方向通信可能に接続されている。 Each of the above-described hardware is connected to be capable of two-way communication or one-way communication via an electrical communication path (wiring) such as a bus.
主制御部11は、各種プログラムに基づき数値計算や情報処理を行うとともに、ハードウェア各部の制御を行う。主制御部11は、中央演算処理装置として機能するCPU11aと、主制御部11が各種プログラムを実行する際のワークエリアとして機能するRAM等のワークメモリ11bと、起動プログラムや初期化プログラム等が格納されたROM、フラッシュROMまたはEEPROM等のプログラムメモリ11cとを備えている。 The main control unit 11 performs numerical calculations and information processing based on various programs, and controls each unit of the hardware. The main control unit 11 stores a CPU 11a that functions as a central processing unit, a work memory 11b such as a RAM that functions as a work area when the main control unit 11 executes various programs, and a startup program and an initialization program. And a program memory 11c such as a read-only ROM, a flash ROM, or an EEPROM.
データ入力部12は、複数の特徴量と目的変数とを含む分析対象データの入力を受け付ける部分であり、図5に示すデータ入力用ユーザーインターフェース50をモニタ3に表示させるとともに、データ入力用ユーザーインターフェース50上でなされた使用者の操作を受け付ける。使用者の操作とは、キーボード4の操作や、マウス5の操作(ボタンクリック、ドラッグ&ドロップ、ホイールの回転等を含む)がある。 The data input unit 12 is a unit that receives input of analysis target data including a plurality of feature amounts and objective variables. The data input unit 12 displays the data input user interface 50 shown in FIG. The user's operation performed on 50 is accepted. The user's operation includes an operation of the keyboard 4 and an operation of the mouse 5 (including button click, drag and drop, rotation of a wheel, and the like).
ここで、分析対象データは、複数の特徴量と目的変数とを含むデータであるが、複数の特徴量は、分析対象データにもともと存在しているもの(既存特徴量)、新たに生成したもの(新たな特徴量)等のいずれか1種または複数種を含むデータであればよい。分析対象データの一部が欠損していてもよく、その場合は、欠損した項目を埋める作業を行えばよい。 Here, the analysis target data is data including a plurality of feature amounts and objective variables, and the plurality of feature amounts are those originally existing in the analysis target data (existing feature amounts) and those newly generated. Any data including any one or more of (new feature amount) and the like may be used. A part of the analysis target data may be missing, and in that case, the work of filling the missing item may be performed.
図5に示すデータ入力用ユーザーインターフェース50には、ファイル選択ボタン50aと、データベース選択ボタン50bと、URL指定ボタン50cと、データベース表示領域50dと、読み込み開始ボタン50eとが設けられている。各ボタンの配置は自由に設定できる。 The data input user interface 50 shown in FIG. 5 is provided with a file selection button 50a, a database selection button 50b, a URL designation button 50c, a database display area 50d, and a read start button 50e. The arrangement of each button can be set freely.
例えば、分析対象データを格納したファイルが外部記憶装置や記憶部30に保存されていて、デスクトップ上や、開いた状態のフォルダにある場合には、使用者が当該ファイルをデータベース表示領域50dへドラッグ&ドロップ操作する。これにより、分析対象データを格納したファイル名がデータベース表示領域50dに表示される。その後、読み込み開始ボタン50eを押すと、データベース表示領域50dに表示されているファイルが記憶部30の所定領域に読み込まれて保存される。 For example, if the file storing the analysis target data is stored in the external storage device or the storage unit 30 and is on the desktop or in an open folder, the user drags the file to the database display area 50d. & Drop operation. Thereby, the file name storing the analysis target data is displayed in the database display area 50d. Thereafter, when the reading start button 50e is pressed, the file displayed in the database display area 50d is read and stored in a predetermined area of the storage unit 30.
分析対象データがデータベース上にある場合には、使用者がデータベース選択ボタン50bを押す。データベース選択ボタン50bが押されると、データベースに接続するための設定画面(図示せず)を表示し、テーブル名の入力や必要に応じてパスワードの入力を使用者に促す。その後、読み込み開始ボタン50eを押すと、分析対象データが所定のファイル形式で記憶部30の所定領域に読み込まれて保存されるとともに、分析対象データを格納したファイル名がデータベース表示領域50dに表示される。 When the data to be analyzed is in the database, the user presses the database selection button 50b. When the database selection button 50b is pressed, a setting screen (not shown) for connecting to the database is displayed, prompting the user to input a table name and, if necessary, a password. After that, when the reading start button 50e is pressed, the data to be analyzed is read and stored in a predetermined area of the storage unit 30 in a predetermined file format, and the file name storing the data to be analyzed is displayed in the database display area 50d. You.
分析対象データがインターネットやサーバー上にある場合には、使用者がURL指定ボタン50cを押す。URL指定ボタン50cが押されると、URL入力画面(図示せず)を表示し、URLの入力を使用者に促す。その後、読み込み開始ボタン50eを押すと、分析対象データがダウンロードされて所定のファイル形式で記憶部30の所定領域に読み込まれて保存されるとともに、分析対象データを格納したファイル名がデータベース表示領域50dに表示される。 When the data to be analyzed is on the Internet or a server, the user presses the URL designation button 50c. When the URL designation button 50c is pressed, a URL input screen (not shown) is displayed to prompt the user to enter a URL. Then, when the reading start button 50e is pressed, the data to be analyzed is downloaded, read and stored in a predetermined area of the storage unit 30 in a predetermined file format, and the file name storing the data to be analyzed is displayed in the database display area 50d. Will be displayed.
分析対象データを格納したファイルは、1つのみであってもよいし、複数であってもよい。上述した3つの方法以外の方法でファイルを読み込んでもよい。上記ファイル形式は、csv形式であってもよいし、これ以外の形式であってもよい。以上の処理は、図4に示すフローチャートにおけるステップSB1のデータ入力ステップに相当する。 The number of files storing the analysis target data may be only one, or may be plural. The file may be read by a method other than the three methods described above. The file format may be the csv format or another format. The above processing corresponds to the data input step of step SB1 in the flowchart shown in FIG.
図6は分析対象データの一例を表形式で示している。この例では、表の最上部において横に並んでいる「測定時刻」、「経過時間」、「設定圧力」、「設定温度」、「物質A生成量」、「物質B生成量」、「物質C投入量」、「攪拌速度」、「冷却温度差」、「冷却水流量」の10個が特徴量になるものである。また、各データは時系列で並んでいる。この表形式のデータをモニタ3に表示してもよいし、表示しなくてもよい。 FIG. 6 shows an example of the analysis target data in a table format. In this example, “measurement time”, “elapsed time”, “set pressure”, “set temperature”, “material A generation amount”, “material B generation amount”, “material B” Ten pieces of "C input amount", "stirring speed", "cooling temperature difference", and "cooling water flow rate" are feature amounts. Each data is arranged in time series. This tabular data may or may not be displayed on the monitor 3.
分析対象データの入力後、データの加工ステップを行うこともできる。データの加工とは、分析対象データの欠損値の除去、分析対象データの穴埋め、分析対象データの置き換え、列削除、行削除等を行うことである。 After inputting the data to be analyzed, a data processing step can be performed. Data processing refers to removing missing values of data to be analyzed, filling in data to be analyzed, replacing data to be analyzed, deleting columns, deleting rows, and the like.
ステップSB1に続くステップSB2はメタ情報の設定ステップである。メタ情報の設定ステップは、図2に示す補足情報付与部13及び使用者によって実行されるステップである。メタ情報の設定ステップは、2つのステップからなり、まず、始めに特徴量表示ステップが実行される。データ入力ステップが完了すると、補足情報付与部13は、データ入力ステップが完了したことを検出して、図7に示すようなメタ情報設定用ユーザーインターフェース60をモニタ3に表示させるとともに、メタ情報設定用ユーザーインターフェース60上でなされた使用者の操作を受け付ける。メタ情報は、本発明の補足情報に相当するものであり、データに付帯された付帯情報、もしくはデータの属性を説明する情報等と呼ぶこともできるものである。 Step SB2 following step SB1 is a step of setting meta information. The setting step of the meta information is a step executed by the supplementary information providing unit 13 and the user shown in FIG. The meta information setting step includes two steps. First, a feature amount display step is executed. When the data input step is completed, the supplementary information providing unit 13 detects that the data input step is completed, displays the meta information setting user interface 60 as shown in FIG. Of the user operation performed on the user interface 60 is received. The meta information is equivalent to supplementary information of the present invention, and can be referred to as additional information attached to data, information describing attributes of data, or the like.
メタ情報設定用ユーザーインターフェース60には、一覧表示領域61と、第1メタ情報入力領域62と、第2メタ情報入力領域63と、第3メタ情報入力領域64と、第4メタ情報入力領域65と、第5メタ情報入力領域66(図では一部を省略している)とが設けられている。図7では、メタ情報入力領域の数を5つとしているが、これに限られるものではなく、4つ以下であってもよいし、6つ以上であってもよい。 In the meta information setting user interface 60, a list display area 61, a first meta information input area 62, a second meta information input area 63, a third meta information input area 64, and a fourth meta information input area 65 are provided. And a fifth meta information input area 66 (partially omitted in the figure). In FIG. 7, the number of meta information input areas is five, but the number is not limited to five, and may be four or less, or six or more.
一覧表示領域61には、データ入力ステップで入力された複数の特徴量を一覧表示する領域であり、この一覧表示領域61に複数の特徴量を一覧表示することで、モニタ3には、使用者が視認可能な状態で複数の特徴量が一覧表示されることになる。このステップが特徴量表示ステップである。図7では、複数の特徴量を縦に並べて表示しているが、横に並べて表示してもよい。 The list display area 61 is an area for displaying a list of a plurality of feature amounts input in the data input step, and the list display area 61 displays a list of a plurality of feature amounts so that the user can monitor the monitor 3. A plurality of feature amounts are displayed in a list in such a manner that is visible. This step is a feature amount display step. In FIG. 7, a plurality of feature values are displayed vertically, but may be displayed horizontally.
第1メタ情報入力領域62は、一覧表示領域61に表示されている各特徴量の単位(メタ情報)を使用者が入力するための領域である。第1メタ情報入力領域62には、一覧表示領域61に表示されている各特徴量に対応するように、ドロップダウンリストボタン62aを表示させることができる。ドロップダウンリストボタン62aをマウス5の操作によって表示させて各特徴量の単位を選択することができる。「測定時刻」の場合は、年、月、日と時、分、秒である。「経過時間」の場合は秒(s)であり、「設定圧力」の場合はパスカル(Pa)であり、「設定温度」の場合は℃であり、「物質A生成量」の場合は立方メートル(m3)であり、「物質B生成量」及び「物質C投入量」の場合はリットル(l)であり、「攪拌速度」の場合はrpmであり、「冷却温度差」の場合は℃であり、「冷却水流量」の場合はm3/sである。各特徴量の単位を使用者が入力すると、その使用者の入力操作に基づいて各特徴量にメタ情報として単位系情報が付与される。つまり、補足情報付与部13は、モニタ3に一覧表示された各特徴量に対して、使用者の入力に基づいてメタ情報の付与が可能に構成されており、このステップが補足情報付与ステップ(メタ情報付与ステップ)である。 The first meta information input area 62 is an area for the user to input a unit (meta information) of each feature amount displayed in the list display area 61. In the first meta information input area 62, a drop-down list button 62a can be displayed so as to correspond to each feature amount displayed in the list display area 61. The drop-down list button 62a is displayed by operating the mouse 5, and the unit of each feature amount can be selected. The “measurement time” is year, month, day, hour, minute, and second. “Elapsed time” is seconds (s), “Set pressure” is Pascal (Pa), “Set temperature” is ° C., and “Material A production amount” is cubic meters ( m 3 ), “liter (l)” for “substance B generation amount” and “substance C input amount”, rpm for “stirring speed”, and “° C.” for “cooling temperature difference”. Yes, in the case of "cooling water flow rate", m 3 / s. When the user inputs the unit of each feature, unit information is added to each feature as meta information based on the input operation of the user. In other words, the supplementary information providing unit 13 is configured to be able to provide meta information to each feature amount listed on the monitor 3 based on the input of the user, and this step is a supplementary information providing step ( Meta information adding step).
第2メタ情報入力領域63は、一覧表示領域61に表示されている各特徴量が制御可能であるか否かに関する情報(メタ情報)を使用者が入力するための領域である。使用者が、例えば、量を変更したり、ある一定の量となるように調整したり、量が0となるように調整することができる場合には、使用者が制御可能な特徴量であるとする。一方、使用者が変更や調整することができない場合には、使用者が制御不能な特徴量であるとする。使用者が制御可能な特徴量である場合には「○」、使用者が制御不能な特徴量である場合には「×」とする。第2メタ情報入力領域63にも、一覧表示領域61に表示されている各特徴量に対応するように、ドロップダウンリストボタン63aを表示させることができる。ドロップダウンリストボタン63aをマウス5の操作によって表示させて各特徴量が制御可能であるか、制御不能であるかを選択することができる。各特徴量の制御が可能であるか否かを使用者が入力すると、その使用者の入力操作に基づいて各特徴量にメタ情報として制御可否情報が付与される。 The second meta information input area 63 is an area for the user to input information (meta information) on whether or not each feature amount displayed in the list display area 61 is controllable. If the user can change the amount, adjust the amount to a certain amount, or adjust the amount to 0, for example, the feature amount is controllable by the user. And On the other hand, when the user cannot change or adjust, it is determined that the feature amount cannot be controlled by the user. When the feature amount is controllable by the user, the mark is “○”. When the feature amount is not controllable by the user, the mark is “×”. A drop-down list button 63a can also be displayed in the second meta information input area 63 so as to correspond to each feature amount displayed in the list display area 61. By displaying the drop-down list button 63a by operating the mouse 5, it is possible to select whether each feature amount is controllable or uncontrollable. When the user inputs whether or not control of each feature value is possible, control enable / disable information is added to each feature value as meta information based on the input operation of the user.
第3メタ情報入力領域64は、一覧表示領域61に表示されている各特徴量の重要度(メタ情報)を使用者が入力するための領域である。重要度とは、使用者の考えに基づくものであり、使用者が重要な特徴量であると考えている場合には、「大」、使用者が重要な特徴量でないと考えている場合には、「小」という値を入力するようになっている。重要度は、多段階で入力することができ、例えば、重要度が高いものから低いものに順に「大」、「中」、「小」と付与する3段階や、数値による3段階評価、「◎」、「○」、「△」、「×」等のような印(マーク)による評価であってもよい。図7に示す例では、「大」、「中」、「小」の3段階評価としている。第3メタ情報入力領域64にも、一覧表示領域61に表示されている各特徴量に対応するように、ドロップダウンリストボタン64aを表示させることができる。メタ情報に重要度が含まれていることで、使用者が重要であると考えている特徴量と、重要でないと考えている特徴量との判別が可能になる。 The third meta information input area 64 is an area for the user to input the importance (meta information) of each feature amount displayed in the list display area 61. The importance is based on the user's idea.If the user considers it to be an important feature, it is "large", and if the user thinks it is not an important feature, Is designed to input a value of "small". The importance can be input in multiple stages. For example, three stages of assigning “large”, “medium”, and “small” in descending order of importance from low to high, a three-stage numerical evaluation, The evaluation may be based on a mark (mark) such as “◎”, “○”, “△”, “×”, or the like. In the example shown in FIG. 7, the evaluation is performed in three levels of "large", "medium", and "small". A drop-down list button 64a can also be displayed in the third meta information input area 64 so as to correspond to each feature amount displayed in the list display area 61. By including the degree of importance in the meta information, it becomes possible to discriminate a feature amount that the user considers important and a feature amount that the user considers not important.
第4メタ情報入力領域65は、一覧表示領域61に表示されている各特徴量の工程番号(メタ情報)を使用者が入力するための領域である。工程番号とは、何らかの物を製造する場合や、薬剤等を製造する場合における工程順に付される番号である。第4メタ情報入力領域65にも、一覧表示領域61に表示されている各特徴量に対応するように、ドロップダウンリストボタン65aを表示させることができる。ドロップダウンリストボタン63aをマウス5の操作によって表示させて各特徴量の工程番号を入力することができる。全工程に関連する特徴量については工程番号を付与しなくてもよい。 The fourth meta information input area 65 is an area for the user to input the process number (meta information) of each feature amount displayed in the list display area 61. The process number is a number assigned in the order of processes when manufacturing something or when manufacturing a drug or the like. In the fourth meta information input area 65, a drop-down list button 65a can be displayed so as to correspond to each feature amount displayed in the list display area 61. The drop-down list button 63a is displayed by operating the mouse 5, and the process number of each feature can be input. It is not necessary to assign a process number to a feature amount related to all processes.
工程番号は一例であり、例えば、分析対象データが売上げデータであれば、店舗番号(店舗名)等であってもよい。工程番号や店舗番号は、上位概念としてグループ番号とすることもできる。使用者の入力操作に基づいて各特徴量にメタ情報としてグループ情報が付与される。 The process number is an example, and may be, for example, a store number (store name) if the analysis target data is sales data. The process number or the store number may be a group number as a higher concept. Group information is added to each feature amount as meta information based on a user's input operation.
本実施形態では、各特徴量に対して、単位系情報、制御不可情報、重要度情報及びグループ情報を少なくとも付与することができるので、補足情報付与ステップは、各特徴量に対して、異なる種別の複数のメタ情報の付与が可能なステップである。 In the present embodiment, at least unit information, uncontrollable information, importance information, and group information can be added to each feature amount. Is a step in which a plurality of pieces of meta information can be assigned.
また、使用者がメタ情報の種別を追加可能に構成することもできる。例えば、メタ情報設定用ユーザーインターフェース60にメタ情報の追加ボタン(図示せず)を設けておき、この追加ボタンを使用者が操作することで、メタ情報入力領域の数が増え、新たなメタ情報入力領域に、異なる種別のメタ情報を入力することが可能になる。 It is also possible to configure so that the user can add the type of meta information. For example, a meta information addition button (not shown) is provided on the meta information setting user interface 60, and when the user operates this addition button, the number of meta information input areas increases, and new meta information It becomes possible to input different types of meta information in the input area.
以上が、図4に示すステップSB2のメタ情報の設定ステップである。ステップSB2に続くステップSB3は特徴量生成ステップである。特徴量生成ステップの詳細については、後述する図8に示すフローチャートに示しており、特徴量が自動的に生成されるステップである。特徴量を自動生成した後、図4に示すステップSB4に進み、生成した特徴量の情報を出力する。 The above is the meta information setting step of step SB2 shown in FIG. Step SB3 following step SB2 is a feature amount generation step. The details of the feature value generation step are shown in a flowchart shown in FIG. 8 described later, and are the steps in which the feature value is automatically generated. After the feature amount is automatically generated, the process proceeds to step SB4 shown in FIG. 4 to output information on the generated feature amount.
(特徴量生成ステップの詳細)
以下に特徴量生成ステップの詳細について説明する。図8に示すフローチャートのステップSC1では、網羅的に関数を組み合わせる。このとき、定型ルールが適用される。
(Details of the feature generation step)
The details of the feature amount generation step will be described below. In step SC1 of the flowchart shown in FIG. 8, functions are comprehensively combined. At this time, fixed rules are applied.
(定型ルールの詳細)
この例では、8つの演算を定義し、それらを各特徴量に対して網羅的に組み合わせる。基本の組み合わせ処理は、算術(2項演算)として、+(加算)、−(減算)、×(乗算)、÷(除算)があり、集計として、SUM(合計)、AVG(平均)、MAX(最大)、MIN(最小)がある。図7に示すように、元の特徴量が10個なので、2項演算は全組合せで10×10×4通り、集計演算は10×4通りが定義できる。これら合計440個を、図9に示すように、生成する特徴量の一覧に加える。
(Details of fixed rules)
In this example, eight operations are defined, and they are comprehensively combined for each feature amount. Basic combination processing includes + (addition),-(subtraction), × (multiplication), and ÷ (division) as arithmetic (binary operation), and SUM (total), AVG (average), MAX (Maximum) and MIN (minimum). As shown in FIG. 7, since the original feature amount is 10, the binary operation can be defined as 10 × 10 × 4 combinations in all combinations, and the aggregation operation can be defined as 10 × 4 combinations. As shown in FIG. 9, these 440 totals are added to the list of the generated feature amounts.
尚、図9に示す表では、生成する特徴量の一部のみ示しているが、上述したように全ての組み合わせが生成される。また、この段階では、生成する特徴量を想定しているだけであり、実際の演算はしないので、この段階で新たに生成されると想定される特徴量が多くても計算負荷には殆ど影響しない。 Note that, in the table shown in FIG. 9, only a part of the generated feature amounts is shown, but all combinations are generated as described above. Also, at this stage, only the amount of features to be generated is assumed, and no actual calculation is performed. Therefore, even if there are many features that are assumed to be newly generated at this stage, the calculation load is hardly affected. do not do.
SUM(合計)、AVG(平均)、MAX(最大)及びMIN(最小)は、元の特徴量単体から新たな特徴量を生成する演算のルールであり、定型ルールである。+(加算)、−(減算)、×(乗算)及び÷(除算)は、複数の特徴量を組み合わせて新たな特徴量を生成する演算のルールであり、これも定型ルールである。これら定型ルールは、図2に示す記憶部30が有する定型ルール記憶部30aに記憶されている。定型ルールは、上述したルールを全て含んでいなくてもよく、任意のルールを含むようにすることができる。また、定型ルールは、上述したルール以外を含んでいてもよく、例えば、元の特徴量単体の累乗演算等がある。複数の定型ルールのうち、1つまたは複数を使用者が選択できるようにしてもよい。定型ルールを定型ルール記憶部30aに記憶させるステップがルール記憶ステップであり、これはデータ入力ステップの前に行ってもよいし、データ入力ステップの後に行ってもよい。 SUM (total), AVG (average), MAX (maximum), and MIN (minimum) are calculation rules for generating a new feature from the original feature alone, and are standard rules. + (Addition),-(subtraction), x (multiplication), and ÷ (division) are rules for an operation for generating a new feature by combining a plurality of features, and are also standard rules. These fixed rules are stored in a fixed rule storage unit 30a included in the storage unit 30 illustrated in FIG. The standard rules do not need to include all the rules described above, but may include any rules. Further, the fixed rule may include a rule other than the rule described above, and includes, for example, a power operation of the original feature amount alone. The user may be allowed to select one or more of a plurality of fixed rules. The step of storing the fixed rule in the fixed rule storage unit 30a is a rule storage step, which may be performed before the data input step or after the data input step.
図8に示すフローチャートのステップSC1に続くステップSC2では、ブラックリストルール/ホワイトリストルールが適用される。ブラックリストルール及びホワイトリストルールは、追加ルールである。 In step SC2 following step SC1 in the flowchart shown in FIG. 8, a blacklist rule / whitelist rule is applied. Blacklist rules and whitelist rules are additional rules.
(追加ルールの詳細)
追加ルールは、補足情報付与部13により付与可能なメタ情報にしたがって、定型ルールに該当しているか否かとは無関係に、新たな特徴量として生成する演算を行うか否かを定めたルールであり、図2に示す記憶部30が有する追加ルール記憶部30bに記憶されている。追加ルールを追加ルール記憶部30bに記憶させるステップがルール記憶ステップであり、これはデータ入力ステップの前に行ってもよいし、データ入力ステップの後に行ってもよい。
(Details of additional rules)
The additional rule is a rule that determines whether or not to perform an operation for generating a new feature amount according to the meta information that can be provided by the supplementary information providing unit 13 irrespective of whether or not the fixed rule is applied. Are stored in an additional rule storage unit 30b of the storage unit 30 shown in FIG. The step of storing the additional rule in the additional rule storage unit 30b is a rule storage step, which may be performed before the data input step or after the data input step.
追加ルールには、大きく分けて3つのルールが含まれている。それら3つのルールは、新たな特徴量を生成する演算を行わない場合を規定したブラックリストルールと、新たな特徴量として生成する演算を行う場合を規定したホワイトリストルールと、選択必須ルールである。 The additional rules roughly include three rules. The three rules are a blacklist rule that specifies a case where an operation for generating a new feature amount is not performed, a whitelist rule that specifies a case where an operation for generating a new feature amount is performed, and a selection mandatory rule. .
(ブラックリストルール)
ブラックリストルールは、対象の特徴量を生成しても効果が低いものを、メタ情報を利用して特定するためのルールである。ブラックリストルールに適合するものは、演算をしない、即ち、新たな特徴量として生成しない。
(Blacklist rules)
The blacklist rule is a rule for specifying, using the meta information, a thing that has a low effect even if a target feature amount is generated. Those that conform to the blacklist rule are not operated, that is, are not generated as new feature values.
図10は、ブラックリストルールの例を示すものである。ブラックリストルールは、ルールIDと、各ルールIDに関連付けられたルールと、各ルールIDに関連付けられたメタ情報の種類とから構成されている。ブラックリストルールを定義するメタ情報は複数ある。ルールIDは、ルール毎に付与されるものである。 FIG. 10 shows an example of a blacklist rule. The blacklist rule includes a rule ID, a rule associated with each rule ID, and a type of meta information associated with each rule ID. There are multiple pieces of meta information that define blacklist rules. The rule ID is given for each rule.
ブラックリストルールには、「TimeStampとTimeStampは、減算以外行わない。」というルールを含むことができ、このルールのルールIDをB1とする。このルールは、メタ情報に含まれている単位系が時刻である特徴量同士の場合、減算以外の演算を行わないというルールである。例えば、図7に示す特徴量のうち、単位系が時刻である特徴量は、「測定時刻」である。単位系が時刻である特徴量同士を演算する場合、加算、乗算、除算を行っても、予測モデルの生成には殆ど寄与しない特徴量になってしまうことが考えられるので、このような演算を行わないようにブラックリストルールで定義する。また、ルールIDがB1のルールで使用されるメタ情報の種類は単位系情報である。 The blacklist rule can include a rule that “TimeStamp and TimeStamp do not perform subtraction”. The rule ID of this rule is B1. This rule is a rule that, when the unit of time included in the meta information is a feature quantity whose time is the same, no operation other than subtraction is performed. For example, among the feature quantities shown in FIG. 7, the feature quantity whose unit system is time is “measurement time”. When calculating feature values whose unit system is time, even if addition, multiplication, and division are performed, the feature value may hardly contribute to the generation of a prediction model. It is defined by the blacklist rule so that it is not performed. The type of meta information used in the rule with the rule ID of B1 is unit system information.
ブラックリストルールには、「重要度:小は重要度:大のものとしか組み合わせない。」というルールを含むことができ、このルールのルールIDをB2とする。このルールでは、メタ情報に含まれている重要度情報を使用する。重要度の「小」や「大」は重要度の値ということができるものである。例えば「小」が、重要度を示す値として第1の所定値未満であるとする場合、ルールIDがB2のルールは、メタ情報に含まれている重要度が第1の所定値未満である特徴量同士の演算を行わないというルールになる。すなわち、重要度が低い特徴量同士を演算しても重要度の低い特徴量しか得られないと考えられ、予測モデルの生成には殆ど寄与しないと考えられる。この例では、重要度が第1の所定値未満である特徴量同士の演算を行わないので、重要度の低い特徴量が生成されにくくなり、特徴量の演算効率が向上する。第1の所定値は、例えば「中」であってもよい。 The blacklist rule can include a rule that “importance: small is combined only with importance: large”, and the rule ID of this rule is B2. In this rule, importance information included in meta information is used. The importance “small” or “large” can be regarded as the value of the importance. For example, when it is assumed that “small” is less than a first predetermined value as a value indicating importance, a rule whose rule ID is B2 has an importance included in the meta information that is less than the first predetermined value. The rule is that no calculation is performed between the feature values. In other words, it is considered that only the features with low importance are obtained even if the features with low importance are calculated, and it is considered that they hardly contribute to the generation of the prediction model. In this example, since the calculation is not performed between the feature values whose importance is less than the first predetermined value, it is difficult to generate the feature value with low importance, and the calculation efficiency of the feature value is improved. The first predetermined value may be, for example, “medium”.
また、言い換えると、ルールIDがB2のルールは、重要度が「小」の特徴量を、重要度が「小」よりも高い「大」の特徴量とのみ演算を行うというルールである。例えば「小」が、重要度を示す値として第1の所定値未満であるとし、「大」が、重要度を示す値として第2の所定値以上であるとすると、メタ情報に含まれている重要度が第1の所定値未満である特徴量を、メタ情報に含まれている重要度が第1の所定値よりも高い第2の所定値以上である特徴量とのみ演算を行うというルールになる。重要度が「小」の特徴量を、重要度が「中」の特徴量とのみ演算を行うというルールであってもよい。 In other words, the rule with the rule ID B2 is a rule that calculates a feature amount of importance “small” only with a feature amount of “large” whose importance is higher than “small”. For example, if “small” is less than a first predetermined value as a value indicating importance, and “large” is equal to or more than a second predetermined value as a value indicating importance, it is included in the meta information. The feature amount whose importance is less than the first predetermined value is calculated only with the feature amount included in the meta information whose importance is equal to or more than a second predetermined value higher than the first predetermined value. Become a rule. The rule may be such that a feature amount having a “small” importance is calculated only with a feature amount having a “medium” importance.
ブラックリストルールには、「重要度:小に対する集計処理は行わない。」というルールを含むことができ、このルールのルールIDをB3とする。このルールではメタ情報に含まれている重要度情報を使用する。このルールは、メタ情報に含まれている重要度が第1の所定値未満である特徴量について、集計を行わないというルールになる。すなわち、重要度が低い特徴量を集計しても、重要度の低い特徴量しか得られないと考えられ、予測モデルの生成には殆ど寄与しないと考えられるから、このようなルールを規定している。 The blacklist rule may include a rule of “importance: aggregation processing is not performed on small”, and the rule ID of this rule is B3. This rule uses the importance information included in the meta information. This rule is a rule that aggregation is not performed for a feature amount whose importance included in the meta information is less than the first predetermined value. In other words, even if the features with low importance are aggregated, only the features with low importance are considered to be obtained, and it is considered that they hardly contribute to the generation of the prediction model. I have.
ブラックリストルールには、「工程番号が異なるものは組み合わせない。」というルールを含むことができ、このルールのルールIDをB4とする。このルールではメタ情報に含まれているグループ情報を使用する。このルールは、複数の工程のうち、異なる工程に関する特徴量同士の演算を行わないというルールになる。例えば第1工程に関する特徴量と、第2工程に関する特徴量とは、工程が異なるが故に、それらを組み合わせて演算しても、予測モデルの生成には殆ど寄与しない特徴量となってしまうと考えられるから、このようなルールを規定している。工程番号の代わりに、店舗番号等であってもよい。 The blacklist rule can include a rule that "steps having different process numbers are not combined." The rule ID of this rule is B4. This rule uses the group information included in the meta information. This rule is a rule that, among a plurality of processes, calculation of feature amounts regarding different processes is not performed. For example, since the feature value related to the first process and the feature value related to the second process are different in the process, it is considered that even if they are combined and calculated, the feature value hardly contributes to the generation of the prediction model. Therefore, such rules are prescribed. Instead of the process number, a store number or the like may be used.
ブラックリストルールには、「重要度:小かつ制御可能:×に対する演算は行わない。」というルールを含むことができ、このルールのルールIDをB5とする。このルールではメタ情報に含まれている重要度情報及び制御不可情報を使用する。「制御可能:×」とは、使用者が制御不能な特徴量であり、従って、このルールでは、メタ情報に含まれている重要度が第1の所定値未満であり、かつ、使用者が制御不能である特徴量については演算を行わないというルールになる。つまり、重要度が低く、かつ、制御不能な特徴量については予測モデルの生成に寄与しにくいと考えられるから、このようなルールを規定している。 The blacklist rule can include a rule of “importance: small and controllable: no operation is performed on ×”, and the rule ID of this rule is B5. This rule uses the importance information and the uncontrollable information included in the meta information. “Controllable: ×” is a feature amount that cannot be controlled by the user. Therefore, according to this rule, the importance included in the meta information is less than the first predetermined value, and It is a rule that the calculation is not performed for the feature amount that cannot be controlled. In other words, such a rule is defined because it is considered that it is difficult to contribute to the generation of the prediction model with respect to the feature amount having low importance and being uncontrollable.
ブラックリストルールには、上記したルール以外のルールが含まれていてよい。また、ブラックリストルールには、使用者が定義したルールを追加することもできるようになっている。また、ブラックリストルールに含まれるルールの任意の一部を削除することもできるようになっている。 The blacklist rules may include rules other than the rules described above. Further, a rule defined by a user can be added to the blacklist rule. Also, any part of the rules included in the blacklist rule can be deleted.
図11は、ブラックリストルールが適用されることによって生成されなくなった特徴量と、ブラックリストルール適用後においても生成される特徴量とを区別して示した表である。ブラックリストルールが適用されることによって生成されなくなった特徴量のみ薄墨が付されており、これら特徴量は演算の対象から除外されている。この図に示すように、ブラックリストルールを適用することで、物理的に意味のない量を計算したり、相互作用が無いはずの量同士を掛け合わせたりすることを防ぐことができ、効果の得られる見込みが無い特徴量を削減することができる。また、使用者の直観を重要度の形で取り入れることで、さらに効率良く特徴量を絞り込むことができる。 FIG. 11 is a table in which feature amounts that are no longer generated by applying the blacklist rule and feature amounts that are generated even after the blacklist rule is applied are distinguished from each other. Only features that are no longer generated by the application of the blacklist rule are marked with light black, and these features are excluded from the targets of calculation. As shown in this figure, by applying the blacklist rule, it is possible to prevent physically insignificant quantities from being calculated or to multiply quantities that should have no interaction. It is possible to reduce a feature amount that is unlikely to be obtained. In addition, by incorporating the user's intuition in the form of importance, feature amounts can be narrowed down more efficiently.
(ホワイトリストルール)
ホワイトリストルールは、予測モデルの生成に対して効果が高いと期待できる条件を、メタ情報を利用して特定するためのルールであり、図9に示す元の特徴量の中でホワイトリストルールに該当するものがあれば演算の対象とする。ホワイトリストルールは、ブラックリストルールの適用後に適用してもよいし、ブラックリストルールの適用前に適用してもよい。ブラックリストルールを、ホワイトリストルールよりも先に適用する場合には、ブラックリストルールで一度削除されている特徴量も、ホワイトリストルールに該当すれば復活させる。復活させるというのは、一旦演算の対象から除外された特徴量を、演算の対象に戻すことである。
(Whitelist rules)
The whitelist rule is a rule for specifying conditions that can be expected to have a high effect on the generation of a prediction model by using meta information. If there is such a thing, it is the target of the calculation. The whitelist rule may be applied after the blacklist rule is applied, or may be applied before the blacklist rule is applied. When the blacklist rule is applied before the whitelist rule, the feature amount once deleted by the blacklist rule is restored if the blacklist rule falls under the whitelist rule. Restoring is to return the feature amount once excluded from the calculation target to the calculation target.
図12は、ホワイトリストルールの例を示すものである。ホワイトリストルールは、ルールIDと、各ルールIDに関連付けられたルールと、各ルールIDに関連付けられたメタ情報の種類とから構成されている。ホワイトリストルールを定義するメタ情報は複数ある。ルールIDは、ルール毎に付与されるものである。 FIG. 12 shows an example of a whitelist rule. The whitelist rule includes a rule ID, a rule associated with each rule ID, and a type of meta information associated with each rule ID. There are multiple pieces of meta information that define whitelist rules. The rule ID is given for each rule.
ホワイトリストルールには、「単位[Pa]×単位[rpm]」というルールを含むことができ、このルールのルールIDをW1とする。このルールでは、メタ情報に含まれている単位系情報を使用する。 The whitelist rule can include a rule of “unit [Pa] × unit [rpm]”, and the rule ID of this rule is W1. In this rule, the unit system information included in the meta information is used.
ホワイトリストルールには、「単位[m3/s]×単位[℃]」というルールを含むことができ、このルールのルールIDをW2とする。このルールでは、メタ情報に含まれている単位系情報を使用する。 The whitelist rule can include a rule of “unit [m 3 / s] × unit [° C.]”, and the rule ID of this rule is W2. In this rule, the unit system information included in the meta information is used.
ホワイトリストルールには、「log(単位[s])」というルールを含むことができ、このルールのルールIDをW3とする。このルールでは、メタ情報に含まれている単位系情報を使用する。 The whitelist rule can include a rule of “log (unit [s])”, and the rule ID of this rule is W3. In this rule, the unit system information included in the meta information is used.
ホワイトリストルールには、「3√(単位[m3])」というルールを含むことができ、このルールのルールIDをW4とする。このルールでは、メタ情報に含まれている単位系情報を使用する。 The whitelist rule can include a rule of “3√ (unit [m 3 ])”, and the rule ID of this rule is W4. In this rule, the unit system information included in the meta information is used.
ホワイトリストルールには、「MEAN(重要度[大])」というルールを含むことができ、このルールのルールIDをW5とする。このルールでは、メタ情報に含まれている重要度情報を使用する。 The whitelist rule can include a rule “MEAN (importance [large])”, and the rule ID of this rule is W5. In this rule, importance information included in meta information is used.
ルールIDがW1の単位(Pa)×単位(rpm)は仕事(W)であり、また、ルールIDがW2の単位(m3/s)×単位(℃)は熱量(cal/s)であり、また、ルールIDがW3の単位log(単位[s])は化学反応速度である。仕事、熱量及び化学反応速度はよく使われる量であることから、これらを特徴量として演算することで、分析精度の向上に寄与し、かつ、解釈しやすいことが期待できる。よって、ホワイトリストルールで定義している。 The unit (Pa) × unit (rpm) of the rule ID W1 is work (W), and the unit (m 3 / s) × unit (° C.) of the rule ID W2 is calorie (cal / s). The unit log (unit [s]) with the rule ID W3 is the chemical reaction rate. Since work, calorific value, and chemical reaction rate are commonly used amounts, it can be expected that calculating these as characteristic amounts will contribute to improvement in analysis accuracy and be easy to interpret. Therefore, it is defined by the whitelist rule.
また、例えば、重要度が「大」である特徴量は、MEANという演算を新たに適用する。これにより、重要度の高い特徴量が演算の対象から除外されてしまうのを防ぐことができる。 In addition, for example, for a feature amount whose importance is “large”, an operation called MEAN is newly applied. Thus, it is possible to prevent a feature value having a high importance from being excluded from a calculation target.
ホワイトリストルールには、上記したルール以外のルールが含まれていてよい。また、ホワイトリストルールには、使用者が定義したルールを追加することもできるようになっている。また、ホワイトリストルールに含まれるルールの任意の一部を削除することもできるようになっている。 The whitelist rules may include rules other than the rules described above. In addition, rules defined by the user can be added to the whitelist rules. Also, any part of the rules included in the whitelist rule can be deleted.
図13は、ブラックリストルール適用後にホワイトリストルールを適用した場合を示す表であり、生成されなくなった特徴量のみ薄墨が付されている。図11と図13とを比較すると、ブラックリストルールが適用されることによって生成されなくなった特徴量(図11に示す)のうち、図13では一部が復活していることが分かる。これにより、ブラックリストルールで特徴量を一律に削除したままにするのではなく、よく使われる量や重要度が高い特徴量については演算の対象とすることができるようになる。 FIG. 13 is a table showing a case where the whitelist rule is applied after the blacklist rule is applied. Only the feature amounts that are no longer generated are marked with light black. Comparing FIG. 11 with FIG. 13, it can be seen that, of the feature amounts (shown in FIG. 11) that are no longer generated by the application of the blacklist rule, a part is restored in FIG. As a result, a frequently used amount or a feature amount having a high degree of importance can be set as a calculation target, instead of uniformly deleting the feature amount according to the blacklist rule.
ホワイトリストルールを適用することで、物理的に意味のあるものや重要度が高いものに関する特徴量を重点的に生成することができ、より分析の精度を高めることができる。さらに、使用者がルールを追記することで、使用者自身が分析対象に対して持っている知識をデータ分析装置1に取り込むことができ、分析の精度をより一層上げることができる。 By applying the whitelist rule, it is possible to focus on the generation of a feature amount related to a physically meaningful thing or a thing having high importance, and to further improve the analysis accuracy. Further, by the user additionally writing the rules, the knowledge that the user himself has for the analysis target can be taken into the data analysis device 1, and the accuracy of the analysis can be further improved.
ホワイトリストルールを適用した後、ブラックリストルールを適用する場合には、ホワイトリストルールの適用によって演算対象の特徴量を多く組み入れておき、その後のブラックリストルールの適用によって実際に演算する特徴量を絞り込むことができる。 When applying the blacklist rule after applying the whitelist rule, a large amount of features to be calculated are incorporated by applying the whitelist rule, and the features to be actually calculated by applying the blacklist rule thereafter. You can narrow down.
図8に示すフローチャートのステップSC2では、ブラックリストルールとホワイトリストルールとの両方を適用することにより、上述したように生成する特徴量を決定し、図13に示すように、生成する特徴量の一覧が完成する。この一覧表はモニタ3に表示させるようにしてもよい。 In step SC2 of the flowchart shown in FIG. 8, the feature amounts to be generated are determined as described above by applying both the blacklist rule and the whitelist rule, and as shown in FIG. The list is completed. This list may be displayed on the monitor 3.
尚、ステップSC2では、ブラックリストルールのみを適用することにより、生成する特徴量を決定してもよい。また、上述したように、ブラックリストルールとホワイトリストルールとの適用順は特に限定されない。また、ブラックリストルールとホワイトリストルールとの適用順を使用者が選択できるように構成されていてもよい。 In step SC2, the feature quantity to be generated may be determined by applying only the blacklist rule. Further, as described above, the application order of the blacklist rule and the whitelist rule is not particularly limited. Further, the configuration may be such that the user can select the application order of the blacklist rule and the whitelist rule.
ステップSC3では、ステップSC2で決定された特徴量の演算を行い、特徴量のデータを生成する。その後、ステップSC4では、特徴選択を実施し、生成された特徴量それぞれに対して重要度を計算する。ここで計算した重要度は、上述した使用者が入力した重要度とは異なるものであり、算出された重要度と呼ぶことにする。 In step SC3, the feature amount determined in step SC2 is calculated to generate feature amount data. After that, in step SC4, feature selection is performed, and importance is calculated for each of the generated feature amounts. The importance calculated here is different from the importance input by the user described above, and will be referred to as a calculated importance.
ここでは既知の特徴選択アルゴリズムを使うことができる。たとえば、以下の式(1)であらわされる重回帰分析における係数a1,a2,…を推定し、その絶対値を特徴量x1,x2…に対する評価値としてもよい。 Here, a known feature selection algorithm can be used. For example, the coefficients a1, a2,... In the multiple regression analysis represented by the following equation (1) are estimated, and their absolute values may be used as evaluation values for the feature amounts x1, x2,.
y=a1x1+a2x2+…+anxn ・・・(1)
あるいは、係数をそのまま使うのではなく、各特徴量x1,x2,…の大きさが揃うように補正した正規化係数を、算出された重要度として用いてもよい。
y = a1x1 + a2x2 +... + anxn (1)
Alternatively, instead of using the coefficients as they are, normalized coefficients corrected so that the magnitudes of the feature amounts x1, x2,... May be used may be used as the calculated importance.
通常の特徴選択では、算出された重要度が一定の閾値を超えたもの、あるいは算出された重要度が上位のものだけを制御ユニット10が抽出、選択してモニタ3に表示することができる。この実施形態では、通常の特徴選択に代えて、または通常の特徴選択の後に、選択必須ルールを適用するように構成されている。すなわち、図8に示すフローチャートのステップSC4で算出された重要度を評価した後、ステップSC5に進み、選択必須ルールを適用する。尚、選択必須ルールの適用は任意であり、適用しなくてもよい。また、選択必須ルールの適用要否を使用者が選択できるように構成することもできる。 In normal feature selection, the control unit 10 can extract and select only those whose calculated importance exceeds a certain threshold or those whose calculated importance is higher, and display them on the monitor 3. In this embodiment, the selection essential rule is applied instead of the normal feature selection or after the normal feature selection. That is, after evaluating the importance calculated in step SC4 of the flowchart shown in FIG. 8, the process proceeds to step SC5, and the selection essential rule is applied. The application of the selection mandatory rule is optional and need not be applied. Further, it is also possible to configure so that the user can select whether or not to apply the selection mandatory rule.
(選択必須ルール)
選択必須ルールは、上述した追加ルールに含まれるルールであり、新たな特徴量として必ず残す場合を規定したものである。図14は、選択必須ルールの例を示すものである。選択必須ルールは、ルールIDと、各ルールIDに関連付けられたルールと、各ルールIDに関連付けられたメタ情報の種類とから構成されている。選択必須ルールを定義するメタ情報は複数あってもよい。ルールIDは、ルール毎に付与されるものである。
(Required selection rule)
The selection-required rule is a rule included in the above-described additional rule, and defines a case where the rule is always left as a new feature amount. FIG. 14 shows an example of the selection mandatory rule. The selection-required rule includes a rule ID, a rule associated with each rule ID, and a type of meta information associated with each rule ID. There may be a plurality of pieces of meta information that define the selection mandatory rule. The rule ID is given for each rule.
選択必須ルールは、「制御可能:○」というルールを含むことができ、このルールのルールIDをS1とする。制御可能:○」とは、使用者が制御可能であるということであり、従って、このルールでは、使用者が制御可能である特徴量については、ブラックリストルールで削除されていたとしても、復活させて特徴量として残す。使用者が制御可能な特徴量は寄与度合いが高い場合があるためである。この選択必須ルールに該当する特徴量であれば、使用者が入力した重要度が低くても残す。これによって、使用者が残したい特徴量がデータ分析装置1の内部で勝手に削除されることを防ぐことができる。 The selection mandatory rule can include a rule of “controllable:」 ”, and the rule ID of this rule is S1. “Controllable:」 ”means that the user can control. Therefore, according to this rule, the feature amount that can be controlled by the user is restored even if it is deleted by the blacklist rule. And leave it as a feature value. This is because the feature amount that can be controlled by the user may have a high degree of contribution. If the feature quantity corresponds to the selection mandatory rule, the feature quantity is retained even if the degree of importance input by the user is low. Thus, it is possible to prevent the feature amount that the user wants to keep from being deleted in the data analyzer 1 without permission.
(特徴量の出力)
以上のようにして、新たに生成される特徴量が残される。図8に示すフローチャートのステップSC6では、残った特徴量を出力する。このステップは、図4に示すフローチャートのステップSB4に相当するステップである。制御ユニット10は、出力される特徴量が選択されると、図15に示す特徴量表示ユーザーインターフェース70をモニタ3に表示させるとともに、特徴量表示ユーザーインターフェース70上でなされた使用者の操作を受け付ける。
(Output of feature value)
As described above, a newly generated feature amount remains. In step SC6 of the flowchart shown in FIG. 8, the remaining feature amount is output. This step corresponds to step SB4 in the flowchart shown in FIG. When the output feature amount is selected, the control unit 10 displays the feature amount display user interface 70 shown in FIG. 15 on the monitor 3 and receives a user operation performed on the feature amount display user interface 70. .
特徴量表示ユーザーインターフェース70は、新たに生成された特徴量を表示するためのものである。特徴量表示ユーザーインターフェース70に表示する特徴量は、算出された重要度が上位の特徴量を表示するように構成することができ、算出された重要度が上位にある複数の特徴量を、算出された重要度の高い順に並べて表示する、すなわち、ランキング表示するように構成されている。この例では、算出された重要度が最も高い特徴量と、それ未満の重要度の特徴量とを同時に表示するように構成されており、最上位の重要度を有する特徴量が最も上に位置し、最上位の重要度未満の複数の特徴量は、重要度の大きさによって降順に配置される。特徴量は、昇順に配置してもよいし、左右方向に並ぶように配置してもよい。表示する特徴量は所定数であればよく、その数は特に限定されない。 The feature amount display user interface 70 is for displaying a newly generated feature amount. The feature amount displayed on the feature amount display user interface 70 can be configured to display a feature amount having a higher calculated importance, and a plurality of feature amounts having a higher calculated importance are calculated. Are arranged in the descending order of importance, that is, are displayed in a ranking. In this example, the feature amount having the highest calculated importance and the feature amount having the lower importance are simultaneously displayed, and the feature amount having the highest importance is positioned at the top. Then, a plurality of feature values having less than the highest importance are arranged in descending order according to the magnitude of the importance. The feature amounts may be arranged in ascending order or may be arranged so as to be arranged in the left-right direction. The number of feature values to be displayed may be a predetermined number, and the number is not particularly limited.
具体的には、特徴量表示ユーザーインターフェース70には、順位表示領域71と、重要度表示領域72と、特徴量表示領域73と、適用ルール表示領域74と、物理量表示領域75とが設けられている。順位表示領域71は、算出された重要度に応じて付された順位を表示する領域である。「1」は、算出された重要度が最も高いことを示しており、数字が多くなるほど、算出された重要度が低くなる。 Specifically, the feature quantity display user interface 70 includes a rank display area 71, an importance display area 72, a feature quantity display area 73, an application rule display area 74, and a physical quantity display area 75. I have. The order display area 71 is an area for displaying the order assigned according to the calculated importance. “1” indicates that the calculated importance is the highest, and as the number increases, the calculated importance decreases.
重要度表示領域72は、算出された重要度を表示する領域である。重要度表示領域72に表示する重要度は、数値であってもよいし、棒グラフのような図形であってもよい。この実施形態では、算出された重要度が最も高いものを「1」とし、数値で相対比較できるように表示するとともに、算出された重要度が最も高いものが最も長いバーとなるように、図形で相対比較できるように表示している。 The importance display area 72 is an area for displaying the calculated importance. The importance displayed in the importance display area 72 may be a numerical value or a graphic such as a bar graph. In this embodiment, the one with the highest calculated importance is set to “1” and displayed so as to be able to be compared with each other numerically, and the graphic with the highest calculated importance is the longest bar. Is displayed for relative comparison.
特徴量表示領域73は、自動生成された特徴量の名称を表示する領域である。ここに表示する名称は、分析対象データに存在していた特徴量の名称に基づくものであり、分析対象データに存在していた特徴量の名称をそのまま表示してもよいし、どのような演算がなされたのか分かるように、例えば、「設定温度×冷却水流量」のように、演算式形式で表示してもよい。 The feature amount display area 73 is an area for displaying a name of an automatically generated feature amount. The names displayed here are based on the names of the feature amounts that existed in the analysis target data. The names of the feature amounts that existed in the analysis target data may be displayed as they are, or any operation may be performed. For example, it may be displayed in the form of an arithmetic expression such as “set temperature × cooling water flow rate” so that it can be understood that the processing has been performed.
適用ルール表示領域74は、特徴量の生成に適用されたルールを表示する領域である。適用ルール表示領域74には、ルールIDが表示される。「W」の場合は、ホワイトリストルールに基づいて生成されることになった特徴量であることを示し、「S」の場合は、選択必須ルールに基づいて生成されることになった特徴量であることを示す。また、「B」、「W」の順で表示されている場合は、ブラックリストルールに基づいて一旦削除されたが、ホワイトリストルールで復活した特徴量であることを示す。何も表示されていない場合は、どのルールも適用されることなく、生成された特徴量であることを示す。適用ルール表示領域74を設けることで、特徴量を新たに生成する際に適用されたルールを表示できるので、生成された特徴量を使用者が簡単に理解できる。 The applied rule display area 74 is an area for displaying a rule applied to the generation of the feature amount. A rule ID is displayed in the applied rule display area 74. "W" indicates that the feature is to be generated based on the whitelist rule, and "S" indicates that the feature is to be generated based on the selection essential rule. Is shown. Further, when displayed in the order of “B” and “W”, it indicates that the feature amount has been once deleted based on the blacklist rule, but has been restored using the whitelist rule. If nothing is displayed, it indicates that the feature is a generated feature without applying any rules. By providing the applied rule display area 74, a rule applied when newly generating a feature can be displayed, so that the user can easily understand the generated feature.
物理量表示領域75は、特徴量の単位を表示する領域である。演算によって得られた単位が、その特徴量と関連した状態で表示される。このように、新たに生成された特徴量の単位を表示できるので、生成された特徴量を使用者が簡単に理解できる。 The physical quantity display area 75 is an area for displaying a unit of a feature quantity. The unit obtained by the calculation is displayed in a state related to the feature amount. As described above, the unit of the newly generated feature can be displayed, so that the user can easily understand the generated feature.
(予測モデルの生成)
図2に示す予測モデル生成部14は、ルール記憶部30に記憶された定型ルール及び追加ルールに基づいて、複数の特徴量から目的変数を予測するための予測モデルを生成する。上述したように、図8に示すフローチャートのステップSC6で出力される複数の特徴量は、定型ルール及び追加ルールに基づいて生成されたものである。予測モデル生成部14では、ステップSC6で出力される複数の特徴量から予測モデルを生成することができる。予測モデルは、例えば重回帰分析や決定木によって作ることができる。その生成手法については様々あるが、いずれも従来から知られた手法を用いることができる。
(Generation of prediction model)
The prediction model generation unit 14 illustrated in FIG. 2 generates a prediction model for predicting a target variable from a plurality of feature amounts based on the fixed rule and the additional rule stored in the rule storage unit 30. As described above, the plurality of feature amounts output in step SC6 of the flowchart illustrated in FIG. 8 are generated based on the fixed rule and the additional rule. The prediction model generation unit 14 can generate a prediction model from the plurality of feature amounts output in step SC6. The prediction model can be created by, for example, multiple regression analysis or a decision tree. There are various generation methods, and in each case, a conventionally known method can be used.
(実施形態の作用効果)
以上説明したように、この実施形態によれば、分析対象データが入力されると、その分析対象データに含まれる複数の特徴量がモニタ3に一覧表示され、一覧表示された各特徴量に対して使用者がメタ情報を付与することができる。
(Operation and effect of the embodiment)
As described above, according to this embodiment, when the analysis target data is input, a plurality of feature amounts included in the analysis target data are displayed on the monitor 3 in a list, and each of the listed feature amounts is displayed. User can add meta information.
メタ情報を付与した後、予測モデル生成部14は、定型ルール及び追加ルールに基づいて、複数の特徴量から目的変数を予測するための予測モデルを生成する。定型ルールによれば、例えば加算、減算、乗算、除算等の演算により、特徴量単体又は複数の特徴量を組み合わせて新たな特徴量が生成されるが、定型ルールに該当していても、メタ情報にしたがって、新たな特徴量として生成する演算を行う場合と、行わない場合とが追加ルールによって定められる。 After adding the meta information, the prediction model generation unit 14 generates a prediction model for predicting a target variable from a plurality of feature amounts based on the fixed rule and the additional rule. According to the fixed rule, for example, a new feature amount is generated by performing an operation such as addition, subtraction, multiplication, division, or the like by combining a single feature amount or a plurality of feature amounts. According to the information, a case where an operation for generating a new feature amount is performed and a case where the calculation is not performed are determined by an additional rule.
つまり、使用者が入力したメタ情報が新たな特徴量の生成可否に反映されるので、生成される特徴量が効果的に絞り込まれることになり、目的変数と無関係な特徴量の生成が抑制される。これにより、特徴量の生成に要する時間、及び特徴量の選択に要する時間が短くなる。 That is, since the meta information input by the user is reflected in the possibility of generating a new feature, the generated feature is effectively narrowed down, and the generation of a feature irrelevant to the objective variable is suppressed. You. As a result, the time required to generate a feature and the time required to select a feature are reduced.
また、特徴量を生成しても効果が低いものを複数のメタ情報に基づいてブラックリストルール化することができ、ブラックリストルールに適合する場合には、新たな特徴量を生成する演算を行わないので、特徴量の演算効率が向上する。 In addition, even if a feature amount is generated, a low effect can be formed into a blacklist rule based on a plurality of pieces of meta information. When the blacklist rule is satisfied, an operation for generating a new feature amount is performed. Since there is no such feature, the calculation efficiency of the feature quantity is improved.
また、効果の高い特徴量を複数の補足情報に基づいてホワイトリストルール化することができ、ホワイトリストルールに適合する場合には、新たな特徴量を生成する演算を行うので、生成される特徴量をより一層効果的に絞り込むことができる。 In addition, a feature amount having a high effect can be converted into a whitelist rule based on a plurality of pieces of supplementary information. When the whitelist rule is satisfied, an operation for generating a new feature amount is performed. The amount can be narrowed down more effectively.
また、選択必須ルールを追加することで、例えば、使用者が重要であると考えていた特徴量から効果の高い新たな特徴量を生成することができる。 Further, by adding a selection essential rule, for example, a new feature amount with a high effect can be generated from a feature amount that the user considers important.
上述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。 The embodiments described above are merely examples in all respects and should not be construed as limiting. Furthermore, all modifications and changes belonging to the equivalent scope of the claims are within the scope of the present invention.
以上説明したように、本発明に係るデータ分析装置及びデータ分析方法は、大量の情報の中からこれまで未知であった有用な知見を得ようと試みる場合に使用することができる。 As described above, the data analysis device and the data analysis method according to the present invention can be used when attempting to obtain useful information that has been unknown so far from a large amount of information.
1 データ分析装置
3 モニタ(表示部)
3a 表示制御部
11 主制御部
12 データ入力部
13 補足情報付与部
14 予測モデル生成部
1 data analyzer 3 monitor (display unit)
3a Display control unit 11 Main control unit 12 Data input unit 13 Supplementary information giving unit 14 Prediction model generation unit
Claims (10)
複数の特徴量と目的変数とを含む分析対象データの入力を受け付けるデータ入力部と、
前記データ入力部により入力された複数の特徴量を一覧表示する表示部と、
前記表示部に一覧表示された各特徴量に対して、異なる種別の複数の補足情報の付与が可能な補足情報付与部と、
前記補足情報付与部により付与可能な複数の補足情報に基づいて、新たな特徴量として生成する演算を行うか否かを定めたルールを記憶するルール記憶部と、
前記ルール記憶部に記憶された前記ルールに基づいて前記複数の特徴量から新たな特徴量を生成し、前記複数の特徴量と新たに生成された特徴量とに基づいて前記目的変数を予測するための予測モデルを生成する予測モデル生成部とを備えることを特徴とするデータ分析装置。 In a data analyzer that analyzes data to be analyzed,
A data input unit that receives input of analysis target data including a plurality of feature amounts and objective variables,
A display unit for displaying a list of a plurality of feature amounts input by the data input unit,
For each feature amount listed in the display unit, a supplementary information providing unit capable of providing a plurality of different types of supplementary information,
A rule storage unit that stores a rule that determines whether to perform an operation to generate a new feature based on a plurality of pieces of supplementary information that can be given by the supplementary information giving unit;
A new feature amount is generated from the plurality of feature amounts based on the rule stored in the rule storage unit, and the target variable is predicted based on the plurality of feature amounts and the newly generated feature amount. And a prediction model generation unit for generating a prediction model for the data analysis.
前記ルールには、新たな特徴量を生成する演算を行わない場合を規定したブラックリストルールが含まれており、
前記ブラックリストルールを定義する前記補足情報が複数あることを特徴とするデータ分析装置。 The data analyzer according to claim 1,
The rule includes a blacklist rule that stipulates a case where an operation for generating a new feature amount is not performed,
A data analysis device, wherein there are a plurality of pieces of the supplementary information defining the blacklist rule.
前記ルールには、新たな特徴量を生成する演算を行う場合を規定したホワイトリストルールが含まれており、
前記ホワイトリストルールを定義する前記補足情報が複数あることを特徴とするデータ分析装置。 The data analysis device according to claim 1 or 2,
The rule includes a whitelist rule that specifies a case where an operation for generating a new feature amount is performed,
A data analysis device, wherein there are a plurality of the supplementary information items defining the whitelist rule.
前記ルールには、新たな特徴量を生成する演算を行う場合を規定したホワイトリストルールが含まれており、
前記予測モデル生成部は、前記ブラックリストルールと前記ホワイトリストルールとに基づいて前記複数の特徴量から新たな特徴量を生成するように構成されていることを特徴とするデータ分析装置。 The data analyzer according to claim 2,
The rule includes a whitelist rule that specifies a case where an operation for generating a new feature amount is performed,
The data analysis device, wherein the prediction model generation unit is configured to generate a new feature amount from the plurality of feature amounts based on the blacklist rule and the whitelist rule.
前記ルールには、新たな特徴量として生成する演算を必ず行う場合を規定した選択必須ルールが含まれており、
前記予測モデル生成部は、前記ブラックリストルールと前記ホワイトリストルールと前記選択必須ルールとに基づいて前記複数の特徴量から新たな特徴量を生成するように構成されていることを特徴とするデータ分析装置。 The data analyzer according to claim 4,
The rule includes an indispensable selection rule that defines a case where an operation to generate a new feature amount is always performed,
The prediction model generation unit is configured to generate a new feature amount from the plurality of feature amounts based on the blacklist rule, the whitelist rule, and the selection mandatory rule. Analysis equipment.
前記補足情報には、重要度が含まれていることを特徴とするデータ分析装置。 The data analyzer according to any one of claims 1 to 5,
The data analysis device, wherein the supplementary information includes a degree of importance.
前記表示部は、新たに生成された特徴量と、当該特徴量の生成に適用されたルールとを表示することを特徴とするデータ分析装置。 The data analyzer according to any one of claims 1 to 6,
The data analysis device, wherein the display unit displays a newly generated feature amount and a rule applied to the generation of the feature amount.
前記表示部は、新たに生成された特徴量と、当該特徴量の単位とを表示することを特徴とするデータ分析装置。 The data analyzer according to any one of claims 1 to 7,
The data analysis device, wherein the display unit displays a newly generated feature amount and a unit of the feature amount.
前記ルール記憶部には複数のルールが記憶されており、
前記予測モデル生成部は、前記ルール記憶部に記憶されたルールのうち、所定数のルールに基づいて前記複数の特徴量から新たな特徴量を生成する精度優先モードと、新たに生成される特徴量の数が前記精度優先モードの場合に比べて少なくなるように、前記所定数のルールとは異なる数のルールに基づいて前記複数の特徴量から新たな特徴量を生成する速度優先モードとに切替可能に構成されていることを特徴とするデータ分析装置。 The data analyzer according to any one of claims 1 to 8,
A plurality of rules are stored in the rule storage unit,
The prediction model generation unit includes: a precision priority mode for generating a new feature amount from the plurality of feature amounts based on a predetermined number of rules among the rules stored in the rule storage unit; and a newly generated feature. A speed priority mode in which a new feature amount is generated from the plurality of feature amounts based on a different number of rules from the predetermined number of rules so that the number of amounts is smaller than in the accuracy priority mode. A data analyzer characterized by being switchable.
複数の特徴量と目的変数とを含む分析対象データの入力を受け付けるデータ入力ステップと、
前記データ入力ステップで入力された複数の特徴量を一覧表示する特徴量表示ステップと、
前記特徴量表示ステップで一覧表示された各特徴量に対して、異なる種別の複数の補足情報の付与が可能な補足情報付与ステップと、
前記補足情報付与ステップで付与可能な複数の補足情報に基づいて、新たな特徴量として生成する演算を行うか否かを定めたルールを記憶するルール記憶ステップと、
前記ルール記憶ステップに記憶された前記ルールに基づいて前記複数の特徴量から新たな特徴量を生成し、前記複数の特徴量と新たに生成された特徴量とに基づいて前記目的変数を予測するための予測モデルを生成する予測モデル生成ステップとを備えることを特徴とするデータ分析方法。 In a data analysis method for analyzing data to be analyzed,
A data input step of receiving input of analysis target data including a plurality of feature amounts and objective variables,
A feature value display step of displaying a list of a plurality of feature values input in the data input step;
Supplementary information providing step capable of providing a plurality of different types of supplementary information to each feature amount listed in the feature amount displaying step,
A rule storage step of storing a rule that determines whether or not to perform an operation to generate a new feature based on a plurality of pieces of supplementary information that can be given in the supplementary information giving step;
A new feature is generated from the plurality of features based on the rule stored in the rule storage step, and the target variable is predicted based on the plurality of features and the newly generated feature. A prediction model generating step of generating a prediction model for the data analysis.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018148310A JP2020024544A (en) | 2018-08-07 | 2018-08-07 | Data analyzer and method for analyzing data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018148310A JP2020024544A (en) | 2018-08-07 | 2018-08-07 | Data analyzer and method for analyzing data |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020024544A true JP2020024544A (en) | 2020-02-13 |
Family
ID=69618738
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018148310A Pending JP2020024544A (en) | 2018-08-07 | 2018-08-07 | Data analyzer and method for analyzing data |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020024544A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112860658A (en) * | 2021-01-15 | 2021-05-28 | 北京交通大学 | High-speed train electromagnetic emission prediction method based on data mining |
-
2018
- 2018-08-07 JP JP2018148310A patent/JP2020024544A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112860658A (en) * | 2021-01-15 | 2021-05-28 | 北京交通大学 | High-speed train electromagnetic emission prediction method based on data mining |
CN112860658B (en) * | 2021-01-15 | 2024-04-09 | 北京交通大学 | High-speed train electromagnetic emission prediction method based on data mining |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6950119B2 (en) | Material design system, material design method, and material design program | |
JP7049210B2 (en) | Data analyzer and data analysis method | |
JP2020135068A (en) | Data analysis device | |
US11151503B2 (en) | Mobile computing application for industrial automation manufacturing data | |
CN113822440A (en) | Method and system for determining feature importance of machine learning samples | |
JP2017146888A (en) | Design support device and method and program | |
JP2019185591A (en) | Experiment assisting device and experiment assisting method | |
WO2014081012A1 (en) | Data analysis assistance processing system and method | |
KR20240001238A (en) | Machine Learning Applications by Industry | |
JP2020135053A (en) | Data analyzer and data analysis method | |
JP7157586B2 (en) | Data analysis device and data analysis method | |
JP2020024544A (en) | Data analyzer and method for analyzing data | |
JP6029119B2 (en) | Method for obtaining the condition for dividing the category of important performance indicators, and computer and computer program therefor | |
JP7246957B2 (en) | Data analysis device and data analysis method | |
JP6662637B2 (en) | Information processing system, information processing method and recording medium for storing program | |
US12001325B2 (en) | Test data generation apparatus, test data generation method and program | |
KR102199668B1 (en) | Method for providing a service of automatically creating a workflow for processing geo spatial information, and a computer readable storage medium | |
JP7049211B2 (en) | Data analyzer and data analysis method | |
JP7257168B2 (en) | data analyzer | |
CN109298686A (en) | System and method for using business intelligence for rule-based design and manufacture technology | |
Deja et al. | Flow: A musical composition tool using gesture interactions and musical metacreation | |
JP7246958B2 (en) | Data analysis device and data analysis method | |
JP2019016234A (en) | Sales management device, sales management method, and sales management program | |
JP7253161B2 (en) | Data wrangling work support device, data wrangling work support method, and data wrangling work support program | |
US20230058327A1 (en) | Information processing apparatus, flow generation method, and computer program product |