JP6719612B1 - Outlier factor estimation support device, outlier factor estimation support method, and outlier factor estimation support program - Google Patents
Outlier factor estimation support device, outlier factor estimation support method, and outlier factor estimation support program Download PDFInfo
- Publication number
- JP6719612B1 JP6719612B1 JP2019053875A JP2019053875A JP6719612B1 JP 6719612 B1 JP6719612 B1 JP 6719612B1 JP 2019053875 A JP2019053875 A JP 2019053875A JP 2019053875 A JP2019053875 A JP 2019053875A JP 6719612 B1 JP6719612 B1 JP 6719612B1
- Authority
- JP
- Japan
- Prior art keywords
- data
- column
- outlier
- processing target
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 64
- 238000012545 processing Methods 0.000 claims abstract description 181
- 238000004364 calculation method Methods 0.000 claims abstract description 89
- 238000010586 diagram Methods 0.000 abstract description 22
- 238000005259 measurement Methods 0.000 abstract description 20
- 230000005856 abnormality Effects 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 101100398412 Arabidopsis thaliana ASK1 gene Proteins 0.000 description 3
- 101100110018 Arabidopsis thaliana ASK3 gene Proteins 0.000 description 3
- 238000013450 outlier detection Methods 0.000 description 3
- 238000013179 statistical model Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 101100524550 Arabidopsis thaliana RGI4 gene Proteins 0.000 description 1
- 101100230207 Oryza sativa subsp. japonica GSK1 gene Proteins 0.000 description 1
- 101100230208 Oryza sativa subsp. japonica GSK2 gene Proteins 0.000 description 1
- 101150044842 SKM1 gene Proteins 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Landscapes
- Testing And Monitoring For Control Systems (AREA)
- Complex Calculations (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【課題】外れ値の要因を容易に推測することを課題とする。【解決手段】過去における外れ値が生じた要因と、その要因が生じた際の基礎統計量、距離が、対応付けられて格納されている過去統計データ１２２、計測値等が格納されている計測データ１２１を保持され、計測データ１２１を構成するデータは、一方は同種のデータで構成される変数に対応付けられ、他方ではレコードに対応付けられており、所定の外れ値を指定する入力装置１３２と、計測データ１２１において、指定された外れ値と同一のレコードに属すデータについてマハラノビス距離を算出する距離算出処理部１１１と、マハラノビス距離に基づいて、変数のランキングを算出し、変数における基礎統計量と、過去統計データ１２２に格納されている基礎統計量とを比較することで、要因を推定し、変数のランキングと、要因とを表示するランキング表示処理部１１２と、を有することを特徴とする。【選択図】図１An object of the present invention is to easily estimate a factor of an outlier. SOLUTION: The past statistical data 122 in which a factor causing an outlier in the past, the basic statistic amount and the distance when the factor occur, are stored in association with each other, and the measurement in which a measured value or the like is stored. The data 121 that holds the data 121 and that is included in the measurement data 121 is associated with a variable that is composed of data of the same type on the one hand and is associated with a record on the other hand, and an input device 132 that specifies a predetermined outlier. In the measurement data 121, the distance calculation processing unit 111 that calculates the Mahalanobis distance for the data that belongs to the same record as the specified outlier, and the ranking of the variable is calculated based on the Mahalanobis distance, and the basic statistic of the variable is calculated. And a basic statistic stored in the past statistical data 122 are compared with each other to estimate a factor, and to have a ranking display processing unit 112 that displays the ranking of the variable and the factor. .. [Selection diagram] Figure 1
Description
本発明は、外れ値要因推定支援装置、外れ値要因推定支援方法及び外れ値要因推定支援プログラムの技術に関する。 The present invention relates to a technique of an outlier factor estimation support device, an outlier factor estimation support method, and an outlier factor estimation support program.
データ分析の相関算出作業において、予測モデルを生成する場合に予測したモデルから大きく外れる値が存在する。そこで、データ分析の分野では、グラフによる可視化により外れ値の要因を、データの特徴に基づきＢＩツール等を用いてユーザが特定していく作業が行われている。この際、ユーザは、過去の経験則や統計的手法等で、外れ値の要因を特定する。
しかし、データが多種多様となると、要因を見つけるまでに時間がかかる上、外れ値毎に要因を探っていったのでは、工数が増大してしまうという課題がある。そこで、これらの作業を自動化することで分析の精度向上と作業の効率向上を図ることが行われている。
In the correlation calculation work of data analysis, there are values that greatly deviate from the model predicted when the prediction model is generated. Therefore, in the field of data analysis, a user is working to identify the cause of an outlier by visualization using a graph, using a BI tool or the like, based on the characteristics of the data. At this time, the user specifies the factor of the outlier by using past empirical rules or statistical methods.
However, if the data becomes diverse, it takes time to find the factor, and if the factor is searched for each outlier, the man-hour will increase. Therefore, it has been attempted to improve the accuracy of analysis and the efficiency of work by automating these works.
このような課題を解決するため、例えば、特許文献１〜３が開示されている。
特許文献１には、「熱処理プレートによる処理温度の測定によって得られた温度データに基づいて、所定の現象が起きたか否かを判定する現象判定過程（ステップＳ４０１、Ｓ４０３、Ｓ４１１、Ｓ４２１、Ｓ４３１、Ｓ４３２）と、現象が起きたと現象判定過程が判定した場合には、起きたと判定された現象の原因、および、その原因を解消するための対策の少なくともいずれかを推定する推定過程（ステップＳ４０２、４０４、４１２、４２２、４３３）と、を備えている」分析方法、分析装置および基板処理装置が開示されている（要約参照）。
In order to solve such a problem, for example,
Japanese Patent Application Laid-Open No. 2004-242242 describes "a phenomenon determination process (steps S401, S403, S411, S421, S431, based on temperature data obtained by measuring a processing temperature by a heat treatment plate, for determining whether a predetermined phenomenon has occurred). S432), and if the phenomenon determination process determines that a phenomenon has occurred, an estimation process of estimating the cause of the phenomenon determined to have occurred and/or at least one of the measures for eliminating the cause (step S402, 404, 412, 422, 433).” Analytical method, analytical apparatus and substrate processing apparatus are disclosed (see summary).
特許文献２には、「異常原因特定システム１０は、複数種の警報を発する装置の異常原因を特定する。この異常原因特定システム１０は、警報に対応する異常原因の発生確率に関する統計モデルが予め格納されたモデル記憶部１１と、入力された警報情報、及び統計モデルに基づき異常原因を推論する異常原因推論部１４と、異常原因推論部１４により推論された異常原因に関する情報を表示する表示部１６と、を備えている。異常原因推論部１４は、一定時間において、区切られた所定時間幅それぞれで警報情報及び統計モデルに基づき異常原因候補を求めると共に、当該異常原因候補の種別ごとに度数を算出し、少なくとも度数が最も高い種別の異常原因候補を異常原因として推論する」異常原因特定システムが開示されている（要約参照）。
In
特許文献３には、「外れ値検出対象であるデータ集合における各データを識別するためのデータ識別子を設定し、データ集合をプロットにより可視化した後、可視化されたデータ集合における各データに対応させてデータ識別子を表示部１０２に表示させる制御部１０３と、可視化されたデータ集合において外れ値のデータに対応するデータ識別子をオペレータに指定させるための入力部１０１とを備えている」外れ値検出支援プログラム、外れ値検出支援方法および外れ値検出支援装置が開示されている（要約参照）。
In
特許文献１に記載の発明では特定の箇所へのセンサの取り付け、及び、温度の測定がされている。そして、そのセンサの取り付け位置の意味や、温度等のデータの意味が、予め理解されていることが前提となっている。
特許文献２では、ベイジアンネットワークモデルが用いられている。ここで、ベイジアンネットワークモデルは異常(閾値を超える場合)事象において共通条件を抽出している。そのため、ある一定以上の異常の数が必要である。
特許文献３に記載の発明では、高次元のデータを散布図にプロットし、データを可視化することが困難であるため、高次元のデータを低次元（２次元）のデータに圧縮している。このようにすることで、二次元のデータを散布図にプロットし、データの可視化が可能となっている。しかし、高次元のデータを低次元に圧縮する際に、データの正確性が失われるおそれがある。
In the invention described in
In
In the invention described in
このような背景に鑑みて本発明がなされたのであり、本発明は、外れ値の要因を容易に推測することを課題とする。 The present invention has been made in view of such a background, and an object of the present invention is to easily estimate a factor of an outlier.
前記した課題を解決するため、本発明は、過去における外れ値である第１外れ値が生じた要因と、その要因が生じた際のデータの基礎統計量である第１基礎統計量と、前記第１外れ値が、前記第１外れ値以外のデータからどれほど離れていたかを示す指標である第１指標とが、対応付けられて格納されている要因データ、及び、要因推定の対象となるデータである処理対象データを保持している記憶部を有し、個々の前記処理対象データは、複数のカラム及び複数のレコードによって構成されるテーブルの各フィールドに格納されており、前記テーブルに格納されている前記処理対象データのうち、特定のカラム及び特定のレコードに対応する前記処理対象データが表示部に表示されている状態で、前記表示部に表示されている前記処理対象データの外れ値である第２外れ値を指定する指定部と、前記テーブルにおいて、指定された前記第２外れ値が格納されている前記レコードにおける前記処理対象データのそれぞれが、それぞれの前記カラムに格納されている他の前記処理対象データから、どれほど離れているかの指標である第２指標、及び、前記カラムに格納されている前記処理対象データの基礎統計量である第２基礎統計量を、前記表示部に表示されている前記特定のカラム以外のすべての前記カラムについて算出する算出部と、前記要因データに格納されている前記第１基礎統計量及び前記第１指標と、前記算出部によって算出された、それぞれの前記第２基礎統計量及び前記第２指標とを比較することで、指定された前記第２外れ値が生じた要因を推定する要因推定部と、前記推定された要因を前記表示部に表示する表示処理部と、を有し、前記第１基礎統計量及び前記第１指標は、それぞれ過去に前記第２基礎統計量及び前記第２指標として算出されたデータであることを特徴とする。
その他の解決手段は実施形態において適宜記載する。
In order to solve the above-mentioned problems, the present invention provides a factor causing a first outlier that is an outlier in the past, a first basic statistic that is a basic statistic of data when the factor occurs, and Factor data stored in association with a first index, which is an index indicating how far the first outlier is from the data other than the first outlier, and data to be factor estimated. Each of the processing target data is stored in each field of a table composed of a plurality of columns and a plurality of records, and is stored in the table. Out of the processing target data, the processing target data corresponding to a specific column and a specific record is displayed on the display unit, and is an outlier of the processing target data displayed on the display unit. A designation unit that designates a certain second outlier, and each of the processing target data in the record that stores the designated second outlier in the table is stored in each of the columns. A second index, which is an index of how far from the data to be processed, and a second basic statistic, which is a basic statistic of the data to be processed, stored in the column, are displayed on the display unit. a calculation unit that calculates for all the columns wherein the non-specific column has been, with the first basic statistics and the first index is stored in the source data, calculated by the calculation unit, respectively by the comparison between the second basic statistics and the second indicator, display a factor estimating unit that estimates a factor second outliers designated the has occurred, the estimated factors on the display unit a display processing unit, a possess that, the first basic statistics and the first indicator is characterized by each of which is data calculated as the second basic statistics and the second indicator in the past.
Other solving means will be described as appropriate in the embodiment.
本発明によれば、外れ値の要因を容易に推測することができる。 According to the present invention, the factor of the outlier can be easily estimated.
次に、本発明を実施するための形態（「実施形態」という）について、適宜図面を参照しながら詳細に説明する。各図面において、同一の要素については同一の符号を付して、説明を適宜省略する。 Next, modes for carrying out the present invention (referred to as “embodiments”) will be described in detail with reference to the drawings as appropriate. In each drawing, the same elements are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
＜装置構成＞
図１は、本実施形態に係る要因推定装置１の構成例を示す機能ブロック図である。
要因推定装置１は、ＰＣ（Personal Computer）等である。そして、図１に示すように、要因推定装置１は、メモリ１００、ＣＰＵ（central Processing Unit）１３１、ＨＤ（Hard Disk）等の記憶装置１２０、キーボードや、マウス等の入力装置１３２、ディスプレイ等の表示装置１３３を有する。
また、記憶装置１２０に格納されているプログラムがメモリ１００にロードされ、ＣＰＵ１３１によって実行される。これによって、処理部１１０、処理部１１０を構成する距離算出処理部１１１、ランキング表示処理部１１２、登録処理部１１３が具現化する。
<Device configuration>
FIG. 1 is a functional block diagram showing a configuration example of a
The
Further, the program stored in the
記憶装置１２０には、図示しない各計測器から取得した計測データ１２１（テーブル）と、過去統計データ１２２とが格納されている。
The
（計測データ１２１）
ここで、図２を参照して記憶装置１２０に格納されている計測データ１２１について説明する。
図２は、本実施形態で使用される計測データ１２１の一例を示す図である。
図２の例では、計測データ１２１は、レコードＲ１〜Ｒ１０を有し、カラムＣ１〜Ｃ８を有している。それぞれのカラムＣ１〜Ｃ８は、「交換回数」、「機械使用時間」、「変数Ａ」、「変数Ｂ」、・・・、「変数Ｆ」に対応している。なお、「交換回数」とは「部品の交換回数」である。本実施形態では、「交換回数」、「機械使用時間」、「変数Ａ」、「変数Ｂ」、・・・を、変数と称する。
計測データ１２１の各フィールドに入力されているデータ（処理対象データ）は、図示しない所定の計測器から取得したり、ユーザが手動で入力したものである。
(Measurement data 121)
Here, the
FIG. 2 is a diagram showing an example of the
In the example of FIG. 2, the
The data (processing target data) input in each field of the
図２に示すように、計測データ１２１のデータには、「Ａ１」、「Ｂ１」等の質的データと、「１０」、「３０」等の量的データとが含まれている。質的データとしては、部品番号や、行った作業の種類、作業の有無等がある。量的データとしては、温度や、計測値等がある。
As shown in FIG. 2, the
ここで、図２と、図３とを参照して、本実施形態で行われる内容について説明する。
図３は、図２の計測データ１２１の内、「交換回数」と、「機械使用時間」とが、それぞれを軸とする散布図として表示装置１３３に表示されたものである。図３では、散布図に回帰直線が加わっている。なお、「変数Ａ」、「変数Ｂ」、・・・、「変数Ｆ」は、散布図には示されていない。
Here, the contents performed in the present embodiment will be described with reference to FIGS. 2 and 3.
FIG. 3 shows the “replacement frequency” and the “machine usage time” of the
ここで、符号２０１に示すデータは、他のデータと比べて、短い機械使用時間にもかかわらず、部品の交換回数が多い外れ値（第２外れ値）となっている。
この外れ値は、図２の網掛けで示されているレコードＲ２に対応しているものとする。本実施形態では、図３の符号２０１のような外れ値が生じた理由（要因）を、散布図に示されていない「変数Ａ」、「変数Ｂ」、・・・、「変数Ｆ」から探ることを目的とする。
Here, the data indicated by
It is assumed that this outlier corresponds to the record R2 shown by hatching in FIG. In the present embodiment, the reason (factor) that an outlier such as
図１の説明に戻る。
過去統計データ１２２は、過去において外れ値（第１外れ値）が生じた要因と、その外れ値が生じた際のデータの基礎統計量（過去基礎統計量）（第１基礎統計量）が対応付けられて格納されている。なお、過去統計データ１２２については後記する。
Returning to the description of FIG.
The past
距離算出処理部１１１は、計測データ１２１に基づいて、外れ値が生じているデータに対応付けられている各データが、どれくらい平均から離れているかを示す指標を算出する。なお、本実施形態では、この指標としてマハラノビス距離が用いられる。前記した図２及び図３の例を参照すると、距離算出処理部１１１は、図２のレコードＲ２において各変数に対応付けられているデータが、どれくらい平均から離れているかを示すマハラノビス距離を算出する。
The distance
ランキング表示処理部１１２は、距離算出処理部１１１が算出したマハラノビス距離に基づいて変数のランキングを行う。さらに、ランキング表示処理部１１２は、記憶装置１２０に格納されている過去統計データ１２２を基に、各変数のデータが、平均から離れている要因を推定する。そして、ランキング表示処理部１１２は、ランキング結果と、推定した要因とを表示装置１３３に表示する。
The ranking
登録処理部１１３は、推定した要因が正しい場合、その変数と、要因に関する基礎統計量及びマハラノビス距離を過去統計データ１２２に追加格納する。
If the estimated factor is correct, the
＜フローチャート＞
（全体処理）
図４は、本実施形態における要因推定装置１の処理手順を示すフローチャートである。
まず、処理部１１０によって図３に示すような散布図が表示される（Ｓ１）。
そして、マウス等の入力装置１３２によって、散布図による外れ値が指定される（Ｓ２）。
つまり、表示装置１３３に表示されている図３に示す散布図において、外れ値となっている符号２０１のデータが、マウス等の入力装置１３２によって、手動で指定される。前記したように、外れ値として指定された符号２０１のデータは、図２のレコードＲ２に格納されているものである。
このようにすることで、容易に外れ値を指定することができる。
なお、外れ値は、処理部１１０が指定することも可能である。この場合、処理部１１０は、散布図における互いのプロット点の距離を算出し、その距離が所定の値以上、あるいは、他の距離と比べて所定のパーセンテージ以上（１５０％以上等）である場合、処理部１１０は、そのプロット点を外れ値と判定する。
<Flowchart>
(Overall processing)
FIG. 4 is a flowchart showing a processing procedure of the
First, the
Then, the outlier according to the scatter diagram is designated by the
That is, in the scatter diagram shown in FIG. 3 displayed on the
By doing so, the outlier can be easily specified.
Note that the outlier can be designated by the
次に、距離算出処理部１１１が、単独のカラム毎についてのマハラノビス距離（第２指標）を算出する（Ｓ３）。ステップＳ３の処理については後記する。
そして、距離算出処理部１１１が、質的データのカラムと、別の質的データのカラムの組み合わせのすべてにおけるマハラノビス距離（第２指標）を算出する（Ｓ４）。ステップＳ４の処理については後記する。
続いて、距離算出処理部１１１が、質的データのカラムと、別の量的データのカラムとの組み合わせのすべてにおけるマハラノビス距離（第２指標）を算出する（Ｓ５）。ステップＳ５の処理については後記する。
さらに、距離算出処理部１１１が、量的データのカラム（第５カラム）と、別の量的データのカラム（第６カラム）との組み合わせのすべてにおけるマハラノビス距離を算出する（Ｓ６）。ステップＳ６では、一般的な２変数のマハラノビス距離を用いればよいので、ここでの詳細な説明を省略する。
Next, the distance
Then, the distance
Subsequently, the distance
Further, the distance
次に、ランキング表示処理部１１２が、外れ値の要因を推定し、要因をランキング形式で表示する（ランキング表示処理；Ｓ７）。ステップＳ７の処理については後記する。
Next, the ranking
（単独のカラム毎についてのマハラノビス距離算出）
図５は、単独のカラム毎についてのマハラノビス距離算出処理の手順を示すフローチャートである。
図５は、図４のステップＳ３で行われる処理である。
距離算出処理部１１１は、計測データ１２１のうち、計算対象とするカラムを決定する（Ｓ３０１）。ここでは、例えば、図２のカラムＣ３（「変数Ａ」）が決定される。
次に、距離算出処理部１１１は、決定されたカラムのデータが質的データであるか否かを判定する（Ｓ３０２）。
質的データである場合（Ｓ３０２→Ｙｅｓ）、距離算出処理部１１１は、決定されたカラムにおける各データをダミー変数に変換する（Ｓ３１１）。
その後、距離算出処理部１１１は、変換したダミー変数を用いて対象となるデータの平均値μ１、及び、標準偏差σ１を算出する（Ｓ３１２）。
続いて、距離算出処理部１１１は、算出された平均μ１、標準偏差σ１を用いて、質的データによるマハラノビス距離Ｄ１を算出する（Ｓ３１３）。
ステップＳ３１１〜Ｓ３１３の処理について図２を参照して説明する。
(Mahalanobis distance calculation for each individual column)
FIG. 5 is a flowchart showing the procedure of Mahalanobis distance calculation processing for each individual column.
FIG. 5 is a process performed in step S3 of FIG.
The distance
Next, the distance
When the data is qualitative data (S302→Yes), the distance
After that, the distance
Subsequently, the distance
The processing of steps S311 to S313 will be described with reference to FIG.
図２を参照して、質的データによるマハラノビス距離Ｄ１の算出手法を説明する。
ここでは、図２のカラムＣ３（「変数Ａ」）（第２指標の算出対象となっているカラム）について説明する。
まず、距離算出処理部１１１は、カラムＣ３（「変数Ａ」）のうち、図４のステップＳ２で選択指定された外れ値に対応するデータと同じデータと、それ以外のデータとに分ける。以降では、図４のステップＳ２で選択指定された外れ値を、単に外れ値と称する。そして、距離算出処理部１１１は、外れ値に対応するデータを「１」（第１数字）、それ以外のデータを「０」（第２数字）とする。
図２の例では、外れ値に対応するレコードはレコードＲ２（第１レコード）であり、レコードＲ２における「変数Ａ」のデータは「Ｂ２」である。よって、外れ値に対応するデータは「Ｂ２」、それ以外のデータは「Ａ１」、「Ａ２」、「Ａ３」、「Ｂ１」となる。
そこで、距離算出処理部１１１は、カラムＣ３に格納されているすべてのデータについて、「Ｂ２」を「１」とし、「Ｂ２」以外（「Ａ１」、「Ａ２」、「Ａ３」、「Ｂ１」）を「０」とする。ここでの「１」、「０」をダミー変数と称する。この処理は、図５のステップＳ３１１に相当する処理である。
図２の例では、「Ｂ２」を有するレコードは、レコードＲ２，Ｒ６，Ｒ９，Ｒ１０の４つである。従って、図２の例では、「１」が４つ、「０」が６つ検出される。
A method for calculating the Mahalanobis distance D1 based on qualitative data will be described with reference to FIG.
Here, the column C3 (“variable A”) (column for which the second index is calculated ) in FIG. 2 will be described.
First, the distance
In the example of FIG. 2, the record corresponding to the outlier is record R2 (first record) , and the data of “variable A” in record R2 is “B2”. Therefore, the data corresponding to the outlier is “B2”, and the other data is “A1”, “A2”, “A3”, and “B1”.
Therefore, the distance
In the example of FIG. 2, the records having “B2” are four records R2, R6, R9, and R10. Therefore, in the example of FIG. 2, four "1"s and six "0"s are detected.
次に、距離算出処理部１１１は、以下の式（１）を用いてマハラノビス距離Ｄ１を算出する。この処理は、図５のステップＳ３１２，Ｓ３１３の処理に相当する。
Next, the distance
Ｄ１＝｜（Ｘ１−μ１）｜／σ１ ・・・ （１） D1=|(X1−μ1)|/σ1 (1)
ここで、Ｘ１は、指定されたレコードに属するダミー変数である。ここでは、図２のレコードＲ２が指定されているので、Ｘ１＝「１」（「Ｂ２」）である。
μ１は、処理対象となっているカラムにおけるダミー変数の集合の平均である。σ１は、処理対象となっているカラムにおけるダミー変数の集合の標準偏差である。
ここで、図２のカラムＣ３（「変数Ａ」）の各データは、レコードＲ１から順に、それぞれ「０，１，０，０，０，１，０，０，１，１」とダミー変数に変換される。この「０，１，０，０，０，１，０，０，１，１」が、処理対象となっているカラムにおけるダミー変数の集合である。
Here, X1 is a dummy variable belonging to the designated record. Here, since the record R2 of FIG. 2 is designated, X1=“1” (“B2”).
μ1 is the average of the set of dummy variables in the column to be processed. σ1 is the standard deviation of the set of dummy variables in the column to be processed.
Here, each data in the column C3 (“variable A”) of FIG. 2 is converted into a dummy variable “0, 1, 0, 0, 0, 1, 0, 0, 1, 1” in order from the record R1. To be converted. This "0,1,0,0,0,1,0,0,1,1" is a set of dummy variables in the column to be processed.
図６は、質的データによるマハラノビス距離Ｄ１のイメージを示す図である。
図６に示すように、外れ値に対応しているデータ以外のデータ（「０」）のヒストグラムと、外れ値に対応しているデータ（「１」）のヒストグラムとから、平均μ１、標準偏差σ１が算出される。そして、対象となるデータが平均μ１から、どれくらい離れているかが、標準偏差σ１で正規化された形でマハラノビス距離Ｄ１として算出される。
このような手法でマハラノビス距離Ｄ１を算出することで、対象となるデータが平均μ１から、どれくらい離れているかを顕著に表すことができる。
FIG. 6 is a diagram showing an image of the Mahalanobis distance D1 based on qualitative data.
As shown in FIG. 6, from the histogram of the data other than the data corresponding to the outliers (“0”) and the histogram of the data corresponding to the outliers (“1”), the average μ1 and the standard deviation are obtained. σ1 is calculated. Then, how far the target data is from the average μ1 is calculated as the Mahalanobis distance D1 in a form normalized by the standard deviation σ1.
By calculating the Mahalanobis distance D1 by such a method, it is possible to clearly show how far the target data is from the average μ1.
ちなみに、特許文献２におけるベイジアンネットワークモデルでは、例えば、「Ｂ２」が異常性を有するとすると、「変数Ａ」のデータの種類（「Ａ１」、「Ａ２」、・・・）が多いと、「Ｂ２」の異常性が埋もれてしまう可能性がある。本実施形態に示す手法であれば、「Ｂ２」が異常性を有するとすると、「Ｂ２」の異常性を顕著に表わすことができる。
By the way, in the Bayesian network model in
図５の処理に戻る。
ステップＳ３０２で、量的データである場合（Ｓ３０２→Ｎｏ）、距離算出処理部１１１は、対象となるデータの平均値μ２、及び、標準偏差σ２を算出する（Ｓ３２１）。
続いて、距離算出処理部１１１は、算出された平均μ２、標準偏差σ２を用いて量的データに対するマハラノビス距離Ｄ２を算出する（Ｓ３２２）。
Returning to the processing of FIG.
In step S302, when the data is quantitative data (S302→No), the distance
Subsequently, the distance
図２を参照して、量的データによるマハラノビス距離Ｄ２の算出手法を説明する。
ここでは、カラムＣ４（「変数Ｂ」）について説明する。
つまり、距離算出処理部１１１は、カラムＣ４（「変数Ｂ」）におけるデータ（１０，３０，１２，・・・）の平均μ２、標準偏差σ２を算出する。この処理は、図５のステップＳ３２１に相当する処理である。
A method of calculating the Mahalanobis distance D2 based on quantitative data will be described with reference to FIG.
Here, the column C4 (“variable B”) will be described.
That is, the distance
次に、距離算出処理部１１１は、以下の式（２）を用いてマハラノビス距離Ｄ２を算出する。
Next, the distance
Ｄ２＝｜（Ｘ２−μ２）｜／σ２ ・・・ （２） D2=|(X2-μ2)|/σ2 (2)
ここで、Ｘ２は、カラムＣ４（「変数Ｂ」）において、外れ値に対応するデータである。図２の例では、レコードＲ２の「変数Ｂ」の値「３０」である。この処理は、図５のステップＳ３２２に相当する処理である。 Here, X2 is data corresponding to an outlier in the column C4 (“variable B”). In the example of FIG. 2, the value of the “variable B” of the record R2 is “30”. This process is a process corresponding to step S322 in FIG.
図７は、量的データにおけるマハラノビス距離Ｄ２のイメージを示す図である。
図７に示すように、量的データにおけるマハラノビス距離Ｄ２は、全体の平均μ２から外れ値に対応するデータ３０１までの距離に相当する。図７において、符号３０１は、図２の例におけるレコードＲ２の「変数Ｂ」の値「３０」に相当する。
FIG. 7 is a diagram showing an image of the Mahalanobis distance D2 in the quantitative data.
As shown in FIG. 7, the Mahalanobis distance D2 in the quantitative data corresponds to the distance from the overall average μ2 to the
図５の処理の説明に戻る。
ステップＳ３１３及びステップＳ３２２の処理の後、距離算出処理部１１１は、すべてのカラムについて処理を終了したか否かを判定する（Ｓ３３１）。
すべてのカラムについて処理を終了していない場合（Ｓ３３１→Ｎｏ）、距離算出処理部１１１は、次のカラムを処理対象として決定し（Ｓ３３２）、ステップＳ３０２へ処理を戻す。
すべてのカラムについて処理を終了している場合（Ｓ３３１→Ｙｅｓ）、距離算出処理部１１１は、図４のステップＳ４へ処理をリターンする。
Returning to the description of the processing in FIG.
After the processing of steps S313 and S322, the distance
If the processing has not been completed for all columns (S331→No), the distance
If the processing has been completed for all columns (S331→Yes), the distance
（質的データと、質的データとの組み合わせによるマハラノビス距離算出）
図８は、質的データと、質的データとの組み合わせによるマハラノビス距離算出処理の手順を示すフローチャートである。
図８は、図４のステップＳ４で行われる処理である。
まず、距離算出処理部１１１はカラムの組み合わせを決定する（Ｓ４０１）。ここで、組み合わされるカラムは、両方とも質的データを有するカラムである。図２の例では、以下の組み合わせが図８の処理の対象となる。
・カラムＣ３（「変数Ａ」）とカラムＣ６（「変数Ｄ」）との組み合わせ。
・カラムＣ３（「変数Ａ」）とカラムＣ７（「変数Ｅ」）との組み合わせ。
・カラムＣ６（「変数Ｄ」）とカラムＣ７（「変数Ｅ」）との組み合わせ。
(Calculating Mahalanobis distance by combining qualitative data and qualitative data)
FIG. 8 is a flowchart showing a procedure of Mahalanobis distance calculation processing by combining qualitative data with qualitative data.
FIG. 8 is a process performed in step S4 of FIG.
First, the distance
A combination of column C3 (“variable A”) and column C6 (“variable D”).
A combination of column C3 (“variable A”) and column C7 (“variable E”).
A combination of column C6 (“variable D”) and column C7 (“variable E”).
次に、距離算出処理部１１１は、所定のカラムの組み合わせについて一方の質的データによる絞り込みを行う（Ｓ４０２）。
その後、距離算出処理部１１１は、絞り込まれた結果におけるダミー変数への変換を行う（Ｓ４０３）。
そして、距離算出処理部１１１は、絞り込みの結果を用いて対象となるデータの平均値μ３、及び、標準偏差σ３を算出する（Ｓ４０４）。
続いて、距離算出処理部１１１は、算出された平均μ３、標準偏差σ３を用いてマハラノビス距離Ｄ３を算出する（Ｓ４０５）。
ステップＳ４０２〜Ｓ４０５の処理について図９を参照して説明する。
Next, the distance
After that, the distance
Then, the distance
Subsequently, the distance
The processing of steps S402 to S405 will be described with reference to FIG.
図９は、質的データと、質的データとの組み合わせによるマハラノビス距離Ｄ３の算出手法を説明する図である。
図９に示すデータは、図２に示すデータと同じものである。
ここでは、カラムＣ３（「変数Ａ」）（第１カラム）と、カラムＣ６（「変数Ｄ」）（第２カラム）との組み合わせについてマハラノビス距離を算出する。
レコードＲ２は、図２と同様、外れ値が含まれるレコードである（第２レコード）。そして、レコードＲ２における「変数Ａ」のデータは「Ｂ２」である。
ここで、距離算出処理部１１１は、カラムＣ３（「変数Ａ」）について「Ｂ２」を有するレコードを絞り込む。図９の例では、レコードＲ２，Ｒ６，Ｒ９、Ｒ１０が絞り込まれる（網掛け）（第３レコード）。この処理は、図８のステップＳ４０２に相当する処理である。
FIG. 9 is a diagram illustrating a method of calculating the Mahalanobis distance D3 by combining qualitative data with qualitative data.
The data shown in FIG. 9 is the same as the data shown in FIG.
Here, the Mahalanobis distance is calculated for the combination of the column C3 (“variable A”) ( first column ) and the column C6 (“variable D”) ( second column ).
The record R2 is a record including an outlier as in FIG. 2 (second record) . The data of "variable A" in the record R2 is "B2 " .
Here, the distance
次に、距離算出処理部１１１は、「変数Ｄ」において絞り込まれたレコードを対象として、外れ値に対応するデータを「１」、それ以外のデータを「０」とする。この処理は、図８のステップＳ４０３に相当する処理である。
Then, the distance
「変数Ｄ」において、外れ値に対応するレコードＲ２では、「Ｂ」の値を有している。従って、カラムＣ６（「変数Ｄ」）で、絞り込まれたレコード（レコードＲ２，Ｒ６，Ｒ９、Ｒ１０）において、「Ｂ」を「１」（第３数字）、「Ａ」、「Ｆ」を「０」（第４数字）としてダミー変数に変換する。図９の例では、「１」が２つ、「０」が２つとなる。 In the "variable D", the record R2 corresponding to the outlier has the value of "B " . Therefore, in the narrowed-down records (records R2, R6, R9, and R10) in column C6 (“variable D”), “B” is “1” (third number), and “A” and “F” are “ It is converted into a dummy variable as "0" (fourth number). In the example of FIG. 9, there are two "1"s and two "0"s.
そして、距離算出処理部１１１は、以下の式（３）によってマハラノビス距離Ｄ３を算出する。この処理は、図８のステップＳ４０４，Ｓ４０５に相当する処理である。
Then, the distance
Ｄ３＝｜（Ｘ３−μ３）｜／σ３ ・・・ （３） D3=|(X3-μ3)|/σ3 (3)
ここで、Ｘ３は、絞り込まれたレコードにおいて、外れ値に対応する「変数Ｄ」のデータが変換されたダミー変数（ここでは「１」）である。μ３は、絞り込まれたレコード（レコードＲ２，Ｒ６，Ｒ９、Ｒ１０）における「変数Ｄ」のダミー変数の平均である。また、σ３は、絞り込まれたレコード（レコードＲ２，Ｒ６，Ｒ９、Ｒ１０）における「変数Ｄ」のダミー変数の標準偏差である。 Here, X3 is a dummy variable (here, “1”) obtained by converting the data of “variable D” corresponding to the outlier in the narrowed down record. μ3 is the average of the dummy variables of “variable D” in the narrowed down records (records R2, R6, R9, R10). Further, σ3 is the standard deviation of the dummy variable of “variable D” in the narrowed down records (records R2, R6, R9, R10).
図１０Ａ及び図１０Ｂは、質的データと、質的データとの組み合わせによるマハラノビス距離Ｄ３の算出のイメージを示す図である。
まず、図１０Ａに示すように、距離算出処理部１１１は、まず、一方のカラムについて、外れ値に対応するデータと、それ以外のデータとで分け、外れ値に対応するデータと同じデータを有するレコードで他方のカラムを絞り込む（破線で囲まれた部分）。
そして、図１０Ｂに示すように、距離算出処理部１１１は、絞り込まれたレコードについて、外れ値に対応するデータと、それ以外のデータとで分け、この結果を用いてマハラノビス距離Ｄ３を算出する。
このような手法でマハラノビス距離Ｄ３を算出することで、対象となるデータが平均μ３から、どれくらい離れているかを顕著に表すことができる。
10A and 10B are diagrams showing an image of the calculation of the Mahalanobis distance D3 by combining qualitative data with qualitative data.
First, as shown in FIG. 10A, the distance
Then, as shown in FIG. 10B, the distance
By calculating the Mahalanobis distance D3 by such a method, it is possible to clearly show how far the target data is from the average μ3.
図８の説明に戻る。
そして、ステップＳ４０５の後、距離算出処理部１１１は、すべての質的データ同士のカラムの組み合わせについて処理を終了したか否かを判定する（Ｓ４１１）。
すべての質的データ同士のカラムの組み合わせについて処理を終了していない場合（Ｓ４１１→Ｎｏ）、距離算出処理部１１１は、次のカラムの組み合わせを決定し（Ｓ４１２）、ステップＳ４０２へ処理をリターンする。
すべての質的データ同士のカラムの組み合わせについて処理を終了している場合（Ｓ４１１→Ｙｅｓ）、距離算出処理部１１１は、図４のステップＳ５へ処理をリターンする。
Returning to the description of FIG.
Then, after step S405, the distance
If the processing has not been completed for all column combinations of qualitative data (S411→No), the distance
When the processing has been completed for all combinations of columns of qualitative data (S411→Yes), the distance
（質的データと、量的データとの組み合わせによるマハラノビス距離算出）
図１１は、質的データと、量的データとの組み合わせによるマハラノビス距離Ｄ４の算出処理の手順を示すフローチャートである。
図１１に示す処理は、図４のステップＳ５で行われる処理である。
まず、距離算出処理部１１１はカラムの組み合わせを決定する（Ｓ５０１）。ここで、組み合わされるカラムは、一方が質的データを有し、他方が量的データを有するカラムである。図２の例では、以下の組み合わせが図１１の処理の対象となる。
・カラムＣ３（「変数Ａ」）とカラムＣ４（「変数Ｂ」）との組み合わせ。
・カラムＣ３（「変数Ａ」）とカラムＣ５（「変数Ｃ」）との組み合わせ。
・カラムＣ３（「変数Ａ」）とカラムＣ８（「変数Ｆ」）との組み合わせ。
・カラムＣ６（「変数Ｄ」）とカラムＣ４（「変数Ｂ」）との組み合わせ。
・カラムＣ６（「変数Ｄ」）とカラムＣ５（「変数Ｃ」）との組み合わせ。
・カラムＣ６（「変数Ｄ」）とカラムＣ８（「変数Ｆ」）との組み合わせ。
・カラムＣ７（「変数Ｅ」）とカラムＣ４（「変数Ｂ」）との組み合わせ。
・カラムＣ７（「変数Ｅ」）とカラムＣ５（「変数Ｃ」）との組み合わせ。
・カラムＣ７（「変数Ｅ」）とカラムＣ８（「変数Ｆ」）との組み合わせ。
(Calculating Mahalanobis distance by combining qualitative and quantitative data)
FIG. 11 is a flowchart showing the procedure of the calculation process of the Mahalanobis distance D4 by combining the qualitative data and the quantitative data.
The process shown in FIG. 11 is the process performed in step S5 of FIG.
First, the distance
A combination of column C3 (“variable A”) and column C4 (“variable B”).
A combination of column C3 (“variable A”) and column C5 (“variable C”).
A combination of column C3 (“variable A”) and column C8 (“variable F”).
A combination of column C6 (“variable D”) and column C4 (“variable B”).
A combination of column C6 (“variable D”) and column C5 (“variable C”).
A combination of column C6 (“variable D”) and column C8 (“variable F”).
A combination of column C7 (“variable E”) and column C4 (“variable B”).
A combination of column C7 (“variable E”) and column C5 (“variable C”).
A combination of column C7 (“variable E”) and column C8 (“variable F”).
次に、距離算出処理部１１１は、所定のカラムの組み合わせについて、質的データによる絞り込みを行う（Ｓ５０２）。
そして、距離算出処理部１１１は、絞り込みの結果を用いて量的データの平均μ４、標準偏差σ４を算出する（Ｓ５０３）．
続いて、距離算出処理部１１１は、算出された量的データの平均μ４、標準偏差σ４を用いてマハラノビス距離Ｄ４を算出する（Ｓ５０４）。
ステップＳ５０２〜Ｓ５０４の処理について図１２を用いて説明する。
Next, the distance
Then, the distance
Subsequently, the distance
The processing of steps S502 to S504 will be described with reference to FIG.
図１２は、質的データと、量的データとの組み合わせによるマハラノビス距離Ｄ４の算出手法を説明する図である。
図１２に示すデータは、図２に示すデータと同じものである。
ここでは、カラムＣ３（「変数Ａ」）（第３カラム）と、カラムＣ４（「変数Ｂ」）（第４カラム）との組み合わせについてマハラノビス距離Ｄ４を算出する。
FIG. 12 is a diagram illustrating a method of calculating the Mahalanobis distance D4 by combining qualitative data and quantitative data.
The data shown in FIG. 12 is the same as the data shown in FIG.
Here, the Mahalanobis distance D4 is calculated for the combination of the column C3 (“variable A”) ( third column ) and the column C4 (“variable B”) ( fourth column ).
レコードＲ２は、図２と同様、外れ値を含むレコードである（第４レコード）。そして、レコードＲ２における「変数Ａ」のデータは「Ｂ２」である。
まず、距離算出処理部１１１は、カラムＣ３（「変数Ａ」）について「Ｂ２」を有するレコードを絞り込む。図１２の例では、レコードＲ２，Ｒ６，Ｒ９、Ｒ１０（第５レコード）が絞り込まれる（網掛け）。この処理は、図１１のステップＳ５０２に相当する処理である。
The record R2 is a record including an outlier as in FIG. 2 (fourth record) . The data of "variable A" in the record R2 is "B2 " .
First, the distance
次に、距離算出処理部１１１は、「変数Ｂ」について絞り込まれたレコードＲ２，Ｒ６，Ｒ９、Ｒ１０が有するデータの平均μ４、標準偏差σ４を算出する。この処理は、図１１のステップＳ５０３に相当する処理である。図１２の例では、カラムＣ４（「変数Ｂ」）のデータのうち、レコードＲ２，Ｒ６，Ｒ９、Ｒ１０に該当する「３０」、「２１」、「１０」、「９」について平均μ４、標準偏差σ４が算出される。
Then, the distance
そして、距離算出処理部１１１は、以下の式（４）を用いてマハラノビス距離Ｄ４を算出する。
Then, the distance
Ｄ４＝｜（Ｘ４−μ４）｜／σ４ ・・・ （４） D4=|(X4-μ4)|/σ4 (4)
ここで、Ｘ４は、絞り込まれたレコードにおいて、外れ値に対応する「変数Ｂ」のデータである。図１２の例では、レコードＲ２の「変数Ｂ」の値「３０」である。この処理は、図１１のステップＳ５０４に相当する処理である。 Here, X4 is the data of "variable B" corresponding to the outlier in the narrowed down record. In the example of FIG. 12, the value of the “variable B” of the record R2 is “30 ” . This process is a process corresponding to step S504 in FIG.
図１３Ａ及び図１３Ｂは、質的データと、量的データとの組み合わせによるマハラノビス距離Ｄ４の算出のイメージを示す図である。
まず、図１３Ａに示すように、距離算出処理部１１１は、まず、質的データのカラムについて、外れ値に対応するデータと、それ以外のデータとで分け、外れ値に対応するデータと同じデータを有するレコードで、量的データを絞り込む（破線で囲まれた部分）。
そして、図１３Ｂに示すように、距離算出処理部１１１は、絞り込まれた量的データのレコードを対象に全体の平均μ４から指定された外れ値に対応するデータ３０２までの距離に相当するマハラノビス距離Ｄ４を算出する。図１３Ｂにおいて、符号３０２は、図１２の例におけるレコードＲ２の「変数Ｂ」の値「３０」に相当する。
このような手法でマハラノビス距離Ｄ４を算出することで、対象となるデータが平均μ４から、どれくらい離れているかを顕著に表すことができる。
13A and 13B are diagrams showing an image of the calculation of the Mahalanobis distance D4 by combining qualitative data and quantitative data.
First, as shown in FIG. 13A, the distance
Then, as illustrated in FIG. 13B, the distance
By calculating the Mahalanobis distance D4 by such a method, it is possible to clearly show how far the target data is from the average μ4.
図１１の説明に戻る。
そして、ステップＳ５０４の後、距離算出処理部１１１は、質的データと、量的データのカラムのすべての組み合わせについて処理を終了したか否かを判定する（Ｓ５１１）。
質的データと、量的データのカラムのすべての組み合わせについて処理を終了していない場合（Ｓ５１１→Ｎｏ）、距離算出処理部１１１は、次のカラムの組み合わせを決定し（Ｓ５１２）、ステップＳ５０２へ処理をリターンする。
質的データと、量的データのカラムのすべての組み合わせについて処理を終了している場合（Ｓ５１１→Ｙｅｓ）、距離算出処理部１１１は、図５のステップＳ６へ処理をリターンする。
Returning to the explanation of FIG.
Then, after step S504, the distance
If the processing has not been completed for all combinations of columns of qualitative data and quantitative data (S511→No), the distance
When the processing has been completed for all combinations of columns of qualitative data and quantitative data (S511→Yes), the distance
（ランキング表示処理）
図１４は、ランキング表示処理の手順を示すフローチャートである。
図１４の処理は、図４のステップＳ７で行われる処理である。
まず、ランキング表示処理部１１２は、図４のステップＳ３〜Ｓ６で算出されたマハラノビス距離が大きい順に変数及び変数の組み合わせをランキング化する（Ｓ７０１）。
例えば、図２の例では、「変数Ｃ」、（「変数Ｂ」，「変数Ｃ」）、（「変数Ｃ」，「変数Ｆ」）、・・・の順にマハラノビス距離が大きい。なお、（「変数Ｂ」，「変数Ｃ」）は、「変数Ｂ」と「変数Ｃ」との組み合わせを意味する。
(Ranking display process)
FIG. 14 is a flowchart showing the procedure of the ranking display process.
The process of FIG. 14 is the process performed in step S7 of FIG.
First, the ranking
For example, in the example of FIG. 2, the Mahalanobis distance is large in the order of “variable C”, (“variable B”, “variable C”), (“variable C”, “variable F”). Note that (“variable B”, “variable C”) means a combination of “variable B” and “variable C”.
次に、ランキング表示処理部１１２は、各変数及び各変数の組み合わせについて外れ値を含めた全体の基礎統計量（第２基礎統計量）を算出する（Ｓ７０２）。図２を例として参照すると、ランキング表示処理部１１２は、「変数Ａ」におけるデータの基礎統計量を算出する。なお、基礎統計量の算出には、外れ値に対応するデータ（図２のレコードＲ２のデータ）も含むすべてのデータについて行われる。また、「変数Ａ」のような質的データについては、任意の数字によるダミー変数でデータを変換した上で、基礎統計量が算出されるとよい。次に、ランキング表示処理部１１２は、「変数Ｂ」、「変数Ｃ」、・・・、「変数Ｆ」について、基礎統計量を算出する。
Next, the ranking
続いて、ランキング表示処理部１１２は、（「変数Ａ」，「変数Ｂ」）におけるデータの基礎統計量を算出する。なお、基礎統計量の算出には、外れ値に対応するデータ（図２のレコードＲ２のデータ）も含むすべてのデータについて行われる。また、「変数Ａ」のような質的データについては、任意の数字によるダミー変数でデータを変換した上で、基礎統計量が算出されるとよい。ちなみに、（「変数Ａ」，「変数Ｂ」）のような２つの変数の組み合わせでは、一般的に各基礎統計量が２つずつ算出される。このように、各基礎統計量が２つずつ存在することを２次元統計量と称することとする。そして、ランキング表示処理部１１２は、（「変数Ａ」，「変数Ｂ」）、（「変数Ａ」，「変数Ｃ」）、・・・、（「変数Ｅ」、「変数Ｆ」）の各組み合わせについて基礎統計量を算出する。
なお、ここで、算出される基礎統計量は、標準偏差、歪度、尖度、中央値、最頻値である。
Subsequently, the ranking
The basic statistics calculated here are standard deviation, skewness, kurtosis, median, and mode.
次に、過去統計データ１２２における基礎統計量と、ステップＳ７０２で算出された基礎統計量とをマッチングする（Ｓ７０３）ことで、要因を推定する。
ここで、図１５に示すように、記憶装置１２０には、過去における外れ値が生じた際におけるデータの基礎統計量と、マハラノビス距離（第１指標）とが過去統計データ１２２として格納されている。基礎統計量は、図１５に示すように標準偏差、歪度、尖度、中央値、最頻値等が含まれる。各基礎統計量と、マハラノビス距離とは、図１５に示すように、外れ値が生じた要因に対応付けられて格納されている。
Next, the factors are estimated by matching the basic statistics in the past
Here, as shown in FIG. 15, the
ちなみに、図１５の例では、要因として（Ａ）誤記、（Ｂ）計測値のエラー、（Ｃ）別の種類が混在、（Ｄ）（Ａ）〜（Ｄ）以外の４種類が格納されている。
（Ａ）の誤記は、小数点の入力ミスや、質的データにおけるデータの打ち間違い等を指す。小数点の入力ミスであれば、本来の値より１０倍や、１００倍大きくなる等といった現象が生じる。一般に、このような場合、マハラノビス距離は大きくなる傾向がある。
By the way, in the example of FIG. 15, (A) erroneous writing, (B) measurement value error, (C) different types are mixed, and four types other than (D) (A) to (D) are stored as factors. There is.
The erroneous description of (A) indicates a mistake in inputting a decimal point, a mistake in data input in qualitative data, or the like. If the decimal point is mistakenly input, a phenomenon such as 10 times or 100 times larger than the original value occurs. Generally, in such a case, the Mahalanobis distance tends to be large.
（Ｂ）の計測値のエラーは、０．９９９９等、機械が出力し得る値で生じることが多く、量的データに生じることが多い要因である。このような場合、マハラノビス距離が大きくなる傾向がある。 The error in the measured value in (B) often occurs at a value that can be output by the machine, such as 0.9999, and is a factor that often occurs in quantitative data. In such a case, the Mahalanobis distance tends to increase.
（Ｃ）の別の種類が混入は、例えば、ネジに関するデータ中にナットに関するデータが混入している場合等というように、異なる計測対象のデータが混入している場合である。
（Ｄ）の（Ａ）〜（Ｄ）以外として、例えば、（Ｃ）とは異なり、同じ計測対象のデータではあるが、温度等の計測時の環境条件が異なる場合等である。
Another type of (C) is a case where different measurement target data is mixed, such as a case where nut data is mixed in the screw data.
Other than (A) to (D) in (D), for example, unlike (C), the data is the same measurement target, but the environmental conditions at the time of measurement such as temperature are different.
ランキング表示処理部１１２は、過去統計データ１２２において、各要因に対応付けられている基礎統計量及びマハラノビス距離と、ステップＳ７０２で算出された基礎統計量とをマッチングする。
The ranking
例えば、ランキング表示処理部１１２は、「変数Ｃ」における基礎統計量及びマハラノビス距離と、図１５に示す「（Ａ）誤記」の基礎統計量及びマハラノビス距離とをマッチングする。次に、ランキング表示処理部１１２は、「変数Ｃ」における基礎統計量及びマハラノビス距離と、図１５に示す「（Ｂ）計測値のエラー」の基礎統計量及びマハラノビス距離とをマッチングする。さらに、ランキング表示処理部１１２は、「変数Ｃ」における基礎統計量及びマハラノビス距離と、図１５に示す「（Ｃ）別の種類が混在」の基礎統計量及びマハラノビス距離とをマッチングする。続いて、ランキング表示処理部１１２は、「変数Ｃ」における基礎統計量及びマハラノビス距離と、図１５に示す「（Ｄ）（Ａ）〜（Ｃ）以外」の基礎統計量及びマハラノビス距離とをマッチングする。このようにして、ランキング表示処理部１１２は、ランキングの上位から、順にマッチングを行っていく。
For example, the ranking
基礎統計量及びマハラノビス距離のマッチングは、以下の式（１１）によって行われる。 The matching of the basic statistic and the Mahalanobis distance is performed by the following equation (11).
Ｉ＝｛（ＳＴＤ１−ＳＴＤ２）２＋（ＳＫ１−ＳＫ２）２＋（Ｋ１−Ｋ２）２＋（ＭＥ１−ＭＥ２）２＋（ＭＯ１−ＭＯ２）２＋（ＭＤ１−ＭＤ２）２｝１／２
・・・ （１１）
I = {(STD1-STD2) 2 + (SK1-SK2) 2 + (K1-K2) 2 + (ME1-ME2) 2 + (MO1-MO2) 2 + (MD1-MD2) 2} 1/2
... (11)
ここで、Ｉは一致度を示す。また、ＳＴＤ１は、今回データにおける標準偏差を示し、ＳＴＤ２は過去統計データ１２２における標準偏差を示す。今回データとは、前記した例では、「変数Ｃ」であり、過去統計データ１２２における標準偏差は、例えば、「（Ａ）誤記」の標準偏差に相当する。同様に、ＳＫ１は、今回データにおける歪度を示し、ＳＫ２は、過去統計データ１２２における歪度を示す。また、Ｋ１は、今回データにおける尖度を示し、Ｋ２は、過去統計データ１２２における尖度を示す。そして、ＭＥ１は、今回データにおける中央値を示し、ＭＥ２は、過去統計データ１２２における中央値を示す。ＭＯ１は、今回データにおける最頻値を示し、ＭＯ２は過去統計データ１２２における最頻値を示す。そして、ＭＤ１は、今回データにおけるマハラノビス距離を示し、ＭＤ２は、過去統計データ１２２におけるマハラノビス距離を示す。
Here, I indicates the degree of coincidence. Further, STD1 indicates the standard deviation in the current data, and STD2 indicates the standard deviation in the past
そして、ランキング表示処理部１１２は、一致度Ｉが最も小さい過去統計データ１２２の要因を、外れ値が生じた要因（外れ値の要因）とする。例えば、「（Ａ）誤記」における基礎統計量と一致度Ｉが最も小さければ、ランキング表示処理部１１２は、外れ値が生じた要因として「（Ａ）誤記」を推定する。
Then, the ranking
なお、２つの変数の組み合わせ（例えば、「変数Ａ」と「変数Ｂ」との組み合わせ）の場合、マハラノビス距離以外は２次元統計量となる。図１５には示していないが、過去統計データ１２２には、２次元統計量となる場合も含まれており、それぞれの「（Ａ）誤記」等の要因が対応付けられている。
In the case of a combination of two variables (for example, a combination of “variable A” and “variable B”), a two-dimensional statistic is obtained except for Mahalanobis distance. Although not shown in FIG. 15, the past
また、今回データが２次元統計量を有する場合の一致度Ｉは、例えば以下のように算出される。
（１）２次元統計量における、それぞれの基礎統計量について、今回データの基礎統計量と、過去統計データ１２２の基礎統計量との差の２乗を足し合わせて、ルートをとったものが一致度Ｉとなる。例えば、一方の変数が、標準偏差ＳＴＤ１１、歪度ＳＫ１１、・・・の基礎統計量を有し、他方の変数が、標準偏差ＳＴＤ１２、歪度ＳＫ１２、・・・の基礎統計量を有しているものとする。また、過去統計データ１２２が、これらの基礎統計量に対応するように、標準偏差ＳＴＤ２１，ＳＴＤ２２、歪度ＳＫ２１，ＳＫ２２、・・・の基礎統計量を有しているものとする。このとき、一致度Ｉは、以下の式（１２）によって算出される。
Further, the degree of coincidence I when the current data has a two-dimensional statistic is calculated as follows, for example.
(1) For each basic statistic in the two-dimensional statistic, the square of the difference between the basic statistic of the current data and the basic statistic of the past
Ｉ＝｛（ＳＴＤ１１−ＳＴＤ２１）２＋（ＳＴＤ１２−ＳＴＤ２２）２＋（ＳＫ１１−ＳＫ２１）２＋（ＳＫ１２−ＳＫ２２）２＋・・・＋（ＭＤ１−ＭＤ２）２｝１／２
・・・ （１２）
I = {(STD11-STD21) 2 + (STD12-STD22) 2 + (SK11-SK21) 2 + (SK12-SK22) 2 + ··· + (MD1-MD2) 2} 1/2
(12)
（２）２次元統計量における、それぞれの基礎統計量の平均を算出し、この平均を基に一致度が算出される。例えば、一方の変数が、標準偏差ＳＴＤ１１、歪度ＳＫ１１、・・・の基礎統計量を有し、他方の変数が、標準偏差ＳＴＤ１２、歪度ＳＫ１２、・・・の基礎統計量を有しているものとする。そこで、これら２つの標準偏差ＳＴＤ１１，ＳＴＤ１２の平均ＳＴＤＭ１、歪度ＳＫ１１，ＳＫ１２の平均ＳＫＭ１、・・・が算出される。そして、過去統計データ１２２には、これらの平均に対応する基礎統計量（標準偏差ＳＴＤＭ２、歪度ＳＫＭ２、・・・）が格納されている。このとき、一致度Ｉは、以下の式（１３）によって算出される。
(2) The average of each basic statistic in the two-dimensional statistic is calculated, and the degree of coincidence is calculated based on this average. For example, one variable has the basic statistics of standard deviation STD11, skewness SK11,... And the other variable has the basic statistics of standard deviation STD12, skewness SK12,. Be present. Then, the average STDM1 of these two standard deviations STD11 and STD12, the average SKM1 of the skewnesses SK11 and SK12,... Are calculated. Then, in the past
Ｉ＝｛（ＳＴＤＭ１−ＳＴＤＭ２）２＋（ＳＫＭ１−ＳＫＭ２）２＋・・・＋（ＭＤ１−ＭＤ２）２｝１／２
・・・ （１３）
I={(STDM1-STDM2) 2 +(SKM1-SKM2) 2 +...+(MD1-MD2) 2 } 1/2
(13)
変数の組み合わせにより、２次元統計量を算出する場合に、式（１２）の手法を用いるか、式（１３）の手法を用いるかはユーザによって選択される。 When calculating the two-dimensional statistic based on the combination of variables, the method of Expression (12) or the method of Expression (13) is selected by the user.
図１４の説明に戻る。
ステップＳ７０３の後、ランキング表示処理部１１２は、ランキングの結果と、推定された要因とを対応付けたランキング表示画面を表示装置１３３に表示する（Ｓ７０４）。
Returning to the explanation of FIG.
After step S703, the ranking
図１６は、本実施形態で表示されるランキング表示画面の一例を示す図である。
ランキング表示画面は、「変数名１」、「データ１」、「変数名２」、「データ２」、「影響度」、「判定種別」、「判定種別正解登録」の各カラムを有する。
「変数名１」、「変数名２」では、マハラノビス距離が大きいと判定された変数の組み合わせが格納される。「データ１」、「データ２」には、外れ値に対応する「変数名１」、「変数名２」のデータが表示される。
例えば、図１６の例では、「変数Ｃ」で算出されたマハラノビス距離が最も大きいと判定されている（レコードＲ１１）。従って、この場合、「変数Ｃ」が、先頭に表示されている。そして、「データ１」には、外れ値に対応する図２のレコードＲ２における「変数Ｃ」の値「９０」が表示されている。また、レコードＲ１１は、単独の変数であるので「変数名２」、「データ２」は空欄となっている。
FIG. 16 is a diagram showing an example of the ranking display screen displayed in this embodiment.
The ranking display screen has columns of "
In “
For example, in the example of FIG. 16, it is determined that the Mahalanobis distance calculated by “variable C” is the largest (record R11). Therefore, in this case, "variable C" is displayed at the top. Then, in the "
次に、マハラノビス距離が大きいのは、「変数Ｂ」、「変数Ｃ」の組み合わせであるので、「変数名１」には「変数Ｂ」が表示され、「データ１」には、外れ値に対応する「変数Ｂ」のデータ「３０」が表示されている。また、「変数名２」には「変数Ｃ」が表示され、「データ２」には、外れ値に対応する「変数Ｃ」のデータ「９０」が表示されている。
Next, it is the combination of "variable B" and "variable C" that has a large Mahalanobis distance, so "variable B" is displayed in "
「影響度」は、算出されたマハラノビス距離である。つまり、レコードＲ１１における「影響度」は、「変数Ｃ」で算出されたマハラノビス距離である。
「判定種別」は、図１４のステップＳ７０３におけるマッチングの結果、推定された要因が表示される。ここでは、ランキングが最も上位の「変数Ｃ」の要因として「（Ａ）〜（Ｃ）以外」が表示されている。また、次のランキングの「変数Ｂ」、「変数Ｃ」の要因として「（Ａ）〜（Ｃ）以外」が表示されている。
「判定種別正解登録」では、ユーザによる確認の結果、表示されている要因が正しければ、登録ボタン４０１が入力装置１３２を介して選択入力される。すると、登録処理部１１３が、該当する変数のデータを過去統計データ１２２に追加格納する。例えば、レコードＲ１１の登録ボタン４０１が選択入力されると、過去統計データ１２２の「（Ｄ）（Ａ）〜（Ｃ）以外」のデータとして、ステップＳ７０２で算出された「変数Ｃ」の基礎統計量と、ステップＳ３で算出されたマハラノビス距離が追加登録される（図１４のＳ７１１）。
The “degree of influence” is the calculated Mahalanobis distance. That is, the “degree of influence” in the record R11 is the Mahalanobis distance calculated by the “variable C”.
As the “determination type”, the factor estimated as a result of the matching in step S703 of FIG. 14 is displayed. Here, "other than (A) to (C)" is displayed as a factor of "variable C" having the highest ranking. Further, "other than (A) to (C)" are displayed as the factors of "variable B" and "variable C" in the next ranking.
In the “determination type correct answer registration”, if the displayed factor is correct as a result of confirmation by the user, the
本実施形態の例では、過去統計データ１２２の「（Ｄ）（Ａ）〜（Ｃ）以外」において「変数Ｃ」の基礎統計量と、マハラノビス距離とが追加される。なお、過去に、「変数Ｃ」において「（Ｄ）（Ａ）〜（Ｃ）以外」が要因として推定されている場合、過去に算出された基礎統計量と、マハラノビス距離とはそのままで、今回新たに算出された基礎統計量と、マハラノビス距離とが追加登録される。つまり、この場合、「変数Ｃ」における過去に算出された基礎統計量及びマハラノビス距離と、今回算出された基礎統計量及びマハラノビス距離とが過去統計データ１２２で並列に格納される。このように、ある変数のある要因について、複数の基礎統計量及びマハラノビス距離が算出された場合、それぞれの基礎統計量及びマハラノビス距離が過去統計データ１２２に格納される。
In the example of the present embodiment, the basic statistic of “variable C” and the Mahalanobis distance are added in “other than (D)(A) to (C)” of the past
また、このようにある変数のある要因について、複数の基礎統計量及びマハラノビス距離が過去統計データ１２２に格納されている場合、ステップＳ７０３では、それぞれの基礎統計量及びマハラノビス距離に対してマッチングが行われる。
If a plurality of basic statistics and Mahalanobis distances are stored in the past
本実施形態の例において、レコードＲ１１の「変数Ｃ」が温度であれば、「データ１」での温度周辺で、機械使用時間が短くても部品交換回数が多くなる事象が生じていることが分かる。レコードＲ１２や、レコードＲ１３のような組み合わせの条件でも、ユーザは影響度（マハラノビス距離）を確認することができ、所定の環境化では、部品の消耗が激しいという知見も抽出できる。
In the example of the present embodiment, if the “variable C” of the record R11 is temperature, there may occur a phenomenon that the number of times of parts replacement is large around the temperature of “
また、図１６の例では、上位３つのすべてに「変数Ｃ」がランキングされているので、「変数Ｃ」が、外れ値が生じる最大の要因となっている可能性があることを、ユーザが認識できる。 In addition, in the example of FIG. 16, since “variable C” is ranked in all of the top three, the user is aware that “variable C” may be the largest factor causing an outlier. Can be recognized.
本実施形態では、ユーザがデータの意味を理解していなくても、外れ値の要因を推定することが可能である。
また、本実施形態では、外れ値が、この外れ値に対応している他のカラム(データ)においても外れている点に着目して抽出している。そのため、指定される外れ値のデータは１つでも推定可能である。
さらに、本実施形態では、高次元のデータを低次元（２次元）のデータに圧縮せずに、要因の推定を行っている。従って、本実施形態によれば、データの正確性を維持することができる。
さらに、本実施形態では、外れ値をユーザが選択指定することで、要因の推定処理が開始される。このようにすることで、容易に外れ値の要因の推定を行うことができる。
In this embodiment, it is possible to estimate the factor of the outlier even if the user does not understand the meaning of the data.
Further, in the present embodiment, the outliers are extracted by focusing on the fact that they are also outliers in other columns (data) corresponding to the outliers. Therefore, even one outlier data can be estimated.
Further, in this embodiment, the factors are estimated without compressing the high-dimensional data into the low-dimensional (two-dimensional) data. Therefore, according to this embodiment, the accuracy of the data can be maintained.
Further, in the present embodiment, the factor estimation process is started by the user selecting and designating an outlier. By doing so, it is possible to easily estimate the factor of the outlier.
本実施形態では、単独の質的データについてマハラノビス距離を算出する際、外れ値に対応するデータと同じデータを「１」とし、異なるデータを「０」としている。外れ値に対応するデータと同じデータとは、図２の例の「Ｂ２」であり、異なるデータは図２の例の「Ｂ２」以外である。しかし、外れ値に対応するデータと同じデータを「０」とし、異なるデータを「１」としてもよい。また、「０」、「１」に限らず、外れ値に対応するデータと同じデータと、外れ値に対応するデータと同じデータとは異なるデータを異なる数字とすれば、どのような数字が用いられてもよい。 In the present embodiment, when calculating the Mahalanobis distance for a single qualitative data, the same data as the data corresponding to the outlier is set to "1" and different data is set to "0". The same data as the data corresponding to the outlier is "B2" in the example of FIG. 2, and the different data is other than "B2" in the example of FIG. However, the same data as the data corresponding to the outlier may be set to “0” and different data may be set to “1”. Further, not only "0" and "1", but if the same data as the data corresponding to the outlier and different data from the same data corresponding to the outlier are different numbers, what number is used? You may be asked.
また、質的データについてマハラノビス距離を算出する際、外れ値に対応するデータと同じデータを「１」とし、異なるデータを「０」としている。しかし、例えば、数量化２類によるダミー変数への変換等が用いられてもよい。
Further, when calculating the Mahalanobis distance for qualitative data, the same data as the data corresponding to the outliers is set to "1" and different data is set to "0". However, for example, conversion into a dummy variable by
そして、本実施形態では、外れ値に対応するデータが、同じカラムに格納されているデータ群の平均から、どれほど離れているかの指標としてマハラノビス距離が用いられている。しかし、これに限らず、ユークリッド距離等といった、マハラノビス距離以外の距離が用いられてもよい。 Then, in the present embodiment, the Mahalanobis distance is used as an index of how far the data corresponding to the outliers are from the average of the data groups stored in the same column. However, the distance is not limited to this, and a distance other than the Mahalanobis distance such as Euclidean distance may be used.
さらに、本実施形態では、図３に示す散布図の軸として表示装置１３３に表示されている交換回数や、機械使用時間について図４〜図１６で示す解析が行われていない。しかし、表示装置１３３に表示されている交換回数や、機械使用時間について、図４〜図１６で示す解析が行われてもよい。
Furthermore, in the present embodiment, the analysis shown in FIGS. 4 to 16 is not performed on the number of exchanges and the machine usage time displayed on the
また、本実施形態では、図１４のステップＳ７０３におけるマッチングについて、各基礎統計量を用いたユークリッド距離を用いて、対象となるカラムのデータ群の分布が、どの要因に基づく分布に近いかが測られている。しかし、これに限らず、例えば、Ｎ次元のｋ近傍法等によって対象となるカラムのデータ群の分布が、どの要因に基づく分布に近いかが測られてもよい。 Further, in the present embodiment, for the matching in step S703 of FIG. 14, it is possible to measure which factor the distribution of the data group of the target column is close to, based on the Euclidean distance using each basic statistic. ing. However, the present invention is not limited to this, and it may be measured by which factor the distribution of the data group in the target column is closer to the distribution based on, for example, the N-dimensional k-nearest neighbor method.
さらに、本実施形態では、図３に示すような散布図が表示装置１３３に表示され、マウス等の入力装置１３２によって外れ値２０１が選択指定されている。しかし、これに限らず、例えば、図２に示すような表が表示装置１３３に表示され、その表においてマウス等の入力装置１３２によって外れ値２０１が選択指定されてもよい。
Further, in the present embodiment, the scatter diagram as shown in FIG. 3 is displayed on the
また、本実施形態では、単独の変数（カラム）、２つの変数（カラム）の組み合わせについて解析を行っているが、３つ以上の変数（カラム）の組み合わせについて解析が行われてもよい。 Further, in the present embodiment, the analysis is performed for a single variable (column) and a combination of two variables (columns), but the analysis may be performed for a combination of three or more variables (columns).
さらに、図１４のステップＳ７０３のマッチングにおいて、ランキング表示処理部１１２は、変数、及び、２つの変数の組み合わせについて基礎統計量を算出し、過去統計データ１２２における過去基礎統計量とのマッチングを行っている。しかし、これに限らず、ランキングの上位（例えば、上位３つ）の変数、及び、２つの変数の組み合わせについて基礎統計量を算出し、過去基礎統計量とのマッチングを行ってもよい。このようにすることで、処理量を軽減することができる。
Furthermore, in the matching in step S703 of FIG. 14, the ranking
本発明は前記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、前記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を有するものに限定されるものではない。 The present invention is not limited to the above-described embodiment, but includes various modifications. For example, the above-described embodiments have been described in detail in order to explain the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the configurations described.
また、前記した各構成、機能、各部１１０〜１１３、記憶装置１２０等は、それらの一部又はすべてを、例えば集積回路で設計すること等によりハードウェアで実現してもよい。また、図１に示すように、前記した各構成、機能等は、ＣＰＵ１３１等のプロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、ＨＤに格納すること以外に、メモリ１００や、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣ（Integrated Circuit）カードや、ＳＤ（Secure Digital）カード、ＤＶＤ（Digital Versatile Disc）等の記録媒体に格納することができる。
また、各実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には、ほとんどすべての構成が相互に接続されていると考えてよい。
Further, the above-described respective configurations and functions, the
In addition, in each embodiment, the control lines and the information lines are shown to be necessary for the description, and not all the control lines and the information lines on the product are necessarily shown. In reality, almost all configurations can be considered as interconnected.
１ 要因推定装置（外れ値要因推定支援装置）
１１０ 処理部
１１１ 距離算出処理部（算出部）
１１２ ランキング表示処理部（要因推定部、ランキング処理部、表示処理部）
１１３ 登録処理部
１２０ 記憶装置（記憶部）
１２１ 計測データ（テーブル、フィールド、処理対象データ）
１２２ 過去統計データ（要因データ、第１指標及び第１基礎統計量を格納）
１３２ 入力装置（指定部）
１３３ 表示装置（表示部）
２０１ 外れ値（第２外れ値）
Ｃ１〜Ｃ８ カラム（第２指標の算出対象となっているカラム、第１カラム〜第４カラム）
Ｒ１〜Ｒ１０ レコード（第１レコード〜第５レコード）
Ｓ２ 外れ値の指定（指定ステップ）
Ｓ３〜Ｓ６ マハラノビス距離算出（算出ステップ）
Ｓ７０３ マッチング（要因推定ステップ）
Ｓ７０４ 表示（表示ステップ）
1 Factor estimation device (outlier factor estimation support device)
110 processor 111 a distance calculation processing unit (calculation out portion)
112 Ranking display processing unit (factor estimation unit, ranking processing unit, display processing unit)
113
121 Measurement data ( tables, fields, data to be processed )
122 Past statistical data (stores factor data , first index and first basic statistic )
132 Input device (designating part)
133 Display device (display unit)
201 Outlier (second outlier)
C1 to C8 columns (columns for which the second index is calculated, first to fourth columns)
R1 to R10 records (1st to 5th records)
S2 Outlier designation (designation step)
S3~S6 Mahalanobis distance calculation (calculated out step)
S703 Matching (factor estimation step)
S704 display (display step)
Claims (12)
個々の前記処理対象データは、複数のカラム及び複数のレコードによって構成されるテーブルの各フィールドに格納されており、
前記テーブルに格納されている前記処理対象データのうち、特定のカラム及び特定のレコードに対応する前記処理対象データが表示部に表示されている状態で、前記表示部に表示されている前記処理対象データの外れ値である第２外れ値を指定する指定部と、
前記テーブルにおいて、指定された前記第２外れ値が格納されている前記レコードにおける前記処理対象データのそれぞれが、それぞれの前記カラムに格納されている他の前記処理対象データから、どれほど離れているかの指標である第２指標、及び、前記カラムに格納されている前記処理対象データの基礎統計量である第２基礎統計量を、前記表示部に表示されている前記特定のカラム以外のすべての前記カラムについて算出する算出部と、
前記要因データに格納されている前記第１基礎統計量及び前記第１指標と、前記算出部によって算出された、それぞれの前記第２基礎統計量及び前記第２指標とを比較することで、指定された前記第２外れ値が生じた要因を推定する要因推定部と、
前記推定された要因を前記表示部に表示する表示処理部と、
を有し、
前記第１基礎統計量及び前記第１指標は、それぞれ過去に前記第２基礎統計量及び前記第２指標として算出されたデータである
ことを特徴とする外れ値要因推定支援装置。 A factor that causes a first outlier that is an outlier in the past, a first basic statistic that is a basic statistic of data when the factor occurs, and the first outlier is other than the first outlier. Storage unit that holds the factor data stored in association with the first index, which is an index indicating how far away the data is, and the processing target data that is the data for which the factor is estimated. Have
Each of the data to be processed is stored in each field of a table composed of a plurality of columns and a plurality of records,
Of the processing target data stored in the table, the processing target displayed on the display unit in a state where the processing target data corresponding to a specific column and a specific record is displayed on the display unit. A designation part for designating a second outlier that is an outlier of the data,
In the table, how far each of the processing target data in the record in which the designated second outlier is stored is separated from the other processing target data stored in each of the columns. The second index, which is an index, and the second basic statistic, which is the basic statistic of the processing target data stored in the column, are stored in all the columns other than the specific column displayed in the display unit. A calculation unit that calculates for the column,
Said first basic statistics and the first index is stored in the source data, calculated by the calculation unit, by comparing each of the said second basic statistics and the second indicator, designated A factor estimation unit that estimates a factor that has caused the generated second outlier,
A display processing unit for displaying the estimated factors on the display unit,
Have a,
The first basic statistic and the first index are data calculated as the second basic statistic and the second index in the past, respectively.
Outlier factor estimating support device which is characterized a call.
ことを特徴とする請求項１に記載の外れ値要因推定支援装置。 The outlier factor estimation support device according to claim 1, wherein the first index and the second index are Mahalanobis distances.
前記算出部は、
前記第２外れ値に該当する前記処理対象データが格納されているレコードを第１レコードとし、
前記第２指標の算出対象となっている前記カラムに格納されている前記処理対象データのうち、前記第１レコードと、前記第２指標の算出対象となっている前記カラムと、が交差するフィールドに格納されている前記処理対象データと同じ値の前記処理対象データを所定の数字である第１数字で変換し、前記第１レコードにおける前記処理対象データとは異なる値を有する前記処理対象データを、前記第１数字とは異なる第２数字で変換し、式（１）に基づく前記マハラノビス距離を算出することで、前記第２指標を算出する
ことを特徴とする請求項２に記載の外れ値要因推定支援装置。
Ｄ１＝｜（Ｘ１−μ１）｜／σ１ ・・・ （１）
ここで、Ｄ１は前記マハラノビス距離であり、Ｘ１は、前記第１数字であり、μ１は、処理対象となっている前記カラムにおける前記第１数字及び前記第２数字の平均値であり、σ１は、処理対象となっている前記カラムにおける前記第１数字及び前記第２数字の標準偏差である。 When the processing target data stored in the column that is the calculation target of the second index is composed of qualitative data that is data that is not a numerical value,
The calculation unit,
A record in which the processing target data corresponding to the second outlier is stored is a first record,
Of the processing target data stored in the column that is the calculation target of the second index, the field in which the first record and the column that is the calculation target of the second index intersect The processing target data having the same value as the processing target data stored in is converted by the first numeral which is a predetermined numeral, and the processing target data having a value different from the processing target data in the first record is converted into the processing target data. The outlier according to claim 2, wherein the second index is calculated by converting the second index different from the first number and calculating the Mahalanobis distance based on Expression (1). Factor estimation support device.
D1=|(X1−μ1)|/σ1 (1)
Here, D1 is the Mahalanobis distance, X1 is the first digit, .mu.1 is the average value of the first digit and the second digit in the column to be processed, .sigma.1 is , The standard deviation of the first number and the second number in the column to be processed.
前記算出部は、
前記テーブルにおいて、前記第２外れ値に該当する前記処理対象データが格納されているレコードを第２レコードとし、前記第１カラムに格納されている前記処理対象データのうち、前記第１カラムと、前記第２レコードと、が交差するフィールドに格納されている前記処理対象データと同じ値の前記処理対象データを有する、すべてのレコードを第３レコードとし、
前記第２カラムと、前記第３レコードと、が交差するフィールドに格納されている前記処理対象データのうち、前記第２カラムと、前記第２レコードと、が交差するフィールドに格納されている前記処理対象データと同じ値を有するものを所定の数字である第３数字で変換し、
前記第２カラムと、前記第３レコードと、が交差するフィールドに格納されている前記処理対象データのうち、前記第２カラムと、前記第２レコードと、が交差するフィールドに格納されている前記処理対象データと異なる値を有するものを前記第３数字とは異なる第４数字で変換し、式（２）に基づく前記マハラノビス距離を算出することで、前記第２指標を算出する
ことを特徴とする請求項２に記載の外れ値要因推定支援装置。
Ｄ３＝｜（Ｘ３−μ３）｜／σ３ ・・・ （２）
ここで、Ｄ３は、前記マハラノビス距離であり、Ｘ３は、前記第３数字であり、μ３は、前記第２カラムと、前記第３レコードと、が交差するフィールドにおける前記第３数字及び前記第４数字の平均値であり、σ３は、前記第２カラムと、前記第３レコードと、が交差するフィールドにおける前記第３数字及び前記第４数字の標準偏差である。 The columns for which the second index is calculated are two columns, a first column and a second column different from the first column, and the processing target data in the first column and the second column Is made up of qualitative data that is not numerical,
The calculation unit,
In the table, a record in which the processing target data corresponding to the second outlier is stored is a second record, and the first column among the processing target data stored in the first column, All records having the processing target data having the same value as the processing target data stored in the field where the second record intersects are set as the third record,
Of the processing target data stored in the field where the second column and the third record intersect, the data stored in the field where the second column and the second record intersect Convert the data that has the same value as the data to be processed with the third number, which is a predetermined number,
Of the processing target data stored in the field where the second column and the third record intersect, the data stored in the field where the second column and the second record intersect The second index is calculated by converting a data having a different value from the data to be processed with a fourth numeral different from the third numeral and calculating the Mahalanobis distance based on the equation (2). The outlier factor estimation support device according to claim 2.
D3=|(X3-μ3)|/σ3 (2)
Here, D3 is the Mahalanobis distance, X3 is the third digit, .mu.3, the second column, the third record and the third digit and the fourth in the field of cross Σ3 is the average value of the numbers, and σ3 is the standard deviation of the third number and the fourth number in the field where the second column and the third record intersect.
前記算出部は、
前記テーブルにおいて、前記第２外れ値に該当する前記処理対象データが格納されているレコードを第４レコードとし、前記第３カラムに格納されている前記処理対象データのうち、前記第３カラムと、前記第４レコードと、が交差するフィールドに格納されている前記処理対象データと同じ値の前記処理対象データを有する、すべてのレコードを第５レコードとし、
前記第４カラムと、前記第５レコードと、が交差するフィールドに格納されている前記処理対象データについて、式（３）に基づく前記マハラノビス距離を算出することで、前記第２指標を算出する
ことを特徴とする請求項２に記載の外れ値要因推定支援装置。
Ｄ４＝｜（Ｘ４−μ４）｜／σ４ ・・・ （３）
ここで、Ｄ４は、前記マハラノビス距離であり、Ｘ４は、前記第４カラムと、前記第４レコードと、が交差するフィールドに格納されている前記処理対象データの値であり、μ４は、前記第４カラムと、前記第５レコードと、が交差するフィールドに格納されている前記処理対象データの値の平均値であり、σ４は、前記第４カラムと、前記第５レコードと、が交差するフィールドに格納されている前記処理対象データの値の標準偏差である。 The columns subject to calculation of the second index are a third column and a fourth column different from the third column, and the processing target data in the third column is not a numerical value. The data to be processed in the fourth column is made up of quantitative data that is numerical data,
The calculation unit,
In the table, the record in which the processing target data corresponding to the second outlier is stored is a fourth record, and among the processing target data stored in the third column, the third column, All records having the processing target data having the same value as the processing target data stored in the field where the fourth record intersects are set to the fifth record,
Calculating the second index by calculating the Mahalanobis distance based on Expression (3) for the processing target data stored in the field where the fourth column and the fifth record intersect. The outlier factor estimation support device according to claim 2.
D4=|(X4-μ4)|/σ4 (3)
Here, D4, the a Mahalanobis distance, X4 is a fourth column, and the fourth record, is a value of the processing target data stored in the field intersecting, .mu.4, the first 4 column is the average value of the values of the processing target data stored in the field where the fifth record intersects, and σ4 is a field where the fourth column intersects with the fifth record Is the standard deviation of the values of the processing target data stored in.
前記算出部は、
当該量的データに対する前記マハラノビス距離を算出することで、前記第２指標を算出する
ことを特徴とする請求項２に記載の外れ値要因推定支援装置。 When the processing target data stored in the column that is the calculation target of the second index is composed of numerical data that is numerical data,
The calculation unit,
By calculating the Mahalanobis distance for the quantitative data, outliers factor estimating support device according to claim 2, characterized in that to calculate the second index.
前記算出部は、
前記第５カラム及び前記第６カラムにおけるデータに対し、前記第５カラムを一方の変数とし、前記第６カラムを他方の変数とする２変数のマハラノビス距離を算出する
ことを特徴とする請求項２に記載の外れ値要因推定支援装置。 The columns for which the second index is calculated are a fifth column and a sixth column different from the fifth column, and the processing target data in the fifth column and the sixth column Is composed of numerical data that is numerical data,
The calculation unit,
The Mahalanobis distance of two variables is calculated for the data in the fifth column and the sixth column, with the fifth column as one variable and the sixth column as the other variable. The outlier factor estimation support device described in.
を有することを特徴とする請求項１に記載の外れ値要因推定支援装置。 The outlier factor estimation support device according to claim 1, further comprising a ranking processing unit that calculates a ranking of the column based on the second index.
前記ランキング処理部によって算出された前記カラムのランキングを、前記推定した要因とともに前記表示部に表示する
ことを特徴とする請求項８に記載の外れ値要因推定支援装置。 The display processing unit,
The outlier factor estimation support device according to claim 8, wherein the ranking of the column calculated by the ranking processing unit is displayed on the display unit together with the estimated factor.
を有することを特徴とする請求項１に記載の外れ値要因推定支援装置。 The outlier factor estimation according to claim 1, further comprising: a registration processing unit that additionally stores the second basic statistic and the second index regarding the factor displayed on the display unit in the factor data. Support device.
個々の前記処理対象データは、複数のカラム及び複数のレコードによって構成されるテーブルの各フィールドに格納されており、
外れ値要因推定支援装置は、
前記テーブルに格納されている前記処理対象データのうち、特定のカラム及び特定のレコードに対応する前記処理対象データが表示部に表示されている状態で、前記表示部に表示されている前記処理対象データの外れ値である第２外れ値を指定する指定ステップと、
前記テーブルにおいて、指定された前記第２外れ値が格納されている前記レコードにおける前記処理対象データのそれぞれが、それぞれの前記カラムに格納されている他の前記処理対象データから、どれほど離れているかの指標である第２指標、及び、前記カラムに格納されている前記処理対象データの基礎統計量である第２基礎統計量を、前記表示部に表示されている前記特定のカラム以外のすべての前記カラムについて算出する算出ステップと、
前記要因データに格納されている前記第１基礎統計量及び前記第１指標と、前記算出ステップよって算出された、それぞれの前記第２基礎統計量及び前記第２指標とを比較することで、指定された前記第２外れ値が生じた要因を推定する要因推定ステップと、
前記推定された要因を前記表示部に表示する表示ステップと、
を実行し、
前記第１基礎統計量及び前記第１指標は、それぞれ過去に前記第２基礎統計量及び前記第２指標として算出されたデータである
ことを特徴とする外れ値要因推定支援方法。 A factor causing a first outlier that is an outlier in the past, a first basic statistic that is a basic statistic of data when the factor occurs, and the first outlier is other than the first outlier. Storage unit that holds the factor data stored in association with the first index, which is an index indicating how far away the data is, and the processing target data that is the data for which the factor is estimated. An outlier factor estimation support method for an outlier estimation support device having:
Each of the data to be processed is stored in each field of a table composed of a plurality of columns and a plurality of records,
The outlier factor estimation support device is
Of the processing target data stored in the table, the processing target displayed on the display unit in a state where the processing target data corresponding to a specific column and a specific record is displayed on the display unit. A step of designating a second outlier that is an outlier of the data,
In the table, how far each of the processing target data in the record in which the designated second outlier is stored is separated from the other processing target data stored in each of the columns. The second index, which is an index, and the second basic statistic, which is the basic statistic of the processing target data stored in the column, are stored in all the columns other than the specific column displayed in the display unit. A calculation step for calculating the column,
Said first basic statistics and the first index is stored in the source data, calculated by said calculation step, by comparing each of the said second basic statistics and the second indicator, designated A factor estimating step of estimating a factor causing the generated second outlier,
A display step of displaying the estimated factors on the display unit,
The execution,
The first basic statistic and the first index are data calculated as the second basic statistic and the second index in the past, respectively.
Outlier factor estimating support wherein a call.
個々の前記処理対象データは、複数のカラム及び複数のレコードによって構成されるテーブルの各フィールドに格納されており、
コンピュータに、
前記テーブルに格納されている前記処理対象データのうち、特定のカラム及び特定のレコードに対応する前記処理対象データが表示部に表示されている状態で、前記表示部に表示されている前記処理対象データの外れ値である第２外れ値を指定する指定ステップと、
前記テーブルにおいて、指定された前記第２外れ値が格納されている前記レコードにおける前記処理対象データのそれぞれが、それぞれの前記カラムに格納されている他の前記処理対象データから、どれほど離れているかの指標である第２指標、及び、前記カラムに格納されている前記処理対象データの基礎統計量である第２基礎統計量を、前記表示部に表示されている前記特定のカラム以外のすべての前記カラムについて算出する算出ステップと、
前記要因データに格納されている前記第１基礎統計量及び前記第１指標と、前記算出ステップよって算出された、それぞれの前記第２基礎統計量及び前記第２指標とを比較することで、指定された前記第２外れ値が生じた要因を推定する要因推定ステップと、
前記推定された要因を前記表示部に表示する表示ステップと、
を実行し、
前記第１基礎統計量及び前記第１指標は、それぞれ過去に前記第２基礎統計量及び前記第２指標として算出されたデータである
ことを特徴とする外れ値要因推定支援プログラム。 A factor that causes a first outlier that is an outlier in the past, a first basic statistic that is a basic statistic of data when the factor occurs, and the first outlier is other than the first outlier. Storage unit that holds the factor data stored in association with the first index, which is an index indicating how far away the data is, and the processing target data that is the data for which the factor is estimated. An outlier factor estimation support program executed by an outlier estimation support device having
Each of the data to be processed is stored in each field of a table composed of a plurality of columns and a plurality of records,
On the computer,
Of the processing target data stored in the table, the processing target displayed on the display unit in a state where the processing target data corresponding to a specific column and a specific record is displayed on the display unit. A step of designating a second outlier that is an outlier of the data,
In the table, how far each of the processing target data in the record in which the designated second outlier is stored is separated from the other processing target data stored in each of the columns. The second index, which is an index, and the second basic statistic, which is the basic statistic of the processing target data stored in the column, are stored in all the columns other than the specific column displayed in the display unit. A calculation step for calculating the column,
Said first basic statistics and the first index is stored in the source data, calculated by said calculation step, by comparing each of the said second basic statistics and the second indicator, designated A factor estimating step of estimating a factor causing the generated second outlier,
A display step of displaying the estimated factors on the display unit,
The execution,
The first basic statistic and the first index are data calculated as the second basic statistic and the second index in the past, respectively.
Outlier factor estimating support program which is characterized a call.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019053875A JP6719612B1 (en) | 2019-03-20 | 2019-03-20 | Outlier factor estimation support device, outlier factor estimation support method, and outlier factor estimation support program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019053875A JP6719612B1 (en) | 2019-03-20 | 2019-03-20 | Outlier factor estimation support device, outlier factor estimation support method, and outlier factor estimation support program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6719612B1 true JP6719612B1 (en) | 2020-07-08 |
| JP2020154891A JP2020154891A (en) | 2020-09-24 |
Family
ID=71402452
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019053875A Active JP6719612B1 (en) | 2019-03-20 | 2019-03-20 | Outlier factor estimation support device, outlier factor estimation support method, and outlier factor estimation support program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6719612B1 (en) |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005038256A (en) * | 2003-07-16 | 2005-02-10 | Jgs:Kk | Effective factor information selection device, effective factor information selection method, program, and recording medium |
| JP4394728B2 (en) * | 2008-04-15 | 2010-01-06 | シャープ株式会社 | Influence factor identification device |
| JP5541790B2 (en) * | 2010-06-04 | 2014-07-09 | メタウォーター株式会社 | Plant operation monitoring device, system and program |
| JP6095066B2 (en) * | 2013-10-01 | 2017-03-15 | 株式会社日立製作所 | Data display system |
| JPWO2017109903A1 (en) * | 2015-12-24 | 2018-03-22 | 株式会社東芝 | Abnormal cause estimation apparatus and abnormality cause estimation method |
| JP6895816B2 (en) * | 2017-06-15 | 2021-06-30 | 株式会社 日立産業制御ソリューションズ | Abnormality diagnosis device, abnormality diagnosis method and abnormality diagnosis program |
| JP2019016209A (en) * | 2017-07-07 | 2019-01-31 | 株式会社東芝 | Diagnosis device, diagnosis method, and computer program |
-
2019
- 2019-03-20 JP JP2019053875A patent/JP6719612B1/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020154891A (en) | 2020-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10572512B2 (en) | Detection method and information processing device | |
| US9753801B2 (en) | Detection method and information processing device | |
| JP5740459B2 (en) | Equipment status monitoring method | |
| JP7221644B2 (en) | Equipment failure diagnosis support system and equipment failure diagnosis support method | |
| US8212817B2 (en) | Spatial temporal visual analysis of thermal data | |
| JP4046309B2 (en) | Plant monitoring device | |
| US11170332B2 (en) | Data analysis system and apparatus for analyzing manufacturing defects based on key performance indicators | |
| CN112071432B (en) | Medical data analysis method, system, medium and device | |
| JP6886870B2 (en) | Plant operation monitoring system and plant operation monitoring method | |
| JP2007034700A (en) | Prediction program and prediction device | |
| JP2009054843A (en) | Device, method and program for process abnormality detection | |
| JP2014235654A (en) | Risk evaluation device | |
| Höhle et al. | Aberration detection in R illustrated by Danish mortality monitoring | |
| JP6517991B1 (en) | Abnormality sign diagnosis system, management device, and abnormality sign diagnosis method | |
| JP4318221B2 (en) | Medical information analysis apparatus, method and program | |
| JP6719612B1 (en) | Outlier factor estimation support device, outlier factor estimation support method, and outlier factor estimation support program | |
| WO2019073512A1 (en) | System analysis method, system analysis device, and program | |
| KR20140141534A (en) | Method and system for predicting sepsis risk | |
| JP7396213B2 (en) | Data analysis system, data analysis method, and data analysis program | |
| JP7458903B2 (en) | PERFORMANCE ANALYSIS APPARATUS AND PERFORMANCE ANALYSIS METHOD | |
| US20210182762A1 (en) | Work instruction system and work instruction method | |
| CN111596619B (en) | Computer system and facility monitoring method | |
| JP2017207878A (en) | Missing data estimation method, missing data estimation device, and missing data estimation program | |
| CN114095345A (en) | Method, device, equipment and storage medium for evaluating health condition of host network | |
| WO2016163008A1 (en) | Fault diagnostic device and fault diagnostic method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190320 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190320 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190423 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190725 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190730 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190930 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200107 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200306 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200526 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200616 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6719612 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |