JP2009276967A - 外れ値検出方法、外れ値検出装置およびプログラム - Google Patents
外れ値検出方法、外れ値検出装置およびプログラム Download PDFInfo
- Publication number
- JP2009276967A JP2009276967A JP2008126897A JP2008126897A JP2009276967A JP 2009276967 A JP2009276967 A JP 2009276967A JP 2008126897 A JP2008126897 A JP 2008126897A JP 2008126897 A JP2008126897 A JP 2008126897A JP 2009276967 A JP2009276967 A JP 2009276967A
- Authority
- JP
- Japan
- Prior art keywords
- outlier
- upper limit
- data
- sum
- learning data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 77
- 238000013450 outlier detection Methods 0.000 title claims description 46
- 238000004364 calculation method Methods 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 15
- 230000006870 function Effects 0.000 claims description 32
- 238000010187 selection method Methods 0.000 claims description 12
- 230000009977 dual effect Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 5
- 238000003860 storage Methods 0.000 abstract description 7
- 238000005259 measurement Methods 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 7
- 230000035945 sensitivity Effects 0.000 description 5
- QGZKDVFQNNGYKY-UHFFFAOYSA-N Ammonia Chemical compound N QGZKDVFQNNGYKY-UHFFFAOYSA-N 0.000 description 4
- GRYLNZFGIOXLOG-UHFFFAOYSA-N Nitric acid Chemical group O[N+]([O-])=O GRYLNZFGIOXLOG-UHFFFAOYSA-N 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 3
- 229910017604 nitric acid Inorganic materials 0.000 description 3
- MWUXSHHQAYIFBG-UHFFFAOYSA-N Nitric oxide Chemical compound O=[N] MWUXSHHQAYIFBG-UHFFFAOYSA-N 0.000 description 2
- 229910021529 ammonia Inorganic materials 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 239000006227 byproduct Substances 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 239000000498 cooling water Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【解決手段】外れ値検出装置は、学習データを記憶する記憶部1と、μ−ε−SVRにより学習データから各データのラグランジュ乗数を求めるSVR計算部2と、ラグランジュ乗数が最大となるデータを外れ値の候補とする外れ値候補選択部3と、ラグランジュ乗数の総和が上限値より小さいかどうかを判定するラグランジュ乗数総和上限判定部4と、ラグランジュ乗数の総和が上限値と等しい場合に、外れ値候補選択部3で選択されたデータを外れ値として学習データから除去する外れ値除去部5と、ラグランジュ乗数の総和が上限値より小さくなるまで、外れ値を除去した後の学習データについて処理を繰り返し実行させる処理制御部6とを有する。
【選択図】 図1
Description
ε−SVRの主問題は、学習データを(xi,yi)(i=1,・・・・,l)とすると、次式のように表すことができる。なお、xiはベクトル量である。
外れ値検出装置は、あらかじめ用意された複数の学習データを記憶する記憶部1と、μ−ε−SVRにより学習データから各データのラグランジュ乗数を求めるSVR計算部2と、各学習データのうちラグランジュ乗数が最大となるデータを外れ値の候補として選択する外れ値候補選択部3と、各学習データのラグランジュ乗数の総和が所定の上限値より小さいかどうかを判定するラグランジュ乗数総和上限判定部4と、ラグランジュ乗数の総和が上限値以上の場合に、外れ値候補選択部3で選択されたデータを外れ値として確定し、このデータを学習データの中から除去する外れ値除去部5と、ラグランジュ乗数総和上限判定部4の判定においてラグランジュ乗数の総和が上限値より小さくなるまで、外れ値を除去した後の学習データについてSVR計算部2と外れ値候補選択部3とラグランジュ乗数総和上限判定部4と外れ値除去部5とに処理を繰り返し実行させる処理制御部6とを有する。
まず、SVR計算部2は、式(3)、式(4)を用いて、記憶部1に記憶されている学習データ(xi,yi)(i=1,・・・・,l)から各データのラグランジュ乗数αi,α’iを求める(ステップS100)。
次に、ラグランジュ乗数総和上限判定部4は、SVR計算部2の計算結果から、式(6)に示すように各学習データのラグランジュ乗数αi,α’iの総和Σ(αi+α’i)が上限値2μより小さいかどうかを判定する(ステップS102)。
このように人工的に作成したデータを学習データとして、本実施の形態の外れ値検出装置によって外れ値を検出した結果を図4(A)〜図4(D)に示す。図4(A)〜図4(D)において、40は学習データ、41は学習データから推定した関数によって入力xiから出力yiを計算した推定結果、42〜44は外れ値を表している。
Claims (5)
- 個々のデータのラグランジュ乗数に上限を規定せず、ラグランジュ乗数の総和の上限を規定するμ−ε−SVR(サポートベクトル回帰)により、複数の学習データから各データのラグランジュ乗数を求める計算手順と、
各学習データのうち前記ラグランジュ乗数が最大となるデータを外れ値の候補として選択する外れ値候補選択手順と、
各学習データの前記ラグランジュ乗数の総和が所定の上限値より小さいかどうかを判定するラグランジュ乗数総和上限判定手順と、
前記ラグランジュ乗数の総和が前記上限値の場合に、前記外れ値候補選択手順で選択したデータを外れ値として確定し、このデータを前記複数の学習データの中から除去する外れ値除去手順と、
前記ラグランジュ乗数総和上限判定手順において前記ラグランジュ乗数の総和が前記上限値より小さくなるまで、前記外れ値を除去した後の学習データについて前記計算手順と外れ値候補選択手順とラグランジュ乗数総和上限判定手順と外れ値除去手順とを繰り返し実行させる制御手順とを備えることを特徴とする外れ値検出方法。 - 個々のデータのラグランジュ乗数に上限を規定せず、ラグランジュ乗数の総和の上限を規定するμ−ε−SVR(サポートベクトル回帰)により、複数の学習データから各データのラグランジュ乗数を求める計算手段と、
各学習データのうち前記ラグランジュ乗数が最大となるデータを外れ値の候補として選択する外れ値候補選択手段と、
各学習データの前記ラグランジュ乗数の総和が所定の上限値より小さいかどうかを判定するラグランジュ乗数総和上限判定手段と、
前記ラグランジュ乗数の総和が前記上限値の場合に、前記外れ値候補選択手段で選択されたデータを外れ値として確定し、このデータを前記複数の学習データの中から除去する外れ値除去手段と、
前記ラグランジュ乗数総和上限判定手段の判定において前記ラグランジュ乗数の総和が前記上限値より小さくなるまで、前記外れ値を除去した後の学習データについて前記計算手段と外れ値候補選択手段とラグランジュ乗数総和上限判定手段と外れ値除去手段とに処理を繰り返し実行させる制御手段とを備えることを特徴とする外れ値検出装置。 - 個々のデータのラグランジュ乗数に上限を規定せず、ラグランジュ乗数の総和の上限を規定するμ−ε−SVR(サポートベクトル回帰)により、複数の学習データから各データのラグランジュ乗数を求める計算手順と、
各学習データのうち前記ラグランジュ乗数が最大となるデータを外れ値の候補として選択する外れ値候補選択手順と、
各学習データの前記ラグランジュ乗数の総和が所定の上限値より小さいかどうかを判定するラグランジュ乗数総和上限判定手順と、
前記ラグランジュ乗数の総和が前記上限値の場合に、前記外れ値候補選択手順で選択したデータを外れ値として確定し、このデータを前記複数の学習データの中から除去する外れ値除去手順と、
前記ラグランジュ乗数総和上限判定手順において前記ラグランジュ乗数の総和が前記上限値より小さくなるまで、前記外れ値を除去した後の学習データについて前記計算手順と外れ値候補選択手順とラグランジュ乗数総和上限判定手順と外れ値除去手順とを繰り返し実行させる制御手順とを、コンピュータに実行させることを特徴とする外れ値検出プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008126897A JP5186278B2 (ja) | 2008-05-14 | 2008-05-14 | 外れ値検出方法、外れ値検出装置およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008126897A JP5186278B2 (ja) | 2008-05-14 | 2008-05-14 | 外れ値検出方法、外れ値検出装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009276967A true JP2009276967A (ja) | 2009-11-26 |
JP5186278B2 JP5186278B2 (ja) | 2013-04-17 |
Family
ID=41442349
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008126897A Active JP5186278B2 (ja) | 2008-05-14 | 2008-05-14 | 外れ値検出方法、外れ値検出装置およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5186278B2 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012164029A (ja) * | 2011-02-03 | 2012-08-30 | Fujitsu Ltd | 入力パラメータ算出方法、装置及びプログラム |
CN104713730A (zh) * | 2015-01-29 | 2015-06-17 | 西北工业大学 | 一种根据振动信号确定飞机发动机退化率的方法 |
JP2016537702A (ja) * | 2013-09-27 | 2016-12-01 | ドイッチェ テレコム アーゲー | システムから取得される測定値を評価する方法及びシステム |
JP2017083188A (ja) * | 2015-10-23 | 2017-05-18 | アズビル株式会社 | 特性モデル同定方法、特性モデル同定装置、およびインテリジェントセンサ |
JP2019191817A (ja) * | 2018-04-23 | 2019-10-31 | 一般財団法人電力中央研究所 | 電力需要予測装置、電力需要予測方法及び電力需要予測プログラム |
CN111127459A (zh) * | 2019-12-30 | 2020-05-08 | 武汉理工大学 | 路面车辙检测的图像实时处理*** |
CN112102890A (zh) * | 2020-07-28 | 2020-12-18 | 浙江中控技术股份有限公司 | 一种基于机器学习模型的mcs合成装置反应温度预测方法 |
JP2022025095A (ja) * | 2014-12-10 | 2022-02-09 | コーニンクレッカ フィリップス エヌ ヴェ | 機械学習を用いた医用イメージングの変換のためのシステムおよび方法 |
JP2023087998A (ja) * | 2021-12-14 | 2023-06-26 | 株式会社日立製作所 | 機械学習システムおよび機械学習方法 |
-
2008
- 2008-05-14 JP JP2008126897A patent/JP5186278B2/ja active Active
Non-Patent Citations (5)
Title |
---|
CSNG200700813005; 尹 禮分 他2名: '計算知能を用いた逐次近似多目的最適化手法' 計測自動制御学会論文集 第43巻, 第8号, 20070831, p.672-678., 社団法人計測自動制御学会 * |
JPN6012067596; 尹 禮分 他2名: '計算知能を用いた逐次近似多目的最適化手法' 計測自動制御学会論文集 第43巻, 第8号, 20070831, p.672-678., 社団法人計測自動制御学会 * |
JPN7012005307; E.M.Jordaan et al.: 'Robust outlier detection using SVM regression' 2004 IEEE International Joint Conference on Neural Networks Vol.3, 200407, p.2017-2022. * |
JPN7012005308; Hirotaka Nakayama, Yeboon Yun: 'Support Vector Regression Based on Goal Programming and Multi-objective Programming' 2006 International Joint Conference on Neural Networks(IJCNN '06) , 20060716, p.1156-1161. * |
JPN7012005309; Johan COLLIEZ et al.: 'Robust Regression and Outlier Detection withSVR: Application to Optic Flow Estimation' British Machine Vision Conference 2006 , 2006 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012164029A (ja) * | 2011-02-03 | 2012-08-30 | Fujitsu Ltd | 入力パラメータ算出方法、装置及びプログラム |
JP2016537702A (ja) * | 2013-09-27 | 2016-12-01 | ドイッチェ テレコム アーゲー | システムから取得される測定値を評価する方法及びシステム |
JP2022025095A (ja) * | 2014-12-10 | 2022-02-09 | コーニンクレッカ フィリップス エヌ ヴェ | 機械学習を用いた医用イメージングの変換のためのシステムおよび方法 |
CN104713730A (zh) * | 2015-01-29 | 2015-06-17 | 西北工业大学 | 一种根据振动信号确定飞机发动机退化率的方法 |
JP2017083188A (ja) * | 2015-10-23 | 2017-05-18 | アズビル株式会社 | 特性モデル同定方法、特性モデル同定装置、およびインテリジェントセンサ |
JP2019191817A (ja) * | 2018-04-23 | 2019-10-31 | 一般財団法人電力中央研究所 | 電力需要予測装置、電力需要予測方法及び電力需要予測プログラム |
JP7098400B2 (ja) | 2018-04-23 | 2022-07-11 | 一般財団法人電力中央研究所 | 電力需要予測装置、電力需要予測方法及び電力需要予測プログラム |
CN111127459A (zh) * | 2019-12-30 | 2020-05-08 | 武汉理工大学 | 路面车辙检测的图像实时处理*** |
CN112102890A (zh) * | 2020-07-28 | 2020-12-18 | 浙江中控技术股份有限公司 | 一种基于机器学习模型的mcs合成装置反应温度预测方法 |
CN112102890B (zh) * | 2020-07-28 | 2023-12-15 | 浙江中控技术股份有限公司 | 一种基于机器学习模型的mcs合成装置反应温度预测方法 |
JP2023087998A (ja) * | 2021-12-14 | 2023-06-26 | 株式会社日立製作所 | 機械学習システムおよび機械学習方法 |
JP7359829B2 (ja) | 2021-12-14 | 2023-10-11 | 株式会社日立製作所 | 機械学習システムおよび機械学習方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5186278B2 (ja) | 2013-04-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5186278B2 (ja) | 外れ値検出方法、外れ値検出装置およびプログラム | |
Zhang et al. | Applications and comparisons of four time series models in epidemiological surveillance data | |
EP3380948B1 (en) | Environmental monitoring systems, methods and media | |
JP6458403B2 (ja) | 予測モデル生成装置、予測モデル生成方法及びプログラム | |
JP2017194341A (ja) | 異常診断方法、異常診断装置、及び異常診断プログラム | |
Jin et al. | Sequential measurement strategy for wafer geometric profile estimation | |
Shittu et al. | A systematic review of structural reliability methods for deformation and fatigue analysis of offshore jacket structures | |
JP5261740B2 (ja) | コンクリート構造物の中性化深さ予測装置および中性化深さをコンピュータに計算させるためのプログラム | |
CN107436983A (zh) | 一种基于多元样本差异的o型橡胶密封圈寿命预测方法 | |
Ballesteros et al. | Bayesian hierarchical models for uncertainty quantification in structural dynamics | |
Yuan et al. | Calibration of stochastic computer models using stochastic approximation methods | |
Omitaomu et al. | Online support vector regression with varying parameters for time-dependent data | |
Binning et al. | Sigma point filters for dynamic nonlinear regime switching models | |
Dasgupta et al. | Characterizing the stability of nisq devices | |
Döppel et al. | Efficient neural network models of chemical kinetics using a latent asinh rate transformation | |
JP2013061768A (ja) | 最適モデル推定装置、方法、及びプログラム | |
Khakifirooz et al. | Neural ordinary differential equation for sequential optimal design of fatigue test under accelerated life test analysis | |
Farid et al. | Data-driven sensor placement optimization for accurate and early prediction of stochastic complex systems | |
Li et al. | Nonlinear model identification from multiple data sets using an orthogonal forward search algorithm | |
Yang et al. | Bayesian geoadditive modelling of climate extremes with nonparametric spatially varying temporal effects | |
JP5738778B2 (ja) | 最適モデル推定装置、方法、及びプログラム | |
EP3895014A1 (en) | Identifying faults in system data | |
CN112884151B (zh) | 一种基于因果推理对玻璃熔炉环境控制的方法及*** | |
US20130159373A1 (en) | Matrix storage for system identification | |
CN114692529A (zh) | 一种cfd高维响应的不确定度量化方法、装置、计算机设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110307 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130121 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5186278 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160125 Year of fee payment: 3 |