JP2006252259A - データ分析装置及び方法 - Google Patents
データ分析装置及び方法 Download PDFInfo
- Publication number
- JP2006252259A JP2006252259A JP2005068885A JP2005068885A JP2006252259A JP 2006252259 A JP2006252259 A JP 2006252259A JP 2005068885 A JP2005068885 A JP 2005068885A JP 2005068885 A JP2005068885 A JP 2005068885A JP 2006252259 A JP2006252259 A JP 2006252259A
- Authority
- JP
- Japan
- Prior art keywords
- data
- samples
- coordinate value
- similarity
- partial space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007405 data analysis Methods 0.000 title claims abstract description 7
- 238000000034 method Methods 0.000 title claims description 69
- 238000004364 calculation method Methods 0.000 claims description 38
- 230000002159 abnormal effect Effects 0.000 abstract description 22
- 239000013598 vector Substances 0.000 description 26
- 239000011159 matrix material Substances 0.000 description 22
- 238000001514 detection method Methods 0.000 description 18
- 230000000875 corresponding effect Effects 0.000 description 17
- 238000004458 analytical method Methods 0.000 description 8
- 238000013500 data storage Methods 0.000 description 5
- 230000017105 transposition Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000000513 principal component analysis Methods 0.000 description 3
- 238000005034 decoration Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009408 flooring Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Abstract
【解決手段】一定期間の過去の複数サンプルの各データを用いて第1の部分空間を作成する第1の部分空間作成部31と、現時点における複数のサンプルの各データを用いて第2の部分空間を作成する第2の部分空間作成部32と、各部分空間の類似度を求める類似度算出部4と、各サンプル間の第1及び第2の部分空間の類似度に基づいて各サンプルに対応する一定期間及び現時点における各二次元座標値を求める座標値算出部7と、求めた各座標値を出力する結果出力部8とを備えている。
【選択図】 図1
Description
しかし、クレジットカードの不正利用や、ネットワーク侵入が行われた場合には、時系列データに過去とは異なる傾向が発生することが知られている。つまり、時系列データを解析し、そのような異なる傾向を検出することで、不正利用や侵入などによって発生する異常状態を動的に検出することが可能となる。時系列データに発生する異なる傾向とは、図11(a)に示すように正常な傾向からかけ離れた値となる場合や、図11(b)に示すように過去の傾向とは異なる別の傾向に変化する場合があり、前者が発生する箇所は、当該時系列データにおける「異常値」と呼ばれており、後者が発生する箇所は、当該時系列データにおける「変化点」と呼ばれている。
(1)全系列の中で2つの系列の組の相関関係によって検出する手法(特許文献1、非特許文献1参照)。
(2)全系列を発生させる確率モデルを仮定し、過去と現在における確率モデルの違いによって検出する手法(非特許文献2参照)。
(3)主成分分析を用い、主成分の違いによって検出する手法(非特許文献3参照)
(4)過去の系列から学習した予測式に基づいて検出する手法(特許文献2)
以下、この4つの手法について説明する。
最初に、手法(1)は、図12に示すように、例えば4つのデータ系列が入力された場合に、4つの系列の中から2つの系列を選択し、選択した2つの系列間における相関関係があるか否かを全ての組み合わせについて調べる。そして、相関のある2組の系列をルールとして記憶しておき、新たに入力されたデータと記憶しているルールとが乖離している場合に異常値として検出する手法である。
次に、手法(2)は、図13に示すように、例えば4つのデータ系列が入力された場合に、入力された4つの系列を生成することができる確率モデルを過去の全系列から構成し、構成した確率モデルと、新たに入力されたデータを含めた全系列に基づいて構成した確率モデルとの差分が大きい場合を異常値として検出する手法である。また、手法(2)を利用して、変化点検出を行う場合には、過去の全系列から構成した確率モデルと、新たに入力されたデータを含めて構成した確率モデルとの差分が、過去のデータから得られた平均値に比べて大きく変化した場合を変化点として検出を行う。
なお、手法(2)において異常値の検出は、上述した通り確率モデルの変化によって判定するが、用いる確率モデルとしては、例えば、離散値の場合に適用されるヒストグラム法の確率密度関数や、連続値の場合に適用される混合正規分布がある。
次に、手法(3)は、図14に示すように全系列に対して主成分分析を行うことによって求められる第1主成分ベクトルと、新たに入力されたベクトルを構成するデータとの投影距離が過去の投影距離と比べて大きくなったか否かによって異常値を検出する手法である。
最後に、手法(4)は、図15に示すように過去と現在の系列データの一部の値から系列データをクラスに分類し、当該クラスに予め対応付けられている予測式から予測値を求め、実際の値との誤差の大きさに基づいて異常値を検出する手法である。
具体的には、最初に、図15の(1)に示すように、系列データのうち破線で囲まれたデータに基づいて該当するクラスに分類する。クラス分類の方法は予め過去のデータに基づいて学習されており、同図のデータはクラス2に分類されている。
次に、図15の(2)に示すようにクラス2の予測式に基づいて時刻4の画素4に対応する予測値を算出する。各クラスに対応付けられている予測式は過去のデータに基づいて求められ、予め設定されている。そして、算出した予測値と実際の画素4、時刻4の値「23」との誤差を算出し、予め設定されている閾値1と閾値2に基づいて、誤差が閾値1を超える回数が閾値2を超えた場合に異常値として判定することができる。
最初に、図4(a)に示すように、部分空間作成部3によって抽出されたベクトルがベクトル「x1」として表され、部分空間がベクトル「y1」として表される場合について説明する。ここで、x1及びy1は、d次元ベクトルの転置によって表される。即ち、x1={x11,x12,…,x1d}T、y1={y11,y12,…,y1d}Tとして表現される。なお、Tは転置を意味する。
パターン1の場合に、第1類似度はベクトルとベクトルの内積をベクトルの大きさで規格化した値、即ちベクトル同士のなす角度の余弦として算出され、第1類似度をSとした場合に以下の式(4)によって求められる。
次に、図4(b)に示すように、部分空間作成部3によって抽出されたベクトルがベクトル「x1」として表され、部分空間が複数のベクトルによって構成される空間「y1,y2,y3」として表される場合について説明する。ここで、x1及びy1,y2,y3はそれぞれd次元ベクトルの転置として表される。即ち、x1={x11,x12,…,x1d}T、y1={y11,y12,…,y1d}T、y2={y21,y22,…,y2d}T、y3={y31,y32,…,y3d}Tとして表現される。なお、Tは転置を意味する。
パターン2の場合に、第1類似度Sは、以下の式(5)によって求められる。
次に、図4(c)に示すように、部分空間作成部3によって抽出されたベクトルが空間「x1,x2」として表され、部分空間が空間「y1,y2,y3」として表される場合について説明する。ここで、x1,x2及びy1,y2,y3は図4(b)と同じくd次元ベクトルの転置として表される。即ち、x1={x11,x12,…,x1d}T、x2={x21,x22,…,x2d}T、y1={y11,y12,…,y1d}T、y2={y21,y22,…,y2d}T、y3={y31,y32,…,y3d}Tとして表現される。なお、Tは転置を意味する。
パターン3の場合に、第1類似度Sは、X=[x1,x2]、Y=[y1,y2,y3]としたときに、以下の式(6)の最大固有値μmaxとして算出される。
2 データ記憶部
3 部分空間作成部
31 第1の部分空間作成部
32 第2の部分空間作成部
4 類似度算出部
5 モデル記憶部
6 類似度記憶部
7 座標値算出部
10 分析装置
Claims (5)
- 一定期間における複数のサンプルの各データを用いて第1の部分空間を作成する第1の部分空間作成手段と、
前記一定期間以後の所定の時点における複数のサンプルの各データを用いて第2の部分空間を作成する第2の部分空間作成手段と、
第1の部分空間及び第2の部分空間を用いて各サンプル間の類似度を求める類似度算出手段と、
求めた類似度を用いて前記一定期間における複数の各サンプルに対応する各二次元座標値と前記所定の時点における複数の各サンプルに対応する各二次元座標値を求める座標値算出手段と、
座標値算出手段が求めた各座標値を出力する出力手段と
を備えることを特徴とするデータ分析装置。 - 前記座標値算出手段が、類似度を表す配列に対して多次元尺度法を適用して座標値を表す配列を算出するものであることを特徴とする請求項1記載のデータ分析装置。
- 前記出力手段が、前記座標値算出手段が求めた各座標値に対応してサンプルを示す識別子を2次元座標上に配置して表示するものであることを特徴とする請求項1又は2に記載のデータ分析装置。
- 前記出力手段が、前記座標値算出手段が求めた前記一定期間における各座標値から前記所定の時点における各座標値に向けて配置された矢印を表示するものであることを特徴とする請求項1〜3のいずれか1項に記載のデータ分析装置。
- 一定期間における複数のサンプルの各データを用いて第1の部分空間を作成する第1の部分空間作成過程と、
前記一定期間以後の所定の時点における複数のサンプルの各データを用いて第2の部分空間を作成する第2の部分空間作成過程と、
第1の部分空間及び第2の部分空間を用いて各サンプル間の類似度を求める類似度算出過程と、
求めた類似度を用いて前記一定期間における複数の各サンプルに対応する各二次元座標値と前記所定の時点における複数の各サンプルに対応する各二次元座標値を求める座標値算出過程と、
座標値算出過程で求めた各座標値を出力する出力過程と
を含んでいることを特徴とするデータ分析方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005068885A JP4394020B2 (ja) | 2005-03-11 | 2005-03-11 | データ分析装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005068885A JP4394020B2 (ja) | 2005-03-11 | 2005-03-11 | データ分析装置及び方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2006252259A true JP2006252259A (ja) | 2006-09-21 |
JP2006252259A5 JP2006252259A5 (ja) | 2009-10-22 |
JP4394020B2 JP4394020B2 (ja) | 2010-01-06 |
Family
ID=37092682
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005068885A Active JP4394020B2 (ja) | 2005-03-11 | 2005-03-11 | データ分析装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4394020B2 (ja) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008287424A (ja) * | 2007-05-16 | 2008-11-27 | Ntt Data Corp | 指標抽出装置、指標抽出方法及びそのコンピュータプログラム |
JP2008287328A (ja) * | 2007-05-15 | 2008-11-27 | Ntt Data Corp | 評価装置及び方法ならびにコンピュータプログラム |
JP2009026241A (ja) * | 2007-07-23 | 2009-02-05 | Ntt Data Corp | 評価装置及び方法ならびにそのコンピュータプログラム |
WO2010041355A1 (ja) * | 2008-10-09 | 2010-04-15 | 株式会社日立製作所 | 異常検知方法及びシステム |
JP2010231779A (ja) * | 2009-03-05 | 2010-10-14 | Csk Holdings Corp | ベンチマーク評価システム及びプログラム |
JP2011247696A (ja) * | 2010-05-25 | 2011-12-08 | Jfe Steel Corp | パターン自動抽出方法およびパターン自動抽出システム |
WO2012037246A2 (en) * | 2010-09-14 | 2012-03-22 | Visa U.S.A. Inc. | Systems and methods to segment customers |
JP2012230703A (ja) * | 2012-07-19 | 2012-11-22 | Hitachi Ltd | 異常検知方法及びシステム |
JP6345856B1 (ja) * | 2017-09-29 | 2018-06-20 | 新日本有限責任監査法人 | 財務分析装置、財務分析方法及び財務分析プログラム |
CN110472660A (zh) * | 2019-07-09 | 2019-11-19 | 深圳壹账通智能科技有限公司 | 异常数据检测方法、装置、计算机设备和存储介质 |
JP7146218B1 (ja) | 2021-12-24 | 2022-10-04 | 国立大学法人一橋大学 | 情報処理装置、情報処理方法及びプログラム |
JP7360118B1 (ja) | 2023-07-04 | 2023-10-12 | ゼネリックソリューション株式会社 | 審査業務支援装置、審査業務支援方法及び審査業務支援プログラム |
JP7386465B1 (ja) | 2023-07-04 | 2023-11-27 | ゼネリックソリューション株式会社 | 審査業務支援装置、審査業務支援方法及び審査業務支援プログラム |
JP7462253B1 (ja) | 2023-07-25 | 2024-04-05 | ゼネリックソリューション株式会社 | 審査業務支援装置、審査業務支援方法及び審査業務支援プログラム |
-
2005
- 2005-03-11 JP JP2005068885A patent/JP4394020B2/ja active Active
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008287328A (ja) * | 2007-05-15 | 2008-11-27 | Ntt Data Corp | 評価装置及び方法ならびにコンピュータプログラム |
JP4519880B2 (ja) * | 2007-05-16 | 2010-08-04 | 株式会社エヌ・ティ・ティ・データ | 指標抽出装置、指標抽出方法及びそのコンピュータプログラム |
JP2008287424A (ja) * | 2007-05-16 | 2008-11-27 | Ntt Data Corp | 指標抽出装置、指標抽出方法及びそのコンピュータプログラム |
JP2009026241A (ja) * | 2007-07-23 | 2009-02-05 | Ntt Data Corp | 評価装置及び方法ならびにそのコンピュータプログラム |
KR101316486B1 (ko) * | 2008-10-09 | 2013-10-08 | 가부시키가이샤 히타치세이사쿠쇼 | 이상 검지 방법 및 시스템 |
WO2010041355A1 (ja) * | 2008-10-09 | 2010-04-15 | 株式会社日立製作所 | 異常検知方法及びシステム |
CN102112933A (zh) * | 2008-10-09 | 2011-06-29 | 株式会社日立制作所 | 异常检测方法及*** |
CN102112933B (zh) * | 2008-10-09 | 2014-06-18 | 株式会社日立制作所 | 异常检测方法及*** |
US8630962B2 (en) | 2008-10-09 | 2014-01-14 | Hitachi, Ltd. | Error detection method and its system for early detection of errors in a planar or facilities |
JP2010231779A (ja) * | 2009-03-05 | 2010-10-14 | Csk Holdings Corp | ベンチマーク評価システム及びプログラム |
JP4623605B2 (ja) * | 2009-03-05 | 2011-02-02 | 株式会社Csk | ベンチマーク評価システム及びプログラム |
JP2011247696A (ja) * | 2010-05-25 | 2011-12-08 | Jfe Steel Corp | パターン自動抽出方法およびパターン自動抽出システム |
WO2012037246A3 (en) * | 2010-09-14 | 2012-06-14 | Visa U.S.A. Inc. | Systems and methods to segment customers |
WO2012037246A2 (en) * | 2010-09-14 | 2012-03-22 | Visa U.S.A. Inc. | Systems and methods to segment customers |
JP2012230703A (ja) * | 2012-07-19 | 2012-11-22 | Hitachi Ltd | 異常検知方法及びシステム |
JP6345856B1 (ja) * | 2017-09-29 | 2018-06-20 | 新日本有限責任監査法人 | 財務分析装置、財務分析方法及び財務分析プログラム |
JP2019067086A (ja) * | 2017-09-29 | 2019-04-25 | 新日本有限責任監査法人 | 財務分析装置、財務分析方法及び財務分析プログラム |
CN110472660A (zh) * | 2019-07-09 | 2019-11-19 | 深圳壹账通智能科技有限公司 | 异常数据检测方法、装置、计算机设备和存储介质 |
JP7146218B1 (ja) | 2021-12-24 | 2022-10-04 | 国立大学法人一橋大学 | 情報処理装置、情報処理方法及びプログラム |
JP2023095063A (ja) * | 2021-12-24 | 2023-07-06 | 国立大学法人一橋大学 | 情報処理装置、情報処理方法及びプログラム |
JP7360118B1 (ja) | 2023-07-04 | 2023-10-12 | ゼネリックソリューション株式会社 | 審査業務支援装置、審査業務支援方法及び審査業務支援プログラム |
JP7386465B1 (ja) | 2023-07-04 | 2023-11-27 | ゼネリックソリューション株式会社 | 審査業務支援装置、審査業務支援方法及び審査業務支援プログラム |
JP7462253B1 (ja) | 2023-07-25 | 2024-04-05 | ゼネリックソリューション株式会社 | 審査業務支援装置、審査業務支援方法及び審査業務支援プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP4394020B2 (ja) | 2010-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4394020B2 (ja) | データ分析装置及び方法 | |
CN109302410B (zh) | 一种内部用户异常行为检测方法、***及计算机存储介质 | |
Hosny et al. | Copy-move forgery detection of duplicated objects using accurate PCET moments and morphological operators | |
Al-Qershi et al. | Evaluation of copy-move forgery detection: datasets and evaluation metrics | |
CN108682007B (zh) | 基于深度随机森林的jpeg图像重采样自动检测方法 | |
Shojae Chaeikar et al. | PSW statistical LSB image steganalysis | |
Zhu et al. | Blind image splicing detection via noise level function | |
CN110618854B (zh) | 基于深度学习与内存镜像分析的虚机行为分析*** | |
CN108875727B (zh) | 图文标识的检测方法及装置、存储介质、处理器 | |
CN112632609B (zh) | 异常检测方法、装置、电子设备及存储介质 | |
CN111369003A (zh) | 一种量子比特读取信号保真度的确定方法、装置 | |
Srinivasa Rao et al. | Image authentication using Local Binary Pattern on the Low frequency components | |
Park et al. | Rotation and scale invariant upsampled log-polar fourier descriptor for copy-move forgery detection | |
Zhang et al. | Exposing unseen GAN-generated image using unsupervised domain adaptation | |
CN116366313A (zh) | 一种小样本异常流量检测方法和*** | |
Qin et al. | HTD-VIT: Spectral-spatial joint hyperspectral target detection with vision transformer | |
CN104899551B (zh) | 一种表单图像分类方法 | |
Das et al. | Image splicing detection with principal component analysis generated low-dimensional homogeneous feature set based on local binary pattern and support vector machine | |
Nandanwar et al. | Forged text detection in video, scene, and document images | |
CN111291712B (zh) | 基于插值的cn和胶囊网络的森林火灾识别方法及装置 | |
Newell et al. | Automated texture recognition of quartz sand grains for forensic applications | |
Tian et al. | A method to compute the n-dimensional solid spectral angle between vectors and its use for band selection in hyperspectral data | |
Sharma et al. | Towards secured image steganography based on content-adaptive adversarial perturbation | |
CN115567224A (zh) | 一种用于检测区块链交易异常的方法及相关产品 | |
Hashim et al. | Identify the Presence of Hidden Information Based on Lower Coefficients Value of 2DHWT Sub-bands |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090904 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091006 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091014 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4394020 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121023 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131023 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |