JP6210867B2 - データ関連性解析システムおよびデータ管理装置 - Google Patents
データ関連性解析システムおよびデータ管理装置 Download PDFInfo
- Publication number
- JP6210867B2 JP6210867B2 JP2013252249A JP2013252249A JP6210867B2 JP 6210867 B2 JP6210867 B2 JP 6210867B2 JP 2013252249 A JP2013252249 A JP 2013252249A JP 2013252249 A JP2013252249 A JP 2013252249A JP 6210867 B2 JP6210867 B2 JP 6210867B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- original data
- similarity
- relevance
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims description 121
- 238000013523 data management Methods 0.000 title claims description 32
- 239000013598 vector Substances 0.000 claims description 39
- 238000004364 calculation method Methods 0.000 claims description 35
- 238000011156 evaluation Methods 0.000 claims description 10
- 238000012546 transfer Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 5
- 238000000034 method Methods 0.000 description 78
- 230000006870 function Effects 0.000 description 53
- 239000011159 matrix material Substances 0.000 description 49
- 238000012545 processing Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 22
- 238000012544 monitoring process Methods 0.000 description 20
- 230000004044 response Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 12
- 238000000605 extraction Methods 0.000 description 7
- 238000007726 management method Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 4
- 238000005314 correlation function Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 238000010248 power generation Methods 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012950 reanalysis Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 208000019116 sleep disease Diseases 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
Transform)、SURF(Speed-Up
Robust Features)などの、特徴量を使って特徴ベクトル化する。温度や振動数などの時系列かつ連続的なデータは、AR(Autoregressive)モデル等の統計モデルのパラメータとして特徴ベクトル化する。アラームやログのような時系列かつ非連続なデータは、後述の方法で特徴ベクトル化する。なお、もともとハッシュを生成しやすいベクトル表現となっているのならば、特徴ベクトルを生成する処理(ステップ1S102)は実施しなくてもよい。
Eliminating Search Algorithm)等の他の手法を用いてもよい。
x,y:任意の特徴ベクトル。ステップ1S102で生成される。ベクトルの次元は、データに依存する。
S(x,y):ユーザ類似度関数(真の類似度)。定義は後述。
S_i(x,y):データ項目ID(1D101)がiの類似度。詳細は1D105によって指定される。
Hd(x,y):合成ハッシュ距離(関数)。真の類似度の性質を近似する。定義は後述。
Hd_i(x,y):データ項目ID(1D101)がiの類似度(S_i(x,y))に対応するハッシュ距離(関数)。ハッシング方法(1D103)と、ハッシングパラメータ(1D104)により指定される。
W_i:データ項目ID(1D101)がiの類似度に対する重み。図13のユーザインターフェースでユーザに指定される0以上の値。データ管理上、ユーザ類似度定義情報(1D303)に対応。
S(x,y) = W_0 * S_0(x,y) + W_1 * S_1(x,y) +...
= Σ{W_i * S_i(x,y)}・・・・・(式1)
Hd(x,y) = Σ{W_i * α_i / (1+Hd_i(x,y))}・・・・(式2)
Claims (12)
- データ間の関連性を解析するデータ関連性解析システムであって、
各元データに対し所定演算を適用することで、前記各元データ間の類似度を近似的に算出するために使用する近似値を生成する近似値生成部と、
前記各元データに対応する前記各近似値に基づいて、前記各元データ間の関連性を演算する関連性演算部と、
前記関連性演算部による演算結果を出力する演算結果出力部と、
を備え、
前記関連性演算部は、
予め用意された複数の観点の中から選択した所定の観点ごとに前記各元データの前記近似値同士の距離を算出し、
前記近似値同士の距離が所定の閾値以下である場合は、前記各近似値に対応する前記各元データに基づいて前記各元データ間の類似度を算出し、
前記近似値同士の距離が前記所定の閾値を越える場合は、前記各近似値に対応する前記各元データ間の類似度を前記近似値同士の距離以下の所定値として算出し、
前記算出した各類似度に基づいて前記各元データをクラスタリングすることで前記各元データ間の関連性を演算する、
データ関連性解析システム。 - 前記所定演算は、前記元データ間の類似度を保存するハッシュ演算である、請求項1に記載のデータ関連性解析システム。
- 前記関連性演算部は、三角不等式の条件に基づいて探索範囲を限定し、前記探索範囲内において、前記各元データ間の関連性を演算する、
請求項2に記載のデータ関連性解析システム。 - 前記所定の閾値は、ユーザにより指定される類似度に基づいて算出される、請求項3に記載のデータ関連性解析システム。
- 前記近似値生成部は、前記元データが所定の発生条件が成立するたびに生成される時系列データである場合、前記関連性演算部は、所定期間内に発生した全ての前記元データに基づいて特徴ベクトルを算出し、前記算出した特徴ベクトルをクラスタリングして代表ベクトルを算出し、前記代表ベクトルに対して前記所定演算を行うことで、前記近似値を生成する、請求項4に記載のデータ関連性解析システム。
- 前記近似値生成部は、前記各元データ間の発生時刻の時間差に基づいて前記特徴ベクトルを算出する、請求項5に記載のデータ関連性解析システム。
- 前記関連性演算部は、前記近似値を用いて算出した類似度の評価結果を出力する、請求項6に記載のデータ関連性解析システム。
- 前記関連性演算部は、前記各元データの中からサンプリングした所定の複数の元データ間について算出した類似度と、前記近似値を用いて算出した類似度との相違を評価して出力する、
請求項7に記載のデータ関連性解析システム。 - 前記関連性演算部は、前記所定の観点または前記所定の閾値を変えて繰り返し前記各元データ間の関連性を演算することができ、
前記演算結果出力部は、前記関連性演算部による前記各元データ間の関連性の演算結果の履歴を出力する、
請求項7に記載のデータ関連性解析システム。 - 前記各元データのうち一方の元データは、電力需給調整の実績値を有する一方の需要家に関するデータであり、前記各元データのうち他方の元データは、前記電力需給調整の実績値を有していない他方の需要家に関するデータであり、
前記関連性演算部は、前記各元データ間の関連性として、前記一方の需要家により形成される電力需給調整クラスタのうちいずれのクラスタに前記他方の需要家が属するかを演算する、
請求項1に記載のデータ関連性解析システム。 - 前記近似値生成部は、データを計測する計測装置側に配置されており、
前記関連性演算部および前記演算結果出力部は、前記計測装置と通信可能に設けられる計算機側に設けられる、
請求項1に記載のデータ関連性解析システム。 - データ間の関連性を解析するための計算機に通信可能に接続されるデータ管理装置であって、
各元データを収集する収集部と、
前記各元データに対し所定演算を適用することで、前記各元データ間の類似度を近似的に算出するために使用する近似値を生成する近似値生成部と、
前記各元データと該各元データから生成した前記各近似値とを対応づけて前記計算機に転送する転送部とを備え、
前記各元データおよび前記各近似値を受領した前記計算機は、
予め用意された複数の観点の中から選択した所定の観点ごとに前記各元データの前記近似値同士の距離を算出し、
前記近似値同士の距離が所定の閾値以下である場合は、前記各近似値に対応する前記各元データに基づいて前記各元データ間の類似度を算出し、
前記近似値同士の距離が前記所定の閾値を越える場合は、前記各近似値に対応する前記各元データ間の類似度を前記近似値同士の距離以下の所定値として算出し、
前記算出した各類似度に基づいて前記各元データをクラスタリングすることで前記各元データ間の関連性を演算する、
データ管理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013252249A JP6210867B2 (ja) | 2013-12-05 | 2013-12-05 | データ関連性解析システムおよびデータ管理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013252249A JP6210867B2 (ja) | 2013-12-05 | 2013-12-05 | データ関連性解析システムおよびデータ管理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015109028A JP2015109028A (ja) | 2015-06-11 |
JP6210867B2 true JP6210867B2 (ja) | 2017-10-11 |
Family
ID=53439312
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013252249A Active JP6210867B2 (ja) | 2013-12-05 | 2013-12-05 | データ関連性解析システムおよびデータ管理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6210867B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6346378B2 (ja) * | 2015-06-30 | 2018-06-20 | 株式会社日立製作所 | データの管理装置及びデータの管理方法 |
JP6201079B2 (ja) * | 2015-08-28 | 2017-09-20 | 株式会社日立製作所 | 監視システムおよび監視方法 |
JP6904450B2 (ja) * | 2016-02-19 | 2021-07-14 | 住友電気工業株式会社 | 電力消費管理装置および電力消費管理プログラム |
JP6761759B2 (ja) * | 2017-01-09 | 2020-09-30 | 東邦瓦斯株式会社 | 電力抑制量制御システムおよびその方法 |
JP7352523B2 (ja) * | 2020-07-28 | 2023-09-28 | Kddi株式会社 | 情報処理装置及び情報処理方法 |
CN112365338B (zh) * | 2020-11-11 | 2024-03-22 | 天翼安全科技有限公司 | 基于人工智能的数据欺诈检测方法、装置、终端及介质 |
JP7504178B2 (ja) | 2022-11-02 | 2024-06-21 | 株式会社大和総研 | 系列データ可視化システムおよびプログラム |
CN116091000B (zh) * | 2023-02-14 | 2023-12-08 | 宁波紫熙物联科技有限公司 | 一种基于oa***的资源智能化管理***及方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4314123B2 (ja) * | 2004-01-30 | 2009-08-12 | 株式会社山武 | アラーム解析装置、アラーム解析方法及びアラーム解析プログラム |
US7797265B2 (en) * | 2007-02-26 | 2010-09-14 | Siemens Corporation | Document clustering that applies a locality sensitive hashing function to a feature vector to obtain a limited set of candidate clusters |
JP5813317B2 (ja) * | 2010-12-28 | 2015-11-17 | 株式会社東芝 | プロセス状態監視装置 |
JP5598925B2 (ja) * | 2011-06-29 | 2014-10-01 | Kddi株式会社 | 高次元の特徴ベクトルを高精度で検索する検索装置及びプログラム |
-
2013
- 2013-12-05 JP JP2013252249A patent/JP6210867B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015109028A (ja) | 2015-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6210867B2 (ja) | データ関連性解析システムおよびデータ管理装置 | |
Himeur et al. | Smart power consumption abnormality detection in buildings using micromoments and improved K‐nearest neighbors | |
Jin et al. | Virtual occupancy sensing: Using smart meters to indicate your presence | |
Zhou et al. | Partial knowledge data-driven event detection for power distribution networks | |
Serrano-Guerrero et al. | Statistical methodology to assess changes in the electrical consumption profile of buildings | |
Liu et al. | Uncertain one-class learning and concept summarization learning on uncertain data streams | |
Zhang et al. | Energy theft detection in an edge data center using threshold-based abnormality detector | |
Ringsquandl et al. | Semantic-guided feature selection for industrial automation systems | |
Su et al. | Nonlinear compensation algorithm for multidimensional temporal data: A missing value imputation for the power grid applications | |
Ren et al. | AI-based fashion sales forecasting methods in big data era | |
Kang et al. | A service scenario generation scheme based on association rule mining for elderly surveillance system in a smart home environment | |
JP2015011565A (ja) | 監視制御システム | |
Priya et al. | Data fault detection in wireless sensor networks using machine learning techniques | |
Mohamed et al. | A review on big data management and decision-making in smart grid | |
CN116881744A (zh) | 一种基于物联网的运维数据分发方法、装置、设备及介质 | |
Nguyen et al. | Semi-supervised intrusive appliance load monitoring in smart energy monitoring system | |
CN117235524A (zh) | 自动估值模型的学***台 | |
Fan et al. | Research and applications of data mining techniques for improving building operational performance | |
CN117388893A (zh) | 一种基于gps的多设备定位*** | |
Frikha et al. | Toward a user interest ontology to improve social network-based recommender system | |
Nikitin et al. | Human-in-the-loop large-scale predictive maintenance of workstations | |
JP2015032173A (ja) | 行動推定システム | |
Shen et al. | Long-term multivariate time series forecasting in data centers based on multi-factor separation evolutionary spatial–temporal graph neural networks | |
JP7458183B2 (ja) | エネルギー需要変動パターンの分類方法及びシステム | |
Yeh et al. | Estimation of a data-collection maturity model to detect manufacturing change |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160912 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170627 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170823 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170912 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6210867 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |