JP4509860B2 - データ分割装置、データ分割方法およびプログラム - Google Patents
データ分割装置、データ分割方法およびプログラム Download PDFInfo
- Publication number
- JP4509860B2 JP4509860B2 JP2005152324A JP2005152324A JP4509860B2 JP 4509860 B2 JP4509860 B2 JP 4509860B2 JP 2005152324 A JP2005152324 A JP 2005152324A JP 2005152324 A JP2005152324 A JP 2005152324A JP 4509860 B2 JP4509860 B2 JP 4509860B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- division
- unit
- evaluation value
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 40
- 238000011156 evaluation Methods 0.000 claims description 146
- 238000004364 calculation method Methods 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 35
- 238000003066 decision tree Methods 0.000 claims description 23
- 238000000513 principal component analysis Methods 0.000 claims description 11
- 238000000638 solvent extraction Methods 0.000 claims description 5
- 230000003252 repetitive effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 12
- 238000005259 measurement Methods 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 4
- 238000000611 regression analysis Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000010248 power generation Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000005054 agglomeration Methods 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
それぞれターゲットセンサと1つ以上の説明センサとを含む複数のセンサにより検出されたセンサデータからなる複数の多次元データを入力するデータ入力部と、
前記複数のセンサのそれぞれを表す軸により形成される空間に前記複数の多次元データを展開したときに各前記軸のそれぞれについて、前記各軸のそれぞれに直行する、前記複数の多次元データを2つに分割するための分割面の候補を一定間隔で複数生成する分割面候補作成部と、
前記複数の分割面の候補のそれぞれによって前記複数の多次元データを仮分割して前記分割面の候補のそれぞれ毎に、それぞれ1つ以上の多次元データを含む複数のクラスタを生成するデータ仮分割部と、
前記分割面の候補のそれぞれ毎に生成された前記複数のクラスタの各々について、前記複数のクラスタのそれぞれに含まれる多次元データに基づき、前記説明センサの値から前記ターゲットセンサの値を近似演算する、回帰モデルまたは主成分分析モデルであるモデルを生成するモデル生成部と、
前記分割面の候補のそれぞれ毎に生成された複数のモデルのそれぞれ毎に、前記複数のモデルのそれぞれを生成するもととなったクラスタに含まれる多次元データの前記説明センサの値と前記複数のモデルのそれぞれとから前記ターゲットセンサの値を計算し、
前記分割面の候補のそれぞれ毎に生成された前記複数のモデルのそれぞれ毎に、前記計算されたターゲットセンサの値と、前記多次元データの前記ターゲットセンサの値との誤差を合計することにより、前記複数のモデルのそれぞれのモデル誤差を計算し、
前記分割面の候補のそれぞれ毎に生成された前記複数のモデルのそれぞれのモデル誤差の合計を、前記複数のモデルを生成するもととなった前記複数の多次元データの合計数で除算することにより前記分割面の候補のそれぞれの評価値を取得する評価値計算部と、
前記分割面の候補のそれぞれの評価値を比較し、最も値の小さい評価値をもつ分割面の候補を選択する分割候補選択部と、
選択された前記分割面の候補によって前記複数の多次元データを分割するデータ分割部と、
を備える。
ターゲットセンサと1つ以上の説明センサとを含む複数のセンサにより検出されたセンサデータからなる複数の多次元データを入力するデータ入力部と、
前記複数のセンサのそれぞれを表す軸により形成される空間に前記複数の多次元データを展開したときに各前記軸のそれぞれについて、前記各軸のそれぞれに直行する、前記複数の多次元データを2つに分割するための分割面の候補を一定間隔で複数生成する分割面候補作成部と、
前記複数の分割面の候補のそれぞれによって前記複数の多次元データを仮分割して前記分割面の候補のそれぞれ毎に、それぞれ1つ以上の多次元データを含む複数のクラスタを生成するデータ仮分割部と、
前記分割面の候補のそれぞれ毎に生成された前記複数のクラスタの各々について、前記複数のクラスタのそれぞれに含まれる多次元データに基づき、前記説明センサの値から前記ターゲットセンサの値を近似演算する、回帰モデルまたは主成分分析モデルであるモデルを生成するモデル生成部と、
各前記モデルを表す式を前記空間に展開した場合に前記複数の多次元データが各前記モデルのうちいずれに近いかによって前記複数の多次元データをグルーピングすることにより複数の新たなクラスタを生成するグルーピング部と、
前記分割面の候補のそれぞれ毎に生成された複数のモデルのそれぞれ毎に、前記複数のモデルのそれぞれに近い方の前記新たなクラスタに含まれる多次元データの前記説明センサの値から前記ターゲットセンサの値を計算し、
前記分割面の候補のそれぞれ毎に生成された前記複数のモデルのそれぞれ毎に、前記計算されたターゲットセンサの値と、前記多次元データの前記ターゲットセンサの値との誤差を合計することにより、前記複数のモデルのそれぞれのモデル誤差を計算し、
前記分割面の候補のそれぞれ毎に生成された前記複数のモデルのそれぞれのモデル誤差の合計を、前記複数のモデルを生成するもととなった前記複数の多次元データの合計数で除算することにより、前記分割面の候補のそれぞれの評価値を取得する評価値計算部と、
前記分割面の候補のそれぞれの評価値を比較し、最も値の小さい評価値をもつ分割面の候補を選択する分割候補選択部と、
選択された前記分割面の候補によって前記複数の多次元データを分割するデータ分割部と、
を備える。
コンピュータが実行するデータ分割方法であって、
それぞれターゲットセンサと1つ以上の説明センサとを含む複数のセンサにより検出されたセンサデータからなる複数の多次元データを入力するデータ入力ステップと、
前記複数のセンサのそれぞれを表す軸により形成される空間に前記複数の多次元データを展開したときに各前記軸のそれぞれについて、前記各軸のそれぞれに直行する、前記複数の多次元データを2つに分割するための分割面の候補を一定間隔で複数生成する分割面候補作成ステップと、
前記複数の分割面の候補のそれぞれによって前記複数の多次元データを仮分割して前記分割面の候補のそれぞれ毎に、それぞれ1つ以上の多次元データを含む複数のクラスタを生成するデータ仮分割ステップと、
前記分割面の候補のそれぞれ毎に生成された前記複数のクラスタの各々について、前記複数のクラスタのそれぞれに含まれる多次元データに基づき、前記説明センサの値から前記ターゲットセンサの値を近似演算する、回帰モデルまたは主成分分析モデルであるモデルを生成するモデル生成ステップと、
前記分割面の候補のそれぞれ毎に生成された複数のモデルのそれぞれ毎に、前記複数のモデルのそれぞれを生成するもととなったクラスタに含まれる多次元データの前記説明センサの値と前記複数のモデルのそれぞれとから前記ターゲットセンサの値を計算し、
前記分割面の候補のそれぞれ毎に生成された前記複数のモデルのそれぞれ毎に、前記計算されたターゲットセンサの値と、前記多次元データの前記ターゲットセンサの値との誤差を合計することにより、前記複数のモデルのそれぞれのモデル誤差を計算し、
前記分割面の候補のそれぞれ毎に生成された前記複数のモデルのそれぞれのモデル誤差の合計を、前記複数のモデルを生成するもととなった前記複数の多次元データの合計数で除算することにより前記分割面の候補のそれぞれの評価値を取得する評価値計算ステップと、
前記分割面の候補のそれぞれの評価値を比較し、最も値の小さい評価値をもつ分割面の候補を選択する分割候補選択ステップと、
選択された前記分割面の候補によって前記複数の多次元データを分割するデータ分割ステップと、
を備える。
コンピュータに、
それぞれターゲットセンサと1つ以上の説明センサとを含む複数のセンサにより検出されたセンサデータからなる複数の多次元データを入力するデータ入力ステップと、
前記複数のセンサのそれぞれを表す軸により形成される空間に前記複数の多次元データを展開したときに各前記軸のそれぞれについて、前記各軸のそれぞれに直行する、前記複数の多次元データを2つに分割するための分割面の候補を一定間隔で複数生成する分割面候補作成ステップと、
前記複数の分割面の候補のそれぞれによって前記複数の多次元データを仮分割して前記分割面の候補のそれぞれ毎に、それぞれ1つ以上の多次元データを含む複数のクラスタを生成するデータ仮分割ステップと、
前記分割面の候補のそれぞれ毎に生成された前記複数のクラスタの各々について、前記複数のクラスタのそれぞれに含まれる多次元データに基づき、前記説明センサの値から前記ターゲットセンサの値を近似演算する、回帰モデルまたは主成分分析モデルであるモデルを生成するモデル生成ステップと、
前記分割面の候補のそれぞれ毎に生成された複数のモデルのそれぞれ毎に、前記複数のモデルのそれぞれを生成するもととなったクラスタに含まれる多次元データの前記説明センサの値と前記複数のモデルのそれぞれとから前記ターゲットセンサの値を計算し、
前記分割面の候補のそれぞれ毎に生成された前記複数のモデルのそれぞれ毎に、前記計算されたターゲットセンサの値と、前記多次元データの前記ターゲットセンサの値との誤差を合計することにより、前記複数のモデルのそれぞれのモデル誤差を計算し、
前記分割面の候補のそれぞれ毎に生成された前記複数のモデルのそれぞれのモデル誤差の合計を、前記複数のモデルを生成するもととなった前記複数の多次元データの合計数で除算することにより前記分割面の候補のそれぞれの評価値を取得する評価値計算ステップと、
前記分割面の候補のそれぞれの評価値を比較し、最も値の小さい評価値をもつ分割面の候補を選択する分割候補選択ステップと、
選択された前記分割面の候補によって前記複数の多次元データを分割するデータ分割ステップと、
を実行させる。
図1は、本実施の形態に従ったデータ分割システムの構成を示すブロック図である。
本実施の形態では、評価値計算部46による評価値計算をより詳細に説明する。
error_adjust_Ai = error_Ai − α × num_Ai + β
error_adjust_Bi = error_Bi − α × num_Bi + β
αは、例えば(分割前の誤差/分割前のデータ数)という値を使えばよい。βは分割の停止を決定するためのパラーメータである。
本実施の形態では、第1の実施の形態に従って生成されたクラスタを結合(マージ)する処理を追加する。以下本実施の形態について詳細に説明する。
図22は、本実施の形態に従ったデータ分割装置の構成を概略的に示すブロック図である。
第5の実施の形態では、図2の分割候補選択部47によって選択された分割線(分割面)をオフセットさせて、より高い評価をもつ分割線を探す。以下本実施の形態について詳細に説明する。
本実施の形態では、利用する次元の組み合わせを変えながらデータ分割(クラスタリング)を行う。以下本実施の形態について詳細に説明する。
本実施の形態では、第1の実施の形態をベースに、評価値計算部46による評価値計算に改良を加える。本実施の形態における評価値計算部71の詳細構成を図23に示す。評価値計算部71は、決定木生成用データ入力部72、クラス番号付与部73、決定木生成部74および拡張評価値計算部75を備える。評価値計算部以外の構成は図2と同様である。以下本実施の形態について詳細に説明する。
本実施の形態は、前述した各実施の形態のいずれかの処理を、複数通りの次元の組み合わせについて行って、各次元の組み合わせからそれぞれモデルを生成する。そして各次元の組み合わせに対応するモデルをそれぞれ評価し、最も評価の高いモデルに対応するデータ分割を採用する。以下、本実施の形態について詳細に説明する。
11〜14:時系列データ
15a、16a:クラスタ
15b、16b:モデル
17:データ
18:差
31:CPU
32:メモリ
33:ハードディスク
34:表示装置
41、61、82:データ入力部
42、62:データ離散化部
43、63:分割面候補作成部
44、64:データ仮分割部
45、65:モデル生成部
46、67、71:評価値計算部
47、68:分割候補選択部
48、69:データ分割/分割終了判定部
51:結合候補生成部
52:結合候補選択部
53:モデル生成部
54:マージ評価値計算部
55:データ結合/結合終了判定部
66:グルーピング部
72、87:決定木生成用データ入力部
73、83:クラス番号付与部
74、84:決定木生成部
75、85:拡張評価値計算部
81:データ分割装置
86:最良データ分割選択部
Claims (13)
- それぞれターゲットセンサと1つ以上の説明センサとを含む複数のセンサにより検出されたセンサデータからなる複数の多次元データを入力するデータ入力部と、
前記複数のセンサのそれぞれを表す軸により形成される空間に前記複数の多次元データを展開したときに各前記軸のそれぞれについて、前記各軸のそれぞれに直行する、前記複数の多次元データを2つに分割するための分割面の候補を一定間隔で複数生成する分割面候補作成部と、
前記複数の分割面の候補のそれぞれによって前記複数の多次元データを仮分割して前記分割面の候補のそれぞれ毎に、それぞれ1つ以上の多次元データを含む複数のクラスタを生成するデータ仮分割部と、
前記分割面の候補のそれぞれ毎に生成された前記複数のクラスタの各々について、前記複数のクラスタのそれぞれに含まれる多次元データに基づき、前記説明センサの値から前記ターゲットセンサの値を近似演算する、回帰モデルまたは主成分分析モデルであるモデルを生成するモデル生成部と、
前記分割面の候補のそれぞれ毎に生成された複数のモデルのそれぞれ毎に、前記複数のモデルのそれぞれを生成するもととなったクラスタに含まれる多次元データの前記説明センサの値と前記複数のモデルのそれぞれとから前記ターゲットセンサの値を計算し、
前記分割面の候補のそれぞれ毎に生成された前記複数のモデルのそれぞれ毎に、前記計算されたターゲットセンサの値と、前記多次元データの前記ターゲットセンサの値との誤差を合計することにより、前記複数のモデルのそれぞれのモデル誤差を計算し、
前記分割面の候補のそれぞれ毎に生成された前記複数のモデルのそれぞれのモデル誤差の合計を、前記複数のモデルを生成するもととなった前記複数の多次元データの合計数で除算することにより前記分割面の候補のそれぞれの評価値を取得する評価値計算部と、
前記分割面の候補のそれぞれの評価値を比較し、最も値の小さい評価値をもつ分割面の候補を選択する分割候補選択部と、
選択された前記分割面の候補によって前記複数の多次元データを分割するデータ分割部と、
を備えたデータ分割装置。 - 前記データ分割部による分割後の各多次元データをそれぞれ対象にして前記分割面候補作成部、前記データ仮分割部、モデル生成部、前記評価値計算部、前記分割候補選択部、前記データ分割部による処理を実行することを繰り返し行い、
前記分割面の候補のそれぞれの評価値のうち最も値の小さい評価値が所定の継続条件を満たさない場合は、これらの分割面の候補が生成された前記多次元データに対しては前記データ分割部による分割を行わず、前記繰り返しの処理を中止する
ことを特徴とする請求項1に記載のデータ分割装置。 - 前記データ入力部によって入力された前記複数の多次元データのそれぞれを離散化するデータ離散化部をさらに備え、
前記データ離散化部は、前記複数の多次元データに基づき、各前記センサのデータの最小値および最大値の範囲をm個の区間に均等分割し、前記センサ毎に前記m個の区間に最小値を含む区間から最大値を含む区間に向けて連続する0〜m−1の整数値を対応づけ、各前記センサのデータを当該データが属する区間に対して対応づけられた整数値に変換し、これにより前記複数の多次元データを離散化し、
前記分割面候補作成部、前記データ仮分割部、前記モデル生成部、前記評価値計算部および前記データ分割部の少なくともいずれかは、離散化後の多次元データを対象として処理を行うことを特徴とする請求項1または2に記載のデータ分割装置。 - 前記評価値計算部は、
前記データ仮分割部による仮分割前の前記複数の多次元データに基づき生成されたモデルの前記モデル誤差を前記複数の多次元データの個数で除算して係数αを計算し、
前記複数のモデルのそれぞれの前記モデル誤差から、前記係数αと前記複数のモデルをそれぞれ生成するもととなった多次元データの個数とを乗算したものと、所定のパラメータ値βとを減算することにより前記複数のモデルのそれぞれのモデル評価値を計算し、
前記複数のモデルのそれぞれのモデル評価値のうちいずれか小さい方、またはこれらのモデル評価値の重み付け加算値を、前記分割面の候補の前記評価値として計算する、
ことを特徴とする請求項2または3に記載のデータ分割装置。 - 前記データ分割部による分割によって最終的に生成された、それぞれ1つ以上の多次元データ列を含む複数のクラスタのうちの2つを組み合わせたクラスタペアを結合候補として複数生成する結合候補生成部と、
生成された複数の結合候補のうちの1つの結合候補を選択する結合候補選択部と、
選択した結合候補に含まれるすべての多次元データに基づき、前記説明センサの値から前記ターゲットセンサの値を近似演算する、回帰モデルまたは主成分分析モデルであるモデルを生成するさらなるモデル生成部と、
前記さらなるモデル生成部によって生成された前記モデルのモデル誤差を前記すべての多次元データに基づき前記評価値計算部と同様の処理により計算し、
前記結合候補に含まれる各クラスタに対して前記モデル生成部による生成されたモデルの前記モデル誤差に、前記各クラスタに属する多次元データ列の個数の前記すべての多次元データ列の個数に対する比率を乗じて加算した値と、前記さらなるモデル生成部によって生成されたモデルの前記モデル誤差との差をマージ評価値として計算するマージ評価値計算部と、
前記マージ評価値が所定値以下の場合は前記結合候補に含まれる各クラスタを結合して新たなクラスタを生成する結合部と、
をさらに備えたことを特徴とする請求項2ないし4のいずれかに記載のデータ分割装置。 - 前記分割候補選択部は、前記最も値の小さい分割面の候補と、前記選択した分割面の候補と同じ軸に直行しかつ隣接する分割面の候補との間に新たな分割面の候補を生成し、生成した前記新たな分割面の候補を前記データ仮分割部に出力し、
前記新たな分割面の候補に対して前記データ仮分割部、前記モデル生成部、前記評価値計算部による処理を行い、
前記分割候補選択部は、前記選択した分割面の候補に対応する評価値、および前記新たな分割面の候補に対応する評価値とのうち、最も値の小さい分割面の候補を最終的に選択することを特徴とする請求項1ないし5のいずれかに記載のデータ分割装置。 - 前記分割候補選択部は、前記選択した分割面の候補と、前記隣接する分割面の候補との間に含まれるデータを各々分離するように前記新たな分割面の候補を生成することを特徴とする請求項6に記載のデータ分割装置。
- 前記複数の多次元データ列のうち、前記ターゲットセンサに対応するデータはターゲット次元のデータ、各前記説明センサに対応するデータは説明次元のデータとして扱い、
各前記説明次元を所定数組み合わせた複数の次元組合せのそれぞれ毎に、前記複数の次元組合せのそれぞれのデータのみと前記ターゲットセンサのデータとを用いて前記分割面候補作成部、前記データ仮分割部、前記モデル生成部、前記評価値計算部、前記分割候補選択部の処理を行い、
前記分割候補選択部は、前記複数の次元組合せのそれぞれに対して選択した分割面の候補のうち、最も値の小さい分割面の候補を採択し、
前記データ分割部は、採択された前記分割面の候補によって前記複数の多次元データを分割する
前記することを特徴とする請求項1ないし7のいずれかに記載のデータ分割装置。 - 前記複数の多次元データ列のうち、前記ターゲットセンサに対応するデータはターゲット次元のデータ、各前記説明センサに対応するデータは説明次元のデータとして扱い、
前記評価値計算部は、
前記分割面の候補のそれぞれ毎に、仮分割後の各クラスタにクラス番号を割り当て、前記複数の多次元データにそれぞれ前記クラス番号を付与するクラス番号付与部と、
前記分割面の候補のそれぞれ毎に、前記クラス番号が付与された前記複数の多次元データに基づき、前記説明次元から前記クラス番号を予測する決定木を生成する分類規則生成部と、
前記分割面の候補のそれぞれ毎に、前記決定木の精度および深さの少なくともいずれか一方と前記評価値とを重み付け合計することにより拡張評価値を計算する拡張評価値計算部と、
をさらに有し、
前記分割候補選択部は、前記評価値に代えて前記拡張評価値を用い、前記分割面の候補のそれぞれの拡張評価値を比較し、最も値の小さい拡張評価値をもつ分割面の候補を選択することを特徴とする請求項1ないし8のいずれかに記載のデータ分割装置。 - 前記複数の多次元データのうち、前記ターゲットセンサに対応するデータはターゲット次元のデータ、各前記説明センサに対応するデータは説明次元のデータとして扱い、
各前記説明次元を所定数組み合わせた複数の次元組合せのそれぞれ毎に、前記複数の次元組合せのそれぞれのデータのみと前記ターゲットセンサのデータとからなる多次元データを用いて前記分割面候補作成部、前記データ仮分割部、前記モデル生成部、前記評価値計算部、前記分割候補選択部、前記データ分割部の処理を行い、
前記複数の次元組合せのそれぞれに対応する前記データ分割部のデータ分割結果のそれぞれ毎に、前記データ分割結果のそれぞれに含まれる各クラスタにクラス番号を割り当て、前記データ分割結果のそれぞれ毎に前記複数の多次元データにそれぞれ前記クラス番号を付与するクラス番号付与部と、
前記データ分割結果のそれぞれ毎に、前記クラス番号が付与された前記複数の多次元データに基づき、前記説明次元から前記クラス番号を予測する決定木を生成する分類規則生成部と、
前記データ分割結果のそれぞれ毎に、前記決定木の精度および深さの少なくともいずれか一方と前記評価値とを重み付け合計することにより拡張評価値を計算する拡張評価値計算部と、
前記複数の次元組合せのそれぞれに対応する前記データ分割結果のうち、最も値の小さい拡張評価値を持つデータ分割結果を選択するデータ分割選択部と、
を備えたことを特徴とする請求項1ないし9のいずれかに記載のデータ分割装置。 - ターゲットセンサと1つ以上の説明センサとを含む複数のセンサにより検出されたセンサデータからなる複数の多次元データを入力するデータ入力部と、
前記複数のセンサのそれぞれを表す軸により形成される空間に前記複数の多次元データを展開したときに各前記軸のそれぞれについて、前記各軸のそれぞれに直行する、前記複数の多次元データを2つに分割するための分割面の候補を一定間隔で複数生成する分割面候補作成部と、
前記複数の分割面の候補のそれぞれによって前記複数の多次元データを仮分割して前記分割面の候補のそれぞれ毎に、それぞれ1つ以上の多次元データを含む複数のクラスタを生成するデータ仮分割部と、
前記分割面の候補のそれぞれ毎に生成された前記複数のクラスタの各々について、前記複数のクラスタのそれぞれに含まれる多次元データに基づき、前記説明センサの値から前記ターゲットセンサの値を近似演算する、回帰モデルまたは主成分分析モデルであるモデルを生成するモデル生成部と、
各前記モデルを表す式を前記空間に展開した場合に前記複数の多次元データが各前記モデルのうちいずれに近いかによって前記複数の多次元データをグルーピングすることにより複数の新たなクラスタを生成するグルーピング部と、
前記分割面の候補のそれぞれ毎に生成された複数のモデルのそれぞれ毎に、前記複数のモデルのそれぞれに近い方の前記新たなクラスタに含まれる多次元データの前記説明センサの値から前記ターゲットセンサの値を計算し、
前記分割面の候補のそれぞれ毎に生成された前記複数のモデルのそれぞれ毎に、前記計算されたターゲットセンサの値と、前記多次元データの前記ターゲットセンサの値との誤差を合計することにより、前記複数のモデルのそれぞれのモデル誤差を計算し、
前記分割面の候補のそれぞれ毎に生成された前記複数のモデルのそれぞれのモデル誤差の合計を、前記複数のモデルを生成するもととなった前記複数の多次元データの合計数で除算することにより、前記分割面の候補のそれぞれの評価値を取得する評価値計算部と、
前記分割面の候補のそれぞれの評価値を比較し、最も値の小さい評価値をもつ分割面の候補を選択する分割候補選択部と、
選択された前記分割面の候補によって前記複数の多次元データを分割するデータ分割部と、
を備えたデータ分割装置。 - コンピュータが実行するデータ分割方法であって、
それぞれターゲットセンサと1つ以上の説明センサとを含む複数のセンサにより検出されたセンサデータからなる複数の多次元データを入力するデータ入力ステップと、
前記複数のセンサのそれぞれを表す軸により形成される空間に前記複数の多次元データを展開したときに各前記軸のそれぞれについて、前記各軸のそれぞれに直行する、前記複数の多次元データを2つに分割するための分割面の候補を一定間隔で複数生成する分割面候補作成ステップと、
前記複数の分割面の候補のそれぞれによって前記複数の多次元データを仮分割して前記分割面の候補のそれぞれ毎に、それぞれ1つ以上の多次元データを含む複数のクラスタを生成するデータ仮分割ステップと、
前記分割面の候補のそれぞれ毎に生成された前記複数のクラスタの各々について、前記複数のクラスタのそれぞれに含まれる多次元データに基づき、前記説明センサの値から前記ターゲットセンサの値を近似演算する、回帰モデルまたは主成分分析モデルであるモデルを生成するモデル生成ステップと、
前記分割面の候補のそれぞれ毎に生成された複数のモデルのそれぞれ毎に、前記複数のモデルのそれぞれを生成するもととなったクラスタに含まれる多次元データの前記説明センサの値と前記複数のモデルのそれぞれとから前記ターゲットセンサの値を計算し、
前記分割面の候補のそれぞれ毎に生成された前記複数のモデルのそれぞれ毎に、前記計算されたターゲットセンサの値と、前記多次元データの前記ターゲットセンサの値との誤差を合計することにより、前記複数のモデルのそれぞれのモデル誤差を計算し、
前記分割面の候補のそれぞれ毎に生成された前記複数のモデルのそれぞれのモデル誤差の合計を、前記複数のモデルを生成するもととなった前記複数の多次元データの合計数で除算することにより前記分割面の候補のそれぞれの評価値を取得する評価値計算ステップと、
前記分割面の候補のそれぞれの評価値を比較し、最も値の小さい評価値をもつ分割面の候補を選択する分割候補選択ステップと、
選択された前記分割面の候補によって前記複数の多次元データを分割するデータ分割ステップと、
を備えたデータ分割方法。 - コンピュータに、
それぞれターゲットセンサと1つ以上の説明センサとを含む複数のセンサにより検出されたセンサデータからなる複数の多次元データを入力するデータ入力ステップと、
前記複数のセンサのそれぞれを表す軸により形成される空間に前記複数の多次元データを展開したときに各前記軸のそれぞれについて、前記各軸のそれぞれに直行する、前記複数の多次元データを2つに分割するための分割面の候補を一定間隔で複数生成する分割面候補作成ステップと、
前記複数の分割面の候補のそれぞれによって前記複数の多次元データを仮分割して前記分割面の候補のそれぞれ毎に、それぞれ1つ以上の多次元データを含む複数のクラスタを生成するデータ仮分割ステップと、
前記分割面の候補のそれぞれ毎に生成された前記複数のクラスタの各々について、前記複数のクラスタのそれぞれに含まれる多次元データに基づき、前記説明センサの値から前記ターゲットセンサの値を近似演算する、回帰モデルまたは主成分分析モデルであるモデルを生成するモデル生成ステップと、
前記分割面の候補のそれぞれ毎に生成された複数のモデルのそれぞれ毎に、前記複数のモデルのそれぞれを生成するもととなったクラスタに含まれる多次元データの前記説明センサの値と前記複数のモデルのそれぞれとから前記ターゲットセンサの値を計算し、
前記分割面の候補のそれぞれ毎に生成された前記複数のモデルのそれぞれ毎に、前記計算されたターゲットセンサの値と、前記多次元データの前記ターゲットセンサの値との誤差を合計することにより、前記複数のモデルのそれぞれのモデル誤差を計算し、
前記分割面の候補のそれぞれ毎に生成された前記複数のモデルのそれぞれのモデル誤差の合計を、前記複数のモデルを生成するもととなった前記複数の多次元データの合計数で除算することにより前記分割面の候補のそれぞれの評価値を取得する評価値計算ステップと、
前記分割面の候補のそれぞれの評価値を比較し、最も値の小さい評価値をもつ分割面の候補を選択する分割候補選択ステップと、
選択された前記分割面の候補によって前記複数の多次元データを分割するデータ分割ステップと、
を実行させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005152324A JP4509860B2 (ja) | 2005-05-25 | 2005-05-25 | データ分割装置、データ分割方法およびプログラム |
US11/385,738 US7882050B2 (en) | 2005-05-25 | 2006-03-22 | Data division apparatus, data division method and program |
CNB2006100845361A CN100456281C (zh) | 2005-05-25 | 2006-05-25 | 数据划分设备和数据划分方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005152324A JP4509860B2 (ja) | 2005-05-25 | 2005-05-25 | データ分割装置、データ分割方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006330988A JP2006330988A (ja) | 2006-12-07 |
JP4509860B2 true JP4509860B2 (ja) | 2010-07-21 |
Family
ID=37443638
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005152324A Expired - Fee Related JP4509860B2 (ja) | 2005-05-25 | 2005-05-25 | データ分割装置、データ分割方法およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US7882050B2 (ja) |
JP (1) | JP4509860B2 (ja) |
CN (1) | CN100456281C (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5071475B2 (ja) | 2007-03-27 | 2012-11-14 | 富士通株式会社 | 重回帰分析による予測モデルの作成方法、作成装置、作成プログラム |
JP4412342B2 (ja) * | 2007-03-30 | 2010-02-10 | ソニー株式会社 | コンテンツ管理装置、画像表示装置、撮像装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラム |
JP5048625B2 (ja) | 2008-10-09 | 2012-10-17 | 株式会社日立製作所 | 異常検知方法及びシステム |
TWI464604B (zh) | 2010-11-29 | 2014-12-11 | Ind Tech Res Inst | 資料分群方法與裝置、資料處理裝置及影像處理裝置 |
US10853828B2 (en) * | 2011-02-28 | 2020-12-01 | Flytxt B.V | Methods and systems for providing multivariate time series clustering for customer segmentation |
JP5498540B2 (ja) * | 2012-07-19 | 2014-05-21 | 株式会社日立製作所 | 異常検知方法及びシステム |
US9087521B2 (en) | 2013-07-02 | 2015-07-21 | Family Systems, Ltd. | Systems and methods for improving audio conferencing services |
US9412040B2 (en) * | 2013-12-04 | 2016-08-09 | Mitsubishi Electric Research Laboratories, Inc. | Method for extracting planes from 3D point cloud sensor data |
JP6463961B2 (ja) * | 2014-12-11 | 2019-02-06 | 株式会社東芝 | 情報処理装置、情報処理方法及びプログラム |
JP6623564B2 (ja) * | 2015-06-02 | 2019-12-25 | 富士通株式会社 | データ分類装置、データ分類プログラム及びデータ分類方法 |
WO2017002190A1 (ja) * | 2015-06-30 | 2017-01-05 | 株式会社日立製作所 | データの管理装置及びデータの管理方法 |
JP6607061B2 (ja) * | 2016-02-05 | 2019-11-20 | 富士通株式会社 | 情報処理装置、データ比較方法、およびデータ比較プログラム |
JP6805632B2 (ja) * | 2016-08-24 | 2020-12-23 | 富士通株式会社 | 設計予測装置、設計予測プログラムおよび設計予測方法 |
US20190197046A1 (en) * | 2016-09-15 | 2019-06-27 | Mitsubishi Electric Corporation | Operational status classification device |
JP6691082B2 (ja) * | 2017-08-28 | 2020-04-28 | 株式会社日立製作所 | 指標選択装置及びその方法 |
JP7459050B2 (ja) * | 2018-07-27 | 2024-04-01 | マジック リープ, インコーポレイテッド | 仮想キャラクタの姿勢空間変形のための姿勢空間次元低減 |
CN112771510A (zh) * | 2018-11-16 | 2021-05-07 | 索尼公司 | 信息处理设备、信息处理方法和程序 |
JP6637206B1 (ja) * | 2019-03-20 | 2020-01-29 | 株式会社 日立産業制御ソリューションズ | クラスタ分割評価装置、クラスタ分割評価方法及びクラスタ分割評価プログラム |
JP7388970B2 (ja) | 2020-04-06 | 2023-11-29 | ファナック株式会社 | ロボットシステム |
CN114439473A (zh) * | 2020-11-03 | 2022-05-06 | 中国石油天然气股份有限公司 | 油田开发阶段的划分处理方法及装置 |
CN113377843A (zh) * | 2021-06-21 | 2021-09-10 | 国网宁夏电力有限公司电力科学研究院 | 一种基于能源大数据的数据分析*** |
CN117892231B (zh) * | 2024-03-18 | 2024-05-28 | 天津戎军航空科技发展有限公司 | 一种碳纤维弹匣生产数据智能管理方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002278762A (ja) * | 2001-03-19 | 2002-09-27 | Nippon Steel Corp | データクラスタリング方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5335291A (en) * | 1991-09-20 | 1994-08-02 | Massachusetts Institute Of Technology | Method and apparatus for pattern mapping system with self-reliability check |
US5444796A (en) * | 1993-10-18 | 1995-08-22 | Bayer Corporation | Method for unsupervised neural network classification with back propagation |
US6581058B1 (en) | 1998-05-22 | 2003-06-17 | Microsoft Corporation | Scalable system for clustering of large databases having mixed data attributes |
US6397166B1 (en) * | 1998-11-06 | 2002-05-28 | International Business Machines Corporation | Method and system for model-based clustering and signal-bearing medium for storing program of same |
JP2005050226A (ja) * | 2003-07-31 | 2005-02-24 | Kokusai Kogyo Co Ltd | 住所データマッチング処理システム及びマッチング処理方法 |
CN1588361A (zh) * | 2004-09-09 | 2005-03-02 | 复旦大学 | 一种表达数据挖掘流程的方法 |
-
2005
- 2005-05-25 JP JP2005152324A patent/JP4509860B2/ja not_active Expired - Fee Related
-
2006
- 2006-03-22 US US11/385,738 patent/US7882050B2/en not_active Expired - Fee Related
- 2006-05-25 CN CNB2006100845361A patent/CN100456281C/zh not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002278762A (ja) * | 2001-03-19 | 2002-09-27 | Nippon Steel Corp | データクラスタリング方法 |
Also Published As
Publication number | Publication date |
---|---|
US20060269144A1 (en) | 2006-11-30 |
JP2006330988A (ja) | 2006-12-07 |
US7882050B2 (en) | 2011-02-01 |
CN100456281C (zh) | 2009-01-28 |
CN1869971A (zh) | 2006-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4509860B2 (ja) | データ分割装置、データ分割方法およびプログラム | |
KR20160143548A (ko) | 인공 신경 네트워크를 자동으로 조정하는 방법 및 장치 | |
CN110705029B (zh) | 一种基于迁移学习的振荡扑翼能量采集***流场预测方法 | |
US9852360B2 (en) | Data clustering apparatus and method | |
JP5033211B2 (ja) | 流体シミュレーションにおける境界位置決定方法 | |
Brix et al. | Parallelisation of multiscale-based grid adaptation using space-filling curves | |
JP2024517833A (ja) | 特定用途向け機械学習アクセラレータの生成およびグローバルなチューニング | |
Schöbi et al. | PC-Kriging: a new metamodelling method combining Polynomial Chaos Expansions and Kriging | |
CN114239198A (zh) | 一种基于并行优化的电网子图划分方法及装置 | |
JP6165367B2 (ja) | 時系列データ検索装置および時系列データ検索プログラム | |
JP2010146161A (ja) | パラメタ空間を分割してモデル化する設計支援装置、方法、及びプログラム | |
Liu et al. | Neural network based pre-placement wirelength estimation | |
JP2018163396A (ja) | 区分線形近似関数生成装置および方法 | |
US20210287135A1 (en) | Information processing method, information processing apparatus, and abnormality determination system | |
Solomentsev et al. | Diagnostics programs efficiency analysis in operation system of radioelectronic eguipment | |
CN114154615A (zh) | 基于硬件性能的神经架构搜索方法和设备 | |
CN116597294A (zh) | Slam地图拓扑评估方法、装置、电子设备及存储介质 | |
Luers et al. | Adjoint-based volumetric shape optimization of turbine blades | |
CN116680969A (zh) | 一种pso-bp算法的充填体评估参数预测方法及装置 | |
JP5793228B1 (ja) | 欠陥数予測装置及び欠陥数予測プログラム | |
Marx et al. | A machine learning based approach of performance estimation for high-pressure compressor airfoils | |
US20220237350A1 (en) | Simulating fluid flow with neural networks | |
US20220114418A1 (en) | Machine learning device, machine learning program, and machine learning method | |
EP3736746A1 (en) | Arithmetic processing apparatus, arithmetic processing method, and arithmetic processing program | |
JP4977193B2 (ja) | 任意の実数群から探索点の最近傍値を探索する方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061026 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090619 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090626 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091030 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100402 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100428 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140514 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |