JP7246956B2 - データ分析装置及びデータ分析方法 - Google Patents
データ分析装置及びデータ分析方法 Download PDFInfo
- Publication number
- JP7246956B2 JP7246956B2 JP2019023868A JP2019023868A JP7246956B2 JP 7246956 B2 JP7246956 B2 JP 7246956B2 JP 2019023868 A JP2019023868 A JP 2019023868A JP 2019023868 A JP2019023868 A JP 2019023868A JP 7246956 B2 JP7246956 B2 JP 7246956B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- attribute
- data
- data analysis
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9032—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Fuzzy Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
一般的なデータ分析の手順について図3に示すフローチャートに基づいて説明する。開始後、ステップSA1では前処理ステップを実行する。前処理ステップでは、分析に必要なデータ、すなわち分析対象データを収集し、分析の効果を高めるために、データの中から不要なノイズを取り除いたり、欠損した項目を埋めるといった作業を行う。この作業はETL:Extract/Transform/Loadと呼ばれている。ステップSA2では特徴抽出ステップを実行する。特徴抽出ステップでは、元データに存在する特徴量を加工し、分析により役立つ新たな特徴量を生成する。ステップSA3ではモデル学習ステップを実行する。モデル学習ステップでは、前処理ステップ及び特徴抽出ステップで準備されたデータを機械学習アルゴリズムに入力し、分析結果を得る。ステップSA4では後処理ステップを実行する。後処理ステップでは、モデル学習ステップで得られた分析結果を外部の機器に出力したり、分析結果に基づいてレポートを作成するといった処理を行う。
図1及び図2に示すように、データ分析装置1は、装置本体2と、モニタ3と、キーボード4と、マウス5とを備えており、モニタ3、キーボード4及びマウス5は、装置本体2に接続されている。例えば汎用のパーソナルコンピュータに、後述する制御内容及び処理内容を実行可能なプログラムをインストールすることによってデータ分析装置1とすることができ、また、前記プログラムがインストールされた専用のハードウェアでデータ分析装置1を構成することもできる。たとえば、使用者のパーソナルコンピュータに前記プログラムを直接インストールすることで、当該パーソナルコンピュータをデータ分析装置1として利用する形態、サーバーに前記プログラムをインストールしてデータ分析装置1を構築し、各使用者は各自のパーソナルコンピュータのブラウザからネットワーク経由でデータ分析装置1にアクセスして使用する形態、クラウド上に置かれたサービスであり、各使用者は各自のパーソナルコンピュータのブラウザからクラウド上のデータ分析装置1にアクセスする形態のいずれの形態であってもよい。
図1に示すモニタ3は、例えば有機ELディスプレイや液晶ディスプレイ等からなるものであり、それ単体で表示部と呼ぶこともできるし、モニタ3と、図2に示す表示制御部3aとを合わせて表示部と呼ぶこともできる。表示制御部3aは、モニタ3に内蔵されていてもよいし、装置本体10に内蔵されていてもよい。表示制御部3aは、モニタ3に対して画像を表示させる表示用DSPなどから構成される。表示制御部3aには、画像を表示させる際に画像データを一時記憶するVRAMなどのビデオメモリが含まれていてもよい。表示制御部3aは、後述する主制御部11のCPU11aから送られてきた表示指令(表示コマンド)に基づいて、モニタ3に対して所定の画像を表示させるための制御信号を送信する。たとえば、後述するような各種ユーザーインターフェースの他、アイコン、キーボード4やマウス5を用いた使用者の操作内容をモニタ3に表示させるための制御信号も送信する。また、マウス5で操作可能なポインタ等もモニタ3に表示することができるようになっている。
図1に示す装置本体2は、制御ユニット10と、記憶部30とを備えている。記憶部30は、ハードディスクドライブ、ソリッドステートドライブ(SSD)等で構成されている。記憶部30は、制御ユニット10に接続されており、制御ユニット10によって制御され、各種データを保存しておくことができるとともに、保存しておいたデータを読み出すこともできるようになっている。
制御ユニット10は、具体的に図示しないが、MPU、システムLSI、DSPや専用ハードウェア等で構成することができる。制御ユニット10は、後述するように様々な機能を搭載しているが、これらは論理回路によって実現されていてもよいし、ソフトウェアを実行することによって実現されていてもよい。
元の属性値は、図9に示すように、データ入力部12に入力された分析対象データに含まれる属性であり、それらの中のうちの1つを目的変数候補として扱うことができる。機械学習では目的変数は数値で与える必要があるため、ここでは数値型の変数のみを対象とする。
元の属性値をフラグに変換した値は、データ入力部12に入力された分析対象データに含まれる元の属性に対して所定の条件式を適用することで2値の情報に変換したものである。この変換後の情報を目的変数候補とすることができる。条件式の適用方法について、図10に示すように、属性値の型がカテゴリ型(例:性別)の場合、属性の値がある値に一致するかどうかに基づいて2値の情報に変換することができる。この例では、「男」が「1」、「女」が「0」である。また、条件式の適用方法について、属性値の型が数値型(例:年齢)の場合、属性の値がある値以上/ある値以下/ある値の範囲内かどうかに基づいて2値の情報に変換することができる。数値の場合、しきい値の設定方法が多数考えられるため、「平均値」、「最頻値」といった統計量をしきい値として自動的に選択するようにしてもよい。また、使用者に任意のしきい値を指定させるようにしてもよい。この場合、しきい値の入力部を設けることができる。また、カテゴリ変数の場合も、値の種類が多数ある場合には、頻出上位の値だけを自動的に選択してもよい。
元の属性値を、別の属性値のグループごとに集約した値は、集約対象の属性の値を、別の属性の種類ごとにグループ化し、各グループで集約関数を適用した値である。以下のa)~d)の4つ条件の組み合わせを網羅的に試し、目的変数候補として得る。
a)集約対象の属性 数値型の全ての属性
b)集約の単位となる属性 カテゴリ型の全ての属性又はリレーション定義に使った属性
c)集約関数の種類 事前に定義された関数セット(たとえばSUM,AVG)
d)集約の条件(オプション) 自動生成された条件セット(たとえば週次、月次)、
または使用者による設定
尚、a)、b)のどちらとも無関係なテーブルで条件を指定した場合は無視されるようにする。
使用者に提示する際に分かり易くするため、
{集約の単位}ごとの{条件}の{集約関数}{集約の対象}
のようなテンプレートにあてはめることで、自然言語での表現も自動生成しておく。自然言語での表現と、実際の生成方法(SQL)とを関連付けて記憶部30に記憶させておくことができる。
この場合、集約を属性に対してではなく、テーブルに対して行う。集約の方法は、「テーブルの行数」、「テーブルに行があるか」の2種類であり、これらの情報を取得することで実行可能である。
a)集約対象のテーブル 全てのテーブル
b)集約の単位となる属性 カテゴリ型の全ての属性又はリレーション定義に使った属性
c)集約関数の種類 事前に定義された関数セット(たとえば行数、有無)
d)集約の条件(オプション) 自動生成された条件セット(たとえば週次、月次)、
または使用者による設定
スコア計算部16は、生成される目的変数の行数に基づいてスコアを計算するように構成することができる。すなわち、目的変数が何行分生成されるのかは、目的変数候補によってそれぞれ異なる。例えば図15に示す例であれば、「性別ごとの合計購入額」の場合、目的変数は2行分(男、女)しか生成されないことになる。教師あり学習によるデータ分析を行う場合、データ数が少ないと精度の良い分析が出来ないことが一般的に知られている。そのため、上記のように2行しかデータが生成されないような場合、分析を行っても意味のある結果が得られないと予想される。そこで、生成される目的変数の行数をスコアとすることで、有用さを表現することができる。つまり、生成される目的変数の行数が少ないほどスコアが低くなるようにし、生成される目的変数の行数が多いほどスコアが高くなるようにする。
スコア計算部16は、生成される目的変数の分散に基づいてスコアを計算するように構成することができる。すなわち、教師あり学習によるデータ分析を行う場合、目的変数の値がすべて同じ値になると、意味のある計算をすることができない。説明変数の値を全て無視して、常に定数を出力するのが最適解となってしまうからである。そこで、生成される目的変数の分散をスコアに反映させることで、そのようなケースのスコアを下げる。つまり、分散が小さければスコアが低くなるようにする。
スコア計算部16は、テーブル間のリレーション定義に使った属性に基づいてスコアを計算するように構成することができる。すなわち、属性ごとに集約して目的変数を作る場合に、集約の単位は、1)カテゴリ変数 2)リレーション定義に使った属性のどちらも使うことができる。一般的には、テーブル間のリレーション定義に使う属性は、たとえば「ユーザー」や「アイテム」など、ビジネス上重要な粒度になっていることが多い。そこで、テーブル間のリレーション定義に使った属性を得て、リレーション定義に使った属性を用いた目的変数に対して、より高いスコアを与えるようにする。
スコア計算部16は、グループ内のレコード数(データ数)に基づいてスコアを計算するように構成することができる。すなわち、目的変数候補の生成時、「ユーザーごとの平均年齢」のような、各グループに1つしかレコードが無いケースを除くようにしている。このように自明なケースでなくても、グループ内のレコード数が少ない場合には、平均値を計算しても有用でないことが多い。そこで、平均値を使った目的変数に関しては、各グループ内のレコード数もスコアに加味するようにし、レコード数が多いほどスコアを高くし、レコード数が少ないほどスコアを低くする。この場合、レコード数を取得するレコード数取得手段を設けることができる。
スコア計算部16は、過去に選択されたことのある目的変数との類似度に基づいてスコアを計算するように構成することができる。すなわち、使用者が過去に用いたことのある目的変数は、再度使用される可能性が高いと推定される。そこで例えば、以下のようなスコア基準を用いることができる。この場合、過去に用いたことのある目的変数を図2に示す記憶部30に記憶させておき、スコアを計算する際に、記憶部30から、過去に用いたことのある目的変数を読み込むようにすればよい。
スコア=1 if直近N回に使用された目的変数のいずれかと一致
0 eles
複数の使用者が利用可能なシステムとしてデータ分析装置1を提供する場合、他の使用者が同じデータで採用した目的変数に対して高いスコアを与えることもできる。例えば、使用者と、その使用者が採用した目的変数とを関連付けて図2に示す記憶部30に記憶させておき、スコアを計算する際に、記憶部30から、その情報を読み込むようにすればよい。この場合、協調フィルタリングのような、一般的な推薦アルゴリズムとして知られる機械学習の手法を用いることもできる。
スコア計算部16は、属性の名前に基づいてスコアを計算するように構成することができる。すなわち、「単価」、「売上」、「不良品」、「離反」といった、データ分析において目的変数に使用されやすい意味の文字を含む場合にスコアを加算する。どういった名前の場合にどれ位のスコアを加算するのかは、事前にシステム側で生成した対応表を照合することで行ってもよいし、機械学習を用いて属性の名前からスコアを直接算出してもよい。
スコア計算部16は、欠損値の割合に基づいてスコアを計算するように構成することができる。すなわち、平均値を計算する場合に、対象グループ内に集約対象となるレコードが存在しない場合、目的変数の値が定義できない。こういった場合を欠損値と呼び、問題ごとに0などの適切な値を代わりに埋めるか、欠損した行を分析から除外する必要がある。欠損値の割合が多い場合は、分析の信頼度自体も下がると考えられるため、欠損値が多いほどスコアを下げる。
スコア=100-目的変数における欠損値の割合(%)
例えば目的変数を「ユーザーごとの購入額の合計」とした場合に、特徴量にも同じ「ユーザーごとの購入額の合計」を作成すると、他の特徴量を全て無視した分析結果が出てしまい、意味のある分析結果を得ることができない。このような、目的変数の情報が意図せず特徴量に「漏れる」状況はリークと呼ばれており、機械学習に習熟していない分析者が陥りやすい。
図5に示すフローチャートのステップSB3において、日付によって目的変数の集約条件を設定した場合、その日付より前の分析対象データは目的変数には使われていないため、特徴量の計算に使ってもリークは発生しない。そこで、集約条件に日付が指定されているか否かを判定し、日付が指定されている場合には、目的変数の集約条件とした期間と、特徴量の計算に使用する分析対象データの期間とが重複しないようにし、特徴量の生成にあたってはその日付より前の分析対象データだけを対象とする。これにより、たとえば図19に示すように、目的変数として、「ユーザー毎の2019/1の平均購入額」とした場合に、特徴量としてはそれ以前の「ユーザー毎の2018/12の平均購入額」を生成することができる。つまり、特徴量自動生成部15は、日付によって目的変数の集約条件が設定された場合、集約対象の該当期間の属性値を除いて特徴量を自動的に生成するように構成することができ、具体的には、その日付よりも前の分析対象データだけを対象として特徴量を自動的に生成する。
特徴量自動生成部15は、目的変数の集約条件に日付が指定されているか否かを判定し、日付が指定されていない場合、目的変数に用いられた属性自体を特徴量の生成対象から除外するように構成することができる。目的変数の集約条件に日付が指定されていない場合は上記1の手法を用いることができないので、その場合には、目的変数に使用した属性自体を特徴量の生成対象から外す。これにより、目的変数の情報が意図せず特徴量に漏れる状況が回避される。この場合、目的変数に使用した属性を記憶部30等から読み込むようにすればよい。
図5に示すフローチャートのステップSB6では、ステップSB3で生成された目的変数候補の絞り込みを行っているが、この手法は上述した手法に限られるものではなく、以下の手法を用いることもできる。すなわち、目的変数を絞り込むにあたって、段階的な選択を受け付けることが可能に構成することができる。第1段階として、図21Aに示すように、目的変数について集約の単位となる属性の選択を受け付ける。ここで提示される選択肢は、ステップSB3で生成した全ての目的変数候補のうち、少なくとも1つで集約の単位として選択されている属性とする。図21Aは絞り込み用ユーザーインターフェース60を示しており、制御ユニット10が絞り込み用ユーザーインターフェース60を生成してモニタ3に表示させる。絞り込み用ユーザーインターフェース60には、集約の単位となる属性の選択を受け付けるプルダウンメニュー形式の属性選択部60aと、戻るボタン60bと、次へボタン60cとが設けられている。属性選択部60aによって属性を選択した後、次へボタン60cを押すことで、第2段階に進む。
以下、目的変数の生成処理の各ステップにおける、内部データの保持方法について3種類の実施例について説明する。
第1例では、図22に「1.入力データ」として示すように、使用者が顧客テーブルと注文テーブルの2つのテーブルを分析対象データとして入力した場合を想定する。目的変数候補生成部14は、これらの入力されたテーブル(分析対象データ)をもとに、属性を組み合わせた新たな属性を生成し、目的変数候補として生成する。この時、図22に「2.目的変数候補の生成」として示すように、データ分析装置1の内部では目的変数と、集約の単位からなる新たな表を生成している。
集約対象の属性: 購入額(注文テーブル)
集約の単位 : ユーザー(注文テーブル)
集約関数 : 平均
の組み合わせで生成された、「ユーザーごとの平均購入額」を選択する。
第2例では、目的変数を選択した後に、使用者が顧客テーブルと注文テーブルを最新の状態に更新することが可能になっている例である。すなわち、実際のデータ分析(特徴生成~予測モデリング)を開始する前に、最新の状態に基づいて目的変数の属性の値を再計算し、再計算された値に基づいてデータ分析を行う。異なる分析対象データに対して再計算することで、毎月定型の分析処理を実施する場合など、繰り返しの分析を行う際にも選択した目的変数を活用することができる。
第3例では、目的変数候補を生成する際に、実際の属性や属性の値を生成する代わりに、図24の「2.目的変数候補の生成」ステップに示すように、集約対象・集約の単位・集約関数の組み合わせと、それに対応する自然言語表現、SQL文を記憶する。これは図2に示す記憶部30に記憶させることができる。
以上説明したように、この実施形態に係るデータ分析装置1によれば、数値型である少なくとも1つの属性を集約対象の属性とし、カテゴリ型である少なくとも1つの属性を集約単位の属性とし、集約単位の属性のカテゴリ値毎に、集約対象の属性の数値を、予め用意された集約関数に基づいて集約し、新たな目的変数候補を自動的に生成して表示させることができる。そして、表示された目的変数候補の中から、使用者による目的変数の選択を受け付け、選択された目的変数を予測するための予測モデルを自動的に生成することができるので、データ処理に習熟していない者であっても自由に分析を行うことができる。
3 モニタ(表示部)
3a 表示制御部
11 主制御部
12 データ入力部
13 型認識部
14 目的変数候補生成部
15 特徴量自動生成部
16 スコア計算部
17 キーワード入力部
19 属性選択部
20 選択受付部
21 分析部
30 記憶部
30a 候補記憶部
Claims (14)
- 分析対象データを分析するデータ分析装置において、
複数の属性を含む分析対象データの入力を受け付けるデータ入力部と、
前記データ入力部に入力された分析対象データの各属性の属性値の型が、数値であることを示す数値型であるか、カテゴリであることを示すカテゴリ型であるかを認識する型認識部と、
前記型認識部で認識された数値型である少なくとも1つの属性を集約対象の属性とし、前記型認識部で認識されたカテゴリ型である少なくとも1つの属性を集約単位の属性とし、集約単位の属性のカテゴリ値毎に、集約対象の属性の数値を、予め用意された集約関数に基づいて集約し、新たな目的変数候補を生成する目的変数候補生成部と、
前記目的変数候補生成部により生成された新たな目的変数候補を表示する表示部と、
前記表示部に表示された目的変数候補の中から、使用者による目的変数の選択を受け付ける選択受付部と、
前記選択受付部で選択された目的変数を予測するための予測モデルを生成する分析部とを備えることを特徴とするデータ分析装置。 - 請求項1に記載のデータ分析装置において、
前記表示部は、前記データ入力部に入力された分析対象データの元の属性と、前記目的変数候補生成部により生成された新たな目的変数候補とを表示可能に構成され、
前記選択受付部は、前記表示部に表示された前記元の属性と、前記新たな目的変数候補との中から、使用者による目的変数の選択を受け付けるように構成されていることを特徴とするデータ分析装置。 - 請求項2に記載のデータ分析装置において、
前記表示部は、前記データ入力部に入力された分析対象データの元の属性の属性値をフラグに変換した値を表示可能に構成され、
前記選択受付部は、前記表示部に表示された前記元の属性と、前記新たな目的変数候補と、前記フラグに変換した値の中から、使用者による目的変数の選択を受け付けるように構成されていることを特徴とするデータ分析装置。 - 請求項1から3のいずれか1つに記載のデータ分析装置において、
前記目的変数候補生成部は、前記型認識部で認識された数値型である少なくとも1つの属性を集約対象の属性とし、前記型認識部で認識された数値型である少なくとも1つの属性を集約単位の属性とし、集約単位の属性の数値毎に、集約対象の属性の数値を、予め用意された集約関数に基づいて集約し、新たな目的変数候補を生成するように構成されていることを特徴とするデータ分析装置。 - 請求項1から4のいずれか1つに記載のデータ分析装置において、
前記目的変数候補生成部は、前記データ入力部に入力された分析対象データに日付型の属性が含まれる場合、所定の期間を集約の条件として自動生成するように構成されていることを特徴とするデータ分析装置。 - 請求項1から5のいずれか1つに記載のデータ分析装置において、
目的変数候補の有用性をあらわすスコアを計算するスコア計算部を備え、
前記表示部は、前記スコア計算部で計算されたスコアが所定以上の目的変数候補を表示可能に構成されていることを特徴とするデータ分析装置。 - 請求項6に記載のデータ分析装置において、
前記スコア計算部は、生成される目的変数の行数に基づいてスコアを計算するように構成されていることを特徴とするデータ分析装置。 - 請求項6または7に記載のデータ分析装置において、
前記スコア計算部は、生成される目的変数の分散に基づいてスコアを計算するように構成されていることを特徴とするデータ分析装置。 - 請求項1から8のいずれか1つに記載のデータ分析装置において、
前記目的変数候補生成部は、目的変数候補の生成後、所定の条件に適合する目的変数候補を削除するように構成されていることを特徴とするデータ分析装置。 - 請求項1から9のいずれか1つに記載のデータ分析装置において、
前記選択受付部で選択された目的変数を生成する際に、前記目的変数候補生成部が用いた集約対象の属性の少なくとも一部の属性値を除いた属性に所定の関数を適用することにより、新たな特徴量を自動的に生成する特徴量自動生成部を備えていることを特徴とするデータ分析装置。 - 請求項1から9のいずれか1つに記載のデータ分析装置において、
分析対象データに含まれる元の属性又は複数の属性の組み合わせに対し所定の関数を適用することにより新たな特徴量を自動的に生成し、生成された特徴量から、前記選択受付部により選択された目的変数に用いられた集約対象の属性の少なくとも一部の属性値の情報を含む特徴量を除外し、最終的な特徴量を生成する特徴量自動生成部を備えていることを特徴とするデータ分析装置。 - 請求項1から11のいずれか1つに記載のデータ分析装置において、
使用者からのキーワード情報の入力を受け付けるキーワード入力部を備え、
前記表示部は、前記キーワード入力部により使用者が入力したキーワード情報に関連する目的変数候補を表示可能に構成されていることを特徴とするデータ分析装置。 - 請求項1から12のいずれか1つに記載のデータ分析装置において、
集約対象又は集約単位の属性に関する使用者からの選択入力を受け付ける属性選択部を備え、
前記表示部は、前記属性選択部により使用者が入力した属性を集約対象又は集約単位として生成された目的変数候補を表示するように構成されていることを特徴とするデータ分析装置。 - データ分析装置を用いて分析対象データを分析するデータ分析方法において、
複数の属性を含む分析対象データの入力を前記データ分析装置のデータ入力部が受け付けるデータ入力ステップと、
前記データ入力ステップで入力された分析対象データの各属性の属性値の型が、数値であることを示す数値型であるか、カテゴリであることを示すカテゴリ型であるかを前記データ分析装置の型認識部が認識する型認識ステップと、
前記データ分析装置の目的変数候補生成部が、前記型認識ステップで認識された数値型である少なくとも1つの属性を集約対象の属性とし、前記型認識ステップで認識されたカテゴリ型である少なくとも1つの属性を集約単位の属性とし、集約単位の属性のカテゴリ値毎に、集約対象の属性の数値を、予め用意された集約関数に基づいて集約し、新たな目的変数候補を生成する目的変数候補生成ステップと、
前記目的変数候補生成ステップにより生成された新たな目的変数候補を前記データ分析装置の表示制御部が表示部に表示させる表示ステップと、
前記表示ステップで前記表示部に表示された目的変数候補の中から、使用者による目的変数の選択を前記データ分析装置の選択受付部が受け付ける選択受付ステップと、
前記選択受付ステップで選択された目的変数を予測するための予測モデルを前記データ分析装置の分析部が生成する分析ステップとを備えることを特徴とするデータ分析方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019023868A JP7246956B2 (ja) | 2019-02-13 | 2019-02-13 | データ分析装置及びデータ分析方法 |
US16/507,063 US11308103B2 (en) | 2019-02-13 | 2019-07-10 | Data analyzing device and data analyzing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019023868A JP7246956B2 (ja) | 2019-02-13 | 2019-02-13 | データ分析装置及びデータ分析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020135053A JP2020135053A (ja) | 2020-08-31 |
JP7246956B2 true JP7246956B2 (ja) | 2023-03-28 |
Family
ID=71944841
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019023868A Active JP7246956B2 (ja) | 2019-02-13 | 2019-02-13 | データ分析装置及びデータ分析方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11308103B2 (ja) |
JP (1) | JP7246956B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111967611A (zh) * | 2020-08-20 | 2020-11-20 | 贝壳技术有限公司 | 特征生成方法和装置、电子设备和存储介质 |
CN113468833B (zh) * | 2021-06-11 | 2024-02-09 | 山东英信计算机技术有限公司 | 一种原理图中元器件属性标记方法、装置、设备及介质 |
WO2023090292A1 (ja) * | 2021-11-17 | 2023-05-25 | ソニーグループ株式会社 | 情報処理装置、情報処理方法およびコンピュータプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014081750A (ja) | 2012-10-16 | 2014-05-08 | Hitachi Ltd | データ統合分析システム |
JP2017054230A (ja) | 2015-09-08 | 2017-03-16 | 株式会社エヌ・ティ・ティ・データ | 集計分析装置、集計分析方法、及びプログラム |
JP2018088087A (ja) | 2016-11-28 | 2018-06-07 | 株式会社日立製作所 | データ分析装置、データ分析方法、及びデータ分析プログラム |
JP2018180712A (ja) | 2017-04-06 | 2018-11-15 | テンソル・コンサルティング株式会社 | モデル変数候補生成装置および方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150235143A1 (en) * | 2003-12-30 | 2015-08-20 | Kantrack Llc | Transfer Learning For Predictive Model Development |
KR101650993B1 (ko) * | 2010-06-24 | 2016-08-24 | 더 닐슨 컴퍼니 (유에스) 엘엘씨 | 광범위하게 측정된 비-파라메트릭, 다차원, 공간적 및 시간적 인간 행동 또는 기술적 관측을 처리하기 위한 네트워크 서버 장치, 및 이를 위한 관련 방법 |
US20160078367A1 (en) * | 2014-10-15 | 2016-03-17 | Brighterion, Inc. | Data clean-up method for improving predictive model training |
-
2019
- 2019-02-13 JP JP2019023868A patent/JP7246956B2/ja active Active
- 2019-07-10 US US16/507,063 patent/US11308103B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014081750A (ja) | 2012-10-16 | 2014-05-08 | Hitachi Ltd | データ統合分析システム |
JP2017054230A (ja) | 2015-09-08 | 2017-03-16 | 株式会社エヌ・ティ・ティ・データ | 集計分析装置、集計分析方法、及びプログラム |
JP2018088087A (ja) | 2016-11-28 | 2018-06-07 | 株式会社日立製作所 | データ分析装置、データ分析方法、及びデータ分析プログラム |
JP2018180712A (ja) | 2017-04-06 | 2018-11-15 | テンソル・コンサルティング株式会社 | モデル変数候補生成装置および方法 |
Also Published As
Publication number | Publication date |
---|---|
US11308103B2 (en) | 2022-04-19 |
JP2020135053A (ja) | 2020-08-31 |
US20200257685A1 (en) | 2020-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7257169B2 (ja) | データ分析装置 | |
US7912816B2 (en) | Adaptive archive data management | |
JP7246956B2 (ja) | データ分析装置及びデータ分析方法 | |
JP2017500664A (ja) | 多ディメンション・データー構造に対する実行のためのクエリー構築 | |
JP2020135891A (ja) | 検索提案を提供する方法、装置、機器及び媒体 | |
JP2020024541A (ja) | データ分析装置及びデータ分析方法 | |
US20220351004A1 (en) | Industry specific machine learning applications | |
CN111967914A (zh) | 基于用户画像的推荐方法、装置、计算机设备和存储介质 | |
JP7246957B2 (ja) | データ分析装置及びデータ分析方法 | |
JP2007011604A (ja) | 不具合診断システム及びプログラム | |
Bhatia et al. | Machine Learning with R Cookbook: Analyze data and build predictive models | |
JP2018147351A (ja) | 知識モデル構築システム及び知識モデル構築方法 | |
US20140310306A1 (en) | System And Method For Pattern Recognition And User Interaction | |
CN116235158A (zh) | 实施自动化特征工程的***和方法 | |
JP7257168B2 (ja) | データ分析装置 | |
JP7049211B2 (ja) | データ分析装置及びデータ分析方法 | |
JP7246958B2 (ja) | データ分析装置及びデータ分析方法 | |
WO2020250810A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP4316538B2 (ja) | 仲介型問題解決支援システム | |
US8200523B2 (en) | Procedure generation apparatus and method | |
JP2020071523A (ja) | 見積方法、課金方法、コンピュータ、及びプログラム | |
JP2020024544A (ja) | データ分析装置及びデータ分析方法 | |
JP2023096330A (ja) | データ分析装置及びデータ分析方法 | |
JPWO2018003115A1 (ja) | 分析支援装置、分析支援方法、および分析支援プログラム | |
Panayotov | Ein visuelles Erkundungstool zur zeitlichen Analyse von Kundenbewertungen |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211217 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221026 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230315 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7246956 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |