JP5946949B1 - データ分析システム、その制御方法、プログラム、および、記録媒体 - Google Patents
データ分析システム、その制御方法、プログラム、および、記録媒体 Download PDFInfo
- Publication number
- JP5946949B1 JP5946949B1 JP2015238978A JP2015238978A JP5946949B1 JP 5946949 B1 JP5946949 B1 JP 5946949B1 JP 2015238978 A JP2015238978 A JP 2015238978A JP 2015238978 A JP2015238978 A JP 2015238978A JP 5946949 B1 JP5946949 B1 JP 5946949B1
- Authority
- JP
- Japan
- Prior art keywords
- data
- evaluation
- components
- learning data
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
図1は、本実施の形態に係るデータ分析システム(以下、単に「システム」と略記することがある)のハードウェア構成の一例を示すブロック図である。当該システムは、例えば、データ(デジタルデータおよびアナログデータを含む)を格納可能な任意の記録媒体(例えば、メモリ、ハードディスクなど)と、当該記録媒体に格納された制御プログラムを実行可能なコントローラ(例えば、CPU;Central Processing Unit)とを備え、当該記録媒体に少なくとも一時的に格納されたデータを分析するコンピュータまたはコンピュータシステム(複数のコンピュータが統合的に動作することによってデータ分析を実現するシステム)として実現され得る。
上記システムは、データ評価機能を備えることができる。当該データ評価機能は、人手で分類された少数のデータ(学習用データ)に基づいて、多数の評価用データ(ビッグデータ)を評価するものである。当該データ評価機能を備えることにより、上記システムは、例えば、評価用データと所定事案との関連性の高低を示す指標(例えば、評価用データを序列化可能にする数値(例えば、スコア)、文字(例えば、「高」、「中」、「低」など)、記号(例えば、「◎」、「○」、「△」、「×」など)、および/またはこれらの組み合わせであってよい)を導出することによって、上記評価を行うことができる。データ評価機能は、サーバ装置2のコントローラによって実現される。
wgti:i番目の構成要素の評価値
既述のとおり、評価用データの評価には、例えば、学習用データから抽出された構成要素の評価値が用いられる。この場合、評価値が低い構成要素でも、それが数多く評価用データに含まれていると、当該評価用データと所定事案との真の関連性の高さにかかわらず、当該評価用データが高く評価されてしまうことがある。
サーバ装置2による評価用データの評価動作を説明する。図4は、サーバ装置2のコントローラのフローチャートである。コントローラは、ストレージシステム5に記録された評価用データの中から一つ又は複数のデータを参照データとして取得する(ステップS300:参照データ取得)。各ステップを、モジュール又は手段と言い換えることもできる。
次に、データ分析システムの第2の実施形態を説明する。この実施形態の特徴は、学習用データに含まれる構成要素の評価結果を利用して、学習用データを複数のセグメントに分割し、複数のセグメント夫々を新たな複数の学習用データとして、評価用データの評価に利用することにある。例えば、学習用データから抽出された構成要素の当該学習用データにおける分布の態様に基づいて、学習用データの構成要素を所定のパターンに分割することにより、学習用データを複数のセグメントに分割することができる。さらに、具体的には、学習用データから選択された複数の構成要素グループを所定事案との関連性に基づいて統合することにより、学習用データに複数のセグメントを設定することができる。
本実施の形態において、「データ」は、コンピュータによって処理可能となる形式で表現された任意のデータであってよい。上記データは、例えば、少なくとも一部において構造定義が不完全な非構造化データであってよく、自然言語によって記述された文章を少なくとも一部に含む文書データ(例えば、電子メール(添付ファイル・ヘッダ情報を含む)、技術文書(例えば、学術論文、特許公報、製品仕様書、設計図など、技術的事項を説明する文書を広く含む)、プレゼンテーション資料、表計算資料、決算報告書、打ち合わせ資料、報告書、営業資料、契約書、組織図、事業計画書、企業分析情報、電子カルテ、ウェブページ、ブログ、ソーシャルネットワークサービスに投稿されたコメントなど)、音声データ(例えば、会話・音楽などを録音したデータ)、画像データ(例えば、複数の画素またはベクター情報から構成されるデータ)、映像データ(例えば、複数のフレーム画像から構成されるデータ)などを広く含む(これらの例に限定されない)。
上記システムの制御ブロックは、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPUを用いてソフトウェアによって実現してもよい。後者の場合、上記システムは、各機能を実現するソフトウェアであるプログラム(データ分析システムの制御プログラム)を実行するCPU、当該プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、当該プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、当該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。なお、上記プログラムは、任意のプログラミング言語によって実装可能である。また、上記プログラムを記録した任意の記録媒体も、本発明の範疇に入る。
上記システムは、例えば、ディスカバリー支援システム、フォレンジックシステム、電子メール監視システム、医療応用システム(例えば、ファーマコビジランス支援システム、治験効率化システム、医療リスクヘッジシステム、転倒予測(転倒防止)システム、予後予測システム、診断支援システムなど)、インターネット応用システム(例えば、スマートメールシステム、情報アグリゲーション(キュレーション)システム、ユーザ監視システム、ソーシャルメディア運営システムなど)、情報漏洩検知システム、プロジェクト評価システム、マーケティング支援システム、知財評価システム、不正取引監視システム、コールセンターエスカレーションシステム、信用調査システムなど、ビッグデータを分析する人工知能システム(データと所定事案との関連性を評価可能な任意のシステム)として実現され得る。なお、本発明のデータ分析システムが応用される分野によっては、当該分野に特有の事情を考慮して、例えば、データに前処理(例えば、当該データから重要箇所を抜き出し、当該重要箇所のみをデータ分析の対象とするなど)を施したり、データ分析の結果を表示する態様を変化させたりしてよい。こうした変形例が多様に存在し得ることは、当業者に理解されるところであり、すべての変形例が本発明の範疇に入る。
Claims (10)
- データを分析するデータ分析システムであって、
分析の対象となる複数の評価用データを少なくとも一時的に記憶するメモリと、
前記複数の評価用データを学習用データに基づいて評価するコントローラと、
を備え、
前記コントローラは、
前記学習用データから複数の構成要素を抽出し、当該複数の構成要素の夫々は、当該学習用データの少なくとも一部を構成するものであり、
前記抽出された複数の構成要素夫々の評価情報と、当該複数の構成要素夫々が前記学習用データにおいて出現する位置との関係から、当該複数の構成要素の前記学習用データにおける分布の態様を求め、
前記複数の構成要素の中から、前記複数の評価用データの評価に使用される構成要素を、前記分布の態様に基づいて選択し、
前記選択された構成要素に基づいて、前記評価用データを評価する
データ分析システム。 - 前記コントローラは、
ユーザに提示された参照データと、当該ユーザによって当該参照データに設定された分類情報の組み合わせとを前記学習用データとし、
前記複数の構成要素夫々の前記組み合わせに寄与する度合いに基づいて、当該複数の構成要素夫々の評価情報を生成し、
前記生成された評価情報に基づいて評価用データを序列化するための指標を生成することにより、前記評価用データを評価する
請求項1記載のデータ分析システム。 - 前記コントローラは、
前記分布の態様に基づいて、前記学習用データから抽出された複数の構成要素の中から、所定の位置関係を持って前記学習用データに存在する複数の構成要素を、前記複数の評価用データの評価に使用される構成要素として選択する
請求項1又は2記載のデータ分析システム。 - 前記コントローラは、
前記分布の態様に基づいて前記学習用データから抽出された複数の構成要素の評価情報の少なくとも一つのピークを求め、
当該ピークに基づいて前記複数の構成要素の中から前記複数の評価用データの評価に使用される構成要素を選択する
請求項3記載のデータ分析システム。 - 前記コントローラは、
前記ピークの位置に対応する構成要素、及び、前記学習用データの当該構成要素の近傍に位置する他の構成要素と、を含む構成要素グループを決定し、
当該構成要素グループに属する複数の構成要素を前記複数の評価用データの評価に使用される構成要素として選択される
請求項4記載のデータ分析システム。 - 前記コントローラは、
前記分布の態様に基づいて前記学習用データを複数のセグメントに分割し、
前記分割された複数のセグメントを新たな複数の学習用データとし、
前記新たな複数の学習用データに基づいて前記複数の評価用データを評価する、
請求項1から5のいずれか一項記載のデータ分析システム。 - 前記コントローラは、
前記分布の態様に基づいて前記選択される複数の構成要素を複数のグループに分類し、
当該複数のグループを統合する過程で、前記複数のセグメントを決定する、
請求項6記載のデータ分析システム。 - 複数の評価用データを学習用データに基づいて評価するデータ分析システムの制御方法であって、
前記データ分析システムが、
前記学習用データから複数の構成要素を抽出し、当該複数の構成要素の夫々は、当該学習用データの少なくとも一部を構成するステップと、
前記抽出された複数の構成要素夫々の評価情報と、当該複数の構成要素夫々が前記学習用データにおいて出現する位置との関係から、当該複数の構成要素の前記学習用データにおける分布の態様を求めるステップと、
前記複数の構成要素の中から、前記複数の評価用データの評価に使用される構成要素を、前記分布の態様に基づいて選択するステップと、
前記選択された構成要素に基づいて、前記評価用データを評価するステップと、
を実行する制御方法。 - 複数の評価用データを学習用データに基づいて評価するデータ分析をコンピュータに実行させるプログラムであって、
前記学習用データから複数の構成要素を抽出し、当該複数の構成要素の夫々は、当該学習用データの少なくとも一部を構成するステップと、
前記抽出された複数の構成要素夫々の評価情報と、当該複数の構成要素夫々が前記学習用データにおいて出現する位置との関係から、当該複数の構成要素の前記学習用データにおける分布の態様を求めるステップと、
前記複数の構成要素の中から、前記複数の評価用データの評価に使用される構成要素を、前記分布の態様に基づいて選択するステップと、
前記選択された構成要素に基づいて、前記評価用データを評価するステップと、
をコンピュータに実行させるためのプログラム。 - 請求項9記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015238978A JP5946949B1 (ja) | 2015-12-07 | 2015-12-07 | データ分析システム、その制御方法、プログラム、および、記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015238978A JP5946949B1 (ja) | 2015-12-07 | 2015-12-07 | データ分析システム、その制御方法、プログラム、および、記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5946949B1 true JP5946949B1 (ja) | 2016-07-06 |
JP2017107302A JP2017107302A (ja) | 2017-06-15 |
Family
ID=56329452
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015238978A Active JP5946949B1 (ja) | 2015-12-07 | 2015-12-07 | データ分析システム、その制御方法、プログラム、および、記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5946949B1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023068859A (ja) * | 2021-11-04 | 2023-05-18 | 株式会社日立製作所 | 計算機システム及び装置条件の探索支援方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013182338A (ja) * | 2012-02-29 | 2013-09-12 | Ubic:Kk | 文書分別システム及び文書分別方法並びに文書分別プログラム |
-
2015
- 2015-12-07 JP JP2015238978A patent/JP5946949B1/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013182338A (ja) * | 2012-02-29 | 2013-09-12 | Ubic:Kk | 文書分別システム及び文書分別方法並びに文書分別プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2017107302A (ja) | 2017-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11182806B1 (en) | Consumer insights analysis by identifying a similarity in public sentiments for a pair of entities | |
US10685183B1 (en) | Consumer insights analysis using word embeddings | |
JP5885875B1 (ja) | データ分析システム、データ分析方法、プログラム、および、記録媒体 | |
EP3279804A1 (en) | Data analysis system, data analysis method, data analysis program, and recording medium | |
WO2018184518A1 (zh) | 微博数据处理方法、装置、计算机设备及存储介质 | |
US10803248B1 (en) | Consumer insights analysis using word embeddings | |
US20230336532A1 (en) | Privacy Preserving Document Analysis | |
US10489427B2 (en) | Document classification system, document classification method, and document classification program | |
KR102280490B1 (ko) | 상담 의도 분류용 인공지능 모델을 위한 훈련 데이터를 자동으로 생성하는 훈련 데이터 구축 방법 | |
US10685184B1 (en) | Consumer insights analysis using entity and attribute word embeddings | |
JP6026036B1 (ja) | データ分析システム、その制御方法、プログラム、及び、記録媒体 | |
JP6178480B1 (ja) | データ分析システム、その制御方法、プログラム、及び、記録媒体 | |
JP5933863B1 (ja) | データ分析システム、制御方法、制御プログラム、および記録媒体 | |
JP5946949B1 (ja) | データ分析システム、その制御方法、プログラム、および、記録媒体 | |
Heidari et al. | Financial footnote analysis: developing a text mining approach | |
US11817089B2 (en) | Generating aspects from attributes identified in digital video audio tracks | |
JP6509391B1 (ja) | 計算機システム | |
KR102215259B1 (ko) | 주제별 단어 또는 문서의 관계성 분석 방법 및 이를 구현하는 장치 | |
CN112182020A (zh) | 金融行为识别与分类的方法、装置及计算机可读存储介质 | |
Congleton et al. | Tracing Political Positioning of Dutch Newspapers | |
CN112115705B (zh) | 一种电子简历的筛选方法及装置 | |
WO2023014237A1 (ru) | Способ и система извлечения именованных сущностей | |
Tseng et al. | BIV-Priv-Seg: Locating Private Content in Images Taken by People With Visual Impairments | |
EA043239B1 (ru) | Способ и система извлечения именованных сущностей | |
CN116306624A (zh) | 客诉文本分类方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160427 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160524 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160601 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5946949 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |