JP2004021445A - テキストデータ分析システム、テキストデータ分析方法およびコンピュータプログラム - Google Patents
テキストデータ分析システム、テキストデータ分析方法およびコンピュータプログラム Download PDFInfo
- Publication number
- JP2004021445A JP2004021445A JP2002173641A JP2002173641A JP2004021445A JP 2004021445 A JP2004021445 A JP 2004021445A JP 2002173641 A JP2002173641 A JP 2002173641A JP 2002173641 A JP2002173641 A JP 2002173641A JP 2004021445 A JP2004021445 A JP 2004021445A
- Authority
- JP
- Japan
- Prior art keywords
- analysis
- text data
- procedure
- group
- tree structure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】曖昧さの多い日本語テキストデータの内容に対して、自動分析機能に優れたテキストデータ分析手法を提供する。
【解決手段】多数のテキストデータを蓄積するテキストデータベース内のテキストデータをグループ化し、且つ階層化して表示可能であるようにツリー構造を形成するツリー構造化手段と、ツリー構造として表示されたグループまたは各グループの階層の中から選択した対象を分析する選択対象分析手段と、その選択対象分析手段が分析した分析結果を出力する出力手段とを備える。前記の選択対象分析手段には、単語間の係り受け関係を抽出する構文分析機能を備える。
【選択図】 図1
【解決手段】多数のテキストデータを蓄積するテキストデータベース内のテキストデータをグループ化し、且つ階層化して表示可能であるようにツリー構造を形成するツリー構造化手段と、ツリー構造として表示されたグループまたは各グループの階層の中から選択した対象を分析する選択対象分析手段と、その選択対象分析手段が分析した分析結果を出力する出力手段とを備える。前記の選択対象分析手段には、単語間の係り受け関係を抽出する構文分析機能を備える。
【選択図】 図1
Description
【0001】
【発明が属する技術分野】
本発明は、デキストデータとして蓄積された大量のデータを分析したり、分析を支援したりすることができる情報処理技術に関する。
【0002】
【先行技術】
消費者のニーズや、消費者からのクレームをテキストデータとして収集する仕組みは、情報の電子化技術、インターネットの発達とともに、様々なツールや製品が提供されるようになった。たとえば、コールセンターにかかってくる電話の音声をテキストデータへ自動変換したり、インターネット上に開設された意見コーナーや電子掲示板へ書き込まれたテキストデータを収集したりする技術である。
【0003】
収集されたテキストデータを活用するツールは、「テキストマイニング・ツール」と総称され、「検索系」と「分析系」とに大別される。
「検索系」とは、テキストデータの中から特定の言葉を探し出す機能を中心とする。例えば、アンケート群の中から、「楽しい」という言葉を探し出したり、探し出した言葉の出現頻度をカウントする、などを行う。
「分析系」とは、「楽しい」という言葉をアンケートへ書き込んだのは、男性が多いのか女性が多いのか、若い世代が多いのか年輩の世代が多いのか、といった単語の関連性分析や、「楽しい」という言葉が時間経過と共に増加傾向にあるのか減少しているのかといった時系列分析を行う、などである。
【0004】
【発明が解決しようとする課題】
さて、現在提供されているテキストマイニング・ツールのほとんどは、曖昧な表現が多用される日本語の特徴が壁になり、自動分析することが困難であった。そのため、収集したテキストデータを、属性毎にグループ化するなどの形式的な分析のみを自動化し、テキストデータの内容についての傾向分析は、人手に頼っているのが現状であった。
【0005】
そこで、本発明が解決しようとする課題は、現在提供されているテキストマイニング・ツールよりも自動分析の機能を高めた技術を提供することにある。
ここで、請求項1から請求項5に記載の発明の目的は、日本語テキストデータの内容に対して自動分析機能に優れたテキストデータ分析システムを提供することにある。
また、請求項6から請求項8に記載の発明の目的は、日本語テキストデータの内容に対して自動分析機能に優れたテキストデータ分析方法を提供することにある。
さらに、請求項9から請求項11に記載の発明の目的は、日本語テキストデータの内容に対して自動分析機能に優れたテキストデータ分析方法をコンピュータに実行させるためのコンピュータプログラムを提供することにある。
【0006】
【課題を解決するための手段】
本発明は、上記した課題を解決するため、大量のデータを分析可能な情報処理技術、および一文中における複数の単語の係り受け関係を分析する技術を用いる。
【0007】
(請求項1)
請求項1記載の発明は、多数のテキストデータを蓄積するテキストデータベース内における分析対象となるテキストデータをグループ化し、且つ階層化して表示可能であるようにツリー構造を形成するツリー構造化手段と、ツリー構造として表示されたグループまたは各グループの階層の中から選択された対象を分析する選択対象分析手段と、その選択対象分析手段が分析した分析結果をツリー構造とともに出力する出力手段とを備え、選択対象分析手段には、単語間の係り受け関係を抽出する構文分析手段を備えたテキストデータ分析システムに係る。
【0008】
(用語説明)
「構文分析手段」とは、単語間の係り受け関係を捉えて構文分析をすることにより、何に対して何と言っているのかを正確に把握することが可能な手段である。この手段による機能は、否定形の文章、疑問の文章、要望の文章といった表現までをふるい分けることが可能である。例えば、複数の意味の抽出が可能である。すなわち、「液晶は良いが、メモリが悪い。」という文章からは、「液晶」と「良い」、「メモリ」と「悪い」の二つの組合せを抽出可能である。また、表現の抽出も可能である。すなわち、「商品Aは、もっと軽くしたほうが良いと思うのですが。」という文章からは、「商品A」と「軽い」の「要望」として抽出可能である。また、「商品Aの価格は、一般モデルよりも安いですか?」という文章からは、「商品A」と「安い」の「疑問」として抽出可能である。
なお、「選択対象分析手段」には、「構文分析機能」のほか、「単語ランキング」、「特徴的な単語」、「マッピング」、「テキスト詳細」、「グループ属性」、「時系列モニタ」、「スコアリング」などの機能を用意することが可能であり、実施の形態にて詳述する。これら機能を効率的に画面出力させるには、いわゆるタブを採用する。
【0009】
(作用)
ツリー構造化手段は、多数のテキストデータを蓄積するテキストデータベースから分析対象となるテキストデータをグループ化し、且つ階層化して表示可能であるように、ツリー構造を自動的に形成する。
ツリー構造として表示されたグループまたは各グループの階層の中から、本システムのユーザが選択した対象を選択対象分析手段が分析する。そして、その選択対象分析手段が分析した分析結果をツリー構造とともに出力手段が出力する。ツリー構造をインタフェイスとして採用することにより、分析の切り口が表示されるためにわかりやすい分析環境、分析結果の出力結果を提供できる。
選択対象分析手段は、構文分析手段を用いて単語間の係り受け関係を抽出することができ、分析結果には、その構文分析機能による係り受け関係を生かした分析とすることができる。係り受け関係を用いた分析を行った場合、日本語独特の曖昧な表現に対しても、踏み込んだ分析や分類が可能となる。
【0010】
(請求項2)
請求項2記載の発明は、請求項1記載のシステムを限定したものであり、
分析テーマに基づいたプロジェクトファイルを形成するプロジェクトファイル作成手段を備えたテキストデータ分析システムに係る。
【0011】
(作用)
ひとつのテキストデータベースに蓄積されたデータを複数の者が利用したり、様々な角度から分析したりする場合に、混乱が生じるおそれがある。一方、ある分析結果を流用したいような場合もある。そこで、プロジェクトファイル作成手段を用いて、分析テーマに基づいたプロジェクトファイルを形成する。このことにより、既に作成されたプロジェクトファイルをいったん呼び出し、プロジェクトファイルをリネームすることによって、データや分析結果を流用できる。
また、ASP事業を展開する場合、プロジェクトファイル単位で課金する、といった活用もありえる。
【0012】
(請求項3)
請求項3記載の発明は、請求項2に記載のテキストデータ分析システムを限定したものであり、
既に形成されたプロジェクトファイルに対して、分析対象となるテキストデータ群を追加または変更したい場合に、追加または変更したいテキストデータ群を指定して追加または変更させるデータインポート手段を備えたテキストデータ分析システムに係る。
【0013】
(作用)
既に形成されたプロジェクトファイルに対して、分析対象となるテキストデータ群を追加または変更したい場合がある。例えばテキストデータが新たに収集されてそれを追加したい場合や、古いデータを削除して新しいデータを追加したいような場合などである。そのような場合に、既に形成されたプロジェクトファイルに対して、データインポート手段が追加または変更したいテキストデータ群を指定して追加または変更させる。すると、ツリー構造化手段は、多数のテキストデータを蓄積するテキストデータベースから、追加または変更された分析対象を含めてテキストデータをグループ化し、且つ階層化して表示可能であるように、ツリー構造を形成する。
また、新たにツリー構造として表示されたグループまたは各グループの階層の中から、本システムのユーザが選択したら、その対象を選択対象分析手段が新たに分析する。そして、その新たな分析結果を出力手段が新たに出力する。その出力は、追加または変更された分析対象を含んでいる。
【0014】
(請求項4)
請求項4記載の発明は、請求項1から請求項3のいずれかに記載のテキストデータ分析システムを限定したものであり、
選択対象分析手段には、ツリー構造化手段によって形成されたグループと選択された単語との関連性を平面的にプロットするマッピング機能を備えたテキストデータ分析システムに係る。
ここで、「平面的にプロットする」とは、X、Yの二軸での表示におけるプロットのみならず、X、Y、Zの三軸での画面出力用の表示におけるプロットを含む。
【0015】
(作用)
本システムのユーザが、選択対象を選択し、分析手段としてマッピング機能を選択した場合には、ツリー構造化手段によって形成されたグループと選択された単語との関連性を平面的にプロットされる。出力手段には、選択された所定のグループとそのグループに特徴的な単語の関係を二次元的な位置関係を用いて視覚的に表現される。このため、分析結果をイメージとしてとらえやすい。
【0016】
(請求項5)
請求項5記載の発明は、請求項4記載のテキストデータ分析システムを限定したものであり、
選択された単語に対しての係り受け関係を抽出する係り受け抽出手段を備え、マッピング手段は、前記係り受け抽出手段によって抽出された係り受け関係を平面的にプロットすることとしたテキストデータ分析システムに係る。
ここで、「係り受け抽出手段」は、請求項1にいう「構文分析手段」と同じく、単語間の係り受け関係を抽出する機能を実現する手段であるが、マッピング手段と組み合わせて使用される。
【0017】
(作用)
本システムのユーザがある単語を選択すると、係り受け抽出手段がその単語に対しての係り受け関係を抽出する。そしてマッピング手段が、別途選択された所定のグループと抽出された係り受け関係とを平面的にプロットする。このため、グループおよび抽出された係り受け関係を同時に、二次元的な位置関係で把握できる。
【0018】
(請求項6)
請求項5記載の発明は、多数のテキストデータを蓄積するテキストデータベース内における分析対象となるテキストデータをグループ化し、且つ階層化して表示可能であるようにツリー構造を形成するツリー構造化手順と、ツリー構造として表示されたグループまたは各グループの階層の中から選択された対象を分析する選択対象分析手順と、その選択対象分析手順にて分析した分析結果をツリー構造とともに出力する出力手順とを備え、選択対象分析手順には、単語間の係り受け関係を抽出する構文分析手順を含むこととしたテキストデータ分析方法テキストデータ分析方法に係る。
「構文分析手順」は、ユーザが選択する「選択対象分析手順」の種類に応じて自動的に実行される場合、ユーザが選択した場合にのみ実行される場合の両方を含む。
【0019】
(請求項7)
請求項7記載の発明は、分析テーマに基づいたプロジェクトファイルを形成するプロジェクトファイル作成手順と、そのプロジェクトファイル作成手順によって形成されたプロジェクトファイルに基づいたテキストデータをグループ化し、且つ階層化して表示可能であるようにツリー構造を形成するツリー構造化手順と、ツリー構造として表示されたグループまたは各グループの階層の中から選択された対象を分析する選択対象分析手順と、その選択対象分析手順にて分析した分析結果をツリー構造とともに出力する出力手順とを備え、選択対象分析手順には、単語間の係り受け関係を抽出する構文分析手順を含むこととしたテキストデータ分析方法に係る。
前記プロジェクトファイルは、必要に応じて、更に階層ファイルを作成する。例えば、テキストデータベースの中から分析対象となるテキストデータ群を抽出して作成したデータファイル、ツリー構造化手順にて形成するツリー構造を保存するためのプロジェクトツリーファイル、選択対象分析手順において分析するための分析準備データを保存するためのデータ定義ファイルなどである。
【0020】
(請求項8)
請求項8記載の発明は、多数のテキストデータを蓄積するテキストデータベース内における分析対象となるテキストデータをグループ化し、且つ階層化して表示可能であるようにツリー構造を形成するツリー構造化手順と、選択された単語に対しての係り受け関係を抽出する係り受け抽出手順と、ツリー構造化手順によって形成されたグループおよび係り受け抽出手順によって抽出された係り受け関係を平面的にプロットする係り受けマッピング手順とを備えたテキストデータ分析方法に係る。
【0021】
(請求項9)
請求項9記載の発明は、コンピュータに対し、多数のテキストデータを分析させるためのプログラムに係る。
そのプログラムは、多数のテキストデータを蓄積するテキストデータベース内における分析対象となるテキストデータをグループ化し、且つ階層化して表示可能であるようにツリー構造を形成するツリー構造化手順と、ツリー構造として表示されたグループまたは各グループの階層の中から選択された対象を分析する選択対象分析手順と、その選択対象分析手順にて分析した分析結果をツリー構造とともに出力する出力手順とを備え、選択対象分析手順には、単語間の係り受け関係を抽出する構文分析手順を含むこととしたコンピュータプログラムである。
【0022】
上記プログラムを、記録媒体へ記憶させて提供することもできる。ここで、「記録媒体」とは、それ自身では空間を占有し得ないプログラムを担持することができる媒体であり、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO(光磁気ディスク)、DVD−ROM、PDなどである。
【0023】
また、請求項9、10および11に係るプログラムを格納したコンピュータから、通信回線を通じて他のコンピュータへ伝送することも可能である。
なお、汎用的なサーバ装置に対して、上記のような各手段を達成可能であるようなプログラムをプリインストール、あるいはダウンロードすることで、請求項1に係るシステムサーバを形成することが可能である。
【0024】
(請求項10)
請求項10記載の発明もまた、コンピュータに対し、多数のテキストデータを分析させるためのプログラムである。
そのプログラムは、分析テーマに基づいたプロジェクトファイルを形成するプロジェクトファイル作成手順と、そのプロジェクトファイル作成手順によって形成されたプロジェクトファイルに基づいたテキストデータをグループ化し、且つ階層化して表示可能であるようにツリー構造を形成するツリー構造化手順と、ツリー構造として表示されたグループまたは各グループの階層の中から選択された対象を分析する選択対象分析手順と、その選択対象分析手順にて分析した分析結果をツリー構造とともに出力する出力手順とを備え、選択対象分析手順には、単語間の係り受け関係を抽出する構文分析手順を含むこととしたコンピュータプログラムである。
【0025】
(請求項11)
請求項11記載の発明もまた、コンピュータに対し、多数のテキストデータを分析させるためのプログラムである。
そのプログラムは、多数のテキストデータを蓄積するテキストデータベース内における分析対象となるテキストデータをグループ化し、且つ階層化して表示可能であるようにツリー構造を形成するツリー構造化手順と、選択された単語に対しての係り受け関係を抽出する係り受け抽出手順と、ツリー構造化手順によって形成されたグループおよび係り受け抽出手順によって抽出された係り受け関係を平面的にプロットする係り受けマッピング手順とを備えたコンピュータプログラムである。
【0026】
【発明の実施の形態】
以下、本発明を実施の形態及び図面に基づいて、テキストデータ分析システム(以下、「本システム」と略記する場合あり)を更に詳しく説明する。ここで使用する図面は、図1から図17である。図1から図3は、本願発明の実施形態に係るテキストデータ分析システムの主要機能を示す概念図である。図4から図11は、出力画面に現れる構成を示した図である。図12および図13は、図8に用いるテキストデータの件数を表出力させたものである。図14から図17は、具体的な分析の結果について出力したものである。
本システムは、イントラネットサーバへ本願発明に係るコンピュータプログラムをインストールし、クライアントコンピュータにて利用可能としている。これにより、一つの組織において情報の共有を図ることができる。
【0027】
(画面構成)
図4に示すように、メイン画面は、左側の「グループツリー」と右側の「分析画面」で構成されている。
「グループツリー」は、テキストをグループ化した階層状態を表示する。また、「分析画面」は、複数のタブが用意されており、各種の分析機能のページで構成されている。すべての分析機能は、「グループツリー」にて選択したグループに対して機能する。ここで「グループ」とは、テキストを各種の条件で分類したものであり、通常グループのほか、整理用グループ、ETCグループ、自動分類グループなどがある。後に詳述する。
図1は、テキストデータベースに蓄積されたテキストデータ群がツリー構造化手段によってグループ化および階層化され、選択対象分析手段において「主な話題」という機能を選択した場合に、どのような分析結果が出力されたかを図示すると共に、「係り受け」、「疑問」、「要望」について例示している。これらの分析には、形態素・構文解析の機能を用いているが、詳しい説明は省略する。
【0028】
(分析機能の種類)
図4などに示されるように、「分析画面」に用意されたタブ、すなわち各種の分析機能には、本システムでは、以下のようなものが用意されている。すなわち、「単語ランキング」、「主な話題」、「特徴的な単語」、「マッピング」、「テキスト詳細」、「グループ属性」、「時系列モニタ」、「スコアリング」である。以下、簡単に説明する。
【0029】
「単語ランキング」とは、多数のテキストの中で使用されている単語についての出現頻度順にランキングを作成する機能である。
「主な話題」とは、テキストの中から、数多く存在する2つの単語の組合せを主な話題として抽出する機能である。この機能を選択すると、自動的に「係り受け」の分析が行われる。
「特徴的な単語」とは、テキスト文章の中で、選択された所定のグループに固有な特徴的単語をランキング形式で表示する機能である。
「マッピング」とは、選択された所定のグループとそのグループに特徴的な単語の関係を二次元的な位置関係を用いて視覚的に表現する機能である。
「テキスト詳細」とは、選択された所定のグループに含まれる実際のテキスト文章を抽出してきて表示させる機能である。
「グループ属性」とは、選択された所定のグループ内のテキストに紐づけられる顧客属性やテキスト属性について分析表示する機能である。
「時系列モニタ」とは、選択された所定のグループに含まれるテキストの件数と、その時系列推移を分析表示する機能である。テキスト内に出現する上位単語の件数推移を分析表示させることもできる。
「スコアリング」とは、本システムのユーザが注目している単語を入力し、その単語について一回出現したら何点といったスコアを定義し、テキスト毎に点数付けを行わせる機能である。
なお、最右欄にある「レポート」とは、選択された所定のグループについて、各種のレポートを表計算出力形式にて出力可能であるように作成する機能である。これについては、図10を用いて後述する。
【0030】
(プロジェクト)
分析結果のデータを管理するため、「プロジェクト」というまとまりの概念を導入している。すなわち、分析対象となるテキスト群に対して、新規にプロジェクトファイルを作成してから分析作業に入る。新規にプロジェクトファイルを作成するには、プロジェクト名をつけ、分析対象となるテキストデータ群を指定し、テキストデータに関連した顧客データを指定する。
図2に示すように、プロジェクトを新たに作成すると、以下の3つのファイルが自動作成される。すなわち、テキストデータベースの中から分析対象となるテキストデータ群を抽出して作成したデータファイルと、ツリー構造化手段が形成するツリー構造を保存するためのプロジェクトツリーファイルと、選択対象分析手段が分析するための分析準備データ等を保存するためのデータ定義ファイルである。
なお、所定のプロジェクトの分析結果を引き継いで新たに分析したい場合などにおいては、既に作成されたプロジェクトを選択して呼び出した後に、プロジェクトファイル名を新たに決定して「別名保存」を行えばよい。辞書管理機能については、図11を用いて後述する。
【0031】
(データインポート)
既に形成されたプロジェクトファイルに対して、分析対象となるテキストデータ群を追加または変更したい場合がある。その場合、追加または変更したいテキストデータ群を指定して追加または変更させることが可能な「データインポート」というメニューを用意している。
データインポートとはどういう機能であるかを、図3を用いて説明する。
まず、テキストデータベース内の一部であるテキストデータ群(A)を用いてデータ分析を行う。すなわち、プロジェクトファイル作成手段によってプロジェクトファイル(A)を作成し、ツリー構造化手段によってグループ化、階層化し、選択対象分析手段によって分析結果(A)を得たとする。そこで、テキストデータ群(B)が追加され、テキストデータ群(A)および(B)を用いて新たに分析結果を得たいとする。
その場合、データインポート手段は、プロジェクトファイル作成手段、ツリー構造化手段、選択対象分析手段へと機能する。すなわち、プロジェクトファイル作成手段によってプロジェクトファイル(A+B)を作成し、ツリー構造化手段によってグループ化、階層化し、選択対象分析手段によって分析結果(A+B)を得るのである。
【0032】
(グループツリー)
図4などに示されるように、メイン画面の左側にあるグループツリーとは、膨大なテキストデータの中から、形態素解析などの手法を用いて特定の条件に当てはまるテキストデータについてのグループを作成し、更に階層的なツリー構造でテキストを分類するために使用する。グループツリーからグループを選択することで、選択されたグループを対象にして各種の分析が可能となる。グループには、前述したように、通常グループ、整理用グループ、ETCグループ、自動分類グループという4種類がある。
【0033】
「通常グループ」とは、テキストを抽出する条件を指定して作成するグループである。抽出する条件には、単語の有無(指定した単語がテキストに含まれているか否か)、係り受けによる条件、テキスト属性による条件、顧客属性による条件、時系列(テキストの記述された日付での抽出)、ユーザスコアによる条件、がある。
「整理用グループ」とは、親グループに含まれる全テキストを引き継いで作成するグループである。これは、種類の異なる分析をする場合に見出しとして整理する目的で使用する。
「ETCグループ」とは、選択されたグループ内のどの子グループにも含まれないテキストを抽出するグループである。主なグループを作成した後に、どれにも含まれない「ETCグループ」に入るテキストを抽出できるので、新たな話題や少数派の意見などを把握することができる。
「自動分類グループ」とは、類似しているテキストを単語の出現傾向から集めて自動的に作成するグループである。作成するグループ数を指定するだけで、テキストの類似性に関するグループが自動的に作成できる。
【0034】
なお、グループについての再編集機能も備えている。操作メニューから「グループの再構築」を選択すると、最新の辞書内容(例えば、本システムのユーザが新たに登録した内容)を取り込んで形態素解析を再度実行し、各分析、全グループの内容を作成し直す。例えば、ユーザが同義語として辞書へ新たに登録したら、分析結果が大きく異なってくる場合がある。
【0035】
(係り受け分析機能)
分析画面のタブから「主な話題」を選択すると、テキストにおける構文を分析し、単語間の係り受け関係を捉えることにより、何に対して何を行っているのかを把握する機能が自動的に働く。この機能を「係り受け分析機能」という。複数の意味を抽出したり、否定形の文章、疑問の文章、要望の文章といった表現までをふるい分けることが可能である。この「係り受け分析機能」は、図1に示すように、「主な話題」分析機能の中において、係り受けの有無を出力している。
「複数の意味の抽出」とは、「液晶は良いが、メモリが悪い。」という文章からは、「液晶」と「良い」、「メモリ」と「悪い」の二つの組合せを抽出可能である。
また、「商品Aは、もっと軽くしたほうが良いと思うのですが。」という文章からは、「商品A」と「軽い」の「要望」として抽出可能である。また、「商品Aの価格は、一般モデルよりも安いですか?」という文章からは、「商品A」と「安い」の「疑問」として抽出可能である。
【0036】
(マッピング機能)
マッピング機能とは、任意の切り口であるグループと、単語の関連性とを視覚的に表現する機能であり、図4にその例を示している。マッピング機能による分析結果の出力、すなわち画面表現は、コレスポンデンス分析によって得た結果を平面的にプロットした表現である。ここで、「コレスポンデンス分析」とは、集計済みのクロス集計結果を用いて、単語の要素とグループの要素を使い、それらの相関関係が最大となるように数値化して、その単語の要素とグループの要素とを多次元空間(散布図)に表現するものである。複数の単語における類似度、関係の深さを把握する場合に適した統計的な手法である。具体的には、セグメントや商品と、テキスト中の単語の関連性とを把握することが可能である。また例えば、年代別にどのような反応の言葉となっているのか、商品毎に使われるキーワードは何か、といった分析や、ブランドのイメージ調査などに活用可能である。
【0037】
マッピング機能を活用するには、以下のような手順を踏む。
まず、軸の設定を行う。関連性が高い順に、第一、第二、・・、第n軸というように設定するが、一般的には視覚的にわかりやすい第一軸および第二軸を用いる。続いて、「上位単語」を選択し、マッピングする単語の件数および品詞を選択する。そして実行ボタンを押すと、軸に設定されたグループから、指定された単語ランキングの上位件数の単語として選択されているグループ名がマッピング表示される。
出力されたマップについて、ポインタをドラッグして範囲指定すると、指定された範囲についてズームアップしたマップが出力される。この機能は、「ズームイン」と名付けている。なお、出力画面を元(ズームアップ前のマップ)に戻すためには、操作メニューの中から「ズームアウト」を選択する。
【0038】
(単語ランキング分析)
図5は、その画面右側において単語ランキング分析の機能に基づく出力がなされている。更に、右端には、ランキングをグラフ化して表している。
さて、単語ランキングに表示されている単語を選択してダブルクリックすると、その単語に関連する単語をリスト表示する。これを「関連度ランキングウィンドウ」という。関連度ランキングウィンドウは、選択された単語と同時に使用されることが多い単語(関連単語)をリスト表示するものであり、「関連度」とは同時に使用される頻度を数値化したものである。関連度ランキングウィンドウには、関連単語、その関連度、およびその関連単語を含む実際のテキスト件数が表示される。
【0039】
関連度ランキングウィンドウに表示された関連単語のひとつを選択してダブルクリックすると、その関連単語を含んだ実際のテキストを表示させることができる。この機能を「ドリルダウン」と名付けている。
本システムのユーザからの「関連度の強い順に出力させたい」といった要求などに応じることができるようにするため、表計算の出力形式も出力可能としている。ユーザは表計算の出力形式を用いて、ソートさせればよい。
また、本システムのユーザが辞書を充実させるための機能も備えている。操作メニューから「ユーザ辞書に登録」を選択し、登録したい単語をユーザ単語として登録できる。
【0040】
(特徴的な単語)
図6は、分析手段として「特徴的な単語」のタブを選択して分析した場合における分析画面の出力表示の一例である。コンピュータユーザからクレーム系のテキストデータを抽出している。
特徴的な単語のいずれかを選んでダブルクリックすると、図示は省略するが関連度ランキングウィンドウを表示することができる。更に、関連単語のひとつを選択してダブルクリックすると、その関連単語を含んだ実際のテキストを表示させることもできる(ドリルダウン機能)。
【0041】
(グループ属性分析)
図7は、分析画面において「グループ属性分析」を選択して分析した出力表示の一例である。
「グループ属性分析」とは、選択されたグループの顧客属性、テキスト属性について分析することである。換言すれば、テキストデータ以外のデータと、テキスト中から抽出される所定の言葉とのクロス集計を行う機能である。グループの属性には、テキストの話者である顧客の属性(性別、年代、地域、購買履歴など)、アンケートであれば、他の設問の回答種別(興味がある、ややある、あまりない、全くない、など)といった属性がある。
グループ属性分析を用いれば、複数の話題別グループの間で、各種の属性を比較することが可能である。そして、顧客属性、アンケート回答の比較を行い、話題別に話者やアンケート回答の違いを把握することが可能である。すなわち、テキストデータに紐づけられた話者の属性を絡めて分析することで、「どういう人が何と言っているのか」ということを把握することができる。
【0042】
このグループ属性分析を行うには、まずグループの顧客属性、テキスト属性についてグラフや表を用いた出力を行う。すなわち、選択メニューから、分析対象となる属性データを選択してグラフや表にて集計結果を表示させる。表示させることができる属性データの種類は、テキスト件数、テキスト属性、ユーザスコアがある。
属性データの欄で「テキスト件数」を選択すると、グループに含まれるテキスト件数が表示される。テキスト件数を表示させている際には、テキストの詳細について、前述した「ドリルダウン機能」は利用できない。
属性データの欄で「テキスト属性」を選択すると、テキストに対応する属性データが表示される。属性データがとびとびの値をなすデータ(性別、地域など)は離散データとして、属性データが数値をなすデータ(年齢、価格など)は連続データとして、それぞれ扱われる。
「ユーザスコア」をグラフの軸として選択すると、選択されたグループに含まれるテキストに対し、ユーザ定義スコアにて設定されている、選択されたスコア軸のスコアに基づいて、スコアリングした結果を連続データとして表示する。
【0043】
(時系列モニタ)
図8は、「時系列モニタ」のタブを選択した場合における分析画面の出力表示の一例である。選択したグループに関するテキストデータの中から、コンピュータユーザによるクレーム系のテキストデータを抽出している。グラフ化される前のデータは、図12や図13に示されるようなデータである。時間経過とともに、ある切り口の分析結果の推移を視覚的に捉えたり、傾向の変化を捉えたりするのに便利である。
【0044】
(ユーザ定義スコア)
図9には、その画面右側においてユーザ定義スコアの機能に基づく出力がなされている。
この機能は、テキストデータに対して、本システムのユーザによる任意の点数付けを行うための機能である。単語の出現情報を基に、「悪い」が含まれれば2点、「ひどい」が含まれれば3点、といったような採点表をユーザが自由に作成し、不満度、緊急度などの指標を作成することができる。点数の高い順に見ることで、効率的、且つ発見的な分析が可能となる。この指標は、他の分析機能でも利用可能であり、例えば不満度が10以上のクレームを集めて新たにグループを作成したり、各商品別に不満度の平均を比較するといった分析にも活用可能である。
【0045】
(レポート)
図10は、「レポート」のタブを選択した後に、出力されるレポートを重ねて示し、レポート出力を概念的に表している。タブを選択すると、レポートの出力形式を設定でき、設定した出力形式にて選択すると、図中の右下のようなレポートが出力される。
【0046】
(辞書管理機能)
図11には、辞書管理機能についての出力画面を示している。
本システムに予め備えられた辞書は、標準にてシソーラスを組み込んである。例えば、「モーター」と「モータ」と「原動機」とは、同義語である。しかし、分析対象によっては、標準のシソーラスよりも重要な同義語が必要となる。そこで、プロジェクト単位でユーザ辞書を管理可能としている。
また、ユーザ辞書へ登録した単語を、メニューからの選択により表計算形式で出力させることも可能である。また本システムでは、「ユーザ単語登録」の機能も備えている。この機能は、下部のボックスに表示されているテキストの全文中の単語をユーザ単語として登録し、辞書登録するものである。単語を選択して右クリックメニューから「ユーザ辞書に登録」を選択すると選択された単語が、ユーザ単語として辞書登録される。
【0047】
プロジェクト間で辞書登録データを引き継ぐことも可能である。辞書登録データを引き継ぐには、プロジェクトファイルの作成段階において、プロジェクト名につき「別名で保存」を選択する場合と、本画面において「他プロジェクトからのインポート」のボタンをクリックした後に、辞書登録データを引き継ぎたいプロジェクト名を選択する場合とがある。後者の場合、分析作業の途中で行えるというメリットがある。
【0048】
(応用例)
本システムの分析対象を営業日報とする。たいていの営業日報は、営業マンが一人一人に入力しているが、他の営業マンや他の部署に役立つ情報の抽出が行いにくかった。曖昧な表現や親しい仲間内でしか通用しない表現が多いなどが原因であったと考えられる。そこで、営業日報を本システムによって分析するとともに、営業成績データとドッキングさせる。すると、他の営業マンや他の部署にも役立つ客観的な情報を抽出することができた。
【0049】
(図14)
図14には、評価別のグループツリーと、年代別のグループツリーとが示されている。本システムは、アンケート結果がCSV形式で「評価」が7段階(非常に良い〜非常に悪い)で表示され、年齢も5歳刻み(20代未満、20〜24歳、・・40代以上)で6段階表示されており、自動的にグループツリーを作成することが可能である。
ただし、CSV形式で電子化された以外の分類形式、例えば年齢を3歳ごとに表示させる場合には、グループツリーを自動作成することはできず、手動で作成することとなる。
【0050】
(図15)
図15では、「話題の種類」を選択し、名詞と形容詞における係り受け関係を出力した様子を示している。ここでは、表示グループとして「非常によい」という評価をしたグループを選択表示させている。
図示例では、「香り」に対しては、「ほのかだ」という評価が2件存在したこととが、「香り」という単語を選択して係り受け関係を抽出したことによって確認できる。従来であれば、予め用意している「好き、普通、嫌い」といった評価を選択してもらうことによってデジタル化処理する手法か、「香り」という言葉を検索した後に前後をサーチャーが読むという機械化できない手法であったが、この分析手法によれば、まず、「非常に良い」と評価した人は、香りについてどのような評価をするのか、ということを抽出することができ、一歩踏み込んだ分析が行える。すなわち、アンケート対象者に対して自由な記載をしてもらっても、係り受け関係の抽出によって機械的に処理できる。
【0051】
(図16)
スコア化して頻度を数値化した形容詞を、評価グループごとに出力させた例を示す図である。
例えば、非常に悪いという評価グループでは、どのような形容詞が「非常に悪い」という評価と関係しているか、ということがおおまかに把握できるのである。具体的には、「赤い」、「痛い」、「強い」といった形容詞によって表現されるイメージが「非常に悪い」という評価と関係しているらしい、というように把握できる。また、「かなり良い」という評価をしたグループからは、「きれいだ」、「白い」といった形容詞によって表現されるイメージが「かなり良い」という評価と関係しているらしい、というように把握できる。
【0052】
(図17)
年代グループと「値段」という単語による係り受け関係をマッピングにて出力させた例を示す図である。
「値段」という言葉に着目してみても、高いまたは安い、といった正反対の評価や、手頃だ、といった中間的あるいは微妙な評価が存在しうる。また、年代によって「値段」に対する評価に傾向があると予想できる場合がある。そのような場合に、分析画面において「マッピング」を選択し、年代グループを指定し、更に「値段」という単語を選択して係り受け関係を抽出させると、図17のような出力を得ることができる。図を見ると、値段に対して「手頃だ」、「安い」という評価をしているのは、30〜34歳のグループが多いということが分かる。また、値段に対して「高い」という評価をしているのは、20代未満のグループが多く、20〜24歳のグループもそのように評価する傾向があるということが分かる。一方、35〜39歳、40代以上といったグループは、「値段」に対するコメントがほとんど存在しなかった、ということも分かる。
【0053】
【発明の効果】
請求項1から請求項5に記載の発明によれば、日本語テキストデータの内容に対して自動分析機能に優れたテキストデータ分析システムを提供することができた。
また、請求項6から請求項8に記載の発明によれば、日本語テキストデータの内容に対して自動分析機能に優れたテキストデータ分析方法を提供することができた。
さらに、請求項9から請求項11に記載の発明によれば、日本語テキストデータの内容に対して自動分析機能に優れたテキストデータ分析方法をコンピュータに実行させるためのコンピュータプログラムを提供することができた。
【図面の簡単な説明】
【図1】本システムの主要機能を示す概念図である。
【図2】本システムの主要機能を示す概念図である。
【図3】本システムの主要機能を示す概念図である。
【図4】分析手段として「マッピング」のタブを選択して分析した場合における分析画面の出力表示の一例である。
【図5】分析画面において「単語ランキング」を選択して分析した出力表示の一例である。
【図6】分析手段として「特徴的な単語」のタブを選択して分析した場合における分析画面の出力表示の一例である。
【図7】分析画面において「グループ属性分析」を選択して分析した出力表示の一例である。
【図8】分析画面において「時系列モニタ」のタブを選択した場合における分析画面の出力表示の一例である。
【図9】画面右側においてユーザ定義スコアの機能に基づく出力表示の一例である。
【図10】レポートのタブを選択した後に、出力されるレポートを重ねて示し、レポート出力を概念的に表している。
【図11】辞書管理機能についての出力画面を示している。
【図12】コンピュータユーザからクレーム系のテキストデータの件数を表出力させたものである。
【図13】コンピュータユーザからクレーム系のテキストデータの件数およびその細目を表出力させたものである。
【図14】ツリー構造の作成について説明するための図である。
【図15】分析手段として「特徴的な単語」による係り受け関係を出力した例を示す図である。
【図16】頻度の高い形容詞を評価グループごとに出力させた例を示す図である。
【図17】年代グループと「値段」という単語による係り受け関係をマッピングにて出力させた例を示す図である。
【発明が属する技術分野】
本発明は、デキストデータとして蓄積された大量のデータを分析したり、分析を支援したりすることができる情報処理技術に関する。
【0002】
【先行技術】
消費者のニーズや、消費者からのクレームをテキストデータとして収集する仕組みは、情報の電子化技術、インターネットの発達とともに、様々なツールや製品が提供されるようになった。たとえば、コールセンターにかかってくる電話の音声をテキストデータへ自動変換したり、インターネット上に開設された意見コーナーや電子掲示板へ書き込まれたテキストデータを収集したりする技術である。
【0003】
収集されたテキストデータを活用するツールは、「テキストマイニング・ツール」と総称され、「検索系」と「分析系」とに大別される。
「検索系」とは、テキストデータの中から特定の言葉を探し出す機能を中心とする。例えば、アンケート群の中から、「楽しい」という言葉を探し出したり、探し出した言葉の出現頻度をカウントする、などを行う。
「分析系」とは、「楽しい」という言葉をアンケートへ書き込んだのは、男性が多いのか女性が多いのか、若い世代が多いのか年輩の世代が多いのか、といった単語の関連性分析や、「楽しい」という言葉が時間経過と共に増加傾向にあるのか減少しているのかといった時系列分析を行う、などである。
【0004】
【発明が解決しようとする課題】
さて、現在提供されているテキストマイニング・ツールのほとんどは、曖昧な表現が多用される日本語の特徴が壁になり、自動分析することが困難であった。そのため、収集したテキストデータを、属性毎にグループ化するなどの形式的な分析のみを自動化し、テキストデータの内容についての傾向分析は、人手に頼っているのが現状であった。
【0005】
そこで、本発明が解決しようとする課題は、現在提供されているテキストマイニング・ツールよりも自動分析の機能を高めた技術を提供することにある。
ここで、請求項1から請求項5に記載の発明の目的は、日本語テキストデータの内容に対して自動分析機能に優れたテキストデータ分析システムを提供することにある。
また、請求項6から請求項8に記載の発明の目的は、日本語テキストデータの内容に対して自動分析機能に優れたテキストデータ分析方法を提供することにある。
さらに、請求項9から請求項11に記載の発明の目的は、日本語テキストデータの内容に対して自動分析機能に優れたテキストデータ分析方法をコンピュータに実行させるためのコンピュータプログラムを提供することにある。
【0006】
【課題を解決するための手段】
本発明は、上記した課題を解決するため、大量のデータを分析可能な情報処理技術、および一文中における複数の単語の係り受け関係を分析する技術を用いる。
【0007】
(請求項1)
請求項1記載の発明は、多数のテキストデータを蓄積するテキストデータベース内における分析対象となるテキストデータをグループ化し、且つ階層化して表示可能であるようにツリー構造を形成するツリー構造化手段と、ツリー構造として表示されたグループまたは各グループの階層の中から選択された対象を分析する選択対象分析手段と、その選択対象分析手段が分析した分析結果をツリー構造とともに出力する出力手段とを備え、選択対象分析手段には、単語間の係り受け関係を抽出する構文分析手段を備えたテキストデータ分析システムに係る。
【0008】
(用語説明)
「構文分析手段」とは、単語間の係り受け関係を捉えて構文分析をすることにより、何に対して何と言っているのかを正確に把握することが可能な手段である。この手段による機能は、否定形の文章、疑問の文章、要望の文章といった表現までをふるい分けることが可能である。例えば、複数の意味の抽出が可能である。すなわち、「液晶は良いが、メモリが悪い。」という文章からは、「液晶」と「良い」、「メモリ」と「悪い」の二つの組合せを抽出可能である。また、表現の抽出も可能である。すなわち、「商品Aは、もっと軽くしたほうが良いと思うのですが。」という文章からは、「商品A」と「軽い」の「要望」として抽出可能である。また、「商品Aの価格は、一般モデルよりも安いですか?」という文章からは、「商品A」と「安い」の「疑問」として抽出可能である。
なお、「選択対象分析手段」には、「構文分析機能」のほか、「単語ランキング」、「特徴的な単語」、「マッピング」、「テキスト詳細」、「グループ属性」、「時系列モニタ」、「スコアリング」などの機能を用意することが可能であり、実施の形態にて詳述する。これら機能を効率的に画面出力させるには、いわゆるタブを採用する。
【0009】
(作用)
ツリー構造化手段は、多数のテキストデータを蓄積するテキストデータベースから分析対象となるテキストデータをグループ化し、且つ階層化して表示可能であるように、ツリー構造を自動的に形成する。
ツリー構造として表示されたグループまたは各グループの階層の中から、本システムのユーザが選択した対象を選択対象分析手段が分析する。そして、その選択対象分析手段が分析した分析結果をツリー構造とともに出力手段が出力する。ツリー構造をインタフェイスとして採用することにより、分析の切り口が表示されるためにわかりやすい分析環境、分析結果の出力結果を提供できる。
選択対象分析手段は、構文分析手段を用いて単語間の係り受け関係を抽出することができ、分析結果には、その構文分析機能による係り受け関係を生かした分析とすることができる。係り受け関係を用いた分析を行った場合、日本語独特の曖昧な表現に対しても、踏み込んだ分析や分類が可能となる。
【0010】
(請求項2)
請求項2記載の発明は、請求項1記載のシステムを限定したものであり、
分析テーマに基づいたプロジェクトファイルを形成するプロジェクトファイル作成手段を備えたテキストデータ分析システムに係る。
【0011】
(作用)
ひとつのテキストデータベースに蓄積されたデータを複数の者が利用したり、様々な角度から分析したりする場合に、混乱が生じるおそれがある。一方、ある分析結果を流用したいような場合もある。そこで、プロジェクトファイル作成手段を用いて、分析テーマに基づいたプロジェクトファイルを形成する。このことにより、既に作成されたプロジェクトファイルをいったん呼び出し、プロジェクトファイルをリネームすることによって、データや分析結果を流用できる。
また、ASP事業を展開する場合、プロジェクトファイル単位で課金する、といった活用もありえる。
【0012】
(請求項3)
請求項3記載の発明は、請求項2に記載のテキストデータ分析システムを限定したものであり、
既に形成されたプロジェクトファイルに対して、分析対象となるテキストデータ群を追加または変更したい場合に、追加または変更したいテキストデータ群を指定して追加または変更させるデータインポート手段を備えたテキストデータ分析システムに係る。
【0013】
(作用)
既に形成されたプロジェクトファイルに対して、分析対象となるテキストデータ群を追加または変更したい場合がある。例えばテキストデータが新たに収集されてそれを追加したい場合や、古いデータを削除して新しいデータを追加したいような場合などである。そのような場合に、既に形成されたプロジェクトファイルに対して、データインポート手段が追加または変更したいテキストデータ群を指定して追加または変更させる。すると、ツリー構造化手段は、多数のテキストデータを蓄積するテキストデータベースから、追加または変更された分析対象を含めてテキストデータをグループ化し、且つ階層化して表示可能であるように、ツリー構造を形成する。
また、新たにツリー構造として表示されたグループまたは各グループの階層の中から、本システムのユーザが選択したら、その対象を選択対象分析手段が新たに分析する。そして、その新たな分析結果を出力手段が新たに出力する。その出力は、追加または変更された分析対象を含んでいる。
【0014】
(請求項4)
請求項4記載の発明は、請求項1から請求項3のいずれかに記載のテキストデータ分析システムを限定したものであり、
選択対象分析手段には、ツリー構造化手段によって形成されたグループと選択された単語との関連性を平面的にプロットするマッピング機能を備えたテキストデータ分析システムに係る。
ここで、「平面的にプロットする」とは、X、Yの二軸での表示におけるプロットのみならず、X、Y、Zの三軸での画面出力用の表示におけるプロットを含む。
【0015】
(作用)
本システムのユーザが、選択対象を選択し、分析手段としてマッピング機能を選択した場合には、ツリー構造化手段によって形成されたグループと選択された単語との関連性を平面的にプロットされる。出力手段には、選択された所定のグループとそのグループに特徴的な単語の関係を二次元的な位置関係を用いて視覚的に表現される。このため、分析結果をイメージとしてとらえやすい。
【0016】
(請求項5)
請求項5記載の発明は、請求項4記載のテキストデータ分析システムを限定したものであり、
選択された単語に対しての係り受け関係を抽出する係り受け抽出手段を備え、マッピング手段は、前記係り受け抽出手段によって抽出された係り受け関係を平面的にプロットすることとしたテキストデータ分析システムに係る。
ここで、「係り受け抽出手段」は、請求項1にいう「構文分析手段」と同じく、単語間の係り受け関係を抽出する機能を実現する手段であるが、マッピング手段と組み合わせて使用される。
【0017】
(作用)
本システムのユーザがある単語を選択すると、係り受け抽出手段がその単語に対しての係り受け関係を抽出する。そしてマッピング手段が、別途選択された所定のグループと抽出された係り受け関係とを平面的にプロットする。このため、グループおよび抽出された係り受け関係を同時に、二次元的な位置関係で把握できる。
【0018】
(請求項6)
請求項5記載の発明は、多数のテキストデータを蓄積するテキストデータベース内における分析対象となるテキストデータをグループ化し、且つ階層化して表示可能であるようにツリー構造を形成するツリー構造化手順と、ツリー構造として表示されたグループまたは各グループの階層の中から選択された対象を分析する選択対象分析手順と、その選択対象分析手順にて分析した分析結果をツリー構造とともに出力する出力手順とを備え、選択対象分析手順には、単語間の係り受け関係を抽出する構文分析手順を含むこととしたテキストデータ分析方法テキストデータ分析方法に係る。
「構文分析手順」は、ユーザが選択する「選択対象分析手順」の種類に応じて自動的に実行される場合、ユーザが選択した場合にのみ実行される場合の両方を含む。
【0019】
(請求項7)
請求項7記載の発明は、分析テーマに基づいたプロジェクトファイルを形成するプロジェクトファイル作成手順と、そのプロジェクトファイル作成手順によって形成されたプロジェクトファイルに基づいたテキストデータをグループ化し、且つ階層化して表示可能であるようにツリー構造を形成するツリー構造化手順と、ツリー構造として表示されたグループまたは各グループの階層の中から選択された対象を分析する選択対象分析手順と、その選択対象分析手順にて分析した分析結果をツリー構造とともに出力する出力手順とを備え、選択対象分析手順には、単語間の係り受け関係を抽出する構文分析手順を含むこととしたテキストデータ分析方法に係る。
前記プロジェクトファイルは、必要に応じて、更に階層ファイルを作成する。例えば、テキストデータベースの中から分析対象となるテキストデータ群を抽出して作成したデータファイル、ツリー構造化手順にて形成するツリー構造を保存するためのプロジェクトツリーファイル、選択対象分析手順において分析するための分析準備データを保存するためのデータ定義ファイルなどである。
【0020】
(請求項8)
請求項8記載の発明は、多数のテキストデータを蓄積するテキストデータベース内における分析対象となるテキストデータをグループ化し、且つ階層化して表示可能であるようにツリー構造を形成するツリー構造化手順と、選択された単語に対しての係り受け関係を抽出する係り受け抽出手順と、ツリー構造化手順によって形成されたグループおよび係り受け抽出手順によって抽出された係り受け関係を平面的にプロットする係り受けマッピング手順とを備えたテキストデータ分析方法に係る。
【0021】
(請求項9)
請求項9記載の発明は、コンピュータに対し、多数のテキストデータを分析させるためのプログラムに係る。
そのプログラムは、多数のテキストデータを蓄積するテキストデータベース内における分析対象となるテキストデータをグループ化し、且つ階層化して表示可能であるようにツリー構造を形成するツリー構造化手順と、ツリー構造として表示されたグループまたは各グループの階層の中から選択された対象を分析する選択対象分析手順と、その選択対象分析手順にて分析した分析結果をツリー構造とともに出力する出力手順とを備え、選択対象分析手順には、単語間の係り受け関係を抽出する構文分析手順を含むこととしたコンピュータプログラムである。
【0022】
上記プログラムを、記録媒体へ記憶させて提供することもできる。ここで、「記録媒体」とは、それ自身では空間を占有し得ないプログラムを担持することができる媒体であり、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO(光磁気ディスク)、DVD−ROM、PDなどである。
【0023】
また、請求項9、10および11に係るプログラムを格納したコンピュータから、通信回線を通じて他のコンピュータへ伝送することも可能である。
なお、汎用的なサーバ装置に対して、上記のような各手段を達成可能であるようなプログラムをプリインストール、あるいはダウンロードすることで、請求項1に係るシステムサーバを形成することが可能である。
【0024】
(請求項10)
請求項10記載の発明もまた、コンピュータに対し、多数のテキストデータを分析させるためのプログラムである。
そのプログラムは、分析テーマに基づいたプロジェクトファイルを形成するプロジェクトファイル作成手順と、そのプロジェクトファイル作成手順によって形成されたプロジェクトファイルに基づいたテキストデータをグループ化し、且つ階層化して表示可能であるようにツリー構造を形成するツリー構造化手順と、ツリー構造として表示されたグループまたは各グループの階層の中から選択された対象を分析する選択対象分析手順と、その選択対象分析手順にて分析した分析結果をツリー構造とともに出力する出力手順とを備え、選択対象分析手順には、単語間の係り受け関係を抽出する構文分析手順を含むこととしたコンピュータプログラムである。
【0025】
(請求項11)
請求項11記載の発明もまた、コンピュータに対し、多数のテキストデータを分析させるためのプログラムである。
そのプログラムは、多数のテキストデータを蓄積するテキストデータベース内における分析対象となるテキストデータをグループ化し、且つ階層化して表示可能であるようにツリー構造を形成するツリー構造化手順と、選択された単語に対しての係り受け関係を抽出する係り受け抽出手順と、ツリー構造化手順によって形成されたグループおよび係り受け抽出手順によって抽出された係り受け関係を平面的にプロットする係り受けマッピング手順とを備えたコンピュータプログラムである。
【0026】
【発明の実施の形態】
以下、本発明を実施の形態及び図面に基づいて、テキストデータ分析システム(以下、「本システム」と略記する場合あり)を更に詳しく説明する。ここで使用する図面は、図1から図17である。図1から図3は、本願発明の実施形態に係るテキストデータ分析システムの主要機能を示す概念図である。図4から図11は、出力画面に現れる構成を示した図である。図12および図13は、図8に用いるテキストデータの件数を表出力させたものである。図14から図17は、具体的な分析の結果について出力したものである。
本システムは、イントラネットサーバへ本願発明に係るコンピュータプログラムをインストールし、クライアントコンピュータにて利用可能としている。これにより、一つの組織において情報の共有を図ることができる。
【0027】
(画面構成)
図4に示すように、メイン画面は、左側の「グループツリー」と右側の「分析画面」で構成されている。
「グループツリー」は、テキストをグループ化した階層状態を表示する。また、「分析画面」は、複数のタブが用意されており、各種の分析機能のページで構成されている。すべての分析機能は、「グループツリー」にて選択したグループに対して機能する。ここで「グループ」とは、テキストを各種の条件で分類したものであり、通常グループのほか、整理用グループ、ETCグループ、自動分類グループなどがある。後に詳述する。
図1は、テキストデータベースに蓄積されたテキストデータ群がツリー構造化手段によってグループ化および階層化され、選択対象分析手段において「主な話題」という機能を選択した場合に、どのような分析結果が出力されたかを図示すると共に、「係り受け」、「疑問」、「要望」について例示している。これらの分析には、形態素・構文解析の機能を用いているが、詳しい説明は省略する。
【0028】
(分析機能の種類)
図4などに示されるように、「分析画面」に用意されたタブ、すなわち各種の分析機能には、本システムでは、以下のようなものが用意されている。すなわち、「単語ランキング」、「主な話題」、「特徴的な単語」、「マッピング」、「テキスト詳細」、「グループ属性」、「時系列モニタ」、「スコアリング」である。以下、簡単に説明する。
【0029】
「単語ランキング」とは、多数のテキストの中で使用されている単語についての出現頻度順にランキングを作成する機能である。
「主な話題」とは、テキストの中から、数多く存在する2つの単語の組合せを主な話題として抽出する機能である。この機能を選択すると、自動的に「係り受け」の分析が行われる。
「特徴的な単語」とは、テキスト文章の中で、選択された所定のグループに固有な特徴的単語をランキング形式で表示する機能である。
「マッピング」とは、選択された所定のグループとそのグループに特徴的な単語の関係を二次元的な位置関係を用いて視覚的に表現する機能である。
「テキスト詳細」とは、選択された所定のグループに含まれる実際のテキスト文章を抽出してきて表示させる機能である。
「グループ属性」とは、選択された所定のグループ内のテキストに紐づけられる顧客属性やテキスト属性について分析表示する機能である。
「時系列モニタ」とは、選択された所定のグループに含まれるテキストの件数と、その時系列推移を分析表示する機能である。テキスト内に出現する上位単語の件数推移を分析表示させることもできる。
「スコアリング」とは、本システムのユーザが注目している単語を入力し、その単語について一回出現したら何点といったスコアを定義し、テキスト毎に点数付けを行わせる機能である。
なお、最右欄にある「レポート」とは、選択された所定のグループについて、各種のレポートを表計算出力形式にて出力可能であるように作成する機能である。これについては、図10を用いて後述する。
【0030】
(プロジェクト)
分析結果のデータを管理するため、「プロジェクト」というまとまりの概念を導入している。すなわち、分析対象となるテキスト群に対して、新規にプロジェクトファイルを作成してから分析作業に入る。新規にプロジェクトファイルを作成するには、プロジェクト名をつけ、分析対象となるテキストデータ群を指定し、テキストデータに関連した顧客データを指定する。
図2に示すように、プロジェクトを新たに作成すると、以下の3つのファイルが自動作成される。すなわち、テキストデータベースの中から分析対象となるテキストデータ群を抽出して作成したデータファイルと、ツリー構造化手段が形成するツリー構造を保存するためのプロジェクトツリーファイルと、選択対象分析手段が分析するための分析準備データ等を保存するためのデータ定義ファイルである。
なお、所定のプロジェクトの分析結果を引き継いで新たに分析したい場合などにおいては、既に作成されたプロジェクトを選択して呼び出した後に、プロジェクトファイル名を新たに決定して「別名保存」を行えばよい。辞書管理機能については、図11を用いて後述する。
【0031】
(データインポート)
既に形成されたプロジェクトファイルに対して、分析対象となるテキストデータ群を追加または変更したい場合がある。その場合、追加または変更したいテキストデータ群を指定して追加または変更させることが可能な「データインポート」というメニューを用意している。
データインポートとはどういう機能であるかを、図3を用いて説明する。
まず、テキストデータベース内の一部であるテキストデータ群(A)を用いてデータ分析を行う。すなわち、プロジェクトファイル作成手段によってプロジェクトファイル(A)を作成し、ツリー構造化手段によってグループ化、階層化し、選択対象分析手段によって分析結果(A)を得たとする。そこで、テキストデータ群(B)が追加され、テキストデータ群(A)および(B)を用いて新たに分析結果を得たいとする。
その場合、データインポート手段は、プロジェクトファイル作成手段、ツリー構造化手段、選択対象分析手段へと機能する。すなわち、プロジェクトファイル作成手段によってプロジェクトファイル(A+B)を作成し、ツリー構造化手段によってグループ化、階層化し、選択対象分析手段によって分析結果(A+B)を得るのである。
【0032】
(グループツリー)
図4などに示されるように、メイン画面の左側にあるグループツリーとは、膨大なテキストデータの中から、形態素解析などの手法を用いて特定の条件に当てはまるテキストデータについてのグループを作成し、更に階層的なツリー構造でテキストを分類するために使用する。グループツリーからグループを選択することで、選択されたグループを対象にして各種の分析が可能となる。グループには、前述したように、通常グループ、整理用グループ、ETCグループ、自動分類グループという4種類がある。
【0033】
「通常グループ」とは、テキストを抽出する条件を指定して作成するグループである。抽出する条件には、単語の有無(指定した単語がテキストに含まれているか否か)、係り受けによる条件、テキスト属性による条件、顧客属性による条件、時系列(テキストの記述された日付での抽出)、ユーザスコアによる条件、がある。
「整理用グループ」とは、親グループに含まれる全テキストを引き継いで作成するグループである。これは、種類の異なる分析をする場合に見出しとして整理する目的で使用する。
「ETCグループ」とは、選択されたグループ内のどの子グループにも含まれないテキストを抽出するグループである。主なグループを作成した後に、どれにも含まれない「ETCグループ」に入るテキストを抽出できるので、新たな話題や少数派の意見などを把握することができる。
「自動分類グループ」とは、類似しているテキストを単語の出現傾向から集めて自動的に作成するグループである。作成するグループ数を指定するだけで、テキストの類似性に関するグループが自動的に作成できる。
【0034】
なお、グループについての再編集機能も備えている。操作メニューから「グループの再構築」を選択すると、最新の辞書内容(例えば、本システムのユーザが新たに登録した内容)を取り込んで形態素解析を再度実行し、各分析、全グループの内容を作成し直す。例えば、ユーザが同義語として辞書へ新たに登録したら、分析結果が大きく異なってくる場合がある。
【0035】
(係り受け分析機能)
分析画面のタブから「主な話題」を選択すると、テキストにおける構文を分析し、単語間の係り受け関係を捉えることにより、何に対して何を行っているのかを把握する機能が自動的に働く。この機能を「係り受け分析機能」という。複数の意味を抽出したり、否定形の文章、疑問の文章、要望の文章といった表現までをふるい分けることが可能である。この「係り受け分析機能」は、図1に示すように、「主な話題」分析機能の中において、係り受けの有無を出力している。
「複数の意味の抽出」とは、「液晶は良いが、メモリが悪い。」という文章からは、「液晶」と「良い」、「メモリ」と「悪い」の二つの組合せを抽出可能である。
また、「商品Aは、もっと軽くしたほうが良いと思うのですが。」という文章からは、「商品A」と「軽い」の「要望」として抽出可能である。また、「商品Aの価格は、一般モデルよりも安いですか?」という文章からは、「商品A」と「安い」の「疑問」として抽出可能である。
【0036】
(マッピング機能)
マッピング機能とは、任意の切り口であるグループと、単語の関連性とを視覚的に表現する機能であり、図4にその例を示している。マッピング機能による分析結果の出力、すなわち画面表現は、コレスポンデンス分析によって得た結果を平面的にプロットした表現である。ここで、「コレスポンデンス分析」とは、集計済みのクロス集計結果を用いて、単語の要素とグループの要素を使い、それらの相関関係が最大となるように数値化して、その単語の要素とグループの要素とを多次元空間(散布図)に表現するものである。複数の単語における類似度、関係の深さを把握する場合に適した統計的な手法である。具体的には、セグメントや商品と、テキスト中の単語の関連性とを把握することが可能である。また例えば、年代別にどのような反応の言葉となっているのか、商品毎に使われるキーワードは何か、といった分析や、ブランドのイメージ調査などに活用可能である。
【0037】
マッピング機能を活用するには、以下のような手順を踏む。
まず、軸の設定を行う。関連性が高い順に、第一、第二、・・、第n軸というように設定するが、一般的には視覚的にわかりやすい第一軸および第二軸を用いる。続いて、「上位単語」を選択し、マッピングする単語の件数および品詞を選択する。そして実行ボタンを押すと、軸に設定されたグループから、指定された単語ランキングの上位件数の単語として選択されているグループ名がマッピング表示される。
出力されたマップについて、ポインタをドラッグして範囲指定すると、指定された範囲についてズームアップしたマップが出力される。この機能は、「ズームイン」と名付けている。なお、出力画面を元(ズームアップ前のマップ)に戻すためには、操作メニューの中から「ズームアウト」を選択する。
【0038】
(単語ランキング分析)
図5は、その画面右側において単語ランキング分析の機能に基づく出力がなされている。更に、右端には、ランキングをグラフ化して表している。
さて、単語ランキングに表示されている単語を選択してダブルクリックすると、その単語に関連する単語をリスト表示する。これを「関連度ランキングウィンドウ」という。関連度ランキングウィンドウは、選択された単語と同時に使用されることが多い単語(関連単語)をリスト表示するものであり、「関連度」とは同時に使用される頻度を数値化したものである。関連度ランキングウィンドウには、関連単語、その関連度、およびその関連単語を含む実際のテキスト件数が表示される。
【0039】
関連度ランキングウィンドウに表示された関連単語のひとつを選択してダブルクリックすると、その関連単語を含んだ実際のテキストを表示させることができる。この機能を「ドリルダウン」と名付けている。
本システムのユーザからの「関連度の強い順に出力させたい」といった要求などに応じることができるようにするため、表計算の出力形式も出力可能としている。ユーザは表計算の出力形式を用いて、ソートさせればよい。
また、本システムのユーザが辞書を充実させるための機能も備えている。操作メニューから「ユーザ辞書に登録」を選択し、登録したい単語をユーザ単語として登録できる。
【0040】
(特徴的な単語)
図6は、分析手段として「特徴的な単語」のタブを選択して分析した場合における分析画面の出力表示の一例である。コンピュータユーザからクレーム系のテキストデータを抽出している。
特徴的な単語のいずれかを選んでダブルクリックすると、図示は省略するが関連度ランキングウィンドウを表示することができる。更に、関連単語のひとつを選択してダブルクリックすると、その関連単語を含んだ実際のテキストを表示させることもできる(ドリルダウン機能)。
【0041】
(グループ属性分析)
図7は、分析画面において「グループ属性分析」を選択して分析した出力表示の一例である。
「グループ属性分析」とは、選択されたグループの顧客属性、テキスト属性について分析することである。換言すれば、テキストデータ以外のデータと、テキスト中から抽出される所定の言葉とのクロス集計を行う機能である。グループの属性には、テキストの話者である顧客の属性(性別、年代、地域、購買履歴など)、アンケートであれば、他の設問の回答種別(興味がある、ややある、あまりない、全くない、など)といった属性がある。
グループ属性分析を用いれば、複数の話題別グループの間で、各種の属性を比較することが可能である。そして、顧客属性、アンケート回答の比較を行い、話題別に話者やアンケート回答の違いを把握することが可能である。すなわち、テキストデータに紐づけられた話者の属性を絡めて分析することで、「どういう人が何と言っているのか」ということを把握することができる。
【0042】
このグループ属性分析を行うには、まずグループの顧客属性、テキスト属性についてグラフや表を用いた出力を行う。すなわち、選択メニューから、分析対象となる属性データを選択してグラフや表にて集計結果を表示させる。表示させることができる属性データの種類は、テキスト件数、テキスト属性、ユーザスコアがある。
属性データの欄で「テキスト件数」を選択すると、グループに含まれるテキスト件数が表示される。テキスト件数を表示させている際には、テキストの詳細について、前述した「ドリルダウン機能」は利用できない。
属性データの欄で「テキスト属性」を選択すると、テキストに対応する属性データが表示される。属性データがとびとびの値をなすデータ(性別、地域など)は離散データとして、属性データが数値をなすデータ(年齢、価格など)は連続データとして、それぞれ扱われる。
「ユーザスコア」をグラフの軸として選択すると、選択されたグループに含まれるテキストに対し、ユーザ定義スコアにて設定されている、選択されたスコア軸のスコアに基づいて、スコアリングした結果を連続データとして表示する。
【0043】
(時系列モニタ)
図8は、「時系列モニタ」のタブを選択した場合における分析画面の出力表示の一例である。選択したグループに関するテキストデータの中から、コンピュータユーザによるクレーム系のテキストデータを抽出している。グラフ化される前のデータは、図12や図13に示されるようなデータである。時間経過とともに、ある切り口の分析結果の推移を視覚的に捉えたり、傾向の変化を捉えたりするのに便利である。
【0044】
(ユーザ定義スコア)
図9には、その画面右側においてユーザ定義スコアの機能に基づく出力がなされている。
この機能は、テキストデータに対して、本システムのユーザによる任意の点数付けを行うための機能である。単語の出現情報を基に、「悪い」が含まれれば2点、「ひどい」が含まれれば3点、といったような採点表をユーザが自由に作成し、不満度、緊急度などの指標を作成することができる。点数の高い順に見ることで、効率的、且つ発見的な分析が可能となる。この指標は、他の分析機能でも利用可能であり、例えば不満度が10以上のクレームを集めて新たにグループを作成したり、各商品別に不満度の平均を比較するといった分析にも活用可能である。
【0045】
(レポート)
図10は、「レポート」のタブを選択した後に、出力されるレポートを重ねて示し、レポート出力を概念的に表している。タブを選択すると、レポートの出力形式を設定でき、設定した出力形式にて選択すると、図中の右下のようなレポートが出力される。
【0046】
(辞書管理機能)
図11には、辞書管理機能についての出力画面を示している。
本システムに予め備えられた辞書は、標準にてシソーラスを組み込んである。例えば、「モーター」と「モータ」と「原動機」とは、同義語である。しかし、分析対象によっては、標準のシソーラスよりも重要な同義語が必要となる。そこで、プロジェクト単位でユーザ辞書を管理可能としている。
また、ユーザ辞書へ登録した単語を、メニューからの選択により表計算形式で出力させることも可能である。また本システムでは、「ユーザ単語登録」の機能も備えている。この機能は、下部のボックスに表示されているテキストの全文中の単語をユーザ単語として登録し、辞書登録するものである。単語を選択して右クリックメニューから「ユーザ辞書に登録」を選択すると選択された単語が、ユーザ単語として辞書登録される。
【0047】
プロジェクト間で辞書登録データを引き継ぐことも可能である。辞書登録データを引き継ぐには、プロジェクトファイルの作成段階において、プロジェクト名につき「別名で保存」を選択する場合と、本画面において「他プロジェクトからのインポート」のボタンをクリックした後に、辞書登録データを引き継ぎたいプロジェクト名を選択する場合とがある。後者の場合、分析作業の途中で行えるというメリットがある。
【0048】
(応用例)
本システムの分析対象を営業日報とする。たいていの営業日報は、営業マンが一人一人に入力しているが、他の営業マンや他の部署に役立つ情報の抽出が行いにくかった。曖昧な表現や親しい仲間内でしか通用しない表現が多いなどが原因であったと考えられる。そこで、営業日報を本システムによって分析するとともに、営業成績データとドッキングさせる。すると、他の営業マンや他の部署にも役立つ客観的な情報を抽出することができた。
【0049】
(図14)
図14には、評価別のグループツリーと、年代別のグループツリーとが示されている。本システムは、アンケート結果がCSV形式で「評価」が7段階(非常に良い〜非常に悪い)で表示され、年齢も5歳刻み(20代未満、20〜24歳、・・40代以上)で6段階表示されており、自動的にグループツリーを作成することが可能である。
ただし、CSV形式で電子化された以外の分類形式、例えば年齢を3歳ごとに表示させる場合には、グループツリーを自動作成することはできず、手動で作成することとなる。
【0050】
(図15)
図15では、「話題の種類」を選択し、名詞と形容詞における係り受け関係を出力した様子を示している。ここでは、表示グループとして「非常によい」という評価をしたグループを選択表示させている。
図示例では、「香り」に対しては、「ほのかだ」という評価が2件存在したこととが、「香り」という単語を選択して係り受け関係を抽出したことによって確認できる。従来であれば、予め用意している「好き、普通、嫌い」といった評価を選択してもらうことによってデジタル化処理する手法か、「香り」という言葉を検索した後に前後をサーチャーが読むという機械化できない手法であったが、この分析手法によれば、まず、「非常に良い」と評価した人は、香りについてどのような評価をするのか、ということを抽出することができ、一歩踏み込んだ分析が行える。すなわち、アンケート対象者に対して自由な記載をしてもらっても、係り受け関係の抽出によって機械的に処理できる。
【0051】
(図16)
スコア化して頻度を数値化した形容詞を、評価グループごとに出力させた例を示す図である。
例えば、非常に悪いという評価グループでは、どのような形容詞が「非常に悪い」という評価と関係しているか、ということがおおまかに把握できるのである。具体的には、「赤い」、「痛い」、「強い」といった形容詞によって表現されるイメージが「非常に悪い」という評価と関係しているらしい、というように把握できる。また、「かなり良い」という評価をしたグループからは、「きれいだ」、「白い」といった形容詞によって表現されるイメージが「かなり良い」という評価と関係しているらしい、というように把握できる。
【0052】
(図17)
年代グループと「値段」という単語による係り受け関係をマッピングにて出力させた例を示す図である。
「値段」という言葉に着目してみても、高いまたは安い、といった正反対の評価や、手頃だ、といった中間的あるいは微妙な評価が存在しうる。また、年代によって「値段」に対する評価に傾向があると予想できる場合がある。そのような場合に、分析画面において「マッピング」を選択し、年代グループを指定し、更に「値段」という単語を選択して係り受け関係を抽出させると、図17のような出力を得ることができる。図を見ると、値段に対して「手頃だ」、「安い」という評価をしているのは、30〜34歳のグループが多いということが分かる。また、値段に対して「高い」という評価をしているのは、20代未満のグループが多く、20〜24歳のグループもそのように評価する傾向があるということが分かる。一方、35〜39歳、40代以上といったグループは、「値段」に対するコメントがほとんど存在しなかった、ということも分かる。
【0053】
【発明の効果】
請求項1から請求項5に記載の発明によれば、日本語テキストデータの内容に対して自動分析機能に優れたテキストデータ分析システムを提供することができた。
また、請求項6から請求項8に記載の発明によれば、日本語テキストデータの内容に対して自動分析機能に優れたテキストデータ分析方法を提供することができた。
さらに、請求項9から請求項11に記載の発明によれば、日本語テキストデータの内容に対して自動分析機能に優れたテキストデータ分析方法をコンピュータに実行させるためのコンピュータプログラムを提供することができた。
【図面の簡単な説明】
【図1】本システムの主要機能を示す概念図である。
【図2】本システムの主要機能を示す概念図である。
【図3】本システムの主要機能を示す概念図である。
【図4】分析手段として「マッピング」のタブを選択して分析した場合における分析画面の出力表示の一例である。
【図5】分析画面において「単語ランキング」を選択して分析した出力表示の一例である。
【図6】分析手段として「特徴的な単語」のタブを選択して分析した場合における分析画面の出力表示の一例である。
【図7】分析画面において「グループ属性分析」を選択して分析した出力表示の一例である。
【図8】分析画面において「時系列モニタ」のタブを選択した場合における分析画面の出力表示の一例である。
【図9】画面右側においてユーザ定義スコアの機能に基づく出力表示の一例である。
【図10】レポートのタブを選択した後に、出力されるレポートを重ねて示し、レポート出力を概念的に表している。
【図11】辞書管理機能についての出力画面を示している。
【図12】コンピュータユーザからクレーム系のテキストデータの件数を表出力させたものである。
【図13】コンピュータユーザからクレーム系のテキストデータの件数およびその細目を表出力させたものである。
【図14】ツリー構造の作成について説明するための図である。
【図15】分析手段として「特徴的な単語」による係り受け関係を出力した例を示す図である。
【図16】頻度の高い形容詞を評価グループごとに出力させた例を示す図である。
【図17】年代グループと「値段」という単語による係り受け関係をマッピングにて出力させた例を示す図である。
Claims (11)
- 多数のテキストデータを分析するためのシステムであって、
多数のテキストデータを蓄積するテキストデータベース内における分析対象となるテキストデータをグループ化し、且つ階層化して表示可能であるようにツリー構造を形成するツリー構造化手段と、
ツリー構造として表示されたグループまたは各グループの階層の中から選択された対象を分析する選択対象分析手段と、
その選択対象分析手段が分析した分析結果をツリー構造とともに出力する出力手段とを備え、
選択対象分析手段には、単語間の係り受け関係を抽出する構文分析手段を備えたテキストデータ分析システム。 - 分析テーマに基づいたプロジェクトファイルを形成するプロジェクトファイル作成手段を備えた請求項1に記載のテキストデータ分析システム。
- 既に形成されたプロジェクトファイルに対して、分析対象となるテキストデータ群を追加または変更したい場合に、追加または変更したいテキストデータ群を指定して追加または変更させるデータインポート手段を備えた請求項2に記載のテキストデータ分析システム。
- 選択対象分析手段には、ツリー構造化手段によって形成されたグループと選択された単語との関連性を平面的にプロットするマッピング手段を備えた請求項1から請求項3のいずれかに記載のテキストデータ分析システム。
- 選択された単語に対しての係り受け関係を抽出する係り受け抽出手段を備え、マッピング手段は、前記係り受け抽出手段によって抽出された係り受け関係を平面的にプロットすることとした請求項4記載のテキストデータ分析システム。
- 多数のテキストデータを蓄積するテキストデータベース内における分析対象となるテキストデータをグループ化し、且つ階層化して表示可能であるようにツリー構造を形成するツリー構造化手順と、
ツリー構造として表示されたグループまたは各グループの階層の中から選択された対象を分析する選択対象分析手順と、
その選択対象分析手順にて分析した分析結果をツリー構造とともに出力する出力手順とを備え、
選択対象分析手順には、単語間の係り受け関係を抽出する構文分析手順を含むこととしたテキストデータ分析方法。 - 分析テーマに基づいたプロジェクトファイルを形成するプロジェクトファイル作成手順と、
そのプロジェクトファイル作成手順によって形成されたプロジェクトファイルに基づいたテキストデータをグループ化し、且つ階層化して表示可能であるようにツリー構造を形成するツリー構造化手順と、
ツリー構造として表示されたグループまたは各グループの階層の中から選択された対象を分析する選択対象分析手順と、
その選択対象分析手順にて分析した分析結果をツリー構造とともに出力する出力手順とを備え、
選択対象分析手順には、単語間の係り受け関係を抽出する構文分析手順を含むこととしたテキストデータ分析方法。 - 多数のテキストデータを蓄積するテキストデータベース内における分析対象となるテキストデータをグループ化し、且つ階層化して表示可能であるようにツリー構造を形成するツリー構造化手順と、
選択された単語に対しての係り受け関係を抽出する係り受け抽出手順と、
ツリー構造化手順によって形成されたグループおよび係り受け抽出手順によって抽出された係り受け関係を平面的にプロットする係り受けマッピング手順とを備えたテキストデータ分析方法。 - コンピュータに対し、多数のテキストデータを分析させるためのプログラムであって、
そのプログラムは、多数のテキストデータを蓄積するテキストデータベース内における分析対象となるテキストデータをグループ化し、且つ階層化して表示可能であるようにツリー構造を形成するツリー構造化手順と、
ツリー構造として表示されたグループまたは各グループの階層の中から選択された対象を分析する選択対象分析手順と、
その選択対象分析手順にて分析した分析結果をツリー構造とともに出力する出力手順とを備え、
選択対象分析手順には、単語間の係り受け関係を抽出する構文分析手順を含むこととしたコンピュータプログラム。 - コンピュータに対し、多数のテキストデータを分析させるためのプログラムであって、
そのプログラムは、分析テーマに基づいたプロジェクトファイルを形成するプロジェクトファイル作成手順と、
そのプロジェクトファイル作成手順によって形成されたプロジェクトファイルに基づいたテキストデータをグループ化し、且つ階層化して表示可能であるようにツリー構造を形成するツリー構造化手順と、
ツリー構造として表示されたグループまたは各グループの階層の中から選択された対象を分析する選択対象分析手順と、
その選択対象分析手順にて分析した分析結果をツリー構造とともに出力する出力手順とを備え、
選択対象分析手順には、単語間の係り受け関係を抽出する構文分析手順を含むこととしたコンピュータプログラム。 - コンピュータに対し、多数のテキストデータを分析させるためのプログラムであって、
そのプログラムは、多数のテキストデータを蓄積するテキストデータベース内における分析対象となるテキストデータをグループ化し、且つ階層化して表示可能であるようにツリー構造を形成するツリー構造化手順と、
選択された単語に対しての係り受け関係を抽出する係り受け抽出手順と、
ツリー構造化手順によって形成されたグループおよび係り受け抽出手順によって抽出された係り受け関係を平面的にプロットする係り受けマッピング手順とを備えたコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002173641A JP2004021445A (ja) | 2002-06-14 | 2002-06-14 | テキストデータ分析システム、テキストデータ分析方法およびコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002173641A JP2004021445A (ja) | 2002-06-14 | 2002-06-14 | テキストデータ分析システム、テキストデータ分析方法およびコンピュータプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004021445A true JP2004021445A (ja) | 2004-01-22 |
Family
ID=31172811
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002173641A Pending JP2004021445A (ja) | 2002-06-14 | 2002-06-14 | テキストデータ分析システム、テキストデータ分析方法およびコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004021445A (ja) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004038729A (ja) * | 2002-07-05 | 2004-02-05 | Just Syst Corp | 情報処理装置、情報処理方法、及び情報処理プログラム |
JP2005259088A (ja) * | 2004-03-15 | 2005-09-22 | Kousaku Ookubo | 注目する情報を知識集積物との関係で可視的に処理するためのシステム及びそのためのコンピュータソフトウエアプログラム製品 |
JP2006171931A (ja) * | 2004-12-14 | 2006-06-29 | Mitsubishi Electric Corp | テキストマイニング装置およびテキストマイニングプログラム |
JP2006323627A (ja) * | 2005-05-19 | 2006-11-30 | Hitachi East Japan Solutions Ltd | 分類リスト作成支援システムおよび分類リスト作成支援プログラム |
JP2007172179A (ja) * | 2005-12-20 | 2007-07-05 | Nec Corp | 意見抽出装置、意見抽出方法、および意見抽出プログラム |
JP2007172051A (ja) * | 2005-12-19 | 2007-07-05 | Nippon Telegr & Teleph Corp <Ntt> | 評判情報処理装置、評判情報処理方法、評判情報処理プログラム、及び記録媒体 |
JP2007293685A (ja) * | 2006-04-26 | 2007-11-08 | Mitsubishi Electric Corp | テキストマイニング装置、テキストマイニングプログラム、及びテキストマイニング方法 |
WO2007138872A1 (ja) * | 2006-05-26 | 2007-12-06 | Nec Corporation | テキストマイニング装置、テキストマイニング方法、および、テキストマイニングプログラム |
JP2008243126A (ja) * | 2007-03-29 | 2008-10-09 | Chuden Cti Co Ltd | 入力情報分析装置 |
JP2009146214A (ja) * | 2007-12-14 | 2009-07-02 | Mazda Motor Corp | 市場分析支援におけるモニタ表示方法 |
JP2010067597A (ja) * | 2008-09-11 | 2010-03-25 | Yoichiro Tominaga | 耐熱衝撃性黒鉛電極とその製造方法 |
US7698129B2 (en) | 2006-02-23 | 2010-04-13 | Hitachi, Ltd. | Information processor, customer need-analyzing method and program |
JP2012181685A (ja) * | 2011-03-01 | 2012-09-20 | Toshiba Corp | 代表文抽出装置およびプログラム |
JP2016099868A (ja) * | 2014-11-25 | 2016-05-30 | 日本放送協会 | 文書処理装置およびプログラム |
JP2018152023A (ja) * | 2017-03-15 | 2018-09-27 | 株式会社Screenホールディングス | テキストマイニング支援方法および装置 |
WO2022254822A1 (ja) * | 2021-05-31 | 2022-12-08 | 株式会社日立製作所 | データ抽出システムおよびデータ抽出方法 |
-
2002
- 2002-06-14 JP JP2002173641A patent/JP2004021445A/ja active Pending
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004038729A (ja) * | 2002-07-05 | 2004-02-05 | Just Syst Corp | 情報処理装置、情報処理方法、及び情報処理プログラム |
JP2005259088A (ja) * | 2004-03-15 | 2005-09-22 | Kousaku Ookubo | 注目する情報を知識集積物との関係で可視的に処理するためのシステム及びそのためのコンピュータソフトウエアプログラム製品 |
JP2006171931A (ja) * | 2004-12-14 | 2006-06-29 | Mitsubishi Electric Corp | テキストマイニング装置およびテキストマイニングプログラム |
JP4490871B2 (ja) * | 2005-05-19 | 2010-06-30 | 株式会社 日立東日本ソリューションズ | 分類リスト作成支援システムおよび分類リスト作成支援プログラム |
JP2006323627A (ja) * | 2005-05-19 | 2006-11-30 | Hitachi East Japan Solutions Ltd | 分類リスト作成支援システムおよび分類リスト作成支援プログラム |
JP2007172051A (ja) * | 2005-12-19 | 2007-07-05 | Nippon Telegr & Teleph Corp <Ntt> | 評判情報処理装置、評判情報処理方法、評判情報処理プログラム、及び記録媒体 |
JP2007172179A (ja) * | 2005-12-20 | 2007-07-05 | Nec Corp | 意見抽出装置、意見抽出方法、および意見抽出プログラム |
US7698129B2 (en) | 2006-02-23 | 2010-04-13 | Hitachi, Ltd. | Information processor, customer need-analyzing method and program |
JP2007293685A (ja) * | 2006-04-26 | 2007-11-08 | Mitsubishi Electric Corp | テキストマイニング装置、テキストマイニングプログラム、及びテキストマイニング方法 |
WO2007138872A1 (ja) * | 2006-05-26 | 2007-12-06 | Nec Corporation | テキストマイニング装置、テキストマイニング方法、および、テキストマイニングプログラム |
JP5223671B2 (ja) * | 2006-05-26 | 2013-06-26 | 日本電気株式会社 | テキストマイニング装置、テキストマイニング方法、および、テキストマイニングプログラム |
US8595247B2 (en) | 2006-05-26 | 2013-11-26 | Nec Corporation | Text mining device, text mining method, and text mining program |
JP2008243126A (ja) * | 2007-03-29 | 2008-10-09 | Chuden Cti Co Ltd | 入力情報分析装置 |
JP2009146214A (ja) * | 2007-12-14 | 2009-07-02 | Mazda Motor Corp | 市場分析支援におけるモニタ表示方法 |
JP2010067597A (ja) * | 2008-09-11 | 2010-03-25 | Yoichiro Tominaga | 耐熱衝撃性黒鉛電極とその製造方法 |
JP2012181685A (ja) * | 2011-03-01 | 2012-09-20 | Toshiba Corp | 代表文抽出装置およびプログラム |
JP2016099868A (ja) * | 2014-11-25 | 2016-05-30 | 日本放送協会 | 文書処理装置およびプログラム |
JP2018152023A (ja) * | 2017-03-15 | 2018-09-27 | 株式会社Screenホールディングス | テキストマイニング支援方法および装置 |
WO2022254822A1 (ja) * | 2021-05-31 | 2022-12-08 | 株式会社日立製作所 | データ抽出システムおよびデータ抽出方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Görg et al. | Combining computational analyses and interactive visualization for document exploration and sensemaking in jigsaw | |
US9659084B1 (en) | System, methods, and user interface for presenting information from unstructured data | |
US8131779B2 (en) | System and method for interactive multi-dimensional visual representation of information content and properties | |
US7464096B2 (en) | Method and apparatus for information mining and filtering | |
US9384245B2 (en) | Method and system for assessing relevant properties of work contexts for use by information services | |
US7949629B2 (en) | Method and system for personal information extraction and modeling with fully generalized extraction contexts | |
US9449080B1 (en) | System, methods, and user interface for information searching, tagging, organization, and display | |
US7613719B2 (en) | Rendering tables with natural language commands | |
Trappey et al. | An R&D knowledge management method for patent document summarization | |
JP2004021445A (ja) | テキストデータ分析システム、テキストデータ分析方法およびコンピュータプログラム | |
JPH0991314A (ja) | 情報探索装置 | |
Reiterer et al. | Insyder: a content-based visual-information-seeking system for the web | |
EP1667034A2 (en) | System and method for interactive multi-dimensional visual representation of information content and properties | |
WO2021111400A1 (en) | System and method for enabling a search platform to users | |
Ananiadou et al. | Supporting the education evidence portal via text mining | |
JP2008243024A (ja) | 情報取得装置、そのプログラム及び方法 | |
Khan et al. | An architecture for non-linear discovery of aggregated multimedia document web search results | |
US20220327445A1 (en) | Workshop assistance system and workshop assistance method | |
JP2014102625A (ja) | 情報検索システム、プログラム、および方法 | |
Sood et al. | ESSE: Exploring mood on the web | |
Cheng et al. | Context-based page unit recommendation for web-based sensemaking tasks | |
Grüblbauer et al. | Social media monitoring tools as instruments of strategic issues management | |
Price et al. | Using semantic components to search for domain-specific documents: An evaluation from the system perspective and the user perspective | |
JP5368900B2 (ja) | 情報提示装置、情報提示方法およびプログラム | |
Carbonaro | WordNet-based summarization to enhance learning interaction tutoring |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050608 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080604 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081210 |