JP2002245067A - 情報検索装置 - Google Patents
情報検索装置Info
- Publication number
- JP2002245067A JP2002245067A JP2001037163A JP2001037163A JP2002245067A JP 2002245067 A JP2002245067 A JP 2002245067A JP 2001037163 A JP2001037163 A JP 2001037163A JP 2001037163 A JP2001037163 A JP 2001037163A JP 2002245067 A JP2002245067 A JP 2002245067A
- Authority
- JP
- Japan
- Prior art keywords
- keywords
- document data
- keyword
- vector
- information retrieval
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
(57)【要約】
【課題】 キーワード間の関係を反映した類似度計算を
可能とし、分類あるいは検索の精度を向上することがで
きる情報検索装置を得る。 【解決手段】 複数の文書データを格納する文書データ
ベース１０と、各々の文書データに対しキーワードの特
徴ベクトルを生成するベクトル生成手段２０と、特徴ベ
クトル間の類似度を計算して各文書データを分類する分
類手段３０と、文書データの分類結果を出力する出力手
段４０とを有する情報検索装置において、ベクトル生成
手段２０は、各文書データを各々解析してキーワード及
びキーワード間の関係を抽出し、これら両方の出現頻度
に基づいて特徴ベクトルを生成する。
可能とし、分類あるいは検索の精度を向上することがで
きる情報検索装置を得る。 【解決手段】 複数の文書データを格納する文書データ
ベース１０と、各々の文書データに対しキーワードの特
徴ベクトルを生成するベクトル生成手段２０と、特徴ベ
クトル間の類似度を計算して各文書データを分類する分
類手段３０と、文書データの分類結果を出力する出力手
段４０とを有する情報検索装置において、ベクトル生成
手段２０は、各文書データを各々解析してキーワード及
びキーワード間の関係を抽出し、これら両方の出現頻度
に基づいて特徴ベクトルを生成する。
Description
【０００１】
【発明の属する技術分野】この発明は、電子化された文
書データの分類・検索に関し、特に文書データを自動的
に分類・検索をする情報検索装置に関するものである。
書データの分類・検索に関し、特に文書データを自動的
に分類・検索をする情報検索装置に関するものである。
【０００２】
【従来の技術】電子化された文書データの分類・検索に
関しては、従来、例えば特開平１１−１１０３９５号公
報に示されている情報検索装置が提案されている。ここ
に提案されている情報検索装置においては、類義語の出
現頻度をまとめて特徴ベクトルを生成し、特徴ベクトル
間の類似度を計算して各文書データを分類する。また、
この特開平１１−１１０３９５号公報には、類義語の関
係にある複数の単語にそれぞれ重み付けを付けることも
提案されている。
関しては、従来、例えば特開平１１−１１０３９５号公
報に示されている情報検索装置が提案されている。ここ
に提案されている情報検索装置においては、類義語の出
現頻度をまとめて特徴ベクトルを生成し、特徴ベクトル
間の類似度を計算して各文書データを分類する。また、
この特開平１１−１１０３９５号公報には、類義語の関
係にある複数の単語にそれぞれ重み付けを付けることも
提案されている。
【０００３】さらに、例えば特開平１０−１９８６９１
号公報においては、類義語の出現頻度をまとめて特徴ベ
クトルを生成することが開示されているとともに、文書
データベース中の隣接した単語対、類義語対を登録して
おき、特徴ベクトルの計算に用いることが開示されてい
る。
号公報においては、類義語の出現頻度をまとめて特徴ベ
クトルを生成することが開示されているとともに、文書
データベース中の隣接した単語対、類義語対を登録して
おき、特徴ベクトルの計算に用いることが開示されてい
る。
【０００４】
【発明が解決しようとする課題】このような構成の従来
の情報検索装置においては、語句の係り受け等、キーワ
ード間の関係を反映した分類あるいは検索をしていな
い、そのため、精度の高い分類あるいは検索をすること
が出来なかった。
の情報検索装置においては、語句の係り受け等、キーワ
ード間の関係を反映した分類あるいは検索をしていな
い、そのため、精度の高い分類あるいは検索をすること
が出来なかった。
【０００５】この発明は、上述のような課題を解決する
ためになされたもので、キーワードだけでなくキーワー
ド間の関係をも反映した類似度計算を可能とし、分類あ
るいは検索の精度を向上することができる情報検索装置
を得ることを目的とする。
ためになされたもので、キーワードだけでなくキーワー
ド間の関係をも反映した類似度計算を可能とし、分類あ
るいは検索の精度を向上することができる情報検索装置
を得ることを目的とする。
【０００６】
【課題を解決するための手段】この発明に係る情報検索
装置は、複数の文書データを格納する文書データベース
と、各々の文書データに対し特徴ベクトルを生成するベ
クトル生成手段と、特徴ベクトル間の類似度を計算して
各文書データを分類する分類手段と、文書データの分類
結果を出力する出力手段とを有する情報検索装置におい
て、ベクトル生成手段は、各文書データを各々解析して
キーワード及びキーワード間の関係を抽出し、これら両
方の出現頻度に基づいて特徴ベクトルを生成する。
装置は、複数の文書データを格納する文書データベース
と、各々の文書データに対し特徴ベクトルを生成するベ
クトル生成手段と、特徴ベクトル間の類似度を計算して
各文書データを分類する分類手段と、文書データの分類
結果を出力する出力手段とを有する情報検索装置におい
て、ベクトル生成手段は、各文書データを各々解析して
キーワード及びキーワード間の関係を抽出し、これら両
方の出現頻度に基づいて特徴ベクトルを生成する。
【０００７】また、この発明に係る情報検索装置は、複
数の文書データを格納する文書データベースと、検索式
を入力する検索式入力手段と、各々の文書データ及び検
索式に対し特徴ベクトルを生成するベクトル生成手段
と、検索式に対する特徴ベクトルと各々の文書データに
対する特徴ベクトル間の類似度を計算する類似度計算手
段と、類似度の高い特徴ベクトルを有する文書データを
出力する出力手段とを有する情報検索装置において、ベ
クトル生成手段は、各文書データ及び検索式を各々解析
してキーワード及びキーワード間の関係を抽出し、これ
らの出現頻度に基づいて特徴ベクトルを生成する。
数の文書データを格納する文書データベースと、検索式
を入力する検索式入力手段と、各々の文書データ及び検
索式に対し特徴ベクトルを生成するベクトル生成手段
と、検索式に対する特徴ベクトルと各々の文書データに
対する特徴ベクトル間の類似度を計算する類似度計算手
段と、類似度の高い特徴ベクトルを有する文書データを
出力する出力手段とを有する情報検索装置において、ベ
クトル生成手段は、各文書データ及び検索式を各々解析
してキーワード及びキーワード間の関係を抽出し、これ
らの出現頻度に基づいて特徴ベクトルを生成する。
【０００８】また、ベクトル生成手段は、キーワード間
の関係として係り受けの関係を用いる。
の関係として係り受けの関係を用いる。
【０００９】また、ベクトル生成手段は、キーワード間
の関係としてキーワード間の距離が近いことを用いる。
の関係としてキーワード間の距離が近いことを用いる。
【００１０】また、ベクトル生成手段は、同一カテゴリ
に属するキーワード群に含まれるキーワードもしくはそ
れを含むキーワード間の関係の出現頻度の代わりに、そ
のカテゴリを代表するキーワードもしくはそれを含むキ
ーワード間の関係の出現頻度としてそれらの出現頻度を
それぞれ加算したものを用いる。
に属するキーワード群に含まれるキーワードもしくはそ
れを含むキーワード間の関係の出現頻度の代わりに、そ
のカテゴリを代表するキーワードもしくはそれを含むキ
ーワード間の関係の出現頻度としてそれらの出現頻度を
それぞれ加算したものを用いる。
【００１１】さらに、ベクトル生成手段は、キーワード
及びキーワード間の関係の出現頻度に対し、利用者が指
定する重みづけに基づいて特徴ベクトルを生成する。
及びキーワード間の関係の出現頻度に対し、利用者が指
定する重みづけに基づいて特徴ベクトルを生成する。
【００１２】
【発明の実施の形態】実施の形態１．図１は、この発明
の分類に関する情報検索装置の構成例を示すブロック図
である。図において文書データベース１０は複数の文書
データを格納する。文書データベース１０に格納された
各文書データは少なくともテキストデータを有してい
る。
の分類に関する情報検索装置の構成例を示すブロック図
である。図において文書データベース１０は複数の文書
データを格納する。文書データベース１０に格納された
各文書データは少なくともテキストデータを有してい
る。
【００１３】ベクトル生成手段２０は、各文書データに
対して特徴ベクトルを生成する。すなわち、各文書デー
タのテキストデータに対して形態素解析などを行い、必
要に応じて不要語処理等を行ってキーワードを抽出する
と共に、キーワード間の関係を抽出する。
対して特徴ベクトルを生成する。すなわち、各文書デー
タのテキストデータに対して形態素解析などを行い、必
要に応じて不要語処理等を行ってキーワードを抽出する
と共に、キーワード間の関係を抽出する。
【００１４】次に、Ｎ個の文書からなる文書データベー
ス１０全体から、キーワードＫ個、キーワード間の関係
Ｒ個が抽出されたとき、各文書ｉ（１≦ｉ≦Ｎ）の特徴
ベクトルＶｉは、たとえば、Ｋ＋Ｒ次元のベクトルで表
される。キーワード若しくはキーワード間の関係のイン
デックスをｊ（１≦ｊ≦Ｋ＋Ｒ）で表すとき、特徴ベク
トルＶｉの各次元ｊの成分Ｖｉｊは、たとえば、ｔｆ・
ｉｄｆ法によると、次の式で算出できる。
ス１０全体から、キーワードＫ個、キーワード間の関係
Ｒ個が抽出されたとき、各文書ｉ（１≦ｉ≦Ｎ）の特徴
ベクトルＶｉは、たとえば、Ｋ＋Ｒ次元のベクトルで表
される。キーワード若しくはキーワード間の関係のイン
デックスをｊ（１≦ｊ≦Ｋ＋Ｒ）で表すとき、特徴ベク
トルＶｉの各次元ｊの成分Ｖｉｊは、たとえば、ｔｆ・
ｉｄｆ法によると、次の式で算出できる。
【００１５】Ｖｉｊ＝ＴＦｉｊ＊ｌｏｇ（Ｎ／ＤＦｊ）
【００１６】ここで、ＴＦｉｊは、文書ｉ中において、
ｊ成分に対応するキーワード若しくはキーワード間の関
係が現れる回数であり、また、ＤＦｊは、文書データベ
ース１０のＮ個の全文書中において、ｊ成分に対応する
キーワード若しくはキーワード間の関係が現れる回数で
ある。このようにして、特徴ベクトルが生成される。
ｊ成分に対応するキーワード若しくはキーワード間の関
係が現れる回数であり、また、ＤＦｊは、文書データベ
ース１０のＮ個の全文書中において、ｊ成分に対応する
キーワード若しくはキーワード間の関係が現れる回数で
ある。このようにして、特徴ベクトルが生成される。
【００１７】分類手段３０では、文書間の類似度を計算
すると共に、その結果を使って、文書のクラスタリング
を行う。文書間の類似度は、たとえば上記のように算出
した複数文書の各特徴ベクトル間の角度のコサイン値で
計算できる。クラスタリングについては、Ｋ平均法など
のクラスタリングアルゴリズムに必要な類似度計算に、
上述のように生成した特徴ベクトルを使って計算した類
似度を用いることにより、従来のクラスタリングで用い
られていたキーワードだけでなく、キーワード間の関係
をも反映したクラスタリングが可能となる。
すると共に、その結果を使って、文書のクラスタリング
を行う。文書間の類似度は、たとえば上記のように算出
した複数文書の各特徴ベクトル間の角度のコサイン値で
計算できる。クラスタリングについては、Ｋ平均法など
のクラスタリングアルゴリズムに必要な類似度計算に、
上述のように生成した特徴ベクトルを使って計算した類
似度を用いることにより、従来のクラスタリングで用い
られていたキーワードだけでなく、キーワード間の関係
をも反映したクラスタリングが可能となる。
【００１８】分類した結果は出力手段４０により出力す
ることができる。
ることができる。
【００１９】ここで、ベクトル生成手段２０で、各文書
データに対して特徴ベクトルを生成する際のキーワード
間の関係抽出の具体例としては、構文解析の結果として
得られる係り受けの関係やキーワード間の距離の近いも
のなどが考えられる。
データに対して特徴ベクトルを生成する際のキーワード
間の関係抽出の具体例としては、構文解析の結果として
得られる係り受けの関係やキーワード間の距離の近いも
のなどが考えられる。
【００２０】まず、係り受けの関係について、たとえ
ば、「ＡがＢをＣする」という文を考える。この文にお
いては、「ＡがＣする」「ＢをＣする」という係り受け
の関係が存在する。これらを格まで含めて識別してもよ
いが、格を無視して、「Ａ→Ｃ」、「Ｂ→Ｃ」あるい
は、方向も無視して、「Ａ＆Ｃ」、「Ｂ＆Ｃ」（「Ａ→
Ｃ」と「Ｃ→Ａ」を同じと見なす）とすることも考えら
れる。この場合のキーワード間の関係に係る、前記ＴＦ
ｉｊ、若しくはＤＦｊとしてはこのような係り受けの出
現回数を使用することになる。
ば、「ＡがＢをＣする」という文を考える。この文にお
いては、「ＡがＣする」「ＢをＣする」という係り受け
の関係が存在する。これらを格まで含めて識別してもよ
いが、格を無視して、「Ａ→Ｃ」、「Ｂ→Ｃ」あるい
は、方向も無視して、「Ａ＆Ｃ」、「Ｂ＆Ｃ」（「Ａ→
Ｃ」と「Ｃ→Ａ」を同じと見なす）とすることも考えら
れる。この場合のキーワード間の関係に係る、前記ＴＦ
ｉｊ、若しくはＤＦｊとしてはこのような係り受けの出
現回数を使用することになる。
【００２１】一方、キーワード間の関係として、キーワ
ード間の距離の近いものを用いる場合の距離の具体例と
しては、たとえばキーワード間の文字数、形態素数、文
節数、文数、段落数等が考えられる。この場合も方向を
考える場合と考えない場合が存在する。この場合のキー
ワード間の関係に係る、前記ＴＦｉｊ、若しくはＤＦｊ
としては、例えば、この距離がユーザー指定値より小さ
い場合の出現回数を使用することになる。
ード間の距離の近いものを用いる場合の距離の具体例と
しては、たとえばキーワード間の文字数、形態素数、文
節数、文数、段落数等が考えられる。この場合も方向を
考える場合と考えない場合が存在する。この場合のキー
ワード間の関係に係る、前記ＴＦｉｊ、若しくはＤＦｊ
としては、例えば、この距離がユーザー指定値より小さ
い場合の出現回数を使用することになる。
【００２２】さらに、同義語関係などのキーワードのカ
テゴリを反映した分類を行うことも可能である。すなわ
ち、係り受けの関係を例にとって説明すれば、キーワー
ドａ０、ａ１がカテゴリＡに属しており、ａ０、ａ１は
ｂと係り受けの関係があるとすれば、キーワードａ０、
ａ１に関する次元、「ａ０」、「ａ０→ｂ」、「ａ
１」、「ａ１→ｂ」を、「Ａ」、「Ａ→ｂ」に、まとめ
て、特徴ベクトルを生成することも出来る。
テゴリを反映した分類を行うことも可能である。すなわ
ち、係り受けの関係を例にとって説明すれば、キーワー
ドａ０、ａ１がカテゴリＡに属しており、ａ０、ａ１は
ｂと係り受けの関係があるとすれば、キーワードａ０、
ａ１に関する次元、「ａ０」、「ａ０→ｂ」、「ａ
１」、「ａ１→ｂ」を、「Ａ」、「Ａ→ｂ」に、まとめ
て、特徴ベクトルを生成することも出来る。
【００２３】なお、分類の際の比較対象となる特徴ベク
トルの各次元は、共に非ゼロ成分（共起）でなければ類
似度には寄与しない。しかしながら、一般に、キーワー
ド間の関係の共起は、単なるキーワードの共起よりも確
率的に低くなるため、キーワードに比べて、キーワード
間の関係の類似度への寄与が低くなってしまう傾向があ
る。そこで、キーワード間の関係に関する次元の重みを
キーワードの次元よりも大きくすることにより、両者の
類似度評価への寄与のバランスを図ることができる。
トルの各次元は、共に非ゼロ成分（共起）でなければ類
似度には寄与しない。しかしながら、一般に、キーワー
ド間の関係の共起は、単なるキーワードの共起よりも確
率的に低くなるため、キーワードに比べて、キーワード
間の関係の類似度への寄与が低くなってしまう傾向があ
る。そこで、キーワード間の関係に関する次元の重みを
キーワードの次元よりも大きくすることにより、両者の
類似度評価への寄与のバランスを図ることができる。
【００２４】また、ユーザーがキーワードを選定して、
そのキーワードの次元やそのキーワードが含まれるキー
ワード間の関係の次元の重みを大きくして、ユーザーが
注目するキーワードを重視した分類を行うことも可能で
ある。
そのキーワードの次元やそのキーワードが含まれるキー
ワード間の関係の次元の重みを大きくして、ユーザーが
注目するキーワードを重視した分類を行うことも可能で
ある。
【００２５】実施の形態２．図２は、この発明の他の実
施例である、検索に関する情報検索装置の構成例を示す
ブロック図であり、文書データベース１０、出力手段４
０は図１と同じ機能を有する。
施例である、検索に関する情報検索装置の構成例を示す
ブロック図であり、文書データベース１０、出力手段４
０は図１と同じ機能を有する。
【００２６】検索式入力手段５０は、検索条件を検索式
（検索式を表現する文章でも良い。）として入力する機
能を有し、ベクトル生成手段２０は、文書データベース
１０に格納されている全文書について、キーワード及び
キーワード間の関係の出現頻度から、例えば、実施の形
態１で述べた特徴ベクトル計算式にしたがって特徴ベク
トルを生成すると共に、入力した検索式からも、実施の
形態１で述べた特徴ベクトル生成方法と同様の方法を用
いて、特徴ベクトルを生成する機能を有する。（ただ
し、検索式から特徴ベクトルを生成する場合は、前記Ｖ
ｉｊのｉは文書ｉを示すものではなく、検索式を示すも
のとする。この場合、ＴＦｉｊは通常１になる。）
（検索式を表現する文章でも良い。）として入力する機
能を有し、ベクトル生成手段２０は、文書データベース
１０に格納されている全文書について、キーワード及び
キーワード間の関係の出現頻度から、例えば、実施の形
態１で述べた特徴ベクトル計算式にしたがって特徴ベク
トルを生成すると共に、入力した検索式からも、実施の
形態１で述べた特徴ベクトル生成方法と同様の方法を用
いて、特徴ベクトルを生成する機能を有する。（ただ
し、検索式から特徴ベクトルを生成する場合は、前記Ｖ
ｉｊのｉは文書ｉを示すものではなく、検索式を示すも
のとする。この場合、ＴＦｉｊは通常１になる。）
【００２７】検索手段６０は、検索式から生成した特徴
ベクトルと、格納された文書データベース１０中の全文
書についての特徴ベクトル間の類似度を、実施の形態１
の分類の手段で述べた方法と同様な方法で計算し、その
結果を使って、文書データベース中の文書の類似度ラン
キング評価を行う。
ベクトルと、格納された文書データベース１０中の全文
書についての特徴ベクトル間の類似度を、実施の形態１
の分類の手段で述べた方法と同様な方法で計算し、その
結果を使って、文書データベース中の文書の類似度ラン
キング評価を行う。
【００２８】ランキング付けした結果は出力手段４０に
より出力することができる。
より出力することができる。
【００２９】なお、ベクトル生成手段２０では、各文書
データに対して特徴ベクトルを生成する際のキーワード
間の関係抽出の具体例として、実施の形態１で述べたこ
とと同様に、キーワードの係り付けの関係やキーワード
間の距離の近いもの数などを利用することが考えられ
る。
データに対して特徴ベクトルを生成する際のキーワード
間の関係抽出の具体例として、実施の形態１で述べたこ
とと同様に、キーワードの係り付けの関係やキーワード
間の距離の近いもの数などを利用することが考えられ
る。
【００３０】さらに、同義語関係などのキーワードのカ
テゴリを反映した検索を行うことも可能である。キーワ
ード若しくはキーワード間の関係のカテゴリーへのまと
め方は、実施の形態１の例示と同様である。
テゴリを反映した検索を行うことも可能である。キーワ
ード若しくはキーワード間の関係のカテゴリーへのまと
め方は、実施の形態１の例示と同様である。
【００３１】また、特定のキーワード若しくはキーワー
ド間の関係の次元の重みを大きくすることで、実施の形
態１での例示と同様に、キーワード／キーワード間の関
係のそれぞれの次元の重みのバランスを図ったり、ユー
ザーが注目するキーワード若しくはキーワード間の関係
を重視した検索を行うことも可能である。
ド間の関係の次元の重みを大きくすることで、実施の形
態１での例示と同様に、キーワード／キーワード間の関
係のそれぞれの次元の重みのバランスを図ったり、ユー
ザーが注目するキーワード若しくはキーワード間の関係
を重視した検索を行うことも可能である。
【００３２】
【発明の効果】この発明に係る情報検索装置は、複数の
文書データを格納する文書データベースと、各々の文書
データに対し特徴ベクトルを生成するベクトル生成手段
と、特徴ベクトル間の類似度を計算して各文書データを
分類する分類手段と、文書データの分類結果を出力する
出力手段とを有する情報検索装置において、ベクトル生
成手段は、各文書データを各々解析してキーワード及び
キーワード間の関係を抽出し、これら両方の出現頻度に
基づいて特徴ベクトルを生成する。そのため、文書デー
タの分類において、各文書データのキーワードだけでな
く、キーワード間の関係をも反映した類似度計算が可能
となり精度が向上する。
文書データを格納する文書データベースと、各々の文書
データに対し特徴ベクトルを生成するベクトル生成手段
と、特徴ベクトル間の類似度を計算して各文書データを
分類する分類手段と、文書データの分類結果を出力する
出力手段とを有する情報検索装置において、ベクトル生
成手段は、各文書データを各々解析してキーワード及び
キーワード間の関係を抽出し、これら両方の出現頻度に
基づいて特徴ベクトルを生成する。そのため、文書デー
タの分類において、各文書データのキーワードだけでな
く、キーワード間の関係をも反映した類似度計算が可能
となり精度が向上する。
【００３３】また、この発明に係る情報検索装置は、複
数の文書データを格納する文書データベースと、検索式
を入力する検索式入力手段と、各々の文書データ及び検
索式に対し特徴ベクトルを生成するベクトル生成手段
と、検索式に対する特徴ベクトルと各々の文書データに
対する特徴ベクトル間の類似度を計算する類似度計算手
段と、類似度の高い特徴ベクトルを有する文書データを
出力する出力手段とを有する情報検索装置において、ベ
クトル生成手段は、各文書データ及び検索式を各々解析
してキーワード及びキーワード間の関係を抽出し、これ
らの出現頻度に基づいて特徴ベクトルを生成する。その
ため、検索式に近い文書データの検索において、検索式
および各文書データに出現するキーワードだけでなく、
キーワード間の関係をも反映した類似度計算が可能とな
り検索の精度が向上する。
数の文書データを格納する文書データベースと、検索式
を入力する検索式入力手段と、各々の文書データ及び検
索式に対し特徴ベクトルを生成するベクトル生成手段
と、検索式に対する特徴ベクトルと各々の文書データに
対する特徴ベクトル間の類似度を計算する類似度計算手
段と、類似度の高い特徴ベクトルを有する文書データを
出力する出力手段とを有する情報検索装置において、ベ
クトル生成手段は、各文書データ及び検索式を各々解析
してキーワード及びキーワード間の関係を抽出し、これ
らの出現頻度に基づいて特徴ベクトルを生成する。その
ため、検索式に近い文書データの検索において、検索式
および各文書データに出現するキーワードだけでなく、
キーワード間の関係をも反映した類似度計算が可能とな
り検索の精度が向上する。
【００３４】また、ベクトル生成手段は、キーワード間
の関係として係り受けの関係を用いる。そのため、文書
データの分類や検索式に近い文書データの検索におい
て、係り受けの関係を反映した類似度計算が行われ、キ
ーワードのみを用いた従来の方式に比べ分類や検索の精
度が向上する。
の関係として係り受けの関係を用いる。そのため、文書
データの分類や検索式に近い文書データの検索におい
て、係り受けの関係を反映した類似度計算が行われ、キ
ーワードのみを用いた従来の方式に比べ分類や検索の精
度が向上する。
【００３５】また、ベクトル生成手段は、キーワード間
の関係としてキーワード間の距離が近いことを用いる。
そのため、文書データの分類や検索式に近い文書データ
の検索において、キーワード間の距離を反映した類似度
計算が行われ、キーワードのみを用いた従来の方式に比
べ分類や検索の精度が向上する。
の関係としてキーワード間の距離が近いことを用いる。
そのため、文書データの分類や検索式に近い文書データ
の検索において、キーワード間の距離を反映した類似度
計算が行われ、キーワードのみを用いた従来の方式に比
べ分類や検索の精度が向上する。
【００３６】また、ベクトル生成手段は、同一カテゴリ
に属するキーワード群に含まれるキーワードもしくはそ
れを含むキーワード間の関係の出現頻度の代わりに、そ
のカテゴリを代表するキーワードもしくはそれを含むキ
ーワード間の関係の出現頻度としてそれらの出現頻度を
それぞれ加算したものを用いる。そのため、文書データ
の分類や検索式に近い文書データの検索において、利用
者にとって区別することが不要なキーワードあるいはキ
ーワード間の関係をまとめた類似度計算を行うことがで
きる。その結果、高精度の分類・検索の効率化を図るこ
とが可能となる。
に属するキーワード群に含まれるキーワードもしくはそ
れを含むキーワード間の関係の出現頻度の代わりに、そ
のカテゴリを代表するキーワードもしくはそれを含むキ
ーワード間の関係の出現頻度としてそれらの出現頻度を
それぞれ加算したものを用いる。そのため、文書データ
の分類や検索式に近い文書データの検索において、利用
者にとって区別することが不要なキーワードあるいはキ
ーワード間の関係をまとめた類似度計算を行うことがで
きる。その結果、高精度の分類・検索の効率化を図るこ
とが可能となる。
【００３７】さらに、ベクトル生成手段は、キーワード
及びキーワード間の関係の出現頻度に対し、利用者が指
定する重みづけに基づいて特徴ベクトルを生成する。そ
のため、文書データの分類や検索式に近い文書データの
検索において、利用者の意図を反映して、特定のキーワ
ードあるいはキーワード間の関係を重視あるいは軽視し
た類似度計算を行うことができる。その結果、利用者の
意図をより良く反映した形での分類・検索の高精度化が
可能となる。
及びキーワード間の関係の出現頻度に対し、利用者が指
定する重みづけに基づいて特徴ベクトルを生成する。そ
のため、文書データの分類や検索式に近い文書データの
検索において、利用者の意図を反映して、特定のキーワ
ードあるいはキーワード間の関係を重視あるいは軽視し
た類似度計算を行うことができる。その結果、利用者の
意図をより良く反映した形での分類・検索の高精度化が
可能となる。
【図１】 この発明の分類に関連する情報検索装置を示
すブロック図である。
すブロック図である。
【図２】 この発明の検索に関連する情報検索装置を示
すブロック図である。
すブロック図である。
１０ 文書データベース、２０ ベクトル生成手段、３
０ 分類手段、４０出力手段、５０ 検索式入力手段、
６０ 類似度計算手段（検索手段）。
０ 分類手段、４０出力手段、５０ 検索式入力手段、
６０ 類似度計算手段（検索手段）。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 小船 隆一 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 (72)発明者 有田 英一 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 Ｆターム(参考） 5B075 ND03 NK02 NR12 PP23 PR04 PR06 QM08
Claims (6)
- 【請求項１】 複数の文書データを格納する文書データ
ベースと、 各々の上記文書データに対し特徴ベクトルを生成するベ
クトル生成手段と、 上記特徴ベクトル間の類似度を計算して上記各文書デー
タを分類する分類手段と、 上記文書データの分類結果を出力する出力手段とを有す
る情報検索装置において、 上記ベクトル生成手段は、上記各文書データを各々解析
してキーワード及びキーワード間の関係を抽出し、これ
ら両方の出現頻度に基づいて上記特徴ベクトルを生成す
ることを特徴とする情報検索装置。 - 【請求項２】 複数の文書データを格納する文書データ
ベースと、 検索式を入力する検索式入力手段と、 各々の上記文書データ及び上記検索式に対し特徴ベクト
ルを生成するベクトル生成手段と、 上記検索式に対する特徴ベクトルと各々の上記文書デー
タに対する特徴ベクトル間の類似度を計算する類似度計
算手段と、 類似度の高い上記特徴ベクトルを有する文書データを出
力する出力手段とを有する情報検索装置において、 上記ベクトル生成手段は、上記各文書データ及び検索式
を各々解析してキーワード及びキーワード間の関係を抽
出し、これらの出現頻度に基づいて上記特徴ベクトルを
生成することを特徴とする情報検索装置。 - 【請求項３】 上記ベクトル生成手段は、上記キーワー
ド間の関係として係り受けの関係を用いることを特徴と
する請求項１または２に記載の情報検索装置。 - 【請求項４】 上記ベクトル生成手段は、上記キーワー
ド間の関係としてキーワード間の距離が近いことを用い
ることを特徴とする請求項１または２に記載の情報検索
装置。 - 【請求項５】 上記ベクトル生成手段は、同一カテゴリ
に属するキーワード群に含まれるキーワードもしくはそ
れを含むキーワード間の関係の出現頻度の代わりに、そ
のカテゴリを代表するキーワードもしくはそれを含むキ
ーワード間の関係の出現頻度としてそれらの出現頻度を
それぞれ加算したものを用いることを特徴とする請求項
１から４のいずれかに記載の情報検索装置。 - 【請求項６】 上記ベクトル生成手段は、キーワード及
びキーワード間の関係の出現頻度に対し、利用者が指定
する重みづけに基づいて特徴ベクトルを生成することを
特徴とする請求項１から５のいずれかに記載の情報検索
装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001037163A JP2002245067A (ja) | 2001-02-14 | 2001-02-14 | 情報検索装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001037163A JP2002245067A (ja) | 2001-02-14 | 2001-02-14 | 情報検索装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002245067A true JP2002245067A (ja) | 2002-08-30 |
Family
ID=18900335
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001037163A Pending JP2002245067A (ja) | 2001-02-14 | 2001-02-14 | 情報検索装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002245067A (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005071229A (ja) * | 2003-08-27 | 2005-03-17 | Fujitsu Ltd | 文章分類プログラム、文章分類方法および文章分類装置 |
| JP2006506740A (ja) * | 2002-11-14 | 2006-02-23 | エデュケーショナル テスティング サービス | エッセイ中の過度の反復語使用の自動評価 |
| JP2008123111A (ja) * | 2006-11-09 | 2008-05-29 | Kyushu Institute Of Technology | 文書類似性導出装置及びそれを用いた回答支援システム |
| JP2013069279A (ja) * | 2011-09-22 | 2013-04-18 | Fujitsu Ltd | 情報の管理及びネットワーク化 |
| WO2015118802A1 (ja) * | 2014-02-05 | 2015-08-13 | 日本電気株式会社 | 文書解析システム、文書解析方法および文書解析プログラムが格納された記憶媒体、並びに、文書クラスタリングシステム、文書クラスタリング方法および文書クラスタリングプログラムが格納された記憶媒体 |
| WO2016163529A1 (ja) * | 2015-04-09 | 2016-10-13 | 真之 正林 | 情報処理装置及び方法、並びにプログラム |
| JP2016224998A (ja) * | 2016-10-06 | 2016-12-28 | 真之 正林 | 情報処理装置 |
| JP2020173849A (ja) * | 2020-07-09 | 2020-10-22 | 真之 正林 | 情報処理装置及び方法、並びにプログラム |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000172717A (ja) * | 1998-03-12 | 2000-06-23 | Kdd Corp | 文書検索方法及び文書検索装置 |
-
2001
- 2001-02-14 JP JP2001037163A patent/JP2002245067A/ja active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000172717A (ja) * | 1998-03-12 | 2000-06-23 | Kdd Corp | 文書検索方法及び文書検索装置 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006506740A (ja) * | 2002-11-14 | 2006-02-23 | エデュケーショナル テスティング サービス | エッセイ中の過度の反復語使用の自動評価 |
| JP2010015571A (ja) * | 2002-11-14 | 2010-01-21 | Educational Testing Service | エッセイ中の過度の反復語使用の自動評価 |
| JP4668621B2 (ja) * | 2002-11-14 | 2011-04-13 | エデュケーショナル テスティング サービス | エッセイ中の過度の反復語使用の自動評価 |
| JP2005071229A (ja) * | 2003-08-27 | 2005-03-17 | Fujitsu Ltd | 文章分類プログラム、文章分類方法および文章分類装置 |
| JP2008123111A (ja) * | 2006-11-09 | 2008-05-29 | Kyushu Institute Of Technology | 文書類似性導出装置及びそれを用いた回答支援システム |
| JP2013069279A (ja) * | 2011-09-22 | 2013-04-18 | Fujitsu Ltd | 情報の管理及びネットワーク化 |
| WO2015118802A1 (ja) * | 2014-02-05 | 2015-08-13 | 日本電気株式会社 | 文書解析システム、文書解析方法および文書解析プログラムが格納された記憶媒体、並びに、文書クラスタリングシステム、文書クラスタリング方法および文書クラスタリングプログラムが格納された記憶媒体 |
| WO2016163529A1 (ja) * | 2015-04-09 | 2016-10-13 | 真之 正林 | 情報処理装置及び方法、並びにプログラム |
| JP6023254B1 (ja) * | 2015-04-09 | 2016-11-09 | 真之 正林 | 情報処理装置及び方法、並びにプログラム |
| US10902535B2 (en) | 2015-04-09 | 2021-01-26 | Masayuki SHOBAYASHI | Information processing device, method and program |
| JP2016224998A (ja) * | 2016-10-06 | 2016-12-28 | 真之 正林 | 情報処理装置 |
| JP2020173849A (ja) * | 2020-07-09 | 2020-10-22 | 真之 正林 | 情報処理装置及び方法、並びにプログラム |
| JP7178388B2 (ja) | 2020-07-09 | 2022-11-25 | 真之 正林 | 情報処理装置及び方法、並びにプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ahonen et al. | Applying data mining techniques for descriptive phrase extraction in digital document collections | |
| Tsatsaronis et al. | SemanticRank: ranking keywords and sentences using semantic graphs | |
| US20100205198A1 (en) | Search query disambiguation | |
| JPH1125108A (ja) | 関連キーワード自動抽出装置、文書検索装置及びこれらを用いた文書検索システム | |
| JP5754019B2 (ja) | 同義語抽出システム、方法およびプログラム | |
| JPH03172966A (ja) | 類似文書検索装置 | |
| Sangodiah et al. | Question Classification Using Statistical Approach: A Complete Review. | |
| JP2014120053A (ja) | 質問応答装置、方法、及びプログラム | |
| JP4534666B2 (ja) | テキスト文検索装置及びテキスト文検索プログラム | |
| JP2005250980A (ja) | 文書検索システム、検索条件入力装置、検索実行装置、文書検索方法、および文書検索プログラム | |
| JPWO2014002774A1 (ja) | 同義語抽出システム、方法および記録媒体 | |
| JP5146108B2 (ja) | 文書重要度算出システム、文書重要度算出方法およびプログラム | |
| Wang et al. | A semantic query expansion-based patent retrieval approach | |
| JP2002245067A (ja) | 情報検索装置 | |
| JPH10254883A (ja) | 文書自動分類方法 | |
| KR100341396B1 (ko) | 계층 단어를 이용한 3차원 클러스터링 생성 시스템 및 그방법 | |
| JP2008077252A (ja) | 文書ランキング方法、文書検索方法、文書ランキング装置、文書検索装置、及び記録媒体 | |
| JP2000194721A (ja) | 文書群分類装置および文書群分類方法 | |
| Carvalho et al. | Lexical to discourse-level corpus modeling for legal question answering | |
| Gella et al. | Unimelb_nlp-core: Integrating predictions from multiple domains and feature sets for estimating semantic textual similarity | |
| JP3682915B2 (ja) | 自然文マッチング装置、自然文マッチング方法、及び自然文マッチングプログラム | |
| KR100952077B1 (ko) | 키워드를 이용한 표제어 선정 장치 및 방법 | |
| KR20200122089A (ko) | 지역 색인을 이용한 전자문서 검색 방법 및 장치 | |
| Wan et al. | Known-item video search via query-to-modality mapping | |
| JPH1173422A (ja) | 類似文書検索システムおよびそれに用いる記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050830 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051011 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20051122 |