JPH11167581A - 情報分類方法、装置及びシステム - Google Patents
情報分類方法、装置及びシステムInfo
- Publication number
- JPH11167581A JPH11167581A JP9334309A JP33430997A JPH11167581A JP H11167581 A JPH11167581 A JP H11167581A JP 9334309 A JP9334309 A JP 9334309A JP 33430997 A JP33430997 A JP 33430997A JP H11167581 A JPH11167581 A JP H11167581A
- Authority
- JP
- Japan
- Prior art keywords
- category
- text
- word
- learning
- feature vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
(57)【要約】
【課題】 高精度なテキスト分類が可能な情報分類装置
を提供する。 【解決手段】 テキスト入力部１１、単語処理部１２、
ベクトル処理部１３、学習特徴ベクトル集合ファイル１
４、類似度処理部１５、カテゴリ決定部１６を備え、外
部または内部に文書データベース１７を具備して情報分
類装置１を構成する。単語処理部１２では、学習テキス
トから抽出された各単語のカテゴリに対する重要度を単
語の出現件数及びカテゴリ頻度に基づいて算出する。類
似度処理部１５では、当該重要度に基づいて算出された
学習特徴ベクトル及び学習特徴ベクトル集合と分類対象
テキストの特徴ベクトルとに基づいて類似度を算出す
る。カテゴリ決定部１５では、算出値が最大となる類似
度から所定数の対応カテゴリを分類対象テキストのカテ
ゴリとして決定し、このカテゴリによって分類された分
類対象テキストが文書データベース１７に蓄積されるよ
うにする。
を提供する。 【解決手段】 テキスト入力部１１、単語処理部１２、
ベクトル処理部１３、学習特徴ベクトル集合ファイル１
４、類似度処理部１５、カテゴリ決定部１６を備え、外
部または内部に文書データベース１７を具備して情報分
類装置１を構成する。単語処理部１２では、学習テキス
トから抽出された各単語のカテゴリに対する重要度を単
語の出現件数及びカテゴリ頻度に基づいて算出する。類
似度処理部１５では、当該重要度に基づいて算出された
学習特徴ベクトル及び学習特徴ベクトル集合と分類対象
テキストの特徴ベクトルとに基づいて類似度を算出す
る。カテゴリ決定部１５では、算出値が最大となる類似
度から所定数の対応カテゴリを分類対象テキストのカテ
ゴリとして決定し、このカテゴリによって分類された分
類対象テキストが文書データベース１７に蓄積されるよ
うにする。
Description
【０００１】
【発明の属する技術分野】本発明は、自然言語処理や情
報検索技術分野において、電子化されたテキスト群を効
率的に分類する情報分類手法に関する。
報検索技術分野において、電子化されたテキスト群を効
率的に分類する情報分類手法に関する。
【０００２】
【従来の技術】電子化情報の分類手法として、ベクトル
表現したカテゴリの特徴と未分類の電子化情報とを比較
することによりカテゴリを決定する手法が知られてい
る。以下、この手法の概要を説明する。前提条件とし
て、カテゴリの特徴を抽出するために利用する学習用電
子化情報（以下、学習テキスト）群には、予めＮ種類の
カテゴリＣ１，Ｃ２，…、ＣＮが各々付与されているも
のとする。
表現したカテゴリの特徴と未分類の電子化情報とを比較
することによりカテゴリを決定する手法が知られてい
る。以下、この手法の概要を説明する。前提条件とし
て、カテゴリの特徴を抽出するために利用する学習用電
子化情報（以下、学習テキスト）群には、予めＮ種類の
カテゴリＣ１，Ｃ２，…、ＣＮが各々付与されているも
のとする。
【０００３】まず、カテゴリＣｉ（１≦ｉ≦Ｎ）の特徴
を表す特徴ベクトルｐｉを作成するために、カテゴリＣ
ｉが付与されている学習テキスト群から単語を抽出す
る。そして、学習テキストにおける各単語の重要度をカ
テゴリ毎に決定する。重要度の決定方法としては、情報
検索の分野で提案されたＴＦ・ＩＤＦ法が広く知られて
いる（「Introduction to Modern Information Retriev
al：G.Salton著、McGraw-Hill」参照）。このＴＦ・Ｉ
ＤＦ法における単語の重要度は、出現頻度ｔｆと、出現
件数ｄｆの逆数ｉｄｆとを用いて定義される。具体的に
は、カテゴリＣｉにおける単語ｔｋの重要度Ｗ（ｔｋ，
Ｃｉ）は、以下に示す式（１）で算出される。 W(tk,Ci)=tf(tk,Ci)log(Li/df(tk,Ci)+1) ・・・(1) ここでｔｆ（ｔｋ，Ｃｉ）は、カテゴリＣｉにおける単
語ｔｋの出現頻度を表し、またｄｆ（ｔｋ，Ｃｉ）は、
カテゴリＣｉにおける単語ｔｋの出現件数を表してい
る。一方、Ｌｉは、カテゴリＣｉにおける総テキスト件
数を表している。
を表す特徴ベクトルｐｉを作成するために、カテゴリＣ
ｉが付与されている学習テキスト群から単語を抽出す
る。そして、学習テキストにおける各単語の重要度をカ
テゴリ毎に決定する。重要度の決定方法としては、情報
検索の分野で提案されたＴＦ・ＩＤＦ法が広く知られて
いる（「Introduction to Modern Information Retriev
al：G.Salton著、McGraw-Hill」参照）。このＴＦ・Ｉ
ＤＦ法における単語の重要度は、出現頻度ｔｆと、出現
件数ｄｆの逆数ｉｄｆとを用いて定義される。具体的に
は、カテゴリＣｉにおける単語ｔｋの重要度Ｗ（ｔｋ，
Ｃｉ）は、以下に示す式（１）で算出される。 W(tk,Ci)=tf(tk,Ci)log(Li/df(tk,Ci)+1) ・・・(1) ここでｔｆ（ｔｋ，Ｃｉ）は、カテゴリＣｉにおける単
語ｔｋの出現頻度を表し、またｄｆ（ｔｋ，Ｃｉ）は、
カテゴリＣｉにおける単語ｔｋの出現件数を表してい
る。一方、Ｌｉは、カテゴリＣｉにおける総テキスト件
数を表している。
【０００４】次に、学習テキスト集合に出現するすべて
の単語ｔ１，ｔ２，〜，ｔＭについて上記式（１）によ
りカテゴリＣｉにおける重要度を各々算出し、算出され
た各重要度を要素としたベクトルをカテゴリＣｉの特徴
ベクトルｐｉとする。未分類テキストＴについても同様
に、特徴ベクトルｑを算出する。この場合の特徴ベクト
ルの要素となる単語の重要度には、主に出現頻度ｔｆが
用いられる。未分類テキストＴにおけるカテゴリの決定
には、各カテゴリの特徴ベクトルｐｉ（１≦ｉ≦Ｎ）と
未分類テキストＴの特徴ベクトルｑとの類似度ｄ（ｐ
ｉ，ｑ）が用いられる。この類似度計算の代表的な例に
は、両ベクトルの内積を算出する方法や集合論的測度を
利用する方法等が知られており、「情報検索：伊藤哲朗
著、昭晃堂」に詳しく記述されている。
の単語ｔ１，ｔ２，〜，ｔＭについて上記式（１）によ
りカテゴリＣｉにおける重要度を各々算出し、算出され
た各重要度を要素としたベクトルをカテゴリＣｉの特徴
ベクトルｐｉとする。未分類テキストＴについても同様
に、特徴ベクトルｑを算出する。この場合の特徴ベクト
ルの要素となる単語の重要度には、主に出現頻度ｔｆが
用いられる。未分類テキストＴにおけるカテゴリの決定
には、各カテゴリの特徴ベクトルｐｉ（１≦ｉ≦Ｎ）と
未分類テキストＴの特徴ベクトルｑとの類似度ｄ（ｐ
ｉ，ｑ）が用いられる。この類似度計算の代表的な例に
は、両ベクトルの内積を算出する方法や集合論的測度を
利用する方法等が知られており、「情報検索：伊藤哲朗
著、昭晃堂」に詳しく記述されている。
【０００５】このように、カテゴリ毎に上述の類似度ｄ
（ｐｉ，ｑ）を算出して利用することにより、未分類テ
キストＴと類似の度合いが近いカテゴリを複数選択して
分類先となるカテゴリを決定する。
（ｐｉ，ｑ）を算出して利用することにより、未分類テ
キストＴと類似の度合いが近いカテゴリを複数選択して
分類先となるカテゴリを決定する。
【０００６】
【発明が解決しようとする課題】上述のように、ＴＦ・
ＩＤＦ法は、例えば検索語と検索データベース内のテキ
ストとを比較するためのベクトル作成に利用される手法
であり、出現頻度ｔｆが大きいほど出現件数の逆数ｉｄ
ｆが大きい、即ち出現件数ｄｆが小さいほど重要度が高
くなるものである。
ＩＤＦ法は、例えば検索語と検索データベース内のテキ
ストとを比較するためのベクトル作成に利用される手法
であり、出現頻度ｔｆが大きいほど出現件数の逆数ｉｄ
ｆが大きい、即ち出現件数ｄｆが小さいほど重要度が高
くなるものである。
【０００７】しかし、テキストの分類では、ベクトル作
成の対象となるテキスト群は、通常、同一カテゴリに属
しており、カテゴリを考慮しない情報検索とはテキスト
の特徴が異なったものとなる。そのため、カテゴリの特
徴となるような重要な単語（以下、特徴語）は、同一カ
テゴリに属するテキストに着目した場合には、多くのテ
キストに出現する、即ち出現件数ｄｆが大きいことが考
えられる。このことは、出現件数ｄｆの逆数を用いたｉ
ｄｆを利用するＴＦ・ＩＤＦ法では、特徴語に低い重要
度を付与してしまう可能性があることを意味する。この
結果、ＴＦ・ＩＤＦ法を利用して単語の重要度を決定す
ると、カテゴリの特徴を明確に表現した特徴ベクトルの
作成が困難となり、また、分類精度も低下してしまうと
いう問題があった。
成の対象となるテキスト群は、通常、同一カテゴリに属
しており、カテゴリを考慮しない情報検索とはテキスト
の特徴が異なったものとなる。そのため、カテゴリの特
徴となるような重要な単語（以下、特徴語）は、同一カ
テゴリに属するテキストに着目した場合には、多くのテ
キストに出現する、即ち出現件数ｄｆが大きいことが考
えられる。このことは、出現件数ｄｆの逆数を用いたｉ
ｄｆを利用するＴＦ・ＩＤＦ法では、特徴語に低い重要
度を付与してしまう可能性があることを意味する。この
結果、ＴＦ・ＩＤＦ法を利用して単語の重要度を決定す
ると、カテゴリの特徴を明確に表現した特徴ベクトルの
作成が困難となり、また、分類精度も低下してしまうと
いう問題があった。
【０００８】一方、出現件数ｄｆを利用する場合でも、
出現件数ｄｆの多い単語群にはカテゴリに依存すること
なく出現する一般的な語（以下、一般語）も含まれてお
り、出現件数ｄｆが多い語が必ずしも特徴語であるとは
いえない。このため、特徴語の重要度に出現件数ｄｆ自
体が利用されることは殆どなかった。
出現件数ｄｆの多い単語群にはカテゴリに依存すること
なく出現する一般的な語（以下、一般語）も含まれてお
り、出現件数ｄｆが多い語が必ずしも特徴語であるとは
いえない。このため、特徴語の重要度に出現件数ｄｆ自
体が利用されることは殆どなかった。
【０００９】そこで、本発明の課題は、学習テキストに
おけるカテゴリの特徴語となる単語の重要度を考慮する
ことにより、高精度の分類を可能にする新規な情報分類
方法を提供することにある。また、本発明の他の課題
は、上記情報分類方法の実施に適した情報分類装置、及
び情報分類システムを提供することにある。
おけるカテゴリの特徴語となる単語の重要度を考慮する
ことにより、高精度の分類を可能にする新規な情報分類
方法を提供することにある。また、本発明の他の課題
は、上記情報分類方法の実施に適した情報分類装置、及
び情報分類システムを提供することにある。
【００１０】
【課題を解決するための手段】上記課題を解決するた
め、本発明は、属すべきカテゴリが既知の学習用テキス
トから単語を抽出し、抽出した単語毎に、その出現件数
及び出現するカテゴリ数に基づく重要度を算出するとと
もに、算出された重要度を要素としてカテゴリ毎の特徴
を表す学習特徴ベクトルを生成する過程と、カテゴリが
不明な分類対象テキストに対して当該分類対象テキスト
中の単語毎の出現頻度に基づく重要度を算出し、算出さ
れた重要度を要素としてテキスト毎の特徴を表す分類対
象特徴ベクトルを生成する過程と、分類対象特徴ベクト
ルと前記カテゴリ毎の学習特徴ベクトルとの類似度を判
定する過程とを含み、前記分類対象テキストとの類似度
が所定範囲内の学習特徴ベクトル、または類似度の高い
順に並べたときに上位から予め定めた件数以上の学習特
徴ベクトルに対応するカテゴリを当該分類対象テキスト
に付与すべきカテゴリ候補とする、情報分類方法を提供
する。
め、本発明は、属すべきカテゴリが既知の学習用テキス
トから単語を抽出し、抽出した単語毎に、その出現件数
及び出現するカテゴリ数に基づく重要度を算出するとと
もに、算出された重要度を要素としてカテゴリ毎の特徴
を表す学習特徴ベクトルを生成する過程と、カテゴリが
不明な分類対象テキストに対して当該分類対象テキスト
中の単語毎の出現頻度に基づく重要度を算出し、算出さ
れた重要度を要素としてテキスト毎の特徴を表す分類対
象特徴ベクトルを生成する過程と、分類対象特徴ベクト
ルと前記カテゴリ毎の学習特徴ベクトルとの類似度を判
定する過程とを含み、前記分類対象テキストとの類似度
が所定範囲内の学習特徴ベクトル、または類似度の高い
順に並べたときに上位から予め定めた件数以上の学習特
徴ベクトルに対応するカテゴリを当該分類対象テキスト
に付与すべきカテゴリ候補とする、情報分類方法を提供
する。
【００１１】この情報分類方法において、前記学習特徴
ベクトルを生成する過程は、例えば、前記学習用テキス
ト中の単語の出現傾向に着目してカテゴリの特徴を表す
指標となる特徴語及びカテゴリに依存しない一般語を判
別し、前記単語の出現するカテゴリ数に基づいて前記一
般語の重要度を低減させることで前記特徴語の重要度が
相対的に高く反映された学習特徴ベクトルを生成するこ
とを特徴とする。
ベクトルを生成する過程は、例えば、前記学習用テキス
ト中の単語の出現傾向に着目してカテゴリの特徴を表す
指標となる特徴語及びカテゴリに依存しない一般語を判
別し、前記単語の出現するカテゴリ数に基づいて前記一
般語の重要度を低減させることで前記特徴語の重要度が
相対的に高く反映された学習特徴ベクトルを生成するこ
とを特徴とする。
【００１２】上記他の課題を解決する本発明の情報分類
装置は、１または複数のカテゴリが付与された学習用テ
キストの分類体系に即してカテゴリが不明な分類対象テ
キストに付与すべきカテゴリを決定して分類処理を行う
装置であって、以下の要素を備えて構成される。 （１）前記学習用テキスト及び分類対象テキストの各々
から単語を抽出するとともに抽出した単語毎の重要度を
算出する単語処理手段。この単語処理手段は、例えば、
前記学習用テキスト中の総カテゴリ数を特定の単語が出
現するカテゴリ数による除算に基づくカテゴリ頻度係数
を算出する手段を有し、特定のカテゴリに出現する単語
の出現件数と前記カテゴリ頻度係数との乗算により前記
学習用テキスト中の単語毎の重要度を算出するととも
に、出現件数が相対的に多く且つカテゴリへの依存が相
対的に少ない単語の重要度を低減させるように構成され
る。また、特定のカテゴリに出現する単語の出現件数と
前記カテゴリ頻度係数との乗算による算出値に、さらに
当該単語の出現頻度を乗算することにより前記学習用テ
キスト中の単語毎の重要度を算出するように構成され
る。あるいは、前記分類対象テキスト中の単語の出現頻
度を計測する手段を有し、出現頻度が低い単語ほど当該
分類対象テキスト中の重要度が高くするように構成され
る。 （２）前記単語毎の重要度を要素として、前記学習用テ
キストの特徴をカテゴリ毎に表現した学習特徴ベクト
ル、及び分類対象テキストの特徴をテキスト毎に表現し
た分類対象特徴ベクトルを生成するベクトル処理手段。 （３）個々の分類対象特徴ベクトルと前記学習特徴ベク
トルとの特徴差に基づいてカテゴリ毎の学習特徴ベクト
ルに対する前記分類対象特徴ベクトルの類似度を判定す
る類似度処理手段。この類似度処理手段は、例えば、個
々の学習特徴ベクトル及び分類対象特徴ベクトル間の内
積に基づいて両ベクトルの余弦を算出するとともに、こ
の余弦の算出値を所定順に整列して両ベクトルの特徴差
を定量化するように構成される。 （４）前記類似度処理手段による判定結果に基づいて、
前記分類対象テキストに付与すべきカテゴリを決定する
カテゴリ決定手段。
装置は、１または複数のカテゴリが付与された学習用テ
キストの分類体系に即してカテゴリが不明な分類対象テ
キストに付与すべきカテゴリを決定して分類処理を行う
装置であって、以下の要素を備えて構成される。 （１）前記学習用テキスト及び分類対象テキストの各々
から単語を抽出するとともに抽出した単語毎の重要度を
算出する単語処理手段。この単語処理手段は、例えば、
前記学習用テキスト中の総カテゴリ数を特定の単語が出
現するカテゴリ数による除算に基づくカテゴリ頻度係数
を算出する手段を有し、特定のカテゴリに出現する単語
の出現件数と前記カテゴリ頻度係数との乗算により前記
学習用テキスト中の単語毎の重要度を算出するととも
に、出現件数が相対的に多く且つカテゴリへの依存が相
対的に少ない単語の重要度を低減させるように構成され
る。また、特定のカテゴリに出現する単語の出現件数と
前記カテゴリ頻度係数との乗算による算出値に、さらに
当該単語の出現頻度を乗算することにより前記学習用テ
キスト中の単語毎の重要度を算出するように構成され
る。あるいは、前記分類対象テキスト中の単語の出現頻
度を計測する手段を有し、出現頻度が低い単語ほど当該
分類対象テキスト中の重要度が高くするように構成され
る。 （２）前記単語毎の重要度を要素として、前記学習用テ
キストの特徴をカテゴリ毎に表現した学習特徴ベクト
ル、及び分類対象テキストの特徴をテキスト毎に表現し
た分類対象特徴ベクトルを生成するベクトル処理手段。 （３）個々の分類対象特徴ベクトルと前記学習特徴ベク
トルとの特徴差に基づいてカテゴリ毎の学習特徴ベクト
ルに対する前記分類対象特徴ベクトルの類似度を判定す
る類似度処理手段。この類似度処理手段は、例えば、個
々の学習特徴ベクトル及び分類対象特徴ベクトル間の内
積に基づいて両ベクトルの余弦を算出するとともに、こ
の余弦の算出値を所定順に整列して両ベクトルの特徴差
を定量化するように構成される。 （４）前記類似度処理手段による判定結果に基づいて、
前記分類対象テキストに付与すべきカテゴリを決定する
カテゴリ決定手段。
【００１３】好ましくは、前記分類対象テキストに対す
る類似度が所定範囲内となる１または複数の学習特徴ベ
クトルに対応するカテゴリを視認可能にして提示する提
示手段をさらに備える。この場合、前記カテゴリ決定手
段は、前記提示手段による提示に対応して特定されたカ
テゴリを当該分類対象テキストに付与すべきカテゴリと
して決定するように構成する。
る類似度が所定範囲内となる１または複数の学習特徴ベ
クトルに対応するカテゴリを視認可能にして提示する提
示手段をさらに備える。この場合、前記カテゴリ決定手
段は、前記提示手段による提示に対応して特定されたカ
テゴリを当該分類対象テキストに付与すべきカテゴリと
して決定するように構成する。
【００１４】上記他の課題を解決する本発明の情報分類
システムは、上記本発明の情報分類装置と、通信回線を
介して流通する前記分類対象テキストを前記情報分類装
置に取り込むテキスト入力手段とを備えたことを特徴と
する。前記テキスト入力手段は、前記分類対象テキスト
をエージェント機能を通じて前記情報分類装置に入力す
るように構成することが望ましい。
システムは、上記本発明の情報分類装置と、通信回線を
介して流通する前記分類対象テキストを前記情報分類装
置に取り込むテキスト入力手段とを備えたことを特徴と
する。前記テキスト入力手段は、前記分類対象テキスト
をエージェント機能を通じて前記情報分類装置に入力す
るように構成することが望ましい。
【００１５】
【発明の実施の形態】以下、図面を参照して本発明にお
ける実施の形態を詳細に説明する。 （第１実施形態）図１は、本実施形態による情報分類装
置の一実施形態を示す機能ブロック図である。本実施形
態の情報分類装置１は、スタンドアロン型コンピュータ
装置の内部あるいは外部記憶装置に構築される文書デー
タベース１７と、上記コンピュータ装置が所定のプログ
ラムを読み込んで実行することにより形成される、テキ
スト入力部１１、単語処理部１２、ベクトル処理部１
３、学習特徴ベクトル集合ファイル１４、類似度処理部
１５、カテゴリ決定部１６、を備えて構成される。
ける実施の形態を詳細に説明する。 （第１実施形態）図１は、本実施形態による情報分類装
置の一実施形態を示す機能ブロック図である。本実施形
態の情報分類装置１は、スタンドアロン型コンピュータ
装置の内部あるいは外部記憶装置に構築される文書デー
タベース１７と、上記コンピュータ装置が所定のプログ
ラムを読み込んで実行することにより形成される、テキ
スト入力部１１、単語処理部１２、ベクトル処理部１
３、学習特徴ベクトル集合ファイル１４、類似度処理部
１５、カテゴリ決定部１６、を備えて構成される。
【００１６】なお、上記プログラムは、通常、コンピュ
ータ装置の内部記憶装置あるいは外部記憶装置に格納さ
れ、随時読み取られて実行されるようになっているが、
コンピュータ装置とは分離可能な記録媒体、例えばＣＤ
−ＲＯＭやＦＤ等の可搬性記録媒体、あるいは当該コン
ピュータ装置と構内ネットワークに接続されたプログラ
ムサーバ等に格納され、使用時に上記内部記憶装置また
は外部記憶装置にインストールされて随時実行に供され
るものであってもよい。
ータ装置の内部記憶装置あるいは外部記憶装置に格納さ
れ、随時読み取られて実行されるようになっているが、
コンピュータ装置とは分離可能な記録媒体、例えばＣＤ
−ＲＯＭやＦＤ等の可搬性記録媒体、あるいは当該コン
ピュータ装置と構内ネットワークに接続されたプログラ
ムサーバ等に格納され、使用時に上記内部記憶装置また
は外部記憶装置にインストールされて随時実行に供され
るものであってもよい。
【００１７】文書データベース１７は、電子化された複
数の文書データ（以下、テキスト）が蓄積されるもので
ある。このテキスト群は、予め蓄積された学習用のテキ
スト群（以下、学習テキスト）と、当該学習テキストに
対して新規に分類対象となる１または複数のテキスト
（以下、分類対象テキスト）の分類結果とが蓄積される
ように構成されている。
数の文書データ（以下、テキスト）が蓄積されるもので
ある。このテキスト群は、予め蓄積された学習用のテキ
スト群（以下、学習テキスト）と、当該学習テキストに
対して新規に分類対象となる１または複数のテキスト
（以下、分類対象テキスト）の分類結果とが蓄積される
ように構成されている。
【００１８】また、この学習テキストには、予めＮ種類
のカテゴリＣ１、Ｃ２、…、ＣＮのいずれかがテキスト
毎に１または複数付与されているものとしている。カテ
ゴリが付与された学習テキストは単語処理部１２に入力
される。
のカテゴリＣ１、Ｃ２、…、ＣＮのいずれかがテキスト
毎に１または複数付与されているものとしている。カテ
ゴリが付与された学習テキストは単語処理部１２に入力
される。
【００１９】テキスト入力部１１は、図示しない入力手
段により、分類対象テキストの入力を受け付けて単語処
理部１２への入力を行うものである。単語処理部１２
は、入力されたテキストに対して所定の形態素解析を施
して単語の抽出を行うとともに、抽出された複数の単語
に対して、各々、重要度を付与するものである。重要度
が付与された単語群は、特徴ベクトル処理部１３に入力
される。なお、重要度の付与の仕方については後述す
る。
段により、分類対象テキストの入力を受け付けて単語処
理部１２への入力を行うものである。単語処理部１２
は、入力されたテキストに対して所定の形態素解析を施
して単語の抽出を行うとともに、抽出された複数の単語
に対して、各々、重要度を付与するものである。重要度
が付与された単語群は、特徴ベクトル処理部１３に入力
される。なお、重要度の付与の仕方については後述す
る。
【００２０】ベクトル処理部１３は、単語処理部１２で
付与された重要度を要素としてカテゴリ毎の特徴ベクト
ルまたは特徴ベクトル集合を抽出するものである。学習
テキストから抽出された場合の特徴ベクトル集合（以
下、学習特徴ベクトル集合）は、学習特徴ベクトル集合
ファイル１４に入力されて保持され、分類対象テキスト
から抽出された特徴ベクトルは類似度処理部１５に入力
されるようになっている。
付与された重要度を要素としてカテゴリ毎の特徴ベクト
ルまたは特徴ベクトル集合を抽出するものである。学習
テキストから抽出された場合の特徴ベクトル集合（以
下、学習特徴ベクトル集合）は、学習特徴ベクトル集合
ファイル１４に入力されて保持され、分類対象テキスト
から抽出された特徴ベクトルは類似度処理部１５に入力
されるようになっている。
【００２１】類似度処理部１５は、分類対象テキストに
対応する特徴ベクトルと、学習特徴ベクトル集合ファイ
ル１４に対応する特徴ベクトル集合とに基づいて、分類
対象テキストの学習テキストに対する類似度をカテゴリ
毎に算出するものである。算出された類似度は、カテゴ
リ決定部１６に入力される。なお、類似度算出処理につ
いては後述する。
対応する特徴ベクトルと、学習特徴ベクトル集合ファイ
ル１４に対応する特徴ベクトル集合とに基づいて、分類
対象テキストの学習テキストに対する類似度をカテゴリ
毎に算出するものである。算出された類似度は、カテゴ
リ決定部１６に入力される。なお、類似度算出処理につ
いては後述する。
【００２２】カテゴリ決定部１６は、算出されたカテゴ
リ毎の類似度に基づいて分類対象テキストに付与すべき
カテゴリを決定するものである。このカテゴリ決定部１
６は、例えば類似度が最大となるものから順次図示しな
いディスプレイ装置等を通じて利用者に提示し、この提
示に基づいて利用者から特定されたカテゴリを分類対象
テキストに付与すべきカテゴリとして決定するように構
成される。このようにすれば、利用者等が必要とする情
報に対して漠然としたイメージしか有していない場合で
あっても、類似度が高い方から低い方へ順に探索するこ
とで、必要な情報を容易に取得することが可能となる。
カテゴリ決定部１６は、また、決定されたカテゴリを分
類対象テキストに付与して文書データベース１７に送出
するように構成される。これにより、文書データベース
１７は、分類対象テキストをカテゴリ毎に蓄積できるよ
うになる。
リ毎の類似度に基づいて分類対象テキストに付与すべき
カテゴリを決定するものである。このカテゴリ決定部１
６は、例えば類似度が最大となるものから順次図示しな
いディスプレイ装置等を通じて利用者に提示し、この提
示に基づいて利用者から特定されたカテゴリを分類対象
テキストに付与すべきカテゴリとして決定するように構
成される。このようにすれば、利用者等が必要とする情
報に対して漠然としたイメージしか有していない場合で
あっても、類似度が高い方から低い方へ順に探索するこ
とで、必要な情報を容易に取得することが可能となる。
カテゴリ決定部１６は、また、決定されたカテゴリを分
類対象テキストに付与して文書データベース１７に送出
するように構成される。これにより、文書データベース
１７は、分類対象テキストをカテゴリ毎に蓄積できるよ
うになる。
【００２３】次に、本実施形態の情報分類装置１を用い
た情報分類方法を、学習テキスト及び分類対象テキスト
における重要度の付与、特徴ベクトルの作成、及び類似
度の判定の処理を中心に説明する。単語処理部１２で
は、まず、学習テキストに出現する複数の単語ｔｋ（１
≦ｋ≦Ｍ）を抽出し、カテゴリＣｉ（１≦ｉ≦Ｎ）に属
する学習テキストにおける単語ｔｋの出現件数ｄｆ（ｔ
ｋ，Ｃｉ）を算出する。この出現件数の算出は、抽出さ
れたすべての単語ｔ１，ｔ２，…，ｔＭに対応する出現
件数ｄｆ（ｔ１，Ｃｉ），ｄｆ（ｔ２，Ｃｉ），…，ｄ
ｆ（ｔＭ，Ｃｉ）を各々算出するものである。
た情報分類方法を、学習テキスト及び分類対象テキスト
における重要度の付与、特徴ベクトルの作成、及び類似
度の判定の処理を中心に説明する。単語処理部１２で
は、まず、学習テキストに出現する複数の単語ｔｋ（１
≦ｋ≦Ｍ）を抽出し、カテゴリＣｉ（１≦ｉ≦Ｎ）に属
する学習テキストにおける単語ｔｋの出現件数ｄｆ（ｔ
ｋ，Ｃｉ）を算出する。この出現件数の算出は、抽出さ
れたすべての単語ｔ１，ｔ２，…，ｔＭに対応する出現
件数ｄｆ（ｔ１，Ｃｉ），ｄｆ（ｔ２，Ｃｉ），…，ｄ
ｆ（ｔＭ，Ｃｉ）を各々算出するものである。
【００２４】ここで、出現件数ｄｆの大きい単語群は、
必ずしもカテゴリにおける重要な単語のみとなるもので
はなく、前述のように特徴語と一般語とが混在している
という問題がある。具体的には、特徴語は特定のカテゴ
リでのみ高い出現件数を表すのに対して、一般語は多く
のカテゴリで共通して高い出現件数を表すものと考えら
れる。そこで単語処理部１２では、単語の一般性を判定
するために、カテゴリ頻度ｃｆを定義する。例えば、す
べてのカテゴリ数Ｎにおいて特定の単語ｔｋがｎ個のカ
テゴリに出現するような場合のカテゴリ頻度ｃｆ（ｔ
ｋ）は、ｎ（ｎ≦Ｎ）で表される。即ち、特定の単語が
出現するカテゴリ数を当該単語のカテゴリ頻度として定
義することができる。このカテゴリ頻度ｃｆ（ｔｋ）が
大きいほど、単語ｔｋは、カテゴリへの依存の少ない一
般的な単語として特定可能となる。
必ずしもカテゴリにおける重要な単語のみとなるもので
はなく、前述のように特徴語と一般語とが混在している
という問題がある。具体的には、特徴語は特定のカテゴ
リでのみ高い出現件数を表すのに対して、一般語は多く
のカテゴリで共通して高い出現件数を表すものと考えら
れる。そこで単語処理部１２では、単語の一般性を判定
するために、カテゴリ頻度ｃｆを定義する。例えば、す
べてのカテゴリ数Ｎにおいて特定の単語ｔｋがｎ個のカ
テゴリに出現するような場合のカテゴリ頻度ｃｆ（ｔ
ｋ）は、ｎ（ｎ≦Ｎ）で表される。即ち、特定の単語が
出現するカテゴリ数を当該単語のカテゴリ頻度として定
義することができる。このカテゴリ頻度ｃｆ（ｔｋ）が
大きいほど、単語ｔｋは、カテゴリへの依存の少ない一
般的な単語として特定可能となる。
【００２５】次に、単語ｔｋのカテゴリＣｉにおける重
要度Ｗ（ｔｋ，Ｃｉ）を、例えば、単語の出現件数ｄ
ｆ、及びカテゴリ頻度ｃｆの逆数を利用した値ｉｃｆ
（カテゴリ頻度係数）を用いて、以下に示す式（２）及
び（３）のように定義する。 W(tk,Ci)=df(tk,Ci)×icf(tk) ・・・(2) icf(tk)=log(N/cf(tk)) ・・・(3) 出現件数ｄｆ及びカテゴリ頻度ｃｆに基づく上記式
（２）を用いることにより、出現件数ｄｆの高い単語群
における一般的な単語の重要度を低減させることがで
き、また、特徴語となる単語に対してより高い重要度を
付与することが可能となる。図２に、単語の重要度算出
を表す概念図を示す。
要度Ｗ（ｔｋ，Ｃｉ）を、例えば、単語の出現件数ｄ
ｆ、及びカテゴリ頻度ｃｆの逆数を利用した値ｉｃｆ
（カテゴリ頻度係数）を用いて、以下に示す式（２）及
び（３）のように定義する。 W(tk,Ci)=df(tk,Ci)×icf(tk) ・・・(2) icf(tk)=log(N/cf(tk)) ・・・(3) 出現件数ｄｆ及びカテゴリ頻度ｃｆに基づく上記式
（２）を用いることにより、出現件数ｄｆの高い単語群
における一般的な単語の重要度を低減させることがで
き、また、特徴語となる単語に対してより高い重要度を
付与することが可能となる。図２に、単語の重要度算出
を表す概念図を示す。
【００２６】なお、単語の重要度は、上記式（２）以外
にも、例えば、単語の出現頻度ｔｆをさらに乗算する
等、従来手法により利用されているパラメータとの融合
により算出するように定義することもできる。
にも、例えば、単語の出現頻度ｔｆをさらに乗算する
等、従来手法により利用されているパラメータとの融合
により算出するように定義することもできる。
【００２７】図３は、学習テキストに対応する特徴ベク
トルの抽出手順説明図である。学習テキストにおけるカ
テゴリＣｉの特徴ベクトルｐｉは、具体的には、上記式
（２）で定義した単語の重要度を各要素として、以下に
示す式（４）で算出することができる。 pi=(W(t1,Ci),W(t2,Ci),…,W(tM,Ci)) ・・・(4)
トルの抽出手順説明図である。学習テキストにおけるカ
テゴリＣｉの特徴ベクトルｐｉは、具体的には、上記式
（２）で定義した単語の重要度を各要素として、以下に
示す式（４）で算出することができる。 pi=(W(t1,Ci),W(t2,Ci),…,W(tM,Ci)) ・・・(4)
【００２８】ベクトル処理部１３では、上記式（４）に
基づいて、すべてのカテゴリＣ１、Ｃ２、…、ＣＮにつ
いての特徴ベクトルｐ１，ｐ２，…，ｐＮを、出現件数
ｄｆ及びカテゴリ頻度ｃｆに基づいて各々算出する（ス
テップＳ１０１〜１０２）。これらのカテゴリ別の特徴
ベクトルから成る集合、即ち学習特徴ベクトル集合は、
学習特徴ベクトル集合ファイル１７に保持される（ステ
ップＳ１０３）。
基づいて、すべてのカテゴリＣ１、Ｃ２、…、ＣＮにつ
いての特徴ベクトルｐ１，ｐ２，…，ｐＮを、出現件数
ｄｆ及びカテゴリ頻度ｃｆに基づいて各々算出する（ス
テップＳ１０１〜１０２）。これらのカテゴリ別の特徴
ベクトルから成る集合、即ち学習特徴ベクトル集合は、
学習特徴ベクトル集合ファイル１７に保持される（ステ
ップＳ１０３）。
【００２９】一方、未分類、即ちカテゴリが付与されて
いない分類対象テキストＴにおける特徴ベクトルｑは、
ｑ＝（Ｗ’（ｔ１），Ｗ’（ｔ２），…，Ｗ’（ｔ
Ｍ））で算出される。ここで、Ｗ’（ｔｋ）は、分類対
象テキストＴにおける単語ｔｋの重要度であり、例え
ば、分類対象テキストＴ中における単語の出現頻度ｔｆ
等に基づいて算出されるものである。
いない分類対象テキストＴにおける特徴ベクトルｑは、
ｑ＝（Ｗ’（ｔ１），Ｗ’（ｔ２），…，Ｗ’（ｔ
Ｍ））で算出される。ここで、Ｗ’（ｔｋ）は、分類対
象テキストＴにおける単語ｔｋの重要度であり、例え
ば、分類対象テキストＴ中における単語の出現頻度ｔｆ
等に基づいて算出されるものである。
【００３０】この分類対象テキストＴの特徴ベクトルｑ
を用いて、類似度処理部１５では、学習テキストのカテ
ゴリに対する分類対象テキストＴの類似度を算出する。
この類似度は、例えば、従来手法で採用されている公知
のベクトル間の内積を利用した以下の式（５）により算
出することができる。
を用いて、類似度処理部１５では、学習テキストのカテ
ゴリに対する分類対象テキストＴの類似度を算出する。
この類似度は、例えば、従来手法で採用されている公知
のベクトル間の内積を利用した以下の式（５）により算
出することができる。
【００３１】
【数１】
【００３２】上記式（５）における「ｄ（ｐｉ，ｑ）」
は、両特徴ベクトルのなす角の余弦を表しており、その
値は、「−１≦ｄ（ｐｉ，ｑ）≦１」の範囲となる。こ
の余弦ｄ（ｐｉ，ｑ）が大きいほど両特徴ベクトルの指
す方向が近い、換言すれば、分類対象テキストＴがカテ
ゴリＣｉに属する可能性が高いことを意味する。この余
弦ｄ（ｐｉ，ｑ）が即ち類似度となるものであり、カテ
ゴリ決定部１６では、分類対象テキストＴと類似度が高
いと判定されるカテゴリから所定の順で分類先のカテゴ
リを決定する。
は、両特徴ベクトルのなす角の余弦を表しており、その
値は、「−１≦ｄ（ｐｉ，ｑ）≦１」の範囲となる。こ
の余弦ｄ（ｐｉ，ｑ）が大きいほど両特徴ベクトルの指
す方向が近い、換言すれば、分類対象テキストＴがカテ
ゴリＣｉに属する可能性が高いことを意味する。この余
弦ｄ（ｐｉ，ｑ）が即ち類似度となるものであり、カテ
ゴリ決定部１６では、分類対象テキストＴと類似度が高
いと判定されるカテゴリから所定の順で分類先のカテゴ
リを決定する。
【００３３】図４は、分類対象テキストの分類処理の手
順説明図である。なお、ここでは、学習テキストにおけ
る学習特徴ベクトル集合は既に抽出済みであり、学習特
徴ベクトル集合ファイル１４に保持されているものとす
る。
順説明図である。なお、ここでは、学習テキストにおけ
る学習特徴ベクトル集合は既に抽出済みであり、学習特
徴ベクトル集合ファイル１４に保持されているものとす
る。
【００３４】分類対象テキストはテキスト入力部１１を
介して単語処理部１２に入力され、単語が抽出される。
そして、抽出された各単語の当該テキストにおける出現
頻度と、出現頻度に基づいた重要度とが算出される。ベ
クトル処理部１３では、算出された各単語の重要度を要
素として、分類対象テキストの特徴ベクトルｑを抽出す
る（ステップＳ２０１）。なお、分類対象テキストが複
数の場合には、テキスト毎に特徴ベクトルｑが抽出され
る。類似度処理部１５は、分類対象テキストの特徴ベク
トルｑと学習特徴ベクトル集合ファイル１４中の各特徴
ベクトルｐｉとの類似度Ｄｉ（＝ｄ （ベクトルｐｉ，ベ
クトルｑ））を、すべてのカテゴリについて各々算出す
る（ステップＳ２０２〜２０３）。
介して単語処理部１２に入力され、単語が抽出される。
そして、抽出された各単語の当該テキストにおける出現
頻度と、出現頻度に基づいた重要度とが算出される。ベ
クトル処理部１３では、算出された各単語の重要度を要
素として、分類対象テキストの特徴ベクトルｑを抽出す
る（ステップＳ２０１）。なお、分類対象テキストが複
数の場合には、テキスト毎に特徴ベクトルｑが抽出され
る。類似度処理部１５は、分類対象テキストの特徴ベク
トルｑと学習特徴ベクトル集合ファイル１４中の各特徴
ベクトルｐｉとの類似度Ｄｉ（＝ｄ （ベクトルｐｉ，ベ
クトルｑ））を、すべてのカテゴリについて各々算出す
る（ステップＳ２０２〜２０３）。
【００３５】類似度Ｄｉが算出された後、カテゴリ決定
部１６は、各類似度を算出値の大きさで降順に整列し
（ステップＳ２０４）、当該算出値が最大となるものか
ら所定数を選択して当該算出値に係るカテゴリ群を分類
対象テキストの属するカテゴリ候補として決定する。当
該算出値が所定範囲内となるカテゴリ群を当該分類対象
テキストに付与すべきカテゴリ候補とするようにしても
良い。これにより分類対象テキストは、当該カテゴリで
分類され（ステップＳ２０５）、文書データーベース１
７に蓄積される。なお、ステップＳ２０４〜２０５にお
けるカテゴリの決定は、類似度の算出値の大きさに着目
したものであるが、この例に限定することなく、カテゴ
リ決定に係る閾値を適宜設定して、決定すべきカテゴリ
を絞り込むように構成することも可能である。
部１６は、各類似度を算出値の大きさで降順に整列し
（ステップＳ２０４）、当該算出値が最大となるものか
ら所定数を選択して当該算出値に係るカテゴリ群を分類
対象テキストの属するカテゴリ候補として決定する。当
該算出値が所定範囲内となるカテゴリ群を当該分類対象
テキストに付与すべきカテゴリ候補とするようにしても
良い。これにより分類対象テキストは、当該カテゴリで
分類され（ステップＳ２０５）、文書データーベース１
７に蓄積される。なお、ステップＳ２０４〜２０５にお
けるカテゴリの決定は、類似度の算出値の大きさに着目
したものであるが、この例に限定することなく、カテゴ
リ決定に係る閾値を適宜設定して、決定すべきカテゴリ
を絞り込むように構成することも可能である。
【００３６】このように、本実施形態の情報分類装置１
では、学習テキストにおける単語の重要度を決定する際
に、出現件数及びカテゴリ頻度（またはカテゴリ頻度係
数）を用いるようにしたので、カテゴリの特徴語となる
単語の候補を容易に選択できるようになった。
では、学習テキストにおける単語の重要度を決定する際
に、出現件数及びカテゴリ頻度（またはカテゴリ頻度係
数）を用いるようにしたので、カテゴリの特徴語となる
単語の候補を容易に選択できるようになった。
【００３７】また、すべてのカテゴリに出現する単語の
割合を重要度に反映させるようにしたので、出現件数の
高い単語群における一般語の重要度を低減させ、一般語
よりも高い重要度を特徴語に対して付与することができ
るようになった。これにより、学習特徴ベクトルの品質
及び分類精度が大幅に向上した。
割合を重要度に反映させるようにしたので、出現件数の
高い単語群における一般語の重要度を低減させ、一般語
よりも高い重要度を特徴語に対して付与することができ
るようになった。これにより、学習特徴ベクトルの品質
及び分類精度が大幅に向上した。
【００３８】（第２実施形態）本発明は、インタネット
等の公衆網を介して流通する大量の電子化情報に対して
自動的な分類処理を行うシステム、例えば、上記情報分
類装置として機能するところの情報分類サーバ、情報取
得装置として機能するところのクライアント、を配備し
た情報分類システムの形態での実施も可能である。この
場合の情報分類サーバは、例えば、インタネット環境上
における複数の大規模なデータベースに対するサーチエ
ンジンとして位置付けられる。
等の公衆網を介して流通する大量の電子化情報に対して
自動的な分類処理を行うシステム、例えば、上記情報分
類装置として機能するところの情報分類サーバ、情報取
得装置として機能するところのクライアント、を配備し
た情報分類システムの形態での実施も可能である。この
場合の情報分類サーバは、例えば、インタネット環境上
における複数の大規模なデータベースに対するサーチエ
ンジンとして位置付けられる。
【００３９】この情報分類サーバは、第１実施形態の情
報分類装置１と同様、コンピュータ装置の内部あるいは
外部記憶装置に、上記文書データベース１７と同一のデ
ータベースを構築し、公衆網を介してクライアントと通
信を行う通信制御部、を具備するとともに、上記情報分
類装置１と同様の機能ブロック、テキスト入力部１１、
単語処理部１２、特徴ベクトル処理部１３、学習特徴ベ
クトル集合ファイル１４、類似度処理部１５、カテゴリ
決定部１６、を具備して構成される（符号は図１に従っ
ている）。
報分類装置１と同様、コンピュータ装置の内部あるいは
外部記憶装置に、上記文書データベース１７と同一のデ
ータベースを構築し、公衆網を介してクライアントと通
信を行う通信制御部、を具備するとともに、上記情報分
類装置１と同様の機能ブロック、テキスト入力部１１、
単語処理部１２、特徴ベクトル処理部１３、学習特徴ベ
クトル集合ファイル１４、類似度処理部１５、カテゴリ
決定部１６、を具備して構成される（符号は図１に従っ
ている）。
【００４０】この情報分類サーバが上記情報分類装置１
と相違する点は、通信制御を行う公知の通信制御部を具
備する点であり、この通信制御部を介して流通する電子
化情報群をテキスト入力部１１に入力するとともに、ク
ライアントからの分類要求を受けるように構成する。こ
の分類要求には、例えば、分類対象となる電子化情報を
識別するための情報等を用いれば良い。分類結果も同様
に、通信制御部を介してクライアントに対して送信を行
うように構成することで代替が可能であり、上記情報分
類装置１と同等の効果を得ることができる。この場合の
分類結果としては、例えば、対象となるテキストの属す
るカテゴリを用いれば良い。
と相違する点は、通信制御を行う公知の通信制御部を具
備する点であり、この通信制御部を介して流通する電子
化情報群をテキスト入力部１１に入力するとともに、ク
ライアントからの分類要求を受けるように構成する。こ
の分類要求には、例えば、分類対象となる電子化情報を
識別するための情報等を用いれば良い。分類結果も同様
に、通信制御部を介してクライアントに対して送信を行
うように構成することで代替が可能であり、上記情報分
類装置１と同等の効果を得ることができる。この場合の
分類結果としては、例えば、対象となるテキストの属す
るカテゴリを用いれば良い。
【００４１】また、情報分類サーバへのテキスト手段と
して、インタネット環境下におけるエージェント機能を
用いることにより、流通する大量の電子化情報群に対し
て自動的な情報分類及び管理を行うことができるシステ
ム構築が可能となる。従って、例えばクライアント側の
利用者等が必要とするテキストに対して漠然としたイメ
ージしか有していない場合であっても、テキストの分類
に係る上位レベルから下位レベルへ順次分類処理を施
し、その経過を辿っていくことにより、必要な情報を容
易に取得することが可能となる。
して、インタネット環境下におけるエージェント機能を
用いることにより、流通する大量の電子化情報群に対し
て自動的な情報分類及び管理を行うことができるシステ
ム構築が可能となる。従って、例えばクライアント側の
利用者等が必要とするテキストに対して漠然としたイメ
ージしか有していない場合であっても、テキストの分類
に係る上位レベルから下位レベルへ順次分類処理を施
し、その経過を辿っていくことにより、必要な情報を容
易に取得することが可能となる。
【００４２】
【発明の効果】以上の説明から明らかなように、本発明
によれば、学習特徴ベクトルを明確に表現できるので、
高精度の分類が可能となる。また、学習テキストにおけ
る既存の分類体系に則した本発明の分類処理を自動的に
行うことにより、利用者等が必要とする情報を容易に検
索して活用することが可能となる。さらに、本発明を情
報検索システム等に適合させた場合には、検索処理の効
率及び実用性が格段に向上するシステムの提供が可能と
なる。
によれば、学習特徴ベクトルを明確に表現できるので、
高精度の分類が可能となる。また、学習テキストにおけ
る既存の分類体系に則した本発明の分類処理を自動的に
行うことにより、利用者等が必要とする情報を容易に検
索して活用することが可能となる。さらに、本発明を情
報検索システム等に適合させた場合には、検索処理の効
率及び実用性が格段に向上するシステムの提供が可能と
なる。
【図１】本発明の一実施形態に係る情報分類装置におけ
る機能ブロック図。
る機能ブロック図。
【図２】単語の重要度算出を表す概念図。
【図３】学習特徴ベクトル集合作成における処理手順
図。
図。
【図４】分類処理における処理手順図。
１ 情報分類装置 １１ テキスト入力部 １２ 単語処理部 １３ 特徴ベクトル処理部 １４ 学習特徴ベクトル集合ファイル １５ 類似度処理部 １６ カテゴリ決定部 １７ 文書データベース
Claims (11)
- 【請求項１】 属すべきカテゴリが既知の学習用テキス
トから単語を抽出し、抽出した単語毎に、その出現件数
及び出現するカテゴリ数に基づく重要度を算出するとと
もに、算出された重要度を要素としてカテゴリ毎の特徴
を表す学習特徴ベクトルを生成する過程と、 カテゴリが不明な分類対象テキストに対して当該分類対
象テキスト中の単語毎の出現頻度に基づく重要度を算出
し、算出された重要度を要素としてテキスト毎の特徴を
表す分類対象特徴ベクトルを生成する過程と、 分類対象特徴ベクトルと前記カテゴリ毎の学習特徴ベク
トルとの類似度を判定する過程とを含み、 前記分類対象テキストとの類似度が所定範囲内の学習特
徴ベクトルに対応するカテゴリを当該分類対象テキスト
に付与すべきカテゴリ候補とすることを特徴とする情報
分類方法。 - 【請求項２】 前記分類対象テキストとの類似度の高い
順に並べたときに上位から予め定めた件数以上の学習特
徴ベクトルに対応するカテゴリを当該分類対象テキスト
に付与すべきカテゴリ候補とすることを特徴とする請求
項１記載の情報分類方法。 - 【請求項３】 前記学習特徴ベクトルを生成する過程
は、 前記学習用テキスト中の単語の出現傾向に着目してカテ
ゴリの特徴を表す指標となる特徴語及びカテゴリに依存
しない一般語を判別し、前記単語の出現するカテゴリ数
に基づいて前記一般語の重要度を低減させることで前記
特徴語の重要度が相対的に高く反映された学習特徴ベク
トルを生成することを特徴とする請求項１記載の情報分
類方法。 - 【請求項４】 １または複数のカテゴリが付与された学
習用テキストの分類体系に即してカテゴリが不明な分類
対象テキストに付与すべきカテゴリを決定して分類処理
を行う装置であって、 前記学習用テキスト及び分類対象テキストの各々から単
語を抽出するとともに抽出した単語毎の重要度を算出す
る単語処理手段と、 前記単語毎の重要度を要素として、前記学習用テキスト
の特徴をカテゴリ毎に表現した学習特徴ベクトル、及び
分類対象テキストの特徴をテキスト毎に表現した分類対
象特徴ベクトルを生成するベクトル処理手段と、 個々の分類対象特徴ベクトルと前記学習特徴ベクトルと
の特徴差に基づいてカテゴリ毎の学習特徴ベクトルに対
する前記分類対象特徴ベクトルの類似度を判定する類似
度処理手段と、 前記類似度処理手段による判定結果に基づいて、前記分
類対象テキストに付与すべきカテゴリを決定するカテゴ
リ決定手段と、 を備えることを特徴とする情報分類装置。 - 【請求項５】 前記単語処理手段は、前記学習用テキス
ト中の総カテゴリ数を特定の単語が出現するカテゴリ数
による除算に基づくカテゴリ頻度係数を算出する手段を
有し、 特定のカテゴリに出現する単語の出現件数と前記カテゴ
リ頻度係数との乗算により前記学習用テキスト中の単語
毎の重要度を算出するとともに、出現件数が相対的に多
く且つカテゴリへの依存が相対的に少ない単語の重要度
を低減させるように構成されていることを特徴とする請
求項４記載の情報分類装置。 - 【請求項６】 前記単語処理手段は、特定のカテゴリに
出現する単語の出現件数と前記カテゴリ頻度係数との乗
算による算出値に、さらに当該単語の出現頻度を乗算す
ることにより前記学習用テキスト中の単語毎の重要度を
算出するように構成されていることを特徴とする請求項
４記載の情報分類装置。 - 【請求項７】 前記単語処理手段は、前記分類対象テキ
スト中の単語の出現頻度を計測する手段を有し、出現頻
度が低い単語ほど当該分類対象テキスト中の重要度が高
くするように構成されていることを特徴とする請求項４
記載の情報分類装置。 - 【請求項８】 前記類似度処理手段は、個々の学習特徴
ベクトル及び分類対象特徴ベクトル間の内積に基づいて
両ベクトルの余弦を算出するとともに、この余弦の算出
値を所定順に整列して両ベクトルの特徴差を定量化する
ように構成されていることを特徴とする請求項４記載の
情報分類装置。 - 【請求項９】 前記分類対象テキストに対する類似度が
所定範囲内となる１または複数の学習特徴ベクトルに対
応するカテゴリを視認可能にして提示する提示手段をさ
らに備え、 前記カテゴリ決定手段は、前記提示手段による提示に対
応して特定されたカテゴリを当該分類対象テキストに付
与すべきカテゴリとして決定するように構成されている
ことを特徴とする請求項４記載の情報分類装置。 - 【請求項１０】 請求項４ないし９のいずれかの項に記
載された情報分類装置と、通信回線を介して流通する前
記分類対象テキストを前記情報分類装置に取り込むテキ
スト入力手段とを備えたことを特徴とする情報分類シス
テム。 - 【請求項１１】 前記テキスト入力手段は、前記分類対
象テキストをエージェント機能を通じて前記情報分類装
置に入力するように構成されていることを特徴とする情
報分類システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33430997A JP3488063B2 (ja) | 1997-12-04 | 1997-12-04 | 情報分類方法、装置及びシステム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33430997A JP3488063B2 (ja) | 1997-12-04 | 1997-12-04 | 情報分類方法、装置及びシステム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11167581A true JPH11167581A (ja) | 1999-06-22 |
| JP3488063B2 JP3488063B2 (ja) | 2004-01-19 |
Family
ID=18275918
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP33430997A Expired - Fee Related JP3488063B2 (ja) | 1997-12-04 | 1997-12-04 | 情報分類方法、装置及びシステム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3488063B2 (ja) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001266060A (ja) * | 2000-03-15 | 2001-09-28 | Nec Corp | アンケート回答分析システム |
| JP2003510689A (ja) * | 1999-09-24 | 2003-03-18 | フランス テレコム | ドキュメントをテーマ別に分類する方法、テーマ別分類モジュールおよび斯かるモジュールを取入れた検索エンジン |
| JP2003526140A (ja) * | 1999-08-06 | 2003-09-02 | レキシス ネクシス | 法律トピック体系を使用して法律概念を分類するシステム及び方法 |
| JP2003288362A (ja) * | 2002-03-27 | 2003-10-10 | Seiko Epson Corp | 特定要素ベクトル生成装置、文字列ベクトル生成装置、類似度算出装置、特定要素ベクトル生成プログラム、文字列ベクトル生成プログラム及び類似度算出プログラム、並びに特定要素ベクトル生成方法、文字列ベクトル生成方法及び類似度算出方法 |
| US6654744B2 (en) | 2000-04-17 | 2003-11-25 | Fujitsu Limited | Method and apparatus for categorizing information, and a computer product |
| JP2005235065A (ja) * | 2004-02-23 | 2005-09-02 | Ntt Data Corp | 情報検索装置 |
| JP2006251975A (ja) * | 2005-03-09 | 2006-09-21 | Omron Corp | テキスト分類方法ならびにその方法によるプログラム、およびテキスト分類装置 |
| JP2006286026A (ja) * | 2006-07-28 | 2006-10-19 | Nec Corp | 意見収集分析装置及びそれに用いる意見収集分析方法並びにそのプログラム |
| JP2007079948A (ja) * | 2005-09-14 | 2007-03-29 | Nec Corp | 専門用語抽出装置、専門用語抽出方法および専門用語抽出プログラム |
| WO2010061535A1 (ja) * | 2008-11-28 | 2010-06-03 | 日本電気株式会社 | 情報検索装置、情報検索方法、及びプログラムが格納された記憶媒体 |
| JP2010146222A (ja) * | 2008-12-18 | 2010-07-01 | Hitachi Ltd | 文書分類装置、文書分類方法およびプログラム |
| JP2015079382A (ja) * | 2013-10-17 | 2015-04-23 | 日本電信電話株式会社 | 文書分類装置、文書分類方法および文書分類プログラム |
| JP2017156952A (ja) * | 2016-03-01 | 2017-09-07 | Ｎｅｃパーソナルコンピュータ株式会社 | 情報処理システム、情報処理方法、およびプログラム |
| JP2018116662A (ja) * | 2017-01-20 | 2018-07-26 | Ｎｅｃパーソナルコンピュータ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| US10353925B2 (en) | 2012-12-21 | 2019-07-16 | Fuji Xerox Co., Ltd. | Document classification device, document classification method, and computer readable medium |
| US11797592B2 (en) | 2020-06-12 | 2023-10-24 | Panasonic Intellectual Property Management Co., Ltd. | Document classification method, document classifier, and recording medium |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4970301B2 (ja) * | 2008-02-08 | 2012-07-04 | シャープ株式会社 | 画像処理方法、画像処理装置、画像読取装置、画像形成装置、画像処理システム、プログラムおよび記録媒体 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06110948A (ja) * | 1992-08-20 | 1994-04-22 | Us Government | 文献を識別し、検索し、分類する方法 |
-
1997
- 1997-12-04 JP JP33430997A patent/JP3488063B2/ja not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06110948A (ja) * | 1992-08-20 | 1994-04-22 | Us Government | 文献を識別し、検索し、分類する方法 |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003526140A (ja) * | 1999-08-06 | 2003-09-02 | レキシス ネクシス | 法律トピック体系を使用して法律概念を分類するシステム及び方法 |
| JP2003510689A (ja) * | 1999-09-24 | 2003-03-18 | フランス テレコム | ドキュメントをテーマ別に分類する方法、テーマ別分類モジュールおよび斯かるモジュールを取入れた検索エンジン |
| JP4718076B2 (ja) * | 1999-09-24 | 2011-07-06 | フランス・テレコム | ドキュメントをテーマ別に分類する方法、ドキュメントをテーマ別に分類するコンピュータ、ドキュメントをテーマ別に分類するコンピュータの用法及び検索エンジンコンピュータ |
| JP2001266060A (ja) * | 2000-03-15 | 2001-09-28 | Nec Corp | アンケート回答分析システム |
| US6876990B2 (en) | 2000-03-15 | 2005-04-05 | Nec Corporation | Questionnaire analysis system |
| US6654744B2 (en) | 2000-04-17 | 2003-11-25 | Fujitsu Limited | Method and apparatus for categorizing information, and a computer product |
| JP2003288362A (ja) * | 2002-03-27 | 2003-10-10 | Seiko Epson Corp | 特定要素ベクトル生成装置、文字列ベクトル生成装置、類似度算出装置、特定要素ベクトル生成プログラム、文字列ベクトル生成プログラム及び類似度算出プログラム、並びに特定要素ベクトル生成方法、文字列ベクトル生成方法及び類似度算出方法 |
| JP2005235065A (ja) * | 2004-02-23 | 2005-09-02 | Ntt Data Corp | 情報検索装置 |
| JP4510483B2 (ja) * | 2004-02-23 | 2010-07-21 | 株式会社エヌ・ティ・ティ・データ | 情報検索装置 |
| JP2006251975A (ja) * | 2005-03-09 | 2006-09-21 | Omron Corp | テキスト分類方法ならびにその方法によるプログラム、およびテキスト分類装置 |
| JP2007079948A (ja) * | 2005-09-14 | 2007-03-29 | Nec Corp | 専門用語抽出装置、専門用語抽出方法および専門用語抽出プログラム |
| JP2006286026A (ja) * | 2006-07-28 | 2006-10-19 | Nec Corp | 意見収集分析装置及びそれに用いる意見収集分析方法並びにそのプログラム |
| JP4539616B2 (ja) * | 2006-07-28 | 2010-09-08 | 日本電気株式会社 | 意見収集分析装置及びそれに用いる意見収集分析方法並びにそのプログラム |
| WO2010061535A1 (ja) * | 2008-11-28 | 2010-06-03 | 日本電気株式会社 | 情報検索装置、情報検索方法、及びプログラムが格納された記憶媒体 |
| JP5516416B2 (ja) * | 2008-11-28 | 2014-06-11 | 日本電気株式会社 | 情報検索装置、情報検索方法、及びプログラム |
| JP2010146222A (ja) * | 2008-12-18 | 2010-07-01 | Hitachi Ltd | 文書分類装置、文書分類方法およびプログラム |
| US10353925B2 (en) | 2012-12-21 | 2019-07-16 | Fuji Xerox Co., Ltd. | Document classification device, document classification method, and computer readable medium |
| JP2015079382A (ja) * | 2013-10-17 | 2015-04-23 | 日本電信電話株式会社 | 文書分類装置、文書分類方法および文書分類プログラム |
| JP2017156952A (ja) * | 2016-03-01 | 2017-09-07 | Ｎｅｃパーソナルコンピュータ株式会社 | 情報処理システム、情報処理方法、およびプログラム |
| JP2018116662A (ja) * | 2017-01-20 | 2018-07-26 | Ｎｅｃパーソナルコンピュータ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| US11797592B2 (en) | 2020-06-12 | 2023-10-24 | Panasonic Intellectual Property Management Co., Ltd. | Document classification method, document classifier, and recording medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3488063B2 (ja) | 2004-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109947909B (zh) | 智能客服应答方法、设备、存储介质及装置 | |
| CN108804641B (zh) | 一种文本相似度的计算方法、装置、设备和存储介质 | |
| CN112100529B (zh) | 搜索内容排序方法、装置、存储介质和电子设备 | |
| US8001152B1 (en) | Method and system for semantic affinity search | |
| JPH11167581A (ja) | 情報分類方法、装置及びシステム | |
| CN113761218B (zh) | 一种实体链接的方法、装置、设备及存储介质 | |
| CN112667794A (zh) | 一种基于孪生网络bert模型的智能问答匹配方法及*** | |
| EP2045739A2 (en) | Modeling topics using statistical distributions | |
| CN114238573B (zh) | 基于文本对抗样例的信息推送方法及装置 | |
| EP2045737A2 (en) | Selecting tags for a document by analysing paragraphs of the document | |
| EP2045740A1 (en) | Recommending terms to specify ontology space | |
| RU2547213C2 (ru) | Присвоение применимых на практике атрибутов данных, которые описывают идентичность личности | |
| KR100706389B1 (ko) | 이미지 상호간의 유사도를 고려한 이미지 검색 방법 및장치 | |
| CN111475725B (zh) | 用于搜索内容的方法、装置、设备和计算机可读存储介质 | |
| JP2001202523A (ja) | 画像処理方法及びその装置 | |
| CN109063171B (zh) | 基于语义的资源匹配方法 | |
| CN115712780A (zh) | 一种基于云计算和大数据的信息推送方法及装置 | |
| JPH11110409A (ja) | 情報分類方法及び装置 | |
| CN117763126A (zh) | 知识检索方法、设备、存储介质及装置 | |
| CN117763076A (zh) | 基于云计算的档案检索方法及*** | |
| CN106294784B (zh) | 资源搜索方法及装置 | |
| CN110688559A (zh) | 一种检索方法及装置 | |
| CN111723296B (zh) | 搜索处理方法、装置及计算机设备 | |
| Pomp et al. | Enhancing Knowledge Graphs with Data Representatives. | |
| CN112765311A (zh) | 一种裁判文书的搜索方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071031 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081031 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091031 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101031 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121031 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131031 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |