JP2000250919A - 文書処理装置及びそのプログラム記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】本発明は、文書処理装置及びそのプログラム記
憶媒体に関し、電子化文書の検索や分類等の処理のため
のカテゴリ因子を抽出することを目的とする。 【解決手段】 文書処理装置は、主成分単位分解部５
は、カテゴリ毎に抽出された特徴語１１とこれに基づい
て求められた特徴語相関行列１２とを用いた当該カテゴ
リの主成分分析により抽出された主成分係数１３と、前
記特徴語１１とを用いて、特徴語の出現傾向を表す座標
系に基づいて主成分の各々に対応する特徴語の群を求
め、特徴語の群の多い主成分を選択して主成分因子１４
とする。また、当該特徴語の群と主成分の各々との相関
の強さを用いて、主成分因子１４との相関が高い特徴語
を選択して因子特徴語１５とする。これにより、主成分
因子１４と因子特徴語１５とからなるカテゴリ因子２０
を抽出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、文書処理装置及び
そのプログラム記憶媒体に関し、特に、電子化文書につ
いての検索や分類等の処理を正確に行うための因子を正
確に抽出する文書処理装置及びそのプログラム記憶媒体
に関する。

【０００２】

【従来の技術】近年、インターネットが普及し、この上
で公開される文書を数多く利用できるようになった。ま
た、ＣＤ−ＲＯＭ、ＣＤ−Ｒ等が普及し、電子出版物も
多く利用できるようになった。このような電子化文書
は、それが電子化（コード化）されていることを利用し
て、情報検索や文書の自動分類を行うことができる。

【０００３】そこで、このような文書の電子化に伴い、
企業の有する文書資産、情報資産やインターネット上で
公開されている文書資産、情報資産を更に深いレベルで
活用したいという機運が出てきている。このためには、
情報検索技術や文書の自動分類等の情報利用技術の一層
の進展が望まれる。

【０００４】

【発明が解決しようとする課題】現在の情報検索技術や
自動分類技術は、高速で情報検索や文書分類を自動的に
行うことができる。しかし、検索結果の適合率や文書の
分類精度が未だに満足できる程度に達していない。例え
ば、情報検索においては、検索結果を基に再検索する場
合の絞り込みの支援等が必要である。即ち、検索の絞り
込みにあたって、追加のキーワードの候補をオペレータ
が示すと言う支援が必要である。

【０００５】また、電子化文書の利用のツールとして、
情報検索ツールや自動分類ツール、特徴語抽出ツール等
がある。しかし、これらは個別のアプリケーション（プ
ログラム）になっている場合が多い。従って、情報利用
への統合的アプローチとして、検索や分類等に共通の統
計的特徴量を基盤とするオントロジー的特徴語ベースへ
の発展の可能性を探る必要がある。

【０００６】更に、文書処理にあたり、文字列レベル／
形態素レベルの統計処理にとどまらず、対象領域に関す
る情報内容のレベルで処理するための要約技術、機械学
習、テキストデータマイニング等の知識獲得関連技術が
盛んになっている。このため、自然言語処理技術も要求
されるようになってきており、知識処理、文脈処理のた
めの文脈同定、対話状況認識のための基礎技術を探るこ
とも重要である。

【０００７】本発明者の検討によれば、以上の課題は、
文字列レベルの文書処理技術と理想とされる意味レベル
の文書処理技術との間のギャップに関連すると考えられ
る。意味レベルの文書処理技術は理想ではあるが種々の
理由から未だに実現されておらず、現状では文字列レベ
ルの文書処理技術が殆どである。本発明は、文書処理の
因子として、文字列レベルと意味レベルとの中間レベル
である文書の分類（カテゴリ）の因子（カテゴリ因子）
のレベルを新たに想定し、この因子の抽出を自動的に行
う。カテゴリ因子は、文字列レベルより詳細で、かつ、
意味レベルに近い文書処理を可能とする。

【０００８】本発明は、電子化文書の検索や分類等の処
理のためのカテゴリ因子を抽出する文書処理装置を提供
することを目的とする。

【０００９】また、本発明は、電子化文書の検索や分類
等の処理のためのカテゴリ因子を抽出する文書処理装置
を実現するプログラムを記憶するプログラム記憶媒体を
提供することを目的とする。

【００１０】

【課題を解決するための手段】図１は本発明の原理構成
図であり、本発明による文書処理装置の構成を示す。文
書処理装置は、カテゴリ因子２０を当該カテゴリから抽
出する主成分単位分解部５を備える。主成分単位分解部
５は、カテゴリ毎に抽出された特徴語１１とこれに基づ
いて求められた特徴語相関行列１２とを用いた当該カテ
ゴリの主成分分析により抽出された主成分係数１３と、
前記特徴語１１とを用いて、特徴語の出現傾向を表す座
標系に基づいて主成分の各々に対応する特徴語の群を求
め、特徴語の群の多い主成分を選択して主成分因子１４
とする。また、当該特徴語の群と主成分の各々との相関
の強さを用いて、主成分因子１４との相関が高い特徴語
を選択して因子特徴語１５とする。これにより、主成分
因子１４と因子特徴語１５とからなるカテゴリ因子２０
を抽出する。

【００１１】本発明の文書処理装置によれば、文書から
その分類の因子として適切な主成分因子１４と因子特徴
語１５とからなるカテゴリ因子２０を自動的に抽出する
ことができる。この結果、文字列レベルの文書処理技術
と理想とされる意味レベルの文書処理技術との中間に位
置するカテゴリ因子２０による文書処理が可能となり、
意味レベル程まで理想ではないが、これに近くかつ実現
性のある文書処理が可能となる。これにより、検索結果
の適合率や文書の分類精度をある程度満足できる水準に
保つことが可能な情報検索や文書分類を行うことができ
る。例えば、情報検索においては、検索結果を基に再検
索する回数を減らすことができ、再検索の場合の絞り込
みの支援においてもその指針を与えることができる。ま
た、統合的な情報利用のために、検索や分類等に共通の
統計的特徴量として特徴語を基礎においたカテゴリ因子
２０を採用することができる。更に、文書処理にあた
り、文字列レベル／形態素レベルの統計処理にとどまら
ず、特徴語を基礎においたカテゴリ因子２０の採用によ
り情報内容のレベルで処理できるので、知識処理、文脈
処理のための文脈同定、対話状況認識の補助とすること
ができる。

【００１２】

【発明の実施の形態】最初に、本発明により得られる情
報カテゴリ及びカテゴリ因子２０について、簡単に説明
する。

【００１３】前述のように、意味レベルの文書処理技術
は未だに実現されておらず、現状では文字列レベル／形
態素（又は、単語）レベルの文書処理技術が殆どであ
る。ここで、文字列とは文字の羅列を意味し、形態素と
は略単語を意味し、単語とは一定の意味を有する文字列
をまとめたものを意味し、意味とは文書（即ち情報）の
持つ正しい意味を言う。従って、文字列レベルでの文書
処理とは文書を単なるコード（文字）の羅列とのみ捉え
て、文字列を含むとか文字列の出現頻度が高いと言うよ
うな結果を得る文書処理を言う。形態素（又は、単語）
レベルでの文書処理とは文書に含まれる単語を自動的に
抽出してこれに着目して、単語の出現頻度が高いと言う
ような結果を得る文書処理を言う。意味レベルでの文書
処理とは専門知識を有する人間が行うのと同等の文書処
理、即ち、複数の単語の意味（知識）を組み合わせた処
理を行う知識処理を言う。知識処理のため（知識処理に
近づくため）には、その基礎となる知識（意味）が正確
かつ詳細に分類されていなければならない。そして、文
書処理装置には、この分類を自動的に行うことが求めら
れる。

【００１４】そこで、本発明は、文字列レベルと意味レ
ベルとの中間レベルとしての情報カテゴリ及びカテゴリ
因子２０なる概念を導入し、このレベルでの文書処理
（情報処理）を行う。ここで、情報カテゴリとはその文
書（即ち、情報）が属する分類（カテゴリ）を言う。例
えば、「新聞記事」と言うカテゴリ内において「政
治」、「経済」等のカテゴリが存在し、「経済」と言う
カテゴリ内において「国内経済」、「国際経済」等のカ
テゴリが存在する。即ち、ここで言うカテゴリとは分類
（分類した結果、又は、分類した結果に則した入れ物）
の意味である。カテゴリには階層が存在する。カテゴリ
因子２０とは、カテゴリ内における更に細分化した分類
を言い、上位のカテゴリから見た場合における下位のカ
テゴリを指す。カテゴリ及びカテゴリ因子２０による文
書の処理は単語レベルと意味レベルとの中間での処理で
ある。

【００１５】文書の検索や自動分類等の統計的アプロー
チにおいては、文書の対象分野（本発明における情報カ
テゴリ）の語彙の統計的特性を利用している。例えば、
検索は語と文書（群）との相関、分類は分野と語の相
関、語のクラスタリングは語と語の相関を分析対象とす
る。本発明では、これらの相関の分析に加えて、更に、
カテゴリとカテゴリ因子２０の相関や、カテゴリ因子２
０と語（単語）の相関を分析対象に加える。これによ
り、カテゴリと語の相関と、文書（群）と語の相関との
中間にあって、これらの媒介的な役割をカテゴリ因子２
０が果たすことができる。即ち、カテゴリ因子２０は様
々な情報カテゴリを識別するための弁別的素性を有す
る。

【００１６】本発明では、あるカテゴリの文書（群）を
分析して、その分類の細分化や弁別的素性（カテゴリ因
子２０）への分解する場合、直接的には直ぐ下の階層の
カテゴリ因子２０へ分解する。更に、その下位について
は、集合論的に客観的分析や演算により詳細に分解す
る。このような全体的なカテゴリによる文書の体系化
は、統一的な情報利用基盤としての特徴語パラメータセ
ット生成や知識ベース構築の準備としての多観点カテゴ
リ体系等へ応用できる。例えば、カテゴリ「新聞」から
カテゴリ因子２０への分解では、「経済」や「スポー
ツ」等のカテゴリ（因子）の記事データへ分解し、「経
済」記事からは「景気」「企業活動」「金融市場動向」
等のようなカテゴリ因子２０に分解する。本発明では、
与えられたカテゴリにおけるカテゴリ因子２０を自動的
にかつ高精度で得るために、多変量解析における主成分
分析を用い、これを基礎として、特徴語単位での主成分
分解、主成分内での分解、主成分の冗長性の除去を行
う。

【００１７】図２は文書処理装置構成図であり、本発明
の文書処理装置の構成を示す。

【００１８】入力部１は予めオペレータにより分類され
たカテゴリ毎に文書（情報）を読み込む。ここでの入力
対象は、これに制限はされないが、予めカテゴリに分類
された電子化文書群である。従って、入力される文書は
「新聞」「特許公開公報」等の極めて大きな又は最も上
位のカテゴリに分類されている。

【００１９】単語出現頻度計数部２は、入力部１からカ
テゴリ毎に入力された文書の単語毎の出現確率を算出す
る。具体的には、単語出現頻度計数部２は、単語の各々
について、出現頻度を当該単語の属するカテゴリ毎及び
それまでに入力された全カテゴリの全文書について計数
する。これらの計数値を用いて、単語出現頻度計数部２
は、単語の各々について、その単語の計数値のカテゴリ
毎の総単語数及び全文書の総単語数に対する比率を単語
出現確率（データ）１０として算出し、格納する。な
お、単語の計数の前処理としての単語分かち書き処理
は、周知の単語辞書９（及び単語接続表等）を用いた通
常の形態素解析処理により行われる。また、単語辞書９
として同義語辞書を用いて同種の単語を１つのエントリ
ーとして計数することにより、以下の統計処理における
精度を向上することができる。

【００２０】特徴語抽出部３は、単語出現頻度計数部２
により計数された単語毎の出現確率１０に基づいて、入
力された文書においてカテゴリ毎に特徴的に出現する単
語を特徴語として抽出する。特徴語抽出は、周知のいず
れの方法によっても良いが、例えば本願出願人の出願に
よる特開平１０−１１１８６９号公報（情報分類装置と
その方法）に示すように、Kullback-Leiblerの情報量の
数式Σp(wi,cj)log(p(wi,cj)/q(wi)) を利用する。ここ
で、p(wi,cj)はカテゴリcjにおける単語wiの出現確率で
あり、q(wi) は全てのカテゴリの文書における単語wiの
出現確率である。特徴語抽出部３は、上記数式のΣの部
分を除いた式（値）を用いる。この数式により算出され
る値は、「カテゴリcjにおける単語wiの特徴度」を示す
値であり、その値が大きい程当該単語が特徴的であるこ
とを示す。特徴度は特徴語の抽出又は定義に用いられ
る。

【００２１】即ち、特徴語抽出部３は、当該カテゴリcj
における当該単語の出現確率が全文書における出現確率
に比べて特徴的に大きくなっている語を求め、更に、そ
れらの語の中からカテゴリcj毎に上位ｎ位までの語を抽
出する。ここで、ｎの値は予め定められ、例えば１００
乃至２００程度の適当な自然数である。また、カテゴリ
（対象分野）cjの特徴をよく表す単語として、名詞類
や、内容語（名詞、動詞、形容詞、形容動詞）を優先し
て用いるようにしても良い。特徴語抽出部３は、この抽
出の結果をカテゴリcj毎の特徴語（データ）１１として
格納する。

【００２２】主成分分析部４は特徴語抽出部３により抽
出された特徴語１１を用いて当該カテゴリの主成分分析
を行うことにより、主成分を抽出し、主成分係数１３を
算出する。主成分分析は、周知のいずれの方法によって
も良いが、例えば本願出願人の出願による特開平１０−
１１１８６９号公報に示す方法による。即ち、主成分分
析部４は特徴語１１の出現の傾向を座標系として選択す
る。具体的には、カテゴリcj毎の特徴語を全てマージし
て、これをｊ次元（ｊはカテゴリｃの数、例えば、１０
００程度）の多次元座標系の上に分布させる。単語wiの
座標上の値としては、前述のカテゴリcjにおける単語wi
の特徴度を用いる。これにより、この多次元座標系の上
に各文書（即ち、カテゴリ）及びその各単語がマッピン
グされる。この全文書の座標値を用いて、周知の主成分
分析を行う。主成分分析は、周知の多変量解析の手法で
あり、入力としての相関行列（又は、分散共分散行列）
１２の固有値問題を解くことに相当する。主成分分析の
結果は、複数の固有値と固有ベクトルの組（主成分）と
して、固有値（即ち、情報量）の大きい順に、第１主成
分、第２主成分、・・・の順に得られる。

【００２３】主成分分析部４は、更に、主成分分析の結
果の中から、最大の第１主成分から十分大きい固有値に
相当する主成分（例えば、３００個程度）までを採用
し、残りの情報量の少ない主成分のデータを捨象する。
捨てられた主成分のデータの内容も残された主成分に反
映されているので、全体の情報量をあまり落とさずに座
標軸の数を減らして（空間の次元数を落として）、計算
量の軽減を図ることができる。主成分分析部４は、この
結果、特徴語の相関行列（データ）１２と、最初の座標
系から新しい座標系への座標変換を意味する主成分係数
（データ）１３を算出し、格納する。

【００２４】主成分単位分解部５は、主成分因子１４と
因子特徴語１５とからなるカテゴリ因子２０を、当該カ
テゴリから抽出する。具体的には、主成分単位分解部５
は、カテゴリ毎に抽出された特徴語１１とこれに基づい
て求められた特徴語相関行列１２とを用いた当該カテゴ
リの主成分分析により抽出された主成分係数１３と、前
記特徴語１１とを用いて、特徴語１１の出現傾向を表す
座標系に基づいて主成分の各々に対応する特徴語１１の
群を求め、特徴語１１の群の多い主成分を選択してなる
主成分因子１４とし、また、当該特徴語１１の群と主成
分の各々との相関の強さを用いて、主成分因子１４との
相関が高い特徴語１１を選択してなる因子特徴語１５と
する。

【００２５】このように、主成分単位分解部５は当初の
カテゴリを主成分という観点から更に詳細に分解する。
上位の主成分には最初の座標系での１本の座標軸よりも
多くの情報量が集約されており、かつ、１本の主成分
（座標軸）には文書群の統計的特徴が集約されていると
考えられるので、これを単位として分類カテゴリとの関
連を分析することができる。即ち、主成分（座標軸）を
カテゴリ因子２０（実際には、主成分因子１４に相当す
る）と考え、当初の分類カテゴリにどのカテゴリ因子２
０が含まれるか（どの主成分得点が大きいか）を分析す
る。上位のカテゴリ因子２０は当該カテゴリに相関が強
いので、これらのカテゴリ因子２０が当該カテゴリの部
分的特徴を良く表現していると考えられる。例えば、各
カテゴリ毎に上位ｍ位のカテゴリ因子２０に分解でき
る。ここでは、ｍは、５、１０、・・等の適切な自然数
である。

【００２６】抽出した各々のカテゴリ因子２０は主成分
（座標軸）なので、そのままではカテゴリ因子２０の表
す意味が読み取れない。そこで、主成分単位分解部５
は、次に、当該の主成分に対応する特徴語群（即ち、因
子特徴語１５）を求めることにより、カテゴリ因子２０
の実世界上での対象範囲（存在範囲、対象分野等）を推
定する。即ち、特徴語１１から、カテゴリ毎の特徴語群
を求め、これらの特徴語群と分類カテゴリと相関の強い
主成分との相関の強さから、特徴語群を細分化する。な
お、特徴語群と分類カテゴリと相関の強い主成分との相
関の強さは、主成分係数１３から求めればよい。この結
果、カテゴリを主成分の観点から分解したカテゴリ因子
２０は主成分因子（データ）１４として格納し、カテゴ
リ因子２０と相関の強い特徴語群は因子特徴語（デー
タ）１５として格納する。

【００２７】主成分内分解部６は、主成分単位分解部５
により分解された複数の主成分からなるカテゴリ因子２
０について、当該複数の主成分の各々とこれらに対応す
る特徴語の群との相関の強さを用いて、当該カテゴリ因
子２０を１又は複数の主成分からなるクラスタに分解す
る。これは、主成分を単位としたカテゴリ因子２０への
分解を行った後でも、当該のカテゴリ因子２０が１つで
はなく、未だ分解の余地の残ることがあるためである。

【００２８】主成分内分解部６は、特徴語同士の出現傾
向の相関の強さにより、主成分単位のカテゴリ因子２０
に対応する特徴語群をクラスタリングすることにより、
主成分内カテゴリ因子２０へ分解する。即ち、特徴語相
関行列１２から特徴語対の相関の大きい順にグルーピン
グを行い、クラスターを成長させる。クラスターにする
か否かの境界は、例えば、相関の有無に関する検定で危
険率５％程度の有為性を持つ特徴語対の条件の周知の簡
易検定法等を用いる。この結果は、細分化されたカテゴ
リ因子２０のデータを主成分内因子（データ）１６に格
納し、この主成分内因子１６に対応する（相関の強い）
特徴語を因子特徴語（データ）１５’として格納する。

【００２９】冗長度除去部７は、複数の主成分からなる
カテゴリ因子２０又はクラスタにおける重複する主成分
を除去する。具体的には、冗長度除去部７は、同一分類
カテゴリに対する主成分因子や主成分内因子の重複部分
を除去し、ほぼ独立なカテゴリ因子２０のみによりカテ
ゴリを分解する。そして、冗長度除去部７は、同一のカ
テゴリと相関の強い主成分内因子１６に対応する特徴語
群を、因子特徴語１５から読み出し、同一の単語を共有
するようなカテゴリ因子２０があるか否かを全ての特徴
語群について調べる。閾値をα％とし、共有する特徴語
がこの閾値を越えるようなカテゴリ因子２０の組が見つ
かれば、それを記録しどちらか一方をカテゴリ因子２０
から削除する。これにより、重複部分が除去される。閾
値αとしては、例えば８０％，９０％等の適当な実数値
（１以下）を用いる。抽出されたカテゴリ因子２０の組
の内どちらを削除するかは、同一カテゴリに関する全て
のカテゴリ因子２０の組について、特徴語１１の冗長性
を調べた後に、全体として捨て去られる特徴語１１の数
が少なくなるように選択する。

【００３０】なお、以下のようにして冗長性除去の処理
を行っても良い。即ち、カテゴリ因子２０の組に共通す
る特徴語（群）１１が見つかった場合には、それらの特
徴語１１をどちらかのカテゴリ因子２０の特徴語リスト
からまとめて外す。そして、１つのカテゴリ因子２０に
最終的に残った特徴語１１の数がβ個以下に減少したも
のについては、カテゴリ因子２０から外すようにしても
良い。

【００３１】出力部８は、主成分単位分解部５、主成分
内分解部６及び冗長度除去部７における処理の結果に基
づいて、カテゴリ因子２０又はクラスタ毎に、当該カテ
ゴリ因子２０又はクラスタを構成する主成分に対応する
特徴語を出力する。即ち、主成分単位分解部５によりカ
テゴリ因子２０が求まるが、主成分因子１４は座標軸で
あり、それのみでは意味が不明であるので、因子特徴語
１５が出力される。主成分内分解部６は主成分内因子１
６を出力する。冗長度除去部７は因子特徴語１５の冗長
部分の簡略化により求めた因子特徴語１５’を出力す
る。

【００３２】図３は、本発明の文書処理装置が実行する
情報カテゴリ因子分解処理フローである。

【００３３】入力部１がカテゴリに分類された文書を読
み込む（ステップＳ１）。

【００３４】単語出現頻度計数部２が、単語辞書９を用
いて、入力部１から読み込まれた文書について、形態素
解析を行い、この結果に基づいて単語の出現頻度を求
め、更に、これに基づいて単語の出現確率１０を求める
（ステップＳ２）。これは周知の処理である。

【００３５】特徴語抽出部３が、単語の出現確率１０に
基づいて、当該文書についての特徴語１１を抽出する
（ステップＳ３）。これは周知の処理である。

【００３６】主成分分析部４が、特徴語１１に基づいて
予め特徴語相関行列１２を求め、更に、特徴語１１及び
特徴語相関行列１２に基づいて主成分分析を行うことに
より主成分係数１３を求める（ステップＳ４）。これは
周知の処理である。

【００３７】主成分単位分解部５が、特徴語１１及び主
成分係数１３に基づいて、カテゴリ因子２０、即ち、主
成分因子１４及び因子特徴語１５を求める（ステップＳ
５）。これについては図４及び図５を参照して後述す
る。

【００３８】主成分内分解部６が、特徴語相関行列１２
及び因子特徴語１５に基づいて、特徴語相関による詳細
な分解を行うことにより、主成分内因子１６を求める
（ステップＳ６）。これについては図６乃至図９を参照
して後述する。

【００３９】冗長度除去部７が、因子特徴語１５及び主
成分内因子１６に基づいて、因子特徴語１５の冗長部分
の簡略化を行うことにより、因子特徴語１５’を求める
（ステップＳ７）。これについては図１０乃至図１３を
参照して後述する。

【００４０】次に、本発明のカテゴリ因子分解における
特徴的処理である主成分単位分解処理、主成分内分解処
理及び冗長度除去処理について、各々、フローチャート
を参照して詳細に説明するが、これに先立って、以下の
説明において用いる定数等について、ここでまとめて説
明する。 〔定数〕 Ndoc： 全文書数、 Nword ：全特徴語数(Nkeyword)、 Ncat： カテゴリ数、 Ncatw ：カテゴリ当たり上位特徴語数(NcutCatKw) 、 Npca： 主成分数、 Npcaw ：主成分当たり上位特徴語探索数(NcutPcaKw) 、 Ncatpca ：主成分因子数、 Ncommon ：２つの主成分相関因子に共通する特徴語数の
閾値、 μ１： 主成分得点寄与分の閾値パラメータ、 μ２： 共通部分離語の主成分得点寄与分の閾値パラメ
ータ、 〔変数、配列、繰り返し変数、変数定数〕 Ci： カテゴリ；Category(i＝1,・・，Ncat：カテゴ
リ) 、 Ww： 全特徴語数；(w＝1,・・，Nword ：特徴語識別
子) 、 WCil： カテゴリCi中の特徴語；Word of Category(i：
カテゴリ、l ＝1,・・，Ncatw ：特徴語) 、 PWiw： カテゴリCiにおける特徴語Wwの平均出現確率；
(i：カテゴリ、w ：特徴語識別子) 、 ｒab： 語Waと語Wbとの相関係数〔相関行列のa 行b 列
要素〕、 αjw： 主成分係数〔主成分係数行列のj 行w 列要
素〕、 PVih： 主成分得点；(i：カテゴリ、h ＝1,・・，Npc
a：第h 主成分) 、 PFij： 主成分因子；Principai components Factor
(i：カテゴリ、j ＝1,・・，Ncatpca ：主成分因子数)
、 WPijk ：主成分因子中の特徴語；Word of Principai co
mponents Factor(i：カテゴリ、j ：主成分因子、k ＝
1,・・，Kij ：特徴語) 、 RFip： 主成分相関因子；Principai components coRel
ation Factor(i：カテゴリ、p ＝1,・・，Pi：主成分相
関因子) Pi：カテゴリCiの主成分相関因子数、 WRipq ：主成分相関因子数中の特徴語；Word of Princi
pai componentscoRelation Factor(i：カテゴリ、p ：
主成分相関因子、q ＝1,・・，Qip ：特徴語) Qip ：カテゴリCiの主成分相関因子RFipの特徴語数、 SFis： 冗長性除去後の因子：Simplified Factor (s＝
1,・・，Si) 、 COR(c)：相関語群：CORelated word group(c＝1,・・，
Nc：相関語群) 有意な正の相関関数 (ｒab>rTHR[n]) による弱連結グラ
フ、 SINGLETON ：孤立した特徴語：singleton word、 SINGLETON(s)：(s＝1,・・，Ns：孤立した特徴語) 、 FCOR(f) ：相関語群∪孤立した特徴語(f＝1,・・，Nc,
Nc＋1,・・，Nc＋Ns) 、 TFict ：Temporary Factor(t＝1,・・，Tic)、 〔関数〕 rTHR[n] ：相関の有無の閾値;THReshold value for coR
elation approval test(n: データ数、自由度大の場合
は危険率約5%の境界) 、 Z[RFip] ：主成分相関因子RFip中の特徴語による主成分
得点の寄与分＝Σαjw・PWiw、 words[x]：因子x と相関のある特徴語群( 例えば、｛WP
ijk ｜k ＝1,・・，Kij ｝＝words[PFij])。

【００４１】図４及び図５は、主成分単位分解部５が実
行する主成分単位分解処理フローであり、合わせて１つ
の処理フローを示す。

【００４２】図４において、予め定められたカテゴリ数
をNcatに代入する（ステップＳ８)。

【００４３】パラメータｉに１を代入する（ステップＳ
９) 。

【００４４】特徴語１１と主成分係数１３とから、カテ
ゴリCiと相関の強い主成分を求め、特徴語を対応付ける
（ステップＳ１０）。この主成分が主成分因子１４であ
り、この特徴語が因子特徴語１５である。即ち、この処
理がカテゴリ因子２０を求める直接の処理であり、図５
を参照して後述する。

【００４５】ｉにｉ＋１を代入する（ステップＳ１
１）。

【００４６】ｉがNcatより大きいかを調べる（ステップ
Ｓ１２）。大きい場合処理を終了し、大きくない場合ス
テップＳ１０以下を繰り返す。これにより、全てのカテ
ゴリについて、主成分因子１４及び因子特徴語１５が求
まる。

【００４７】図５において、図４のステップＳ９に続い
て、主成分数をNpcaに代入し、主成分因子数をNcatpca
に代入し、カテゴリ当たり特徴語数をNpcaw に代入する
（ステップＳ１３）。これらの値は予め定められる。

【００４８】特徴語１１から当該カテゴリCiの特徴語WC
ilを読み込む（ステップＳ１４）。ここで、l （エル）
＝1,・・，Ncatw である。

【００４９】カテゴリCiの重心の主成分得点PVihを読み
込む（ステップＳ１５）。ここで、h ＝1,・・，Npcaで
ある。なお、カテゴリCi中の任意の文書の座標値（主成
分得点）は、元の座標系での当該文書の座標値と主成分
係数（行列）１３とにより求まる。従って、カテゴリCi
中の全文書の座標値の重心の座標がカテゴリCiの重心で
ある。この座標値が、（PVi1、PVi2、・・, PViNpca ）
である。これについては、前述の本願出願人の出願によ
る特開平１０−１１１８６９号公報に詳細に示されてい
る。カテゴリCiの重心の主成分得点PVihは主成分分析部
４により予め求められる。

【００５０】カテゴリCiの重心の主成分得点PVihの中の
上位Ncatpca 位までを求めて、これらを主成分因子PFij
とする（ステップＳ１６）。ここで、j ＝1,・・，Ncat
pcaである。これにより、情報量が多い順にNcatpca 個
の主成分因子PFijが得られる。即ち、Ncatpca 本の座標
軸（Ncatpca 次元）が得られる。主成分因子１４は座標
軸である。

【００５１】パラメータｊに１を代入する（ステップＳ
１７）。

【００５２】カテゴリCiの特徴語WCilの中で、主成分因
子PFijとの相関が上位Npcaw 位以内の特徴語WPijk を求
める（ステップＳ１８）。ここで、k ＝1,・・，Fij で
ある。なお、特徴語WCi1と主成分因子PFijとの相関は、
主成分分析の入力が相関行列１２の時、因子負荷量j1＝
ＳＱＲＴ（固有値j ）×固有ベクトルj1で求まる。同一
主成分に対して固有値は一定であるから、固有ベクトル
の成分値を比較すれば、相関の上位が求まる。更に、主
成分分析の入力が相関行列１２の時、固有ベクトルから
なる行列と主成分係数行列１３とは等しいから、主成分
分析の処理において得た主成分係数行列１３のデータを
用いて、相関の大小を比較する。

【００５３】ｊにｊ＋１を代入する（ステップＳ１
９）。

【００５４】ｊがNcatpca より大きいかを調べる（ステ
ップＳ２０）。大きくない場合ステップＳ１８以下を繰
り返す。

【００５５】大きい場合、カテゴリCi中の全ての主成分
因子PFij（主成分因子１４）及びこれに対応する特徴語
WPijk （因子特徴語１５）を出力し（ステップＳ２
１）、この後、図４のステップＳ１１に戻る。これによ
り、ステップＳ１６で定めた全ての主成分因子PFijにつ
いて、相関の上位Npcaw 個の因子特徴語１５が求められ
る。即ち、Ncatpca 本の座標軸毎に特徴的なNpcaw 個の
単語が抽出される。カテゴリ因子２０２０は、その実体
である特徴的な因子特徴語１５と、その分類（箱）であ
る情報量の多い座標軸である主成分因子１４とからな
る。

【００５６】図６乃至図９は、主成分内分解部６が実行
する主成分内分解処理フローであり、合わせて１つの処
理フローを示す。特に、図６及び図７は、主成分内分解
処理の内の相関語群の分割処理フローを示し、図８及び
図９は、主成分内分解処理の内の主成分因子の細分割処
理フローを示す。

【００５７】図６において、全特徴語数Nword を用いて
１≦ａ≦Nword と定義し、相関語群分割数Ncを用いて１
≦ｃ≦Ncと定義し、相関語群をCOR(c)と定義し、語Waと
語Wbとの相関係数をｒabとし、相関の有無の閾値rTHR
[n] を２／ＳＱＲＴ（ｎ＋２）と定義する（ステップＳ
２２）。

【００５８】全ての特徴語の集合をRESTに代入し、空集
合ΦをSINGLETON に代入し、Ncに０に代入する（ステッ
プＳ２３）。

【００５９】集合RESTの要素である語Waであるa が存在
するとし、RESTにREST−｛Wa｝を代入し、パラメータc
に１を代入し、CORRELATE に０を代入する（ステップＳ
２４）。

【００６０】c がNc以下かを調べる（ステップＳ２
５）。Nc以下でない場合、図７のステップＳ３１へ進
む。これにより、全特徴語数Nword が相関語群分割数Nc
にまで分割される。

【００６１】Nc以下である場合、特徴語Waと有意に正の
相関がある語がCOR(c)中に存在するかを調べる（ステッ
プＳ２６）。存在しない場合、ステップＳ３０へ進む。

【００６２】存在する場合、更に、CORRELATE が０かを
調べる（ステップＳ２７）。０でない場合、ステップＳ
２９へ進む。

【００６３】０である場合、COR(c)にCOR(c)∪｛Wa｝を
代入し、CORRELATE にc を代入する（ステップＳ２
８）。

【００６４】ステップＳ２７において、０でない場合、
COR(CORRELATE)にCOR(CORRELATE)∪COR(c)を代入し、CO
R(c)にCOR(Nc) を代入し、NcにNc−１を代入する（ステ
ップＳ２９）。

【００６５】c にc ＋１を代入し（ステップＳ３０）、
ステップＳ２５以下を繰り返す。

【００６６】図７において、TEMPにREST∩語Waと正の相
関が有意である語の集合（語Waを含まず）を代入する
（ステップＳ３１）。

【００６７】CORRELATE が０かを調べる（ステップＳ３
２）。

【００６８】０でない場合、COR(CORRELATE)にCOR(CORR
ELATE)∪TEMPを代入し、RESTにREST−TEMPを代入し（ス
テップＳ３３）、ステップＳ３７へ進む。

【００６９】０である場合、TEMPが空集合Φでないかを
調べる（ステップＳ３４）。

【００７０】Φでない場合、SINGLETON にSINGLETON ∪
｛Wa｝を代入し（ステップＳ３５）、ステップＳ３７へ
進む。

【００７１】Φである場合、NcにNc＋１を代入し、COR
(c)に｛Wa｝∪TEMPを代入し、RESTにREST−TEMPを代入
する（ステップＳ３６）。

【００７２】RESTが空集合Φであるかを調べる（ステッ
プＳ３７）。Φでない場合図６に戻ってステップＳ２４
以下を繰り返し、Φである場合図８のステップＳ３８に
進む。これにより、全ての特徴語の集合RESTが空集合Φ
になるまで、相関が有意である語の集合への分割が行わ
れる。

【００７３】図８において、パラメータｉに１を代入す
る（ステップＳ３８）。

【００７４】パラメータｊに１を代入する（ステップＳ
３９）。

【００７５】主成分因子PFijを、特徴語の相関語群で分
割する（ステップＳ４０）。この処理については図９を
参照して後述する。

【００７６】ｊにｊ＋１を代入する（ステップＳ４
１）。

【００７７】ｊが主成分因子数Ncatpca より大きいかを
調べる（ステップＳ４２）。大きくない場合、ステップ
Ｓ４０以下を繰り返す。

【００７８】大きい場合、ｉにｉ＋１を代入する（ステ
ップＳ４３）。

【００７９】ｉがカテゴリ数Ncatより大きいかを調べる
（ステップＳ４４）。大きくない場合、ステップＳ３９
以下を繰り返す。

【００８０】大きい場合、主成分相関因子RFipを出力し
て（ステップＳ４５）、処理を終了する。これにより、
全てのカテゴリの全ての主成分因子について、相関語群
による分割が行われる。

【００８１】図９において、図８のステップＳ３９に続
いて、主成分相関因子の仕分け用にFCOR(f) を定義し、
SINGLETON の数Nsを用いて、１≦f ≦Nc＋Nsと定義する
（ステップＳ４６）。

【００８２】全てのf に対してFCOR(f) に空集合Φを代
入し、k に１を代入する（ステップＳ４７）。

【００８３】パラメータc に１を代入する（ステップＳ
４８）。

【００８４】WPijk がCOR(c)の要素であるかを調べる
（ステップＳ４９）。

【００８５】要素である場合、FCOR(c) にFCOR(c) ∪
｛WPijk ｝を代入し（ステップＳ５０）、ステップＳ５
８に進む。

【００８６】要素でない場合、c にc ＋１を代入する
（ステップＳ５１）。

【００８７】c がNsより大きいかを調べる（ステップＳ
５２）。大きくない場合、ステップＳ４９以下を繰り返
す。

【００８８】大きい場合、パラメータs に１を代入する
（ステップＳ５３）。

【００８９】WPijk がSINGLETON(s)に等しいかを調べる
（ステップＳ５４）。

【００９０】等しい場合、FCOR (Nc＋s)に｛WPijk ｝を
代入し（ステップＳ５５）、ステップＳ５８に進む。

【００９１】等しくない場合、s にs ＋１を代入する
（ステップＳ５６）。

【００９２】s がNsより大きいかを調べる（ステップＳ
５７）。大きくない場合、ステップＳ５４以下を繰り返
す。

【００９３】大きい場合、k にk ＋１を代入する（ステ
ップＳ５８）。

【００９４】k がKij より大きいかを調べる（ステップ
Ｓ５９）。大きくない場合、ステップＳ４８以下を繰り
返す。

【００９５】大きい場合、Piに空でないFCOR(f) の個数
を代入し（ステップＳ６０）、図８のステップＳ４１に
戻る。ここで、P はP ＝1,・・，Piであり、全てのP に
対してFCOR(fp)がPFipに代入される。

【００９６】図１０乃至図１４は、冗長性除去部７が実
行する冗長性除去処理フローであり、合わせて１つの処
理フローを示す。

【００９７】図１０において、パラメータｉに１を代入
する（ステップＳ６１）。

【００９８】パラメータｐに１を代入する（ステップＳ
６２）。

【００９９】主成分相関因子RFipの主成分得点寄与分を
計算する（ステップＳ６３）。この処理については図１
４を参照して後述する。

【０１００】ｐにｐ＋１を代入する（ステップＳ６
４）。

【０１０１】ｐがｐi より大きいかを調べる（ステップ
Ｓ６５）。大きくない場合、ステップＳ６３以下を繰り
返す。これにより、全ての主成分相関因子PFipについ
て、主成分得点寄与分Z[RFip] が求まる。

【０１０２】大きい場合、図１１において、Zmaxにｐに
ついての max｛Z[RFip] ｝を代入する（ステップＳ６
６）。

【０１０３】RESTに｛x ｜x ∈｛RFip｝,Z[x] ≧μ１・
Zmax｝を代入する（ステップＳ６７）。

【０１０４】RESTS に｛RFip｜RFip∈REST,words[RFip]
⊂SINGLETON ｝を代入し、RESTにREST−RESTS を代入す
る（ステップＳ６８）。

【０１０５】UNUSEDに｛RFip｜∀RFip, ∀RFip' ∈RES
T, ｛WRipq ｝⊃｛WRipq'｝｝を代入し、RESTにREST−U
NUSEDを代入する（ステップＳ６９）。

【０１０６】次に、図１２において、パラメータｓに０
を代入する（ステップＳ７０）。

【０１０７】パラメータｃに１を代入する（ステップＳ
７１）。

【０１０８】RESTC(c)に｛RFip｜RFip∈REST,words[RFi
p]⊂COR(c)｝を代入し、Tic にRESTC(c)の要素数（≧
０）を代入する（ステップＳ７２）。

【０１０９】RESTC(c)の各要素TFict を主成分得点寄与
分の順にソートする、即ち、t<t'ならZ[TFict]≧[TFic
t']とする（ステップＳ７３）。

【０１１０】Tic が０より大きいかを調べる（ステップ
Ｓ７４）。大きくない場合、ステップＳ８１に進む。

【０１１１】大きい場合、Tic が１に等しいかを調べる
（ステップＳ７５）。

【０１１２】等しい場合、ｓにｓ＋１を代入し、words
[SFis] にwords[TFic1]を代入し（ステップＳ７６）、
ステップＳ８１に進む。

【０１１３】等しくない場合、パラメータｍに０を代入
し、パラメータｔに１を代入し、COMMONに空集合Φを代
入する（ステップＳ７７）。

【０１１４】words[TFict]が空集合Φに等しくないかを
調べる（ステップＳ７８）。等しくない場合、直ちに次
のステップＳ７９に進む。等しい場合、図１３のステッ
プＳ８３に進む。

【０１１５】ｔにｔ＋１を代入を代入する（ステップＳ
７９）。

【０１１６】ｔがTic −１より大きいかを調べる（ステ
ップＳ８０）。大きくない場合、ステップＳ７８以下を
繰り返す。

【０１１７】大きい場合、ｃにｃ＋１を代入する（ステ
ップＳ８１）。

【０１１８】ｃがNcより大きいかを調べる（ステップＳ
８２）。大きくない場合、ステップＳ７２以下を繰り返
す。大きい場合、図１０のステップＳ９６に進む。

【０１１９】ステップＳ７８から図１３に進んだ場合、
パラメータｕにｔ＋１を代入する（ステップＳ８３）。

【０１２０】words[TFicu]にwords[TFicu]−COMMONを代
入する（ステップＳ８４）。

【０１２１】words[TFicu]が空集合Φに等しくないかを
調べる（ステップＳ８５）。等しくない場合、ステップ
Ｓ９３に進む。

【０１２２】等しい場合、words[TFict]∩words[TFicu]
の要素数がNcommon 以上かを調べる（ステップＳ８
６）。Ncommon 以上でない場合、ステップＳ９３に進
む。

【０１２３】Ncommon 以上である場合、ｓにｓ＋１を代
入する（ステップＳ８７）。

【０１２４】words[SFis] にwords[TFict]∩words[TFic
u]を代入し、words[TFict]にwords[TFict]−words[TFic
u]を代入し、words[TFicu]にwords[TFicu]−words[TFic
t]を代入し、COMMONにCOMMON∪words[SFis] を代入する
（ステップＳ８８）。

【０１２５】Z[words[TFicu]] がμ2 ・Zmaxより小さい
かを調べる（ステップＳ８９）。小さくない場合、ステ
ップＳ９１に進む。

【０１２６】小さい場合、words[TFicu]に空集合Φを代
入する（ステップＳ９０）。

【０１２７】Z[words[TFict]] がμ2 ・Zmaxより小さい
かを調べる（ステップＳ９１）。小さくない場合、ステ
ップＳ９３に進む。

【０１２８】小さい場合、words[TFict]に空集合Φを代
入し（ステップＳ９２）、図１２のステップＳ７９以下
を繰り返す。

【０１２９】ｕにｕ＋１を代入する（ステップＳ９
３）。

【０１３０】ｕがTic より大きいかを調べる（ステップ
Ｓ９４）。大きくない場合、ステップＳ８４以下を繰り
返す。

【０１３１】大きい場合、ｓにｓ＋１を代入し、words
[SFis] にwords[TFict]を代入し（ステップＳ９５）、
図１２のステップＳ７９以下を繰り返す。

【０１３２】図１０に戻って、図１２のステップＳ８２
に続いて、ｉにｉ＋１を代入する（ステップＳ９６）。

【０１３３】ｉがNcatより大きいかを調べる（ステップ
Ｓ９７）。大きくない場合、ステップＳ６２以下を繰り
返す。

【０１３４】大きい場合、冗長性除去済因子SFisを出力
して（ステップＳ９８）、処理を終了する。これによ
り、全てのカテゴリについて、冗長性除去済因子SFisが
求まる。

【０１３５】図１４は、図１０のステップＳ６３におけ
る処理の詳細を示す。

【０１３６】WRipq を主成分相関因子数RFip中の特徴語
とする（ステップＳ９９）。ここで、１≦ｐ≦Pi、１≦
ｑ≦Qip である。

【０１３７】ｊに主成分相関因子数RFipに対応する主成
分因子の番号を代入する（ステップＳ１００）。

【０１３８】パラメータｑに１を代入する（ステップＳ
１０１）。

【０１３９】ｗにRFip中の特徴語WRipq に対応する特徴
語の識別子を代入する（ステップＳ１０２）。

【０１４０】主成分係数αjwを主成分係数１３から読み
込み、カテゴリCiにおける特徴語Wwの平均出現確率PWiw
を単語出現確率１０から算出する（ステップＳ１０
３）。

【０１４１】ｑにｑ＋１を代入する（ステップＳ１０
４）。

【０１４２】ｑがQip より大きいかを調べる（ステップ
Ｓ１０５）。大きくない場合、ステップＳ１０２以下を
繰り返す。これにより、カテゴリCiにおける特徴語Wwの
全てについて、主成分係数αjwと平均出現確率PWiwとが
用意される。

【０１４３】大きい場合、演算によりΣαjw・PWiwを算
出し、これをRFipの主成分得点寄与分Z[RFip] に代入す
る（ステップＳ１０６）。但し、ΣはWw＝WRipq, q＝1,
・・，Qip なるw に関する。これにより、１個のRFipの
主成分得点寄与分Z[RFip] が求まる。

【０１４４】図１５は、本発明による情報カテゴリ因子
分解の例を示す図である。一般に公開されている文書の
一例として特許公報を用いて、本発明によるカテゴリの
因子分解を行った。特許公報としては、カテゴリＧ０８
Ｇ（交通制御システム）の分類が予め付与されている
（カテゴリに分類されている）特許公開公報の中から、
約８００件の特許公開公報を任意に抽出して用いた。

【０１４５】この約８００件の特許公開公報についての
本発明による情報カテゴリ因子分解の結果は、以下の通
りである。（近年の）カテゴリＧ０８Ｇ（交通制御シス
テム）は２つの下位のカテゴリ因子２０、即ち、「障害
物回避を行う自動走行制御システム等」と「カーナビゲ
ーションシステム等」とに分解できる。更に、各カテゴ
リ因子２０内において、「車」「障害物」「ＧＰＳ」
「ナビゲーション」等の因子特徴語が抽出できる。な
お、カテゴリ因子２０の名前は自動的には与えられない
ので、因子特徴語１５’から、例えばオペレータにより
類推され命名される。これらの因子特徴語１５’は、例
えば検索時の絞り込みに使う検索式のキーワード候補と
して利用することができる。

【０１４６】

【発明の効果】以上説明したように、本発明によれば、
文書処理装置において、特徴語の出現傾向を表す座標系
に基づいて主成分の各々に対応する特徴語の群を求め、
当該特徴語の群と主成分の各々との相関の強さを求める
ことにより、特徴語の群の多い主成分を選択してなる主
成分因子と、主成分因子との相関が高い特徴語を選択し
てなる因子特徴語とからなるカテゴリ因子を自動的に自
動的に抽出することができるので、文字列レベルの文書
処理技術と理想とされる意味レベルの文書処理技術との
中間に位置するカテゴリ因子による文書処理が可能とな
り、検索結果の適合率や文書の分類精度をある程度満足
できる水準に保つことが可能な情報検索や文書分類を行
うことができる。また、複数の文書に共通する情報要素
としてのカテゴリ因子を統合的な情報利用のために採用
することができ、情報分類の自動下位分類、上位カテゴ
リ間の共通するカテゴリ因子（最大公約数的因子）の同
定、各カテゴリ因子に固有の特徴語の抽出が可能とな
り、情報の知識化に寄与することができる。

【図面の簡単な説明】

【図１】本発明の原理構成図である。

【図２】文書処理装置構成図である。

【図３】情報カテゴリ因子分解処理フローである。

【図４】主成分単位分解処理フローである。

【図５】主成分単位分解処理フローである。

【図６】主成分内分解処理フローである。

【図７】主成分内分解処理フローである。

【図８】主成分内分解処理フローである。

【図９】主成分内分解処理フローである。

【図１０】冗長性除去処理フローである。

【図１１】冗長性除去処理フローである。

【図１２】冗長性除去処理フローである。

【図１３】冗長性除去処理フローである。

【図１４】冗長性除去処理フローである。

【図１５】情報カテゴリ因子分解の例を示す図である。

【符号の説明】

１ 入力部 ２ 単語出現頻度計数部 ３ 特徴語抽出部 ４ 主成分分析部 ５ 主成分単位分解部 ６ 主成分内分解部 ７ 冗長度除去部

Claims (4)

【特許請求の範囲】
1. 【請求項１】 カテゴリ毎に抽出された特徴語とこれに
   基づいて求められた特徴語相関行列とを用いた当該カテ
   ゴリの主成分分析により抽出された主成分係数と、前記
   特徴語とを用いて、特徴語の出現傾向を表す座標系に基
   づいて主成分の各々に対応する特徴語の群を求め、当該
   特徴語の群と主成分の各々との相関の強さを用いて、特
   徴語の群の多い主成分を選択してなる主成分因子と、主
   成分因子との相関が高い特徴語を選択してなる因子特徴
   語とからなるカテゴリ因子を、当該カテゴリから抽出す
   る主成分単位分解部を備えることを特徴とする文書処理
   装置。
2. 【請求項２】 前記文書処理装置が、更に、前記主成分
   単位分解部により分解された複数の主成分からなるカテ
   ゴリ因子について、当該複数の主成分の各々とこれらに
   対応する特徴語の群との相関の強さを用いて、当該カテ
   ゴリ因子を１又は複数の主成分からなるクラスタに分解
   する主成分内分解部を備えることを特徴とする請求項１
   に記載の文書処理装置。
3. 【請求項３】 前記文書処理装置が、更に、 カテゴリ毎に入力された文書の単語毎の出現確率を算出
   する単語出現頻度計数部と、 前記単語出現頻度計数部により算出された単語毎の出現
   確率に基づいて、カテゴリ毎に特徴的に出現する単語を
   特徴語として抽出する特徴語抽出部と、 前記特徴語抽出部により抽出された特徴語を用いて当該
   カテゴリの主成分分析を行い主成分を抽出し、主成分係
   数を算出する主成分分析部とを備えることを特徴とする
   請求項１又は請求項２のいずれかに記載の文書処理装
   置。
4. 【請求項４】 カテゴリ毎に入力された文書の単語毎の
   出現確率を算出する単語出現頻度計数処理と、 算出された単語毎の出現確率に基づいて、カテゴリ毎に
   特徴的に出現する単語を特徴語として抽出する特徴語抽
   出処理と、 抽出された特徴語を用いて当該カテゴリの主成分分析を
   行い主成分を抽出し、主成分係数を算出する主成分分析
   処理と、 カテゴリ毎に抽出された特徴語とこれに基づいて求めら
   れた特徴語相関行列とを用いた当該カテゴリの主成分分
   析により抽出された主成分係数と、前記特徴語とを用い
   て、特徴語の出現傾向を表す座標系に基づいて主成分の
   各々に対応する特徴語の群を求め、当該特徴語の群と主
   成分の各々との相関の強さを用いて、特徴語の群の多い
   主成分を選択してなる主成分因子と、主成分因子との相
   関が高い特徴語を選択してなる因子特徴語とからなるカ
   テゴリ因子を、当該カテゴリから抽出する主成分単位分
   解処理と、 抽出されたカテゴリ因子について、当該複数の主成分の
   各々とこれらに対応する特徴語の群との相関の強さを用
   いて、当該カテゴリ因子を１又は複数の主成分からなる
   クラスタに分解する主成分内分解処理と、 複数の主成分からなるカテゴリ因子又はクラスタにおけ
   る重複する主成分を除去する冗長性除去処理とを、 コンピュータである文書処理装置に実行させるプログラ
   ムを記憶することを特徴とするプログラム記憶媒体。