JP2004348523A - 文書フィルタリングシステムとプログラム - Google Patents
文書フィルタリングシステムとプログラム Download PDFInfo
- Publication number
- JP2004348523A JP2004348523A JP2003145930A JP2003145930A JP2004348523A JP 2004348523 A JP2004348523 A JP 2004348523A JP 2003145930 A JP2003145930 A JP 2003145930A JP 2003145930 A JP2003145930 A JP 2003145930A JP 2004348523 A JP2004348523 A JP 2004348523A
- Authority
- JP
- Japan
- Prior art keywords
- keyword vector
- document
- similarity
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】不要メールと必要メールとの判別等、文書の選別を高精度に行うことを可能とする。
【解決手段】メールフィルタリング装置１では、入力されたメール文書の選別を行う際、形態素解析部１ｂにより、入力されたメール文書を形態素解析してキーワードの集合にし、キーワードベクトル生成部１ｃにより、このキーワードの集合から当該メール文書の特徴を表す入力キーワードベクトルＳを生成し、キーワードベクトル類似度算出部１ｄにより、予めキーワードベクトル生成装置５で生成され辞書として記憶装置に記憶された参照用のキーワードベクトルＢを読み出し、この参照キーワードベクトルＢと入力キーワードベクトルＳとの類似度ｐ１を算出し、判別部１ｅにより、この類似度ｐ１に基づき当該メール文書を不要か必要かを判定条件１３を参照して判定して選別する。
【選択図】 図１
【解決手段】メールフィルタリング装置１では、入力されたメール文書の選別を行う際、形態素解析部１ｂにより、入力されたメール文書を形態素解析してキーワードの集合にし、キーワードベクトル生成部１ｃにより、このキーワードの集合から当該メール文書の特徴を表す入力キーワードベクトルＳを生成し、キーワードベクトル類似度算出部１ｄにより、予めキーワードベクトル生成装置５で生成され辞書として記憶装置に記憶された参照用のキーワードベクトルＢを読み出し、この参照キーワードベクトルＢと入力キーワードベクトルＳとの類似度ｐ１を算出し、判別部１ｅにより、この類似度ｐ１に基づき当該メール文書を不要か必要かを判定条件１３を参照して判定して選別する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、インターネットから受信した電子メールが不要メールか必要メールか等、文書の選別を行う技術に係わり、特に、高精度な選別を行うのに好適な文書フィルタリング技術に関するものである。
【０００２】
【従来の技術】
近年、インターネット等のネットワークにおける電子メールの普及とブロードバンド化に伴い、受信者が不要と感じる迷惑メールや広告メールが無差別に送られてくることが多くなっている。
【０００３】
このような不要メールは、電子メールの送信者のアドレスや件名、本文に指定した文字列を含む・含まないといった条件を指定することで、メールソフトやプロバイダのメールサーバにて、メール受信時に不要メールと必要メールを判別し、不要メールを自動で削除したり、分別するといった処理が行われている。
【０００４】
しかし、これらの技術では、予め不要メールと考えられるメールアドレスや、受信条件を指定していても、その指定した条件に当てはまらない不要メールは処理されない問題点がある。
【０００５】
また、特許文献１に記載の「通信サービスにおけるユーザフィルタリングシステム及び方法」では、受信したメールが不要メールであると、ネットワーク上の発信者評価パラメータ記憶装置に発信者の評価ポイントを下げて登録する。
【０００６】
そして、別途、メール受信時に、このメールの発信者のアドレスをキーにして、ネットワーク上の発信者評価パラメータ記憶装置の発信者の評価ポイントを検索し、メールの発信者のアドレスの評価ポイントが下げられて登録されている場合は、不要メールであると判別して、受信しないなどの処理を行っている。
【０００７】
しかし、この技術では、送信者が毎回異なる架空のアドレスを用いている場合は、送信者のアドレスで判別できないという問題が発生する。
【０００８】
また、特許文献２に記載の「文書分類装置」では、文書データの解析を行い、特徴ベクトルを自動的に抽出して、類似した文書を自動的に分類することを行っており、メール受信時に前記装置を用いることで、メールの自動分類は可能となる。
【０００９】
しかし、この技術では、類似した特徴をもった文章が分類されるだけで、その分類が不要メールであるかは人間が判断をしなければいけない。また、必要メールと似た単語を用いて記述されたメールは、誤分類される可能性が大きいといった問題点がある。
【００１０】
【特許文献１】
特開２００３−１８３２４号公報
【特許文献２】
特許第２９７８０４４号
【００１１】
【発明が解決しようとする課題】
解決しようとする問題点は、従来の技術では、例えば電子メールに関して、不要メールを判別するために、メールの送信者のアドレスや件名、本文に指定した文字列を含む／含まないといった条件を指定することで、不要メールと必要メールを判別していたが、未知の不要メールは上記条件指定で判別できない場合があるとの間題点と、他者の評価ポイント情報によって不要メールの送信者を判別できるようになっても、送信者を偽ることで不要メールが判別できないという問題点と、メール本文の特徴ベクトルで分類する場合、必要メールと似た単語を用いて記述がされたメールは、誤分類される可能性が大きいという問題点である。
【００１２】
本発明の目的は、これら従来技術の課題を解決し、不要メールと必要メールとの判別等、文書の選別を高精度に行うことを可能とすることである。
【００１３】
【課題を解決するための手段】
上記目的を達成するため、本発明は、電子メールを例とすると、受信メールから生成したキーワードベクトルＳと、例えば予め不要メールの文面を形態素解析をして重み付けして生成したキーワードベクトルＢとの類似度や、必要メールの文面を形態素解析をして重み付けして生成したキーワードベクトルＷとの類似度を用いて不要メールか必要メールかを判別することで、不要メールの文面が未知であっても、キーワードベクトルの類似度によって不要メールか否かを判別することを特徴とする。詳細には、▲１▼電子メールを受信して当該メールが不要メールか否かを判別するメールフィルタリング装置において、予めキーワードベクトルＢが記憶されているキーワードベクトル辞書Ｂをネットワーク上もしくはローカルに具備し、電子メールを受信する受信部と、受信メールの文面を形態素解析し、キーワードの集合にする形態素解析部と、形態素解析後のキーワード集合からキーワードベクトルＳを生成するキーワードベクトル生成部と、生成したキーワードベクトルＳと、キーワードベクトル辞書から取得したキーワードベクトルＢとで内積や余弦等の類似度を算出する演算を行い、類似度ｐ１を算出するキーワードベクトル類似度算出部と、必要メール、不要メールを判別する為の類似度の大きさの条件を記述した判別条件を参照し、類似度ｐ１の大きさによって、必要メール、不要メールかを判別する判別部と、判別部において不要メールであると判別された場合、当該メールを削除するなどのしかるべき処理を行う不要メール処理部と、判別部において必要メールであると判別された場合、当該メールをメールソフトで受信するなどのしかるべき処理を行う必要メール処理部とを具備する。▲２▼または、電子メールを受信して当該メールが不要メールか否かを判別するメールフィルタリング装置において、予めキーワードベクトルＢが記憶されているキーワードベクトル辞書、および、予めキーワードベクトルＷが記憶されているキーワードベクトル辞書をネットワーク上もしくはローカルに具備し、電子メールを受信する受信部と、メールの文面を形態素解析し、キーワードの集合にする形態素解析部と、形態素解析後のキーワード集合からキーワードベクトルＳを生成するキーワードベクトル生成部と、生成したキーワードベクトルＳと、キーワードベクトル辞書Ｂから取得したキーワードベクトルＢとで内積や余弦等の類似度を算出する演算を行い、類似度ｐ１を算出するキーワードベクトル類似度算出部と、生成したキーワードベクトルＳと、キーワードベクトル辞書Ｗから取得したキーワードベクトルＷとで内積や余弦等の類似度を算出する演算を行い、類似度ｐ２を算出するキーワードベクトル類似度算出部と、必要メール、不要メールを判別する為の類似度の大きさの条件を記述した判別条件を参照し、類似度ｐ１とｐ２の大きさによって、必要メール、不要メールかを判別する判別部と、判別部において不要メールであると判別された場合、当該メールを削除するなどのしかるべき処理を行う不要メール処理部と、判別部において必要メールであると判別された場合、当該メールをメールソフトで受信するなどのしかるべき処理を行う必要メール処理部とを具備する。▲３▼また、▲１▼のメールフィルタリング装置であって、キーワードベクトル生成部の次段において、キーワードベクトルＳとキーワードベクトル辞書Ｗから取得したキーワードベクトルＷとで積集合演算（Ｓ∩Ｗ）を行い、キーワードベクトルＳからキーワードベクトル（Ｓ∩Ｗ）を除いたキーワードベクトルＳｂ（＝Ｓ−（Ｓ∩Ｗ））を生成するキーワードベクトルフィルタリング部を具備し、生成したキーワードベクトルＳｂと、キーワードベクトル辞書Ｂから取得したキーワードベクトルＢとで内積や余弦等の類似度を算出する演算を行い、類似度ｐ１を算出するキーワードベクトル類似度算出部と、生成した類似度ｐ１を判別部への入力として処理を継続する。▲４▼また、▲２▼のメールフィルタリング装置であって、キーワードベクトル生成部の次段において、キーワードベクトルＳとキーワードベクトル辞書Ｗから取得したキーワードベクトルＷとで積集合演算（Ｓ∩Ｗ）を行い、キーワードベクトルＳからキーワードベクトル（Ｓ∩Ｗ）を除いたキーワードベクトルＳｂ（＝Ｓ−（Ｓ∩Ｗ））を生成するキーワードベクトルフィルタリング部を具備し、キーワードベクトル生成部の次段において、キーワードベクトルＳとキーワードベクトル辞書Ｂから取得したキーワードベクトルＢとで積集合演算（Ｓ∩Ｂ）を行い、キーワードベクトルＳからキーワードベクトル（Ｓ∩Ｂ）を除いたキーワードベクトルＳｗ（＝Ｓ−（Ｓ∩Ｂ））を生成するキーワードベクトルフィルタリング部を具備し、生成したキーワードベクトルＳｂと、キーワードベクトル辞書Ｂから取得したキーワードベクトルＢとで内積や余弦等の類似度を算出する演算を行い、類似度ｐ１を算出するキーワードベクトル類似度算出部と、生成したキーワードベクトルＳｗと、キーワードベクトル辞書Ｗから取得したキーワードベクトルＷとで内積や余弦等の類似度を算出する演算を行い、類似度ｐ２を算出するキーワードベクトル類似度算出部と、生成した類似度ｐ１、ｐ２を判別部への入力として処理を継続する。▲５▼また、▲１▼〜▲４▼におけるメールフィルタリング装置であって、必要メール、不要メールを判別する為の類似度の大きさの条件を記述した判別条件を参照し、類似度ｐ１（とｐ２）の大きさによって、必要メール、不要メール、それ以外の３つに判別する判別部と、「それ以外」と判別された場合、演算部。算出部の処理を継続して処理を繰り返し、最終段階では、必要メール、不要メールを判別する為の類似度の大きさの条件を記述した判別条件を参照し、類似度ｐ１（とｐ２）の大きさによって、必要メール、不要メールのいずれか２つに判別する判別部と、判別部において不要メールであると判別された場合、当該メールを削除するなどのしかるべき処理を行う不要メール処理部と、判別部において必要メールであると判別された場合、当該メールをメールソフトで受信するなどのしかるべき処理を行う必要メール処理部とを具備する。尚、▲５▼では、演算部。算出部の処理を多段構成で用いるが、各演算部。算出部で用いる、キーワードベクトルＢ、キーワードベクトルＷは、各段によって、置き換えても良い。また、キーワードベクトルＢを複数用いる場合であっても、内容が同一のキーワードベクトルＢであっても、それぞれ内容が異なるキーワードベクトルＢであっても良い。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態を、図面により詳細に説明する。
【００１５】
図１は、本発明に係わる文書フィルタリングシステムの第１の構成例を示すブロック図であり、図２は、図１における文書フィルタリングシステムを用いたメール配信サービスシステムの構成例を示すブロック図である。
【００１６】
図２において、１は本発明の文書フィルタリングシステムとしてのメールフィルタリング装置、２はメールサーバ装置（図中「メールサーバ」と記載）、３はメールクライアント装置（図中「メールクライアント」と記載）、４はメールクライアント装置の利用者、５は本発明に係わるキーワードベクトル辞書を生成するキーワードベクトル生成装置、６ａ〜６ｄはインターネットやイントラネット等からなるＩＰネットワークであり、本例では、選別対象の文書として電子メールを例に説明する。
【００１７】
メールフィルタリング装置１、メールサーバ装置２、メールクライアント装置３、キーワードベクトル生成装置５のそれぞれは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や主メモリ、表示装置、入力装置、外部記憶装置からなるコンピュータ構成からなり、光ディスク駆動装置等を介してＣＤ−ＲＯＭ等の記憶媒体に記録されたプログラムやデータを外部記憶装置内にインストールした後、この外部記憶装置から主メモリに読み込みＣＰＵで処理することにより、各処理機能を実行する。
【００１８】
メールフィルタリング装置１は、メールサーバ装置２や図示していないメール記憶ディスク等からメールを受信する。また、メールフィルタリング装置１は、キーワードベクトル生成装置５からキーワードベクトルを取得し、不要メールであるか必要メールであるかを判別し、不要メールであると判断した場合、メールサーバ装置２からの当該メールを削除したり、当該メールの内容を書き換えたり、メールクライアント装置３に渡さない、等の処理を行う。
【００１９】
また、必要メールであると判断した場合、メールサーバ装置２からの当該メールを削除せず、当該メールをメールクライアント装置３に渡す等の処理を実施する。
【００２０】
尚、本例では、キーワードベクトル生成装置５は、メールクライアント装置３からメールを受信し、この受信メールを用いてキーワードベクトルを生成して、キーワードベクトル辞書に格納し、メールフィルタリング装置１に提供する。
【００２１】
尚、このキーワードベクトル生成装置５は、複数あってもよく、例えば、不要なメールのキーワードベクトルを生成してキーワードベクトル辞書に格納するよう特化するために「不要メール」のみを受け付けるキーワードベクトル生成装置であったり、必要なメールのキーワードベクトルを生成してキーワードベクトル辞書に格納するよう特化するために「必要メール」のみを受け付けるキーワードベクトル生成装置であったり、プライベートに必要なメールのキーワードベクトルを生成してキーワードベクトル辞書に格納するよう特化するために「プライベートな必要メール」のみを受け付けるキーワードベクトル生成装置であったり、プライベートに不要なメールのキーワードベクトルを生成してキーワードベクトル辞書に格納するよう特化するために「プライベートな不要メール」のみを受け付けるキーワードベクトル生成装置であっても良い。
【００２２】
あるいは、キーワードベクトル生成装置５は１つとし、１つのキーワードベクトル生成装置５で、上述の「不要メール」、「必要メール」、「プライベートな必要メール」、「プライベートな不要メール」を基に、各キーワードベクトルを生成して個別のキーワードベクトル辞書に分けて格納する構成としても良い。
【００２３】
また、キーワードベクトル生成装置５にむけて送信されるメールは、メールフィルタリング装置１を経由して取得したメールであっても、通常のメールであっても良い。
【００２４】
以下、図１に示すメールフィルタリング装置の詳細を説明する。
【００２５】
図１に示すようにメールフィルタリング装置１は、コンピュータのプログラムに基づく実行機能として処理を行う受信部１ａ、形態素解析部１ｂ、キーワードベクトル生成部１ｃ、キーワードベクトル類似度算出部１ｄ、判定部１ｅ、必要メール処理部１ｆ、不要メール処理部１ｇを具備する。
【００２６】
本例では、受信部１ａ、形態素解析部１ｂ、キーワードベクトル生成部１ｃからなる機能ブロックをキーワードベクトル生成ブロック１０、キーワードベクトル類似度算出部１ｄからなる機能ブロックを演算処理ブロック１１とする。
【００２７】
このような構成において、メールフィルタリング装置１は、その受信部１ａにおいて、メール１２を受信し、受信したメールに対して、形態素解析部１ｂによって、キーワードの集合に分ける。この際、形態素解析部１ｂでは、例えば「茶せん」（ｈｔｔｐ：／／ｃｈａｓｅｎ．ａｓｉｔ−ｎａｒａ．ａｃ．ｊｐ／で入手可能）といった形態素解析ツールを用いることができる。
【００２８】
キーワードベクトル生成部１ｃにおいては、形態素解析部１ｂで生成されたキーワード集合から、それに重みを付与したキーワードベクトルＳを生成する。尚、この重みの付与については、キーワード集合の同一のキーワードの出現回数の値で重みを付与したり、出現の有無で「０」または「１」を付与したり、出現回数に変換式をかけた値であっても良い。
【００２９】
例えば、「Ｆｒｏｍ ｏｋａｋｋｏ＠ｊｐ こんにちわ お元気ですか？ 今日はもう退社ですか？」とのメールを形態素解析した場合、「Ｆｒｏｍ／ｏｋａｋｋｏ／＠／ｊｐ／こんにちわ／お／元気／です／か／？／今日／は／もう／退社／です／か／？」と１７個のキーワードに分割され、これらを出現の有無で「０」または「１」の重みを付与して同じキーワードが出現した場合は重複しないようにして、キーワードベクトルを生成した場合、下記のようになる。
【００３０】
（キーワード） （重み）
Ｆｒｏｍ 「１」
ｏｋａｋｋｏ 「１」
＠ 「１」
ｊｐ 「１」
こんにちわ 「１」
お 「１」
元気 「１」
です 「１」
か 「１」
？ 「１」
今日 「１」
は 「１」
もう 「１」
退社 「１」
【００３１】
このように、１４のキーワード要素からなるキーワードベクトルＳが生成される。尚、この分割結果例は、形態素解析ツールの種別によって異なる。
【００３２】
キーワードベクトル類似度算出部１ｄにおいては、図２のキーワードベクトル生成装置５から提供されるキーワードベクトル辞書ＢからキーワードベクトルＢを取得し、このキーワードベクトルＢと、キーワードベクトル生成部１ｃで生成したキーワードベクトルＳとの類似度の算出演算を行う。
【００３３】
例えば、不要メールを元にして生成されたキーワードベクトルＢは下記の通りとする。
【００３４】
（キーワード） （重み）
Ｆｒｏｍ 「１」
Ｓｐａｍ 「１」
＠ 「１」
ｊｐ 「１」
ｎｅｔ 「１」
未 「１」
承諾 「１」
販売 「１」
限定 「１」
アダルト 「１」
激安 「１」
必見 「１」
お 「１」
は 「１」
！ 「１」
【００３５】
この場合、キーワードベクトルＳとキーワードベクトルＢとの類似度をキーワードベクトル同士の内積で算出し、形態素解析で分割されたキーワード数で正規化した場合、以下のように類似度ｐ１が得られる。
【００３６】
ｐ１＝｛（Ｓ・Ｂ）／（キーワード数）｝＝４／１７＝０．２３５
【００３７】
尚、ここで、キーワード数で正規化を行わずに、類似度ｐ１＝（Ｓ・Ｂ）で導出しても良い。
【００３８】
判別部１ｅでは、キーワードベクトル類似度算出部１ｄで算出した類似度ｐ１と、予め設定された判別条件１３を用いて、当該受信メールが不要メールか必要メールかを判別して選別する。
【００３９】
判別条件１３の一例としては、例えば、「予めしきい値ｎ１を定めておき、類似度ｐ１がしきい値ｎ１を越えれば不要メール、類似度ｐ１がしきい値ｎ１を越えなければ必要メール」といったものが用いられる。
【００４０】
上述の例で、しきい値ｎ１として「０．７００」が設定されていた場合、類似度ｐ１は「０．２３５」であり、「ｐ１＜ｎ１」となり、必要メールであると判断される。
【００４１】
このように必要メールと判断された場合には、必要メール処理部１ｆにおいて、メールサーバ装置（２）からの当該メールを取得して削除せず、メールクライアント装置（３）に渡す等の処理を行う。
【００４２】
また、不要メールであると判断された場合には、不要メール処理部１ｇにおいて、メールサーバ装置（２）からの当該メールを削除したり、当該メールの内容を書き換えたり、メールクライアント装置（３）に渡さない等の処理を行う。
【００４３】
このように本例のメールフィルタリング装置１では、入力されたメール文書の選別を行う際、形態素解析部１ｂにより、入力されたメール文書を形態素解析してキーワードの集合にし、キーワードベクトル生成部１ｃにより、このキーワードの集合から当該メール文書の特徴を表す入力キーワードベクトルＳを生成し、キーワードベクトル類似度算出部１ｄにより、予めキーワードベクトル生成装置５で生成され辞書として記憶装置に記憶された参照用のキーワードベクトルＢを読み出し、この参照キーワードベクトルＢと入力キーワードベクトルＳとの類似度ｐ１を算出し、判別部１ｅにより、この類似度ｐ１に基づき当該メール文書を不要か必要かを判定条件１３を参照して判定して選別する。
【００４４】
特に、本例では、参照キーワードベクトルＢは、不要とされる文書の特徴を表しており、判別部１ｅでは、類似度ｐ１が予め定められた条件値より大きければ、参照キーワードベクトルＢの特徴と類似しており、当該メール文書を不要メール文書として選別する。このようにして、本例では、不要メールと同様の特徴をもったメールを不要メールであると判別することが可能となる。
【００４５】
図３は、本発明に係わる文書フィルタリングシステムの第２の構成例を示すブロック図である。
【００４６】
図３に示す本発明のメールフィルタリングシステムとしてのメールフィルタリング装置３１も、図１におけるメールフィルタリング装置１と同様に、図２に示すメール配信サービスシステムを構成するものであり、コンピュータのプログラムに基づく実行機能として処理を行うキーワードベクトル生成ブロック１０（図示していない受信部１ａ、形態素解析部１ｂ、キーワードベクトル生成部１ｃからなる）、キーワードベクトル類似度算出部１ｄとキーワードベクトル類似度算出部１ｈからなる演算処理ブロック１１ａ、判定部３１ｅ、必要メール処理部１ｆ、不要メール処理部１ｇを具備する。
【００４７】
このような構成において、メールフィルタリング装置３１は、キーワードベクトル生成ブロック１０において、メールの受信と、受信したメールの形態素解析および入力キーワードベクトルＳの生成を行う。
【００４８】
そして、本例の演算処理ブロック１１ａでは、キーワードベクトル類似度算出部１ｄにおいて、キーワードベクトル辞書Ｂを用いて参照キーワードベクトルＢと入力キーワードベクトルＳの類似度を算出すると共に、キーワードベクトル類似度算出部１ｈにおいては、キーワードベクトル辞書Ｗを用いて参照キーワードベクトルＷと入力キーワードベクトルＳの類似度を算出する。
【００４９】
そして、判別部３１ｅでは、キーワードベクトル類似度算出部１ｄにおいて算出した類似度ｐ１とキーワードベクトル類似度算出部１ｈにおいて算出した類似度ｐ２との２つを用いて、判別条件３３に基づく受信メール文書の要否を判別・選別を行う。
【００５０】
判別条件３３の一例をあげると、「予めαを定めておき、ｐ１＋α＞ｐ２ならば不要メール、そうで無いならば必要メール」といった条件が挙げられる。例えば、「類似度ｐ１＝０．２３５」、「類似度ｐ２＝０．５００」の場合で、α値を「−０．１００」と予め設定している場合、「０．２３５−０．１００＜０．５００」となり、必要メールであると判断する。
【００５１】
あるいは、判別条件３３として、他に一例をあげると、「（ｐ１／β）＞ｐ２ならば不要メール、そうで無いならば必要メール」と言った具合に、倍率βで条件を設定することもできる。この場合、前述のように「類似度ｐ１＝０．２３５」、「類似度ｐ２＝０．５００」、β値を「０．５」と予め設定していれば、「０．２３５／０．５＜０．５００」となり、必要メールであると判断する。
【００５２】
ここで、必要メールと判断すると必要メール処理部１ｆが、また、不要メールと判断すると不要メール処理部１ｇが実行される。
【００５３】
このように本例のメールフィルタリング装置３１では、入力されたメール文書の選別を行う際、キーワードベクトル類似度算出部１ｄにより参照キーワードベクトルＢと入力キーワードベクトルＳとの類似度ｐ１を算出すると共に、キーワードベクトル類似度算出部１ｈにより参照キーワードベクトルＷと入力キーワードベクトルＳとの類似度ｐ２を算出し、判別部３１ｅにおいては、類似度ｐ１および類似度ｐ２に基づき、当該メール文書の要否を判定して選別する。
【００５４】
また、一例として、参照キーワードベクトルＢは不要とされる文書の特徴を表し、参照キーワードベクトルＷは必要とされる文書の特徴を表すものとすると、判別部３１ｅは、類似度ｐ１が予め定められた条件値Ｔ１より大きく且つ類似度ｐ２が予め定められた条件値Ｔ２より小さければ当該メール文書を不要文書として選別し、類似度ｐ１が条件値Ｔ１より小さく且つ類似度ｐ２が条件値Ｔ２より大きければ当該メール文書を必要文書として選別する。
【００５５】
このことにより、本図３の例のメールフィルタリングシステムによれば、図１の構成例のメールフィルタリングシステムの有する問題点を解決できる。すなわち、図１の例では、判断部１ｅは、キーワードベクトルＳとキーワードベクトルＢとの類似度ｐ１単独で、不要メールか必要メールかを判断しているため、本当は、キーワードベクトルＳとキーワードベクトルＷとの類似度の方が大きい場合であっても、類似度ｐ１が不要メールの条件に合致すれば、不要メールとされてしまう問題があった。しかし、本図３の構成では、判断部３１ｅは、類似度ｐ１と類似度ｐ２の２つの値の関係から不要メール、必要メールを判断しており、このような問題は解決する。
【００５６】
図４は、本発明に係わる文書フィルタリングシステムの第３の構成例を示すブロック図である。
【００５７】
図４に示す本発明のメールフィルタリングシステムとしてのメールフィルタリング装置４１も、図１および図３におけるメールフィルタリング装置１，３１と同様に、図２に示すメール配信サービスシステムを構成するものであり、コンピュータのプログラムに基づく実行機能として処理を行うキーワードベクトル生成ブロック１０（図示していない受信部１ａ、形態素解析部１ｂ、キーワードベクトル生成部１ｃからなる）、キーワードベクトルフィルタリング部１ｉとキーワードベクトル類似度算出部１ｊからなる演算処理ブロック１１ｂ、判定部４１ｅ、必要メール処理部１ｆ、不要メール処理部１ｇを具備する。
【００５８】
このような構成において、メールフィルタリング装置４１は、キーワードベクトル生成ブロック１０において、メールの受信と、受信したメールの形態素解析および入力キーワードベクトルＳの生成を行う。
【００５９】
そして、本例の演算処理ブロック１１ｂでは、まず、キーワードベクトルフィルタリング部１ｉにおいて、入力キーワードベクトルＳからキーワードベクトル辞書Ｗ４５に格納された参照キーワードベクトルＷの成分を除く処理を行う。
【００６０】
例えば、受信メールのキーワードベクトルＳとキーワードベクトルＷとの積集合（Ｓ∩Ｗ）を、キーワードベクトルＳから引くことで、キーワードベクトルＷの成分を除いたキーワードベクトルＳｂ（＝Ｓ−Ｓ∩Ｗ）を生成する。
【００６１】
そして、キーワードベクトル類似度算出部１ｊにおいて、キーワードベクトルフィルタリング部１ｉで生成したキーワードベクトルＳｂと、キーワードベクトル辞書Ｂ４４に格納されたキーワードベクトルＢとの類似度ｐ１を算出し、判別部４１ｅにおいて、判別条件４３に基づき不要メールか必要メールかを判別して選別を行う。
【００６２】
例えば、図１の説明で例示した入力キーワードベクトルＳの場合、このキーワードベクトルＳと参照キーワードベクトルＷとの積集合「Ｓ∩Ｗ」は、下記の通りとなる。
【００６３】
（キーワード） 重み
Ｆｒｏｍ 「１」
Ｏｋａｋｋｏ 「１」
＠ 「１」
ｊｐ 「１」
こんにちわ 「１」
お 「１」
元気 「１」
つ 「１」
は 「１」
【００６４】
そして、「Ｓ−（Ｓ∩Ｗ）」は下記の通りとなる。
【００６５】
（キーワード） （重み）
です 「１」
か 「１」
今日 「１」
もう 「１」
退社 「１」
【００６６】
これがキーワードベクトルＳｂとなる。
【００６７】
そして、このキーワードベクトルＳｂとキーワードベクトル辞書Ｂとの類似度を、図１の説明の例と同様にして計算した場合、「ｐ１＝｛（Ｓｂ・Ｂ）／（キーワード数）｝＝０／１７＝０．０００」が得られる。
【００６８】
このように本例のメールフィルタリング装置４１では、入力されたメール文書の選別を行う際、キーワードベクトル生成ブロック１０で生成された入力キーワードベクトルＳに対して、キーワードベクトルフィルタリング部１ｉにおいて、予めキーワードベクトル辞書Ｗ４５として記憶装置に記憶された参照キーワードベクトルＷを読み出し、この参照キーワードベクトルＷと入力キーワードベクトルＳとの積集合演算（Ｓ∩Ｗ）を行い、この積集合演算（Ｓ∩Ｗ）結果を入力キーワードベクトルＳから除いたキーワードベクトルＳｂ（＝Ｓ−Ｓ∩Ｗ）を生成し、キーワードベクトル類似度算出部１ｊにおいて、予めキーワードベクトル辞書Ｂ４４として記憶装置に記憶された参照キーワードベクトルＢを読み出し、この参照キーワードベクトルＢと、キーワードベクトルフィルタリング部１ｉで生成したキーワードベクトルＳｂとの類似度ｐ１を算出し、判別部４１ｅにより、この類似度ｐ１に基づき当該メール文書の要否を判断して選別する。
【００６９】
例えば、参照キーワードベクトルＢは不要とされる文書の特徴を表し、参照キーワードベクトルＷは必要とされる文書の特徴を表すものとすると、キーワードベクトルベクトルフィルタリング部１ｉでは、受信メールから生成したキーワードベクトルＳから、必要メールから生成されたキーワードベクトルＷ成分を除き、必要メールと不要メールともに含まれるキーワード集合は排除される。
【００７０】
これにより、キーワードベクトル類似度算出部１ｊでは、（１）特徴的な要素だけで類似度を算出するので、類似度の値がより特徴的となり、判別部４１ｅで用いる判別条件４３の設定が容易となり、設定負荷を低減できる。また、（２）判別に必要なキーワードベクトル（Ｓｂ）だけで類似度演算をさせることで、キーワードベクトル類似度算出部１ｊにおける類似度演算の処理数を低減させることが可能となる。
【００７１】
図５は、本発明に係わる文書フィルタリングシステムの第４の構成例を示すブロック図である。
【００７２】
図５に示す本発明のメールフィルタリングシステムとしてのメールフィルタリング装置５１も、図１，３，４おけるメールフィルタリング装置１，３１，４１と同様に、図２に示すメール配信サービスシステムを構成するものであり、コンピュータのプログラムに基づく実行機能として処理を行うキーワードベクトル生成ブロック１０（図示していない受信部１ａ、形態素解析部１ｂ、キーワードベクトル生成部１ｃからなる）、キーワードベクトルフィルタリング部１ｉとキーワードベクトル類似度算出部１ｊおよびキーワードベクトルフィルタリング部１ｋとキーワードベクトル類似度算出部１ｍからなる演算処理ブロック１１ｃ、判定部５１ｅ、必要メール処理部１ｆ、不要メール処理部１ｇを具備する。
【００７３】
このような構成において、メールフィルタリング装置５１は、キーワードベクトル生成ブロック１０において、メールの受信と、受信したメールの形態素解析および入力キーワードベクトルＳの生成を行う。
【００７４】
本例のメールフィルタリング装置５１の特徴は、図４に示すメールフィルタリング装置４１の演算処理ブロック１１ｂにおいて、キーワードベクトルフィルタリング部１ｋとキーワードベクトル類似度算出部１ｍの２つを追加した点であり、キーワードベクトルフィルタリング部１ｋは、キーワードベクトルＳから、予めキーワードベクトル辞書Ｂにおいて決めておいたキーワードベクトルＢの成分を除く処理を行い、キーワードベクトル類似度算出部１ｍは、キーワードベクトルフィルタリング部１ｋから出力されるキーワードベクトルに対して、予めキーワードベクトル辞書Ｗにおいて決めておいたキーワードベクトルＷとの類似度を算出する。以下、このような構成の演算処理ブロック１１ｃの動作の詳細を説明する。
【００７５】
キーワードベクトルフィルタリング部１ｉは、キーワードベクトル生成ブロック１０で生成された受信メールのキーワードベクトルＳと、キーワードベクトル辞書Ｗ５５に格納されたキーワードベクトルＷとの積集合（Ｓ∩Ｗ）を、キーワードベクトルＳから除いた、キーワードベクトルＳｂ（＝「Ｓ―（Ｓ∩Ｗ）」）を生成する。
【００７６】
キーワードベクトル類似度算出部１ｊは、キーワードベクトルフィルタリング部１ｉで生成したキーワードベクトルＳｂと、キーワードベクトル辞書Ｂから取得したキーワードベクトルＢとの類似度ｐ１を算出する。
【００７７】
例えば、図１の説明で示したキーワードベクトルの例を用いた場合、「Ｓ∩Ｗ」は、以下の通りとなる。
【００７８】
（キーワード） （重み）
Ｆｒｏｍ 「１」
ｏｋａｋｋｏ 「１」
＠ 「１」
ｊｐ 「１」
こんにちわ 「１」
お 「１」
元気 「１」
？ 「１」
は 「１」
【００７９】
そして、「Ｓ−（Ｓ∩Ｗ）」は、以下の通りとなる。
【００８０】
（キーワード） （重み）
です 「１」
か 「１」
今日 「１」
もう 「１」
退社 「１」
【００８１】
これがキーワードベクトルＳｂとなる。このキーワードベクトルＳｂとキーワードベクトルＢとの類似度ｐ１を図１の説明と同様にして計算した場合、「ｐ１＝｛（Ｓｂ・Ｂ）／（キーワード数）｝＝０／１７＝０．０００」が得られる。
【００８２】
また、キーワードベクトルフィルタリング部１ｋは、キーワードベクトル生成ブロック１０で生成された受信メールのキーワードベクトルＳから、キーワードベクトル辞書Ｂ５４に格納されたキーワードベクトルＢとの積集合（Ｓ∩Ｂ）を除いた、キーワードベクトルＳｗ（＝「Ｓ―（Ｓ∩Ｂ）」）を生成し、キーワードベクトル類似度算出部１ｍは、キーワードベクトルフィルタリング部１ｋで生成したキーワードベクトルＳｗと、キーワードベクトル辞書Ｗから取得したキーワードベクトルＷとの類似度ｐ２を算出する。
【００８３】
これにより、例えば、図１の説明で示したキーワードベクトルの例を用いた場合、キーワードベクトルＳとキーワードベクトルＢとの積集合「Ｓ∩Ｂ」は、以下の通りとなる。
【００８４】
（キーワード） （重み）
Ｆｒｏｍ 「１」
＠ 「１」
お 「１」
は 「１」
【００８５】
そして、「Ｓｗ＝Ｓ−（Ｓ∩Ｂ）」は、下記の通りとなる。
【００８６】
（キーワード） （重み）
ｏｋａｋｋｏ 「１」
ｊｐ 「１」
こんにちわ 「１」
元気 「１」
です 「１」
か 「１」
？ 「１」
今日 「１」
もう 「１」
退社 「１」
【００８７】
このキーワードベクトルＳｗとキーワードベクトルＷとの類似度ｐ２を図１の説明と同様にして計算した場合、「ｐ２＝｛（Ｓｗ・Ｗ）／（キーワード数）｝＝５／１７＝０．２９４」が得られる。
【００８８】
そして、判別部５１ｅにおいては、判別条件５３に従って、類似度ｐ１と類似度ｐ２とを比較して不要メールか必要メールかを判別して選別する。
【００８９】
このように本例のメールフィルタリング装置５１では、入力されたメール文書の選別を行う際、キーワードベクトル生成ブロック１０で生成された入力キーワードベクトルＳに対して、キーワードベクトルフィルタリング部１ｉにおいて、予めキーワードベクトル辞書Ｗ４５として記憶装置に記憶された参照キーワードベクトルＷを読み出し、この参照キーワードベクトルＷと入力キーワードベクトルＳとの積集合演算（Ｓ∩Ｗ）を行い、この積集合演算（Ｓ∩Ｗ）結果を入力キーワードベクトルＳから除いたキーワードベクトルＳｂ（＝Ｓ−Ｓ∩Ｗ）を生成し、キーワードベクトル類似度算出部１ｊにおいて、予めキーワードベクトル辞書Ｂ４４として記憶装置に記憶された参照キーワードベクトルＢを読み出し、この参照キーワードベクトルＢと、キーワードベクトルフィルタリング部１ｉで生成したキーワードベクトルＳｂとの類似度ｐ１を算出し、さらに、キーワードベクトルフィルタリング部１ｋにおいて、予めキーワードベクトル辞書Ｂ５４として記憶装置に記憶された参照キーワードベクトルＢを読み出し、この参照キーワードベクトルＢと入力キーワードベクトルＳとの積集合演算（Ｓ∩Ｂ）を行い、この積集合演算（Ｓ∩Ｂ）結果を入力キーワードベクトルＳから除いたキーワードベクトルＳｗ（＝Ｓ−Ｓ∩Ｂ）を生成し、キーワードベクトル類似度算出部１ｍにおいて、予めキーワードベクトル辞書Ｗ５５として記憶装置に記憶された参照キーワードベクトルＷを読み出し、この参照キーワードベクトルＷと、キーワードベクトルフィルタリング部１ｋで生成したキーワードベクトルＳｗとの類似度ｐ２を算出し、判別部５１ｅにより、この類似度ｐ１と類似度ｐ２に基づき当該メール文書の要否を判断して選別する。
【００９０】
また、一例として、参照キーワードベクトルＢは不要とされる文書の特徴を表し、参照キーワードベクトルＷは必要とされる文書の特徴を表すものとすると、判別部５１ｅは、類似度ｐ１が予め定められた条件値Ｔ１より大きく且つ類似度ｐ２が予め定められた条件値Ｔ２より小さければ当該メール文書を不要文書として選別し、また、類似度ｐ１が条件値Ｔ１より小さく且つ類似度ｐ２が条件値Ｔ２より大きければ当該メール文書を必要文書として選別する。
【００９１】
このように本例では、キーワードベクトルベクトルフィルタリング部１ｉにおいては、受信メールから生成したキーワードベクトルＳから、必要メールから生成されたキーワードベクトルＷ成分が除かれており、また、キーワードベクトルベクトルフィルタリング部１ｋにおいては、受信メールから生成したキーワードベクトルＳから、不要メールから生成されたキーワードベクトルＢ成分が除かれており、必要メールと不要メールともに含まれるキーワード集合は排除されている。
【００９２】
これにより、キーワードベクトル類似度算出部１ｊでは、キーワードベクトルＳｂとキーワードベクトルＢとの類似度ｐ１と、キーワードベクトルＳｗとキーワードベクトルＷとの類似度ｐ２とを用いて不要メールか必要メールかを判別することで、必要メールと不要メールともに含まれるキーワード集合は排除して評価することができる。
【００９３】
この結果、キーワードベクトル類似度算出部１ｊでは、（１）特徴的な要素だけで類似度を算出するので、類似度の値がより特徴的となり、判別部５１ｅで用いる判別条件４３の設定が容易となり、設定負荷を低減できる。また、（２）判別に必要なキーワードベクトル（Ｓｂ，Ｓｗ）だけで類似度演算をさせることで、キーワードベクトル類似度算出部１ｊ，１ｋにおける類似度演算の処理数を低減させることが可能となる。
【００９４】
図６は、本発明に係わる文書フィルタリングシステムの第５の構成例を示すブロック図である。
【００９５】
図６に示す本発明のメールフィルタリングシステムとしてのメールフィルタリング装置６１も、図１，３〜５おけるメールフィルタリング装置１，３１〜５１と同様に、図２に示すメール配信サービスシステムを構成するものであり、コンピュータのプログラムに基づく実行機能として処理を行うキーワードベクトル生成ブロック１０（図示していない受信部１ａ、形態素解析部１ｂ、キーワードベクトル生成部１ｃからなる）と図１，３〜５のそれぞれで示される各処理部から構成された演算処理ブロック１１ｄ、判定部６１ｅ，６１ｅｅ、必要メール処理部１ｆ、不要メール処理部１ｇを具備する。
【００９６】
このような構成において、メールフィルタリング装置６１は、キーワードベクトル生成ブロック１０において、メールの受信と、受信したメールの形態素解析および入力キーワードベクトルＳの生成を行い、そして、演算処理ブロック１１ｄでは、入力キーワードベクトルＳと各種参照キーワードベクトルとの類似度ｐ１，ｐ２の算出を行い、判別部６１ｅにおいて、判別条件６３ａに従って、類似度ｐ１，ｐ２に基づく当該入力メール文書の要否の判別・選別を行う。
【００９７】
本例のメールフィルタリング装置６１の特徴は、この判別部６１ｅにおける当該入力メール文書の判別において、必要メールと不要メールのいずれにも選別できない「それ以外」の判別結果にも対応した仕組みを設けた点である。
【００９８】
すなわち、本例では、例えば、図１および図３〜図５のそれぞれのメールフィルタリング装置１，３１，４１，５１の判別部１ｅ、３１ｅ、４１ｅ、５１ｅにおいて「それ以外」と判別された場合に適用されるものであり、演算処理ブロック６１ｄに類似度算出の処理を繰り返させる仕組みを有する。
【００９９】
尚、図６の例では、演算処理ブロック１１ｄからは類似度ｐ１と類似度ｐ２が出力される構成としているが、図１および図４に示したメールフィルタリング装置１，４１に適用した場合は、類似度ｐ１のみが出力され、図３および図５に示したメールフィルタリング装置３１，５１に適用した場合に、本図６に示すように類似度ｐ１と類似度ｐ２が出力される。
【０１００】
以下、図１のメールフィルタリング装置１に対して、本図６に示すように、演算処理ブロックを二段構成にした場合の適用例として説明する。
【０１０１】
１段目の演算処理ブロック１１ｄでは、例えば個人的に不要とされたメールから生成されたキーワードベクトルＢ１を元に受信メールの類似度を算出して判別部６１ｅでその要否を判別し、２段目の演算処理ブロック６１ｄでは、一般的に不要とされるメールから生成されたキーワードベクトルＢ２を元に受信メールの類似度を算出して判別部６１ｅｅでその要否を判別するものとする。
【０１０２】
まず、１段目の演算処理ブロック１１ｄにおいて、キーワードベクトルＳと個人的に不要とされたメールから生成されたキーワードベクトルＢ１との類似度ｐ１が、判別部６１ｅの判別条件６３ａに従っての判別で「それ以外」と選別されたとする。
【０１０３】
その場合、２段目の演算処理ブロック６１ｅｅでの処理を継続し、この２段目の演算処理ブロック６１ｅｅでは、キーワードベクトルＳを入力として、１段目と同様に処理を行う。
【０１０４】
本例では、２段目が最終段となっているため、最終段の判別部６１ｅｅでは、「不要メール」、「必要メール」のいづれかに判別する。
【０１０５】
尚、１段目の演算処理ブロック１１ｅの後の判別部６１ｅで「不要メール」と「必要メール」のいづれかに判別された場合は、２段目の演算処理ブロック６１ｅｅに処理は継続されず、直ちに必要メール処理部１ｆ、不要メール処理部１ｇのそれぞれの処理に移る。
【０１０６】
このようにして本例では、１段目の判別部６１ｅが不要メール文書もしくは必要メール文書のいずれにも判別できないメール文書に対しても、キーワードベクトルに基づく類似度の算出と、この類似度に基づく選別処理を繰り返し、当該メール文書を不要メール文書もしくは必要メール文書のいずれか一方に選別することができる。
【０１０７】
尚、類似度の算出の繰り返しにおいて、類似度の算出に用いる参照キーワードベクトルは任意に置き換えることができる。
【０１０８】
例えば、１段目の演算処理ブロック１１ｄと判別部６１ｅで、個人的に生成した、個人的な不要メールキーワードベクトルＢ１に基づき受信メールを判別し、この１段目の演算処理ブロック１１ｄと判別部６１ｅで不要メールか否かを判別できなかった場合には、２段目の演算処理ブロック６１ｄと判別部６１ｅｅで、ネット上にある一般的な不要メールキーワードベクトルＢ２に基づき受信メールを判別することで、より精度高く、メールの要否を判別することができる。
【０１０９】
また、１段目の演算処理ブロック１１ｄと判別部６１ｅで、個人的に生成した、個人的に必要となさたメールから生成されたキーワードベクトルＷ１に基づき受信メールを判別し、１段目の演算処理ブロックで必要メールか否かを判別できなかった場合、２段目の演算処理ブロック６１ｄと判別部６１ｅｅで、ネット上で一般的に必要とされるメールから生成されたキーワードベクトルＷ２に基づき受信メールの要否を判別することで、より精度高く、メールの要否を判別することができる。
【０１１０】
また、１段目の演算処理ブロック１１ｄと判別部６１ｅで、個人的に生成した、個人的に必要とされるメールから生成されたキーワードベクトルＷ１で受信メールを判別し、１段目の判別部６１ｅで必要メールか否かを判別できなかった場合、２段目の演算処理ブロック６１ｄと判別部６１ｅｅで、一般的に不要とされるメールから生成されたキーワードベクトルＢ２に基づき受信メールの要否を判別することで、より精度高く、メールの要否を判別することができる。
【０１１１】
このように、本例では類似度の算出に用いる参照キーワードベクトルの内容を、目的に応じて組み合わせることが可能であり、精度の高い判別を可能とすることができる。
【０１１２】
以上、図１〜図６を用いて説明したように、本例のメールフィルタリング装置では、電子メールを選別対象の文書とし、受信メールから生成したキーワードベクトルＳと、例えば予め不要メールの文面を形態素解析をして重み付けして生成したキーワードベクトルＢとの類似度や、必要メールの文面を形態素解析をして重み付けして生成したキーワードベクトルＷとの類似度を用いて不要メールか必要メールかを判別することで、不要メールの文面が未知であっても、キーワードベクトルの類似度によって不要メールか否かを判別することができる。
【０１１３】
例えば、図１に示すメールフィルタリング装置１の例では、受信メールの文面（ヘッダ情報や署名も含む）を形態素解析し、受信メールのキーワードベクトルＳを生成し、キーワードベクトル辞書生成装置（５）が不要メールから生成したキーワードベクトル辞書Ｂから取得したキーワードベクトルＢと受信メールのキーワードベクトルＳとの類似度ｐ１を算出し、類似度ｐ１の大きさと予め登録された判別条件とによって必要メールか不要メールかを判断する。このことにより、不要メールと同様の特徴をもったメールを不要メールであると判別することが可能となる。
【０１１４】
また、図３に示すメールフィルタリング装置３１の例では、キーワードベクトル辞書生成装置（５）が不要メールから生成したキーワードベクトル辞書Ｂから取得したキーワードベクトルＢと、受信メールのキーワードベクトルＳとの類似度ｐ１と、キーワードベクトル辞書生成装置（５）が必要メールから生成したキーワードベクトル辞書Ｗから取得したキーワードベクトルＷと、受信メールのキーワードベクトルＳとの類似度ｐ２とを比較して、類似度ｐ１、ｐ２の大きさと判別条件によって必要メールか不要メールかを判断する。この図３の構成例によれば、図１の例の問題点を解決できる。
【０１１５】
すなわち、図１の構成のメールフィルタリング装置１では、判別部１ｅにおいて、キーワードベクトルＳと、不要メールから生成されたキーワードベクトルＢとの類似度ｐ１のみで、不要メール、必要メールかを判断しているため、本当は、キーワードベクトルＳと必要メールから生成されたキーワードベクトルＷとの類似度の方が大きい場合であっても、類似度ｐ１が不要メールの条件に合致すれば、不要メールとされてしまう問題があった。しかし、図３の構成のメールフィルタリング装置３１では、判別部３１ｅにおいて、類似度ｐ１とｐ２の２つの値の関係から不要メール、必要メールを判断するので、前述の問題は解決する。
【０１１６】
また、図４に示すメールフィルタリング装置４１の例は、図１に示すメールフィルタリング装置１にキーワードベクトルフィルタリング部を追加したものであり、受信メールのキーワードベクトルＳから、キーワードベクトルＳと（例えば必要メールから生成された）キーワードベクトル辞書から取得したキーワードベクトルＷとの積集合（Ｓ∩Ｗ）を除いたＳｂを用い、このキーワードベクトルＳｂと（例えば必要メールから生成された）キーワードベクトル辞書から取得したキーワードベクトルＢとの類似度ｐ１を算出し、類似度ｐ１の大きさと判別条件によって必要メールか不要メールかを判断する。
【０１１７】
このように、図４に示すメールフィルタリング装置４１では、キーワードベクトルフィルタリング部１ｉによって生成されたキーワードベクトルＳｂは、受信メールから生成したキーワードベクトルＳから、必要メールから生成したキーワードベクトルＷ成分を除かれており、必要メールと不要メールともに含まれるキーワード集合は排除して評価することができる。これにより、（１）特徴的な要素だけで類似度を算出するため、類似度の値がより特徴的となり、判別部の判別条件設定の困難さを低減させることができ、また、（２）判別に必要なキーワードベクトルだけで類似度演算をさせることで、類似度演算の処理数を低減させることが可能となる。
【０１１８】
また、図５に示すメールフィルタリング装置５１の例では、図３に示すメールフィルタリング装置３１に、キーワードベクトルフィルタリング部を追加したものであり、受信メールのキーワードベクトルＳから、キーワードベクトルＳと（必要メールから生成された）キーワードベクトル辞書から取得したキーワードベクトルＷとの積集合（Ｓ∩Ｗ）を除いたＳｂを用い、このキーワードベクトルＳｂと（必要メールから生成された）キーワードベクトル辞書から取得したキーワードベクトルＢとの類似度ｐ１を算出し、また、受信メールのキーワードベクトルＳから、キーワードベクトルＳと（不要メールから生成された）キーワードベクトル辞書から取得したキーワードベクトルＢとの積集合（Ｓ∩Ｂ）を除いたＳｗを用い、このキーワードベクトルＳｗと（必要メールから生成された）キーワードベクトル辞書から取得したキーワードベクトルＷとの類似度ｐ２を算出し、これらの類似度ｐ１とｐ２とを比較して判別部によって不要メールか必要メールかを判別する。
【０１１９】
本例によれば、追加した第１のキーワードベクトルフィルタリング部によって生成されたキーワードベクトルＳｂは、受信メールから生成したキーワードベクトルＳから、必要メールから生成したキーワードベクトルＷ成分を除かれており、また、第２のキーワードベクトルフィルタリング部によって生成されたキーワードベクトルＳｗは、受信メールから生成したキーワードベクトルＳから、不要メールから生成したキーワードベクトルＢ成分を除かれており、そのキーワードベクトルＳｂとキーワードベクトルＢとの類似度ｐ１と、そのキーワードベクトルＳｗとキーワードベクトルＷとの類似度ｐ２とを用いて不要メールか必要メールかを判別することで、必要メールと不要メールともに含まれるキーワード集合は排除して評価することができる。
【０１２０】
これにより、本例では、（１）特徴的な要素だけで類似度を算出するため、類似度の値がより特徴的となり、判別部の判別条件設定の困難さを低減させることができ、また、（２）判別に必要なキーワードベクトルだけで類似度演算をさせることで、類似度演算の処理数を低減させることが可能となる。
【０１２１】
また、図６に示すメールフィルタリング装置６１の例では、図１、および図３〜５の各メールフィルタリング装置１，３１〜５１の判定部において、必要メールと不要メール以外のメールと判別し、「それ以外」と判別されたメールに対して、演算処理ブロックと判別部の処理を継続して繰り返し、その最終段階の判別部において、必要メールと不要メールのいずれか一方に選別する為の類似度の大きさの条件を記述した判別条件を参照し、類似度ｐ１と類似度ｐ２の大きさ、もしくは類似度ｐ１のみの大きさによって、必要、不要、の２つに受信メールを判別する。
【０１２２】
例えば、図１のメールフィルタリング装置１に適用して、演算処理ブロックと判別部を２段とした場合、１段目の演算処理ブロックで類似度を演算して判別部において「それ以外」と判別した場合、２段目の演算処理ブロックと判別部に処理と移す。このようにすることで、１段目で、確実に「不要メール」であることを示すキーワードベクトルＢ１で判別し、この１段目では判別できなかった場合、２段目で、一般的な「不要メール」であることを示すキーワードベクトルＢ２で判別するといった、精度の高い判別が可能となる。
【０１２３】
同様に、このようにすることで、１段目で、確実に「必要メール」であることを示すキーワードベクトルＷで判別し、１段目では判別できなかった場合、２段目で、「不要メール」であることを示すキーワードベクトルＢで判別するといった処理動作も可能となる。
【０１２４】
尚、本発明は、図１〜図６を用いて説明した例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能である。例えば、図２で示したメールフィルタリング装置、キーワードベクトル生成装置、メールサーバ装置、メールクライアント装置等における、それぞれの通信は、インターネットやＬＡＮと言ったネットワークを介した通信であっても、コンピュータ内のローカルな通信であっても構わない。
【０１２５】
例えば、図２の例では、メールフィルタリング装置は、キーワードベクトル生成装置で生成したキーワードベクトルをネットワークを介して参照する構成としているが、キーワードベクトル生成装置で生成したキーワードベクトルを予めメールフィルタリング装置内に取り込んでおく構成でも、キーワードベクトル生成装置内に、キーワードベクトル生成装置を設けた構成としても良い。
【０１２６】
また、図５の例では、キーワードフィルタリング部１ｉとキーワードベクトル類似度算出部１ｍでは、同じでキーワードベクトル辞書Ｗ５５を参照し、キーワードフィルタリング部１ｋとキーワードベクトル類似度算出部１ｊでは、同じでキーワードベクトル辞書Ｂ５４を参照する構成としているが、キーワードフィルタリング部１ｉとキーワードベクトル類似度算出部１ｍで、それぞれ異なるキーワードベクトル辞書（Ｗ，Ｗａ）を参照し、また、キーワードフィルタリング部１ｋとキーワードベクトル類似度算出部１ｊにおいても、それぞれ異なるキーワードベクトル辞書（Ｂ，Ｂａ）を参照する構成としても良い。
【０１２７】
また、本例では、要・不要の判別の対象として電子メールを例に説明しているが、文字列で構成されたテキストデータであれば良く、電子メールに限定するものではない。
【０１２８】
また、本例でのコンピュータ構成例としては、キーボードや光ディスクの駆動装置の無いコンピュータ構成としても良い。また、本例では、光ディスクを記録媒体として用いているが、ＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）等を記録媒体として用いることでも良い。また、プログラムのインストールに関しても、通信装置を介してネットワーク経由でプログラムをダウンロードしてインストールすることでも良い。
【０１２９】
【発明の効果】
本発明によれば、例えば電子メールを対象とした場合、メール条件指定で判別できない未知のメールの要・不要を判別することが可能となり、また、類似内容の不要メールを送信者を偽って不特定多数に送りつける場合であっても、不要メールを判別することが可能となり、また、類似内容の不要メールを送信者を偽って不特定多数に送りつける場合、必要メールと似た単語を用いて記述がされたメールであっても、他者が不要と判断した不要メールのキーワードベクトルを用いることにより、メール本文の特徴ベクトルで判別しても誤分類される可能性が少なくなり、不要メールと必要メールとの判別等、文書の選別を高精度に行うことが可能となる。
【図面の簡単な説明】
【図１】本発明に係わる文書フィルタリングシステムの第１の構成例を示すブロック図である。
【図２】図１における文書フィルタリングシステムを用いたメール配信サービスシステムの構成例を示すブロック図である。
【図３】本発明に係わる文書フィルタリングシステムの第２の構成例を示すブロック図である。
【図４】本発明に係わる文書フィルタリングシステムの第３の構成例を示すブロック図である。
【図５】本発明に係わる文書フィルタリングシステムの第４の構成例を示すブロック図である。
【図６】本発明に係わる文書フィルタリングシステムの第５の構成例を示すブロック図である。
【符号の説明】
１，３１，４１，５１，６１：メールフィルタリング装置、１ａ：受信部、１ｂ：形態素解析部、１ｃ：キーワードベクトル生成部、１ｄ，１ｈ，１ｊ，１ｍ：キーワードベクトル類似度算出部、１ｅ，３１ｅ，４１ｅ，５１ｅ，６１ｅ，６１ｅｅ：判別部、１ｆ：必要メール処理部、１ｇ：不要メール処理部、１ｉ，１ｋ：キーワードベクトルフィルタリング部、２：メールサーバ装置（「メールサーバ」）、３：メールクライアント装置（「メールクライアント」）、４：利用者、５：キーワードベクトル生成装置、６ａ〜６ｄ：ＩＰネットワーク、１０：キーワードベクトル生成ブロック、１１，１１ａ，１１ｂ，１１ｃ，１１ｄ，６１ｄ：演算処理ブロック、１２：メール、１３，３３，４３，５３，６３ａ，６３ｂ：判別条件、１４，３４，４４，５４：キーワードベクトル辞書Ｂ、３５，４５，５５：キーワードベクトル辞書Ｗ。
【発明の属する技術分野】
本発明は、インターネットから受信した電子メールが不要メールか必要メールか等、文書の選別を行う技術に係わり、特に、高精度な選別を行うのに好適な文書フィルタリング技術に関するものである。
【０００２】
【従来の技術】
近年、インターネット等のネットワークにおける電子メールの普及とブロードバンド化に伴い、受信者が不要と感じる迷惑メールや広告メールが無差別に送られてくることが多くなっている。
【０００３】
このような不要メールは、電子メールの送信者のアドレスや件名、本文に指定した文字列を含む・含まないといった条件を指定することで、メールソフトやプロバイダのメールサーバにて、メール受信時に不要メールと必要メールを判別し、不要メールを自動で削除したり、分別するといった処理が行われている。
【０００４】
しかし、これらの技術では、予め不要メールと考えられるメールアドレスや、受信条件を指定していても、その指定した条件に当てはまらない不要メールは処理されない問題点がある。
【０００５】
また、特許文献１に記載の「通信サービスにおけるユーザフィルタリングシステム及び方法」では、受信したメールが不要メールであると、ネットワーク上の発信者評価パラメータ記憶装置に発信者の評価ポイントを下げて登録する。
【０００６】
そして、別途、メール受信時に、このメールの発信者のアドレスをキーにして、ネットワーク上の発信者評価パラメータ記憶装置の発信者の評価ポイントを検索し、メールの発信者のアドレスの評価ポイントが下げられて登録されている場合は、不要メールであると判別して、受信しないなどの処理を行っている。
【０００７】
しかし、この技術では、送信者が毎回異なる架空のアドレスを用いている場合は、送信者のアドレスで判別できないという問題が発生する。
【０００８】
また、特許文献２に記載の「文書分類装置」では、文書データの解析を行い、特徴ベクトルを自動的に抽出して、類似した文書を自動的に分類することを行っており、メール受信時に前記装置を用いることで、メールの自動分類は可能となる。
【０００９】
しかし、この技術では、類似した特徴をもった文章が分類されるだけで、その分類が不要メールであるかは人間が判断をしなければいけない。また、必要メールと似た単語を用いて記述されたメールは、誤分類される可能性が大きいといった問題点がある。
【００１０】
【特許文献１】
特開２００３−１８３２４号公報
【特許文献２】
特許第２９７８０４４号
【００１１】
【発明が解決しようとする課題】
解決しようとする問題点は、従来の技術では、例えば電子メールに関して、不要メールを判別するために、メールの送信者のアドレスや件名、本文に指定した文字列を含む／含まないといった条件を指定することで、不要メールと必要メールを判別していたが、未知の不要メールは上記条件指定で判別できない場合があるとの間題点と、他者の評価ポイント情報によって不要メールの送信者を判別できるようになっても、送信者を偽ることで不要メールが判別できないという問題点と、メール本文の特徴ベクトルで分類する場合、必要メールと似た単語を用いて記述がされたメールは、誤分類される可能性が大きいという問題点である。
【００１２】
本発明の目的は、これら従来技術の課題を解決し、不要メールと必要メールとの判別等、文書の選別を高精度に行うことを可能とすることである。
【００１３】
【課題を解決するための手段】
上記目的を達成するため、本発明は、電子メールを例とすると、受信メールから生成したキーワードベクトルＳと、例えば予め不要メールの文面を形態素解析をして重み付けして生成したキーワードベクトルＢとの類似度や、必要メールの文面を形態素解析をして重み付けして生成したキーワードベクトルＷとの類似度を用いて不要メールか必要メールかを判別することで、不要メールの文面が未知であっても、キーワードベクトルの類似度によって不要メールか否かを判別することを特徴とする。詳細には、▲１▼電子メールを受信して当該メールが不要メールか否かを判別するメールフィルタリング装置において、予めキーワードベクトルＢが記憶されているキーワードベクトル辞書Ｂをネットワーク上もしくはローカルに具備し、電子メールを受信する受信部と、受信メールの文面を形態素解析し、キーワードの集合にする形態素解析部と、形態素解析後のキーワード集合からキーワードベクトルＳを生成するキーワードベクトル生成部と、生成したキーワードベクトルＳと、キーワードベクトル辞書から取得したキーワードベクトルＢとで内積や余弦等の類似度を算出する演算を行い、類似度ｐ１を算出するキーワードベクトル類似度算出部と、必要メール、不要メールを判別する為の類似度の大きさの条件を記述した判別条件を参照し、類似度ｐ１の大きさによって、必要メール、不要メールかを判別する判別部と、判別部において不要メールであると判別された場合、当該メールを削除するなどのしかるべき処理を行う不要メール処理部と、判別部において必要メールであると判別された場合、当該メールをメールソフトで受信するなどのしかるべき処理を行う必要メール処理部とを具備する。▲２▼または、電子メールを受信して当該メールが不要メールか否かを判別するメールフィルタリング装置において、予めキーワードベクトルＢが記憶されているキーワードベクトル辞書、および、予めキーワードベクトルＷが記憶されているキーワードベクトル辞書をネットワーク上もしくはローカルに具備し、電子メールを受信する受信部と、メールの文面を形態素解析し、キーワードの集合にする形態素解析部と、形態素解析後のキーワード集合からキーワードベクトルＳを生成するキーワードベクトル生成部と、生成したキーワードベクトルＳと、キーワードベクトル辞書Ｂから取得したキーワードベクトルＢとで内積や余弦等の類似度を算出する演算を行い、類似度ｐ１を算出するキーワードベクトル類似度算出部と、生成したキーワードベクトルＳと、キーワードベクトル辞書Ｗから取得したキーワードベクトルＷとで内積や余弦等の類似度を算出する演算を行い、類似度ｐ２を算出するキーワードベクトル類似度算出部と、必要メール、不要メールを判別する為の類似度の大きさの条件を記述した判別条件を参照し、類似度ｐ１とｐ２の大きさによって、必要メール、不要メールかを判別する判別部と、判別部において不要メールであると判別された場合、当該メールを削除するなどのしかるべき処理を行う不要メール処理部と、判別部において必要メールであると判別された場合、当該メールをメールソフトで受信するなどのしかるべき処理を行う必要メール処理部とを具備する。▲３▼また、▲１▼のメールフィルタリング装置であって、キーワードベクトル生成部の次段において、キーワードベクトルＳとキーワードベクトル辞書Ｗから取得したキーワードベクトルＷとで積集合演算（Ｓ∩Ｗ）を行い、キーワードベクトルＳからキーワードベクトル（Ｓ∩Ｗ）を除いたキーワードベクトルＳｂ（＝Ｓ−（Ｓ∩Ｗ））を生成するキーワードベクトルフィルタリング部を具備し、生成したキーワードベクトルＳｂと、キーワードベクトル辞書Ｂから取得したキーワードベクトルＢとで内積や余弦等の類似度を算出する演算を行い、類似度ｐ１を算出するキーワードベクトル類似度算出部と、生成した類似度ｐ１を判別部への入力として処理を継続する。▲４▼また、▲２▼のメールフィルタリング装置であって、キーワードベクトル生成部の次段において、キーワードベクトルＳとキーワードベクトル辞書Ｗから取得したキーワードベクトルＷとで積集合演算（Ｓ∩Ｗ）を行い、キーワードベクトルＳからキーワードベクトル（Ｓ∩Ｗ）を除いたキーワードベクトルＳｂ（＝Ｓ−（Ｓ∩Ｗ））を生成するキーワードベクトルフィルタリング部を具備し、キーワードベクトル生成部の次段において、キーワードベクトルＳとキーワードベクトル辞書Ｂから取得したキーワードベクトルＢとで積集合演算（Ｓ∩Ｂ）を行い、キーワードベクトルＳからキーワードベクトル（Ｓ∩Ｂ）を除いたキーワードベクトルＳｗ（＝Ｓ−（Ｓ∩Ｂ））を生成するキーワードベクトルフィルタリング部を具備し、生成したキーワードベクトルＳｂと、キーワードベクトル辞書Ｂから取得したキーワードベクトルＢとで内積や余弦等の類似度を算出する演算を行い、類似度ｐ１を算出するキーワードベクトル類似度算出部と、生成したキーワードベクトルＳｗと、キーワードベクトル辞書Ｗから取得したキーワードベクトルＷとで内積や余弦等の類似度を算出する演算を行い、類似度ｐ２を算出するキーワードベクトル類似度算出部と、生成した類似度ｐ１、ｐ２を判別部への入力として処理を継続する。▲５▼また、▲１▼〜▲４▼におけるメールフィルタリング装置であって、必要メール、不要メールを判別する為の類似度の大きさの条件を記述した判別条件を参照し、類似度ｐ１（とｐ２）の大きさによって、必要メール、不要メール、それ以外の３つに判別する判別部と、「それ以外」と判別された場合、演算部。算出部の処理を継続して処理を繰り返し、最終段階では、必要メール、不要メールを判別する為の類似度の大きさの条件を記述した判別条件を参照し、類似度ｐ１（とｐ２）の大きさによって、必要メール、不要メールのいずれか２つに判別する判別部と、判別部において不要メールであると判別された場合、当該メールを削除するなどのしかるべき処理を行う不要メール処理部と、判別部において必要メールであると判別された場合、当該メールをメールソフトで受信するなどのしかるべき処理を行う必要メール処理部とを具備する。尚、▲５▼では、演算部。算出部の処理を多段構成で用いるが、各演算部。算出部で用いる、キーワードベクトルＢ、キーワードベクトルＷは、各段によって、置き換えても良い。また、キーワードベクトルＢを複数用いる場合であっても、内容が同一のキーワードベクトルＢであっても、それぞれ内容が異なるキーワードベクトルＢであっても良い。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態を、図面により詳細に説明する。
【００１５】
図１は、本発明に係わる文書フィルタリングシステムの第１の構成例を示すブロック図であり、図２は、図１における文書フィルタリングシステムを用いたメール配信サービスシステムの構成例を示すブロック図である。
【００１６】
図２において、１は本発明の文書フィルタリングシステムとしてのメールフィルタリング装置、２はメールサーバ装置（図中「メールサーバ」と記載）、３はメールクライアント装置（図中「メールクライアント」と記載）、４はメールクライアント装置の利用者、５は本発明に係わるキーワードベクトル辞書を生成するキーワードベクトル生成装置、６ａ〜６ｄはインターネットやイントラネット等からなるＩＰネットワークであり、本例では、選別対象の文書として電子メールを例に説明する。
【００１７】
メールフィルタリング装置１、メールサーバ装置２、メールクライアント装置３、キーワードベクトル生成装置５のそれぞれは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や主メモリ、表示装置、入力装置、外部記憶装置からなるコンピュータ構成からなり、光ディスク駆動装置等を介してＣＤ−ＲＯＭ等の記憶媒体に記録されたプログラムやデータを外部記憶装置内にインストールした後、この外部記憶装置から主メモリに読み込みＣＰＵで処理することにより、各処理機能を実行する。
【００１８】
メールフィルタリング装置１は、メールサーバ装置２や図示していないメール記憶ディスク等からメールを受信する。また、メールフィルタリング装置１は、キーワードベクトル生成装置５からキーワードベクトルを取得し、不要メールであるか必要メールであるかを判別し、不要メールであると判断した場合、メールサーバ装置２からの当該メールを削除したり、当該メールの内容を書き換えたり、メールクライアント装置３に渡さない、等の処理を行う。
【００１９】
また、必要メールであると判断した場合、メールサーバ装置２からの当該メールを削除せず、当該メールをメールクライアント装置３に渡す等の処理を実施する。
【００２０】
尚、本例では、キーワードベクトル生成装置５は、メールクライアント装置３からメールを受信し、この受信メールを用いてキーワードベクトルを生成して、キーワードベクトル辞書に格納し、メールフィルタリング装置１に提供する。
【００２１】
尚、このキーワードベクトル生成装置５は、複数あってもよく、例えば、不要なメールのキーワードベクトルを生成してキーワードベクトル辞書に格納するよう特化するために「不要メール」のみを受け付けるキーワードベクトル生成装置であったり、必要なメールのキーワードベクトルを生成してキーワードベクトル辞書に格納するよう特化するために「必要メール」のみを受け付けるキーワードベクトル生成装置であったり、プライベートに必要なメールのキーワードベクトルを生成してキーワードベクトル辞書に格納するよう特化するために「プライベートな必要メール」のみを受け付けるキーワードベクトル生成装置であったり、プライベートに不要なメールのキーワードベクトルを生成してキーワードベクトル辞書に格納するよう特化するために「プライベートな不要メール」のみを受け付けるキーワードベクトル生成装置であっても良い。
【００２２】
あるいは、キーワードベクトル生成装置５は１つとし、１つのキーワードベクトル生成装置５で、上述の「不要メール」、「必要メール」、「プライベートな必要メール」、「プライベートな不要メール」を基に、各キーワードベクトルを生成して個別のキーワードベクトル辞書に分けて格納する構成としても良い。
【００２３】
また、キーワードベクトル生成装置５にむけて送信されるメールは、メールフィルタリング装置１を経由して取得したメールであっても、通常のメールであっても良い。
【００２４】
以下、図１に示すメールフィルタリング装置の詳細を説明する。
【００２５】
図１に示すようにメールフィルタリング装置１は、コンピュータのプログラムに基づく実行機能として処理を行う受信部１ａ、形態素解析部１ｂ、キーワードベクトル生成部１ｃ、キーワードベクトル類似度算出部１ｄ、判定部１ｅ、必要メール処理部１ｆ、不要メール処理部１ｇを具備する。
【００２６】
本例では、受信部１ａ、形態素解析部１ｂ、キーワードベクトル生成部１ｃからなる機能ブロックをキーワードベクトル生成ブロック１０、キーワードベクトル類似度算出部１ｄからなる機能ブロックを演算処理ブロック１１とする。
【００２７】
このような構成において、メールフィルタリング装置１は、その受信部１ａにおいて、メール１２を受信し、受信したメールに対して、形態素解析部１ｂによって、キーワードの集合に分ける。この際、形態素解析部１ｂでは、例えば「茶せん」（ｈｔｔｐ：／／ｃｈａｓｅｎ．ａｓｉｔ−ｎａｒａ．ａｃ．ｊｐ／で入手可能）といった形態素解析ツールを用いることができる。
【００２８】
キーワードベクトル生成部１ｃにおいては、形態素解析部１ｂで生成されたキーワード集合から、それに重みを付与したキーワードベクトルＳを生成する。尚、この重みの付与については、キーワード集合の同一のキーワードの出現回数の値で重みを付与したり、出現の有無で「０」または「１」を付与したり、出現回数に変換式をかけた値であっても良い。
【００２９】
例えば、「Ｆｒｏｍ ｏｋａｋｋｏ＠ｊｐ こんにちわ お元気ですか？ 今日はもう退社ですか？」とのメールを形態素解析した場合、「Ｆｒｏｍ／ｏｋａｋｋｏ／＠／ｊｐ／こんにちわ／お／元気／です／か／？／今日／は／もう／退社／です／か／？」と１７個のキーワードに分割され、これらを出現の有無で「０」または「１」の重みを付与して同じキーワードが出現した場合は重複しないようにして、キーワードベクトルを生成した場合、下記のようになる。
【００３０】
（キーワード） （重み）
Ｆｒｏｍ 「１」
ｏｋａｋｋｏ 「１」
＠ 「１」
ｊｐ 「１」
こんにちわ 「１」
お 「１」
元気 「１」
です 「１」
か 「１」
？ 「１」
今日 「１」
は 「１」
もう 「１」
退社 「１」
【００３１】
このように、１４のキーワード要素からなるキーワードベクトルＳが生成される。尚、この分割結果例は、形態素解析ツールの種別によって異なる。
【００３２】
キーワードベクトル類似度算出部１ｄにおいては、図２のキーワードベクトル生成装置５から提供されるキーワードベクトル辞書ＢからキーワードベクトルＢを取得し、このキーワードベクトルＢと、キーワードベクトル生成部１ｃで生成したキーワードベクトルＳとの類似度の算出演算を行う。
【００３３】
例えば、不要メールを元にして生成されたキーワードベクトルＢは下記の通りとする。
【００３４】
（キーワード） （重み）
Ｆｒｏｍ 「１」
Ｓｐａｍ 「１」
＠ 「１」
ｊｐ 「１」
ｎｅｔ 「１」
未 「１」
承諾 「１」
販売 「１」
限定 「１」
アダルト 「１」
激安 「１」
必見 「１」
お 「１」
は 「１」
！ 「１」
【００３５】
この場合、キーワードベクトルＳとキーワードベクトルＢとの類似度をキーワードベクトル同士の内積で算出し、形態素解析で分割されたキーワード数で正規化した場合、以下のように類似度ｐ１が得られる。
【００３６】
ｐ１＝｛（Ｓ・Ｂ）／（キーワード数）｝＝４／１７＝０．２３５
【００３７】
尚、ここで、キーワード数で正規化を行わずに、類似度ｐ１＝（Ｓ・Ｂ）で導出しても良い。
【００３８】
判別部１ｅでは、キーワードベクトル類似度算出部１ｄで算出した類似度ｐ１と、予め設定された判別条件１３を用いて、当該受信メールが不要メールか必要メールかを判別して選別する。
【００３９】
判別条件１３の一例としては、例えば、「予めしきい値ｎ１を定めておき、類似度ｐ１がしきい値ｎ１を越えれば不要メール、類似度ｐ１がしきい値ｎ１を越えなければ必要メール」といったものが用いられる。
【００４０】
上述の例で、しきい値ｎ１として「０．７００」が設定されていた場合、類似度ｐ１は「０．２３５」であり、「ｐ１＜ｎ１」となり、必要メールであると判断される。
【００４１】
このように必要メールと判断された場合には、必要メール処理部１ｆにおいて、メールサーバ装置（２）からの当該メールを取得して削除せず、メールクライアント装置（３）に渡す等の処理を行う。
【００４２】
また、不要メールであると判断された場合には、不要メール処理部１ｇにおいて、メールサーバ装置（２）からの当該メールを削除したり、当該メールの内容を書き換えたり、メールクライアント装置（３）に渡さない等の処理を行う。
【００４３】
このように本例のメールフィルタリング装置１では、入力されたメール文書の選別を行う際、形態素解析部１ｂにより、入力されたメール文書を形態素解析してキーワードの集合にし、キーワードベクトル生成部１ｃにより、このキーワードの集合から当該メール文書の特徴を表す入力キーワードベクトルＳを生成し、キーワードベクトル類似度算出部１ｄにより、予めキーワードベクトル生成装置５で生成され辞書として記憶装置に記憶された参照用のキーワードベクトルＢを読み出し、この参照キーワードベクトルＢと入力キーワードベクトルＳとの類似度ｐ１を算出し、判別部１ｅにより、この類似度ｐ１に基づき当該メール文書を不要か必要かを判定条件１３を参照して判定して選別する。
【００４４】
特に、本例では、参照キーワードベクトルＢは、不要とされる文書の特徴を表しており、判別部１ｅでは、類似度ｐ１が予め定められた条件値より大きければ、参照キーワードベクトルＢの特徴と類似しており、当該メール文書を不要メール文書として選別する。このようにして、本例では、不要メールと同様の特徴をもったメールを不要メールであると判別することが可能となる。
【００４５】
図３は、本発明に係わる文書フィルタリングシステムの第２の構成例を示すブロック図である。
【００４６】
図３に示す本発明のメールフィルタリングシステムとしてのメールフィルタリング装置３１も、図１におけるメールフィルタリング装置１と同様に、図２に示すメール配信サービスシステムを構成するものであり、コンピュータのプログラムに基づく実行機能として処理を行うキーワードベクトル生成ブロック１０（図示していない受信部１ａ、形態素解析部１ｂ、キーワードベクトル生成部１ｃからなる）、キーワードベクトル類似度算出部１ｄとキーワードベクトル類似度算出部１ｈからなる演算処理ブロック１１ａ、判定部３１ｅ、必要メール処理部１ｆ、不要メール処理部１ｇを具備する。
【００４７】
このような構成において、メールフィルタリング装置３１は、キーワードベクトル生成ブロック１０において、メールの受信と、受信したメールの形態素解析および入力キーワードベクトルＳの生成を行う。
【００４８】
そして、本例の演算処理ブロック１１ａでは、キーワードベクトル類似度算出部１ｄにおいて、キーワードベクトル辞書Ｂを用いて参照キーワードベクトルＢと入力キーワードベクトルＳの類似度を算出すると共に、キーワードベクトル類似度算出部１ｈにおいては、キーワードベクトル辞書Ｗを用いて参照キーワードベクトルＷと入力キーワードベクトルＳの類似度を算出する。
【００４９】
そして、判別部３１ｅでは、キーワードベクトル類似度算出部１ｄにおいて算出した類似度ｐ１とキーワードベクトル類似度算出部１ｈにおいて算出した類似度ｐ２との２つを用いて、判別条件３３に基づく受信メール文書の要否を判別・選別を行う。
【００５０】
判別条件３３の一例をあげると、「予めαを定めておき、ｐ１＋α＞ｐ２ならば不要メール、そうで無いならば必要メール」といった条件が挙げられる。例えば、「類似度ｐ１＝０．２３５」、「類似度ｐ２＝０．５００」の場合で、α値を「−０．１００」と予め設定している場合、「０．２３５−０．１００＜０．５００」となり、必要メールであると判断する。
【００５１】
あるいは、判別条件３３として、他に一例をあげると、「（ｐ１／β）＞ｐ２ならば不要メール、そうで無いならば必要メール」と言った具合に、倍率βで条件を設定することもできる。この場合、前述のように「類似度ｐ１＝０．２３５」、「類似度ｐ２＝０．５００」、β値を「０．５」と予め設定していれば、「０．２３５／０．５＜０．５００」となり、必要メールであると判断する。
【００５２】
ここで、必要メールと判断すると必要メール処理部１ｆが、また、不要メールと判断すると不要メール処理部１ｇが実行される。
【００５３】
このように本例のメールフィルタリング装置３１では、入力されたメール文書の選別を行う際、キーワードベクトル類似度算出部１ｄにより参照キーワードベクトルＢと入力キーワードベクトルＳとの類似度ｐ１を算出すると共に、キーワードベクトル類似度算出部１ｈにより参照キーワードベクトルＷと入力キーワードベクトルＳとの類似度ｐ２を算出し、判別部３１ｅにおいては、類似度ｐ１および類似度ｐ２に基づき、当該メール文書の要否を判定して選別する。
【００５４】
また、一例として、参照キーワードベクトルＢは不要とされる文書の特徴を表し、参照キーワードベクトルＷは必要とされる文書の特徴を表すものとすると、判別部３１ｅは、類似度ｐ１が予め定められた条件値Ｔ１より大きく且つ類似度ｐ２が予め定められた条件値Ｔ２より小さければ当該メール文書を不要文書として選別し、類似度ｐ１が条件値Ｔ１より小さく且つ類似度ｐ２が条件値Ｔ２より大きければ当該メール文書を必要文書として選別する。
【００５５】
このことにより、本図３の例のメールフィルタリングシステムによれば、図１の構成例のメールフィルタリングシステムの有する問題点を解決できる。すなわち、図１の例では、判断部１ｅは、キーワードベクトルＳとキーワードベクトルＢとの類似度ｐ１単独で、不要メールか必要メールかを判断しているため、本当は、キーワードベクトルＳとキーワードベクトルＷとの類似度の方が大きい場合であっても、類似度ｐ１が不要メールの条件に合致すれば、不要メールとされてしまう問題があった。しかし、本図３の構成では、判断部３１ｅは、類似度ｐ１と類似度ｐ２の２つの値の関係から不要メール、必要メールを判断しており、このような問題は解決する。
【００５６】
図４は、本発明に係わる文書フィルタリングシステムの第３の構成例を示すブロック図である。
【００５７】
図４に示す本発明のメールフィルタリングシステムとしてのメールフィルタリング装置４１も、図１および図３におけるメールフィルタリング装置１，３１と同様に、図２に示すメール配信サービスシステムを構成するものであり、コンピュータのプログラムに基づく実行機能として処理を行うキーワードベクトル生成ブロック１０（図示していない受信部１ａ、形態素解析部１ｂ、キーワードベクトル生成部１ｃからなる）、キーワードベクトルフィルタリング部１ｉとキーワードベクトル類似度算出部１ｊからなる演算処理ブロック１１ｂ、判定部４１ｅ、必要メール処理部１ｆ、不要メール処理部１ｇを具備する。
【００５８】
このような構成において、メールフィルタリング装置４１は、キーワードベクトル生成ブロック１０において、メールの受信と、受信したメールの形態素解析および入力キーワードベクトルＳの生成を行う。
【００５９】
そして、本例の演算処理ブロック１１ｂでは、まず、キーワードベクトルフィルタリング部１ｉにおいて、入力キーワードベクトルＳからキーワードベクトル辞書Ｗ４５に格納された参照キーワードベクトルＷの成分を除く処理を行う。
【００６０】
例えば、受信メールのキーワードベクトルＳとキーワードベクトルＷとの積集合（Ｓ∩Ｗ）を、キーワードベクトルＳから引くことで、キーワードベクトルＷの成分を除いたキーワードベクトルＳｂ（＝Ｓ−Ｓ∩Ｗ）を生成する。
【００６１】
そして、キーワードベクトル類似度算出部１ｊにおいて、キーワードベクトルフィルタリング部１ｉで生成したキーワードベクトルＳｂと、キーワードベクトル辞書Ｂ４４に格納されたキーワードベクトルＢとの類似度ｐ１を算出し、判別部４１ｅにおいて、判別条件４３に基づき不要メールか必要メールかを判別して選別を行う。
【００６２】
例えば、図１の説明で例示した入力キーワードベクトルＳの場合、このキーワードベクトルＳと参照キーワードベクトルＷとの積集合「Ｓ∩Ｗ」は、下記の通りとなる。
【００６３】
（キーワード） 重み
Ｆｒｏｍ 「１」
Ｏｋａｋｋｏ 「１」
＠ 「１」
ｊｐ 「１」
こんにちわ 「１」
お 「１」
元気 「１」
つ 「１」
は 「１」
【００６４】
そして、「Ｓ−（Ｓ∩Ｗ）」は下記の通りとなる。
【００６５】
（キーワード） （重み）
です 「１」
か 「１」
今日 「１」
もう 「１」
退社 「１」
【００６６】
これがキーワードベクトルＳｂとなる。
【００６７】
そして、このキーワードベクトルＳｂとキーワードベクトル辞書Ｂとの類似度を、図１の説明の例と同様にして計算した場合、「ｐ１＝｛（Ｓｂ・Ｂ）／（キーワード数）｝＝０／１７＝０．０００」が得られる。
【００６８】
このように本例のメールフィルタリング装置４１では、入力されたメール文書の選別を行う際、キーワードベクトル生成ブロック１０で生成された入力キーワードベクトルＳに対して、キーワードベクトルフィルタリング部１ｉにおいて、予めキーワードベクトル辞書Ｗ４５として記憶装置に記憶された参照キーワードベクトルＷを読み出し、この参照キーワードベクトルＷと入力キーワードベクトルＳとの積集合演算（Ｓ∩Ｗ）を行い、この積集合演算（Ｓ∩Ｗ）結果を入力キーワードベクトルＳから除いたキーワードベクトルＳｂ（＝Ｓ−Ｓ∩Ｗ）を生成し、キーワードベクトル類似度算出部１ｊにおいて、予めキーワードベクトル辞書Ｂ４４として記憶装置に記憶された参照キーワードベクトルＢを読み出し、この参照キーワードベクトルＢと、キーワードベクトルフィルタリング部１ｉで生成したキーワードベクトルＳｂとの類似度ｐ１を算出し、判別部４１ｅにより、この類似度ｐ１に基づき当該メール文書の要否を判断して選別する。
【００６９】
例えば、参照キーワードベクトルＢは不要とされる文書の特徴を表し、参照キーワードベクトルＷは必要とされる文書の特徴を表すものとすると、キーワードベクトルベクトルフィルタリング部１ｉでは、受信メールから生成したキーワードベクトルＳから、必要メールから生成されたキーワードベクトルＷ成分を除き、必要メールと不要メールともに含まれるキーワード集合は排除される。
【００７０】
これにより、キーワードベクトル類似度算出部１ｊでは、（１）特徴的な要素だけで類似度を算出するので、類似度の値がより特徴的となり、判別部４１ｅで用いる判別条件４３の設定が容易となり、設定負荷を低減できる。また、（２）判別に必要なキーワードベクトル（Ｓｂ）だけで類似度演算をさせることで、キーワードベクトル類似度算出部１ｊにおける類似度演算の処理数を低減させることが可能となる。
【００７１】
図５は、本発明に係わる文書フィルタリングシステムの第４の構成例を示すブロック図である。
【００７２】
図５に示す本発明のメールフィルタリングシステムとしてのメールフィルタリング装置５１も、図１，３，４おけるメールフィルタリング装置１，３１，４１と同様に、図２に示すメール配信サービスシステムを構成するものであり、コンピュータのプログラムに基づく実行機能として処理を行うキーワードベクトル生成ブロック１０（図示していない受信部１ａ、形態素解析部１ｂ、キーワードベクトル生成部１ｃからなる）、キーワードベクトルフィルタリング部１ｉとキーワードベクトル類似度算出部１ｊおよびキーワードベクトルフィルタリング部１ｋとキーワードベクトル類似度算出部１ｍからなる演算処理ブロック１１ｃ、判定部５１ｅ、必要メール処理部１ｆ、不要メール処理部１ｇを具備する。
【００７３】
このような構成において、メールフィルタリング装置５１は、キーワードベクトル生成ブロック１０において、メールの受信と、受信したメールの形態素解析および入力キーワードベクトルＳの生成を行う。
【００７４】
本例のメールフィルタリング装置５１の特徴は、図４に示すメールフィルタリング装置４１の演算処理ブロック１１ｂにおいて、キーワードベクトルフィルタリング部１ｋとキーワードベクトル類似度算出部１ｍの２つを追加した点であり、キーワードベクトルフィルタリング部１ｋは、キーワードベクトルＳから、予めキーワードベクトル辞書Ｂにおいて決めておいたキーワードベクトルＢの成分を除く処理を行い、キーワードベクトル類似度算出部１ｍは、キーワードベクトルフィルタリング部１ｋから出力されるキーワードベクトルに対して、予めキーワードベクトル辞書Ｗにおいて決めておいたキーワードベクトルＷとの類似度を算出する。以下、このような構成の演算処理ブロック１１ｃの動作の詳細を説明する。
【００７５】
キーワードベクトルフィルタリング部１ｉは、キーワードベクトル生成ブロック１０で生成された受信メールのキーワードベクトルＳと、キーワードベクトル辞書Ｗ５５に格納されたキーワードベクトルＷとの積集合（Ｓ∩Ｗ）を、キーワードベクトルＳから除いた、キーワードベクトルＳｂ（＝「Ｓ―（Ｓ∩Ｗ）」）を生成する。
【００７６】
キーワードベクトル類似度算出部１ｊは、キーワードベクトルフィルタリング部１ｉで生成したキーワードベクトルＳｂと、キーワードベクトル辞書Ｂから取得したキーワードベクトルＢとの類似度ｐ１を算出する。
【００７７】
例えば、図１の説明で示したキーワードベクトルの例を用いた場合、「Ｓ∩Ｗ」は、以下の通りとなる。
【００７８】
（キーワード） （重み）
Ｆｒｏｍ 「１」
ｏｋａｋｋｏ 「１」
＠ 「１」
ｊｐ 「１」
こんにちわ 「１」
お 「１」
元気 「１」
？ 「１」
は 「１」
【００７９】
そして、「Ｓ−（Ｓ∩Ｗ）」は、以下の通りとなる。
【００８０】
（キーワード） （重み）
です 「１」
か 「１」
今日 「１」
もう 「１」
退社 「１」
【００８１】
これがキーワードベクトルＳｂとなる。このキーワードベクトルＳｂとキーワードベクトルＢとの類似度ｐ１を図１の説明と同様にして計算した場合、「ｐ１＝｛（Ｓｂ・Ｂ）／（キーワード数）｝＝０／１７＝０．０００」が得られる。
【００８２】
また、キーワードベクトルフィルタリング部１ｋは、キーワードベクトル生成ブロック１０で生成された受信メールのキーワードベクトルＳから、キーワードベクトル辞書Ｂ５４に格納されたキーワードベクトルＢとの積集合（Ｓ∩Ｂ）を除いた、キーワードベクトルＳｗ（＝「Ｓ―（Ｓ∩Ｂ）」）を生成し、キーワードベクトル類似度算出部１ｍは、キーワードベクトルフィルタリング部１ｋで生成したキーワードベクトルＳｗと、キーワードベクトル辞書Ｗから取得したキーワードベクトルＷとの類似度ｐ２を算出する。
【００８３】
これにより、例えば、図１の説明で示したキーワードベクトルの例を用いた場合、キーワードベクトルＳとキーワードベクトルＢとの積集合「Ｓ∩Ｂ」は、以下の通りとなる。
【００８４】
（キーワード） （重み）
Ｆｒｏｍ 「１」
＠ 「１」
お 「１」
は 「１」
【００８５】
そして、「Ｓｗ＝Ｓ−（Ｓ∩Ｂ）」は、下記の通りとなる。
【００８６】
（キーワード） （重み）
ｏｋａｋｋｏ 「１」
ｊｐ 「１」
こんにちわ 「１」
元気 「１」
です 「１」
か 「１」
？ 「１」
今日 「１」
もう 「１」
退社 「１」
【００８７】
このキーワードベクトルＳｗとキーワードベクトルＷとの類似度ｐ２を図１の説明と同様にして計算した場合、「ｐ２＝｛（Ｓｗ・Ｗ）／（キーワード数）｝＝５／１７＝０．２９４」が得られる。
【００８８】
そして、判別部５１ｅにおいては、判別条件５３に従って、類似度ｐ１と類似度ｐ２とを比較して不要メールか必要メールかを判別して選別する。
【００８９】
このように本例のメールフィルタリング装置５１では、入力されたメール文書の選別を行う際、キーワードベクトル生成ブロック１０で生成された入力キーワードベクトルＳに対して、キーワードベクトルフィルタリング部１ｉにおいて、予めキーワードベクトル辞書Ｗ４５として記憶装置に記憶された参照キーワードベクトルＷを読み出し、この参照キーワードベクトルＷと入力キーワードベクトルＳとの積集合演算（Ｓ∩Ｗ）を行い、この積集合演算（Ｓ∩Ｗ）結果を入力キーワードベクトルＳから除いたキーワードベクトルＳｂ（＝Ｓ−Ｓ∩Ｗ）を生成し、キーワードベクトル類似度算出部１ｊにおいて、予めキーワードベクトル辞書Ｂ４４として記憶装置に記憶された参照キーワードベクトルＢを読み出し、この参照キーワードベクトルＢと、キーワードベクトルフィルタリング部１ｉで生成したキーワードベクトルＳｂとの類似度ｐ１を算出し、さらに、キーワードベクトルフィルタリング部１ｋにおいて、予めキーワードベクトル辞書Ｂ５４として記憶装置に記憶された参照キーワードベクトルＢを読み出し、この参照キーワードベクトルＢと入力キーワードベクトルＳとの積集合演算（Ｓ∩Ｂ）を行い、この積集合演算（Ｓ∩Ｂ）結果を入力キーワードベクトルＳから除いたキーワードベクトルＳｗ（＝Ｓ−Ｓ∩Ｂ）を生成し、キーワードベクトル類似度算出部１ｍにおいて、予めキーワードベクトル辞書Ｗ５５として記憶装置に記憶された参照キーワードベクトルＷを読み出し、この参照キーワードベクトルＷと、キーワードベクトルフィルタリング部１ｋで生成したキーワードベクトルＳｗとの類似度ｐ２を算出し、判別部５１ｅにより、この類似度ｐ１と類似度ｐ２に基づき当該メール文書の要否を判断して選別する。
【００９０】
また、一例として、参照キーワードベクトルＢは不要とされる文書の特徴を表し、参照キーワードベクトルＷは必要とされる文書の特徴を表すものとすると、判別部５１ｅは、類似度ｐ１が予め定められた条件値Ｔ１より大きく且つ類似度ｐ２が予め定められた条件値Ｔ２より小さければ当該メール文書を不要文書として選別し、また、類似度ｐ１が条件値Ｔ１より小さく且つ類似度ｐ２が条件値Ｔ２より大きければ当該メール文書を必要文書として選別する。
【００９１】
このように本例では、キーワードベクトルベクトルフィルタリング部１ｉにおいては、受信メールから生成したキーワードベクトルＳから、必要メールから生成されたキーワードベクトルＷ成分が除かれており、また、キーワードベクトルベクトルフィルタリング部１ｋにおいては、受信メールから生成したキーワードベクトルＳから、不要メールから生成されたキーワードベクトルＢ成分が除かれており、必要メールと不要メールともに含まれるキーワード集合は排除されている。
【００９２】
これにより、キーワードベクトル類似度算出部１ｊでは、キーワードベクトルＳｂとキーワードベクトルＢとの類似度ｐ１と、キーワードベクトルＳｗとキーワードベクトルＷとの類似度ｐ２とを用いて不要メールか必要メールかを判別することで、必要メールと不要メールともに含まれるキーワード集合は排除して評価することができる。
【００９３】
この結果、キーワードベクトル類似度算出部１ｊでは、（１）特徴的な要素だけで類似度を算出するので、類似度の値がより特徴的となり、判別部５１ｅで用いる判別条件４３の設定が容易となり、設定負荷を低減できる。また、（２）判別に必要なキーワードベクトル（Ｓｂ，Ｓｗ）だけで類似度演算をさせることで、キーワードベクトル類似度算出部１ｊ，１ｋにおける類似度演算の処理数を低減させることが可能となる。
【００９４】
図６は、本発明に係わる文書フィルタリングシステムの第５の構成例を示すブロック図である。
【００９５】
図６に示す本発明のメールフィルタリングシステムとしてのメールフィルタリング装置６１も、図１，３〜５おけるメールフィルタリング装置１，３１〜５１と同様に、図２に示すメール配信サービスシステムを構成するものであり、コンピュータのプログラムに基づく実行機能として処理を行うキーワードベクトル生成ブロック１０（図示していない受信部１ａ、形態素解析部１ｂ、キーワードベクトル生成部１ｃからなる）と図１，３〜５のそれぞれで示される各処理部から構成された演算処理ブロック１１ｄ、判定部６１ｅ，６１ｅｅ、必要メール処理部１ｆ、不要メール処理部１ｇを具備する。
【００９６】
このような構成において、メールフィルタリング装置６１は、キーワードベクトル生成ブロック１０において、メールの受信と、受信したメールの形態素解析および入力キーワードベクトルＳの生成を行い、そして、演算処理ブロック１１ｄでは、入力キーワードベクトルＳと各種参照キーワードベクトルとの類似度ｐ１，ｐ２の算出を行い、判別部６１ｅにおいて、判別条件６３ａに従って、類似度ｐ１，ｐ２に基づく当該入力メール文書の要否の判別・選別を行う。
【００９７】
本例のメールフィルタリング装置６１の特徴は、この判別部６１ｅにおける当該入力メール文書の判別において、必要メールと不要メールのいずれにも選別できない「それ以外」の判別結果にも対応した仕組みを設けた点である。
【００９８】
すなわち、本例では、例えば、図１および図３〜図５のそれぞれのメールフィルタリング装置１，３１，４１，５１の判別部１ｅ、３１ｅ、４１ｅ、５１ｅにおいて「それ以外」と判別された場合に適用されるものであり、演算処理ブロック６１ｄに類似度算出の処理を繰り返させる仕組みを有する。
【００９９】
尚、図６の例では、演算処理ブロック１１ｄからは類似度ｐ１と類似度ｐ２が出力される構成としているが、図１および図４に示したメールフィルタリング装置１，４１に適用した場合は、類似度ｐ１のみが出力され、図３および図５に示したメールフィルタリング装置３１，５１に適用した場合に、本図６に示すように類似度ｐ１と類似度ｐ２が出力される。
【０１００】
以下、図１のメールフィルタリング装置１に対して、本図６に示すように、演算処理ブロックを二段構成にした場合の適用例として説明する。
【０１０１】
１段目の演算処理ブロック１１ｄでは、例えば個人的に不要とされたメールから生成されたキーワードベクトルＢ１を元に受信メールの類似度を算出して判別部６１ｅでその要否を判別し、２段目の演算処理ブロック６１ｄでは、一般的に不要とされるメールから生成されたキーワードベクトルＢ２を元に受信メールの類似度を算出して判別部６１ｅｅでその要否を判別するものとする。
【０１０２】
まず、１段目の演算処理ブロック１１ｄにおいて、キーワードベクトルＳと個人的に不要とされたメールから生成されたキーワードベクトルＢ１との類似度ｐ１が、判別部６１ｅの判別条件６３ａに従っての判別で「それ以外」と選別されたとする。
【０１０３】
その場合、２段目の演算処理ブロック６１ｅｅでの処理を継続し、この２段目の演算処理ブロック６１ｅｅでは、キーワードベクトルＳを入力として、１段目と同様に処理を行う。
【０１０４】
本例では、２段目が最終段となっているため、最終段の判別部６１ｅｅでは、「不要メール」、「必要メール」のいづれかに判別する。
【０１０５】
尚、１段目の演算処理ブロック１１ｅの後の判別部６１ｅで「不要メール」と「必要メール」のいづれかに判別された場合は、２段目の演算処理ブロック６１ｅｅに処理は継続されず、直ちに必要メール処理部１ｆ、不要メール処理部１ｇのそれぞれの処理に移る。
【０１０６】
このようにして本例では、１段目の判別部６１ｅが不要メール文書もしくは必要メール文書のいずれにも判別できないメール文書に対しても、キーワードベクトルに基づく類似度の算出と、この類似度に基づく選別処理を繰り返し、当該メール文書を不要メール文書もしくは必要メール文書のいずれか一方に選別することができる。
【０１０７】
尚、類似度の算出の繰り返しにおいて、類似度の算出に用いる参照キーワードベクトルは任意に置き換えることができる。
【０１０８】
例えば、１段目の演算処理ブロック１１ｄと判別部６１ｅで、個人的に生成した、個人的な不要メールキーワードベクトルＢ１に基づき受信メールを判別し、この１段目の演算処理ブロック１１ｄと判別部６１ｅで不要メールか否かを判別できなかった場合には、２段目の演算処理ブロック６１ｄと判別部６１ｅｅで、ネット上にある一般的な不要メールキーワードベクトルＢ２に基づき受信メールを判別することで、より精度高く、メールの要否を判別することができる。
【０１０９】
また、１段目の演算処理ブロック１１ｄと判別部６１ｅで、個人的に生成した、個人的に必要となさたメールから生成されたキーワードベクトルＷ１に基づき受信メールを判別し、１段目の演算処理ブロックで必要メールか否かを判別できなかった場合、２段目の演算処理ブロック６１ｄと判別部６１ｅｅで、ネット上で一般的に必要とされるメールから生成されたキーワードベクトルＷ２に基づき受信メールの要否を判別することで、より精度高く、メールの要否を判別することができる。
【０１１０】
また、１段目の演算処理ブロック１１ｄと判別部６１ｅで、個人的に生成した、個人的に必要とされるメールから生成されたキーワードベクトルＷ１で受信メールを判別し、１段目の判別部６１ｅで必要メールか否かを判別できなかった場合、２段目の演算処理ブロック６１ｄと判別部６１ｅｅで、一般的に不要とされるメールから生成されたキーワードベクトルＢ２に基づき受信メールの要否を判別することで、より精度高く、メールの要否を判別することができる。
【０１１１】
このように、本例では類似度の算出に用いる参照キーワードベクトルの内容を、目的に応じて組み合わせることが可能であり、精度の高い判別を可能とすることができる。
【０１１２】
以上、図１〜図６を用いて説明したように、本例のメールフィルタリング装置では、電子メールを選別対象の文書とし、受信メールから生成したキーワードベクトルＳと、例えば予め不要メールの文面を形態素解析をして重み付けして生成したキーワードベクトルＢとの類似度や、必要メールの文面を形態素解析をして重み付けして生成したキーワードベクトルＷとの類似度を用いて不要メールか必要メールかを判別することで、不要メールの文面が未知であっても、キーワードベクトルの類似度によって不要メールか否かを判別することができる。
【０１１３】
例えば、図１に示すメールフィルタリング装置１の例では、受信メールの文面（ヘッダ情報や署名も含む）を形態素解析し、受信メールのキーワードベクトルＳを生成し、キーワードベクトル辞書生成装置（５）が不要メールから生成したキーワードベクトル辞書Ｂから取得したキーワードベクトルＢと受信メールのキーワードベクトルＳとの類似度ｐ１を算出し、類似度ｐ１の大きさと予め登録された判別条件とによって必要メールか不要メールかを判断する。このことにより、不要メールと同様の特徴をもったメールを不要メールであると判別することが可能となる。
【０１１４】
また、図３に示すメールフィルタリング装置３１の例では、キーワードベクトル辞書生成装置（５）が不要メールから生成したキーワードベクトル辞書Ｂから取得したキーワードベクトルＢと、受信メールのキーワードベクトルＳとの類似度ｐ１と、キーワードベクトル辞書生成装置（５）が必要メールから生成したキーワードベクトル辞書Ｗから取得したキーワードベクトルＷと、受信メールのキーワードベクトルＳとの類似度ｐ２とを比較して、類似度ｐ１、ｐ２の大きさと判別条件によって必要メールか不要メールかを判断する。この図３の構成例によれば、図１の例の問題点を解決できる。
【０１１５】
すなわち、図１の構成のメールフィルタリング装置１では、判別部１ｅにおいて、キーワードベクトルＳと、不要メールから生成されたキーワードベクトルＢとの類似度ｐ１のみで、不要メール、必要メールかを判断しているため、本当は、キーワードベクトルＳと必要メールから生成されたキーワードベクトルＷとの類似度の方が大きい場合であっても、類似度ｐ１が不要メールの条件に合致すれば、不要メールとされてしまう問題があった。しかし、図３の構成のメールフィルタリング装置３１では、判別部３１ｅにおいて、類似度ｐ１とｐ２の２つの値の関係から不要メール、必要メールを判断するので、前述の問題は解決する。
【０１１６】
また、図４に示すメールフィルタリング装置４１の例は、図１に示すメールフィルタリング装置１にキーワードベクトルフィルタリング部を追加したものであり、受信メールのキーワードベクトルＳから、キーワードベクトルＳと（例えば必要メールから生成された）キーワードベクトル辞書から取得したキーワードベクトルＷとの積集合（Ｓ∩Ｗ）を除いたＳｂを用い、このキーワードベクトルＳｂと（例えば必要メールから生成された）キーワードベクトル辞書から取得したキーワードベクトルＢとの類似度ｐ１を算出し、類似度ｐ１の大きさと判別条件によって必要メールか不要メールかを判断する。
【０１１７】
このように、図４に示すメールフィルタリング装置４１では、キーワードベクトルフィルタリング部１ｉによって生成されたキーワードベクトルＳｂは、受信メールから生成したキーワードベクトルＳから、必要メールから生成したキーワードベクトルＷ成分を除かれており、必要メールと不要メールともに含まれるキーワード集合は排除して評価することができる。これにより、（１）特徴的な要素だけで類似度を算出するため、類似度の値がより特徴的となり、判別部の判別条件設定の困難さを低減させることができ、また、（２）判別に必要なキーワードベクトルだけで類似度演算をさせることで、類似度演算の処理数を低減させることが可能となる。
【０１１８】
また、図５に示すメールフィルタリング装置５１の例では、図３に示すメールフィルタリング装置３１に、キーワードベクトルフィルタリング部を追加したものであり、受信メールのキーワードベクトルＳから、キーワードベクトルＳと（必要メールから生成された）キーワードベクトル辞書から取得したキーワードベクトルＷとの積集合（Ｓ∩Ｗ）を除いたＳｂを用い、このキーワードベクトルＳｂと（必要メールから生成された）キーワードベクトル辞書から取得したキーワードベクトルＢとの類似度ｐ１を算出し、また、受信メールのキーワードベクトルＳから、キーワードベクトルＳと（不要メールから生成された）キーワードベクトル辞書から取得したキーワードベクトルＢとの積集合（Ｓ∩Ｂ）を除いたＳｗを用い、このキーワードベクトルＳｗと（必要メールから生成された）キーワードベクトル辞書から取得したキーワードベクトルＷとの類似度ｐ２を算出し、これらの類似度ｐ１とｐ２とを比較して判別部によって不要メールか必要メールかを判別する。
【０１１９】
本例によれば、追加した第１のキーワードベクトルフィルタリング部によって生成されたキーワードベクトルＳｂは、受信メールから生成したキーワードベクトルＳから、必要メールから生成したキーワードベクトルＷ成分を除かれており、また、第２のキーワードベクトルフィルタリング部によって生成されたキーワードベクトルＳｗは、受信メールから生成したキーワードベクトルＳから、不要メールから生成したキーワードベクトルＢ成分を除かれており、そのキーワードベクトルＳｂとキーワードベクトルＢとの類似度ｐ１と、そのキーワードベクトルＳｗとキーワードベクトルＷとの類似度ｐ２とを用いて不要メールか必要メールかを判別することで、必要メールと不要メールともに含まれるキーワード集合は排除して評価することができる。
【０１２０】
これにより、本例では、（１）特徴的な要素だけで類似度を算出するため、類似度の値がより特徴的となり、判別部の判別条件設定の困難さを低減させることができ、また、（２）判別に必要なキーワードベクトルだけで類似度演算をさせることで、類似度演算の処理数を低減させることが可能となる。
【０１２１】
また、図６に示すメールフィルタリング装置６１の例では、図１、および図３〜５の各メールフィルタリング装置１，３１〜５１の判定部において、必要メールと不要メール以外のメールと判別し、「それ以外」と判別されたメールに対して、演算処理ブロックと判別部の処理を継続して繰り返し、その最終段階の判別部において、必要メールと不要メールのいずれか一方に選別する為の類似度の大きさの条件を記述した判別条件を参照し、類似度ｐ１と類似度ｐ２の大きさ、もしくは類似度ｐ１のみの大きさによって、必要、不要、の２つに受信メールを判別する。
【０１２２】
例えば、図１のメールフィルタリング装置１に適用して、演算処理ブロックと判別部を２段とした場合、１段目の演算処理ブロックで類似度を演算して判別部において「それ以外」と判別した場合、２段目の演算処理ブロックと判別部に処理と移す。このようにすることで、１段目で、確実に「不要メール」であることを示すキーワードベクトルＢ１で判別し、この１段目では判別できなかった場合、２段目で、一般的な「不要メール」であることを示すキーワードベクトルＢ２で判別するといった、精度の高い判別が可能となる。
【０１２３】
同様に、このようにすることで、１段目で、確実に「必要メール」であることを示すキーワードベクトルＷで判別し、１段目では判別できなかった場合、２段目で、「不要メール」であることを示すキーワードベクトルＢで判別するといった処理動作も可能となる。
【０１２４】
尚、本発明は、図１〜図６を用いて説明した例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能である。例えば、図２で示したメールフィルタリング装置、キーワードベクトル生成装置、メールサーバ装置、メールクライアント装置等における、それぞれの通信は、インターネットやＬＡＮと言ったネットワークを介した通信であっても、コンピュータ内のローカルな通信であっても構わない。
【０１２５】
例えば、図２の例では、メールフィルタリング装置は、キーワードベクトル生成装置で生成したキーワードベクトルをネットワークを介して参照する構成としているが、キーワードベクトル生成装置で生成したキーワードベクトルを予めメールフィルタリング装置内に取り込んでおく構成でも、キーワードベクトル生成装置内に、キーワードベクトル生成装置を設けた構成としても良い。
【０１２６】
また、図５の例では、キーワードフィルタリング部１ｉとキーワードベクトル類似度算出部１ｍでは、同じでキーワードベクトル辞書Ｗ５５を参照し、キーワードフィルタリング部１ｋとキーワードベクトル類似度算出部１ｊでは、同じでキーワードベクトル辞書Ｂ５４を参照する構成としているが、キーワードフィルタリング部１ｉとキーワードベクトル類似度算出部１ｍで、それぞれ異なるキーワードベクトル辞書（Ｗ，Ｗａ）を参照し、また、キーワードフィルタリング部１ｋとキーワードベクトル類似度算出部１ｊにおいても、それぞれ異なるキーワードベクトル辞書（Ｂ，Ｂａ）を参照する構成としても良い。
【０１２７】
また、本例では、要・不要の判別の対象として電子メールを例に説明しているが、文字列で構成されたテキストデータであれば良く、電子メールに限定するものではない。
【０１２８】
また、本例でのコンピュータ構成例としては、キーボードや光ディスクの駆動装置の無いコンピュータ構成としても良い。また、本例では、光ディスクを記録媒体として用いているが、ＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）等を記録媒体として用いることでも良い。また、プログラムのインストールに関しても、通信装置を介してネットワーク経由でプログラムをダウンロードしてインストールすることでも良い。
【０１２９】
【発明の効果】
本発明によれば、例えば電子メールを対象とした場合、メール条件指定で判別できない未知のメールの要・不要を判別することが可能となり、また、類似内容の不要メールを送信者を偽って不特定多数に送りつける場合であっても、不要メールを判別することが可能となり、また、類似内容の不要メールを送信者を偽って不特定多数に送りつける場合、必要メールと似た単語を用いて記述がされたメールであっても、他者が不要と判断した不要メールのキーワードベクトルを用いることにより、メール本文の特徴ベクトルで判別しても誤分類される可能性が少なくなり、不要メールと必要メールとの判別等、文書の選別を高精度に行うことが可能となる。
【図面の簡単な説明】
【図１】本発明に係わる文書フィルタリングシステムの第１の構成例を示すブロック図である。
【図２】図１における文書フィルタリングシステムを用いたメール配信サービスシステムの構成例を示すブロック図である。
【図３】本発明に係わる文書フィルタリングシステムの第２の構成例を示すブロック図である。
【図４】本発明に係わる文書フィルタリングシステムの第３の構成例を示すブロック図である。
【図５】本発明に係わる文書フィルタリングシステムの第４の構成例を示すブロック図である。
【図６】本発明に係わる文書フィルタリングシステムの第５の構成例を示すブロック図である。
【符号の説明】
１，３１，４１，５１，６１：メールフィルタリング装置、１ａ：受信部、１ｂ：形態素解析部、１ｃ：キーワードベクトル生成部、１ｄ，１ｈ，１ｊ，１ｍ：キーワードベクトル類似度算出部、１ｅ，３１ｅ，４１ｅ，５１ｅ，６１ｅ，６１ｅｅ：判別部、１ｆ：必要メール処理部、１ｇ：不要メール処理部、１ｉ，１ｋ：キーワードベクトルフィルタリング部、２：メールサーバ装置（「メールサーバ」）、３：メールクライアント装置（「メールクライアント」）、４：利用者、５：キーワードベクトル生成装置、６ａ〜６ｄ：ＩＰネットワーク、１０：キーワードベクトル生成ブロック、１１，１１ａ，１１ｂ，１１ｃ，１１ｄ，６１ｄ：演算処理ブロック、１２：メール、１３，３３，４３，５３，６３ａ，６３ｂ：判別条件、１４，３４，４４，５４：キーワードベクトル辞書Ｂ、３５，４５，５５：キーワードベクトル辞書Ｗ。
Claims (13)
- 入力された文書の選別を行う文書フィルタリングシステムであって、
入力された文書を形態素解析してキーワードの集合にする形態素解析手段と、
上記キーワードの集合から当該文書の特徴を表す入力キーワードベクトルＳを生成するキーワードベクトル生成手段と、
予め記憶装置に記憶された参照キーワードベクトルＢを読み出し、該参照キーワードベクトルＢと上記入力キーワードベクトルＳとの類似度ｐ１を算出するキーワードベクトル類似度算出手段と、
上記類似度ｐ１に基づき当該文書を選別する判別手段とを有することを特徴とする文書フィルタリングシステム。 - 請求項１に記載の文書フィルタリングシステムであって、
上記参照キーワードベクトルＢは、不要とされる文書の特徴を表し、
上記判別手段は、上記類似度ｐ１が予め定められた条件値より大きければ、当該文書を不要文書として選別することを特徴とする文書フィルタリングシステム。 - 入力された文書の選別を行う文書フィルタリングシステムであって、
入力された文書を形態素解析してキーワードの集合にする形態素解析手段と、
上記キーワードの集合から当該文書の特徴を表す入力キーワードベクトルＳを生成するキーワードベクトル生成手段と、
予め記憶装置に記憶された参照キーワードベクトルＢを読み出し、該参照キーワードベクトルＢと上記入力キーワードベクトルＳとの類似度ｐ１を算出する第１のキーワードベクトル類似度算出手段と、
予め記憶装置に記憶された参照キーワードベクトルＷを読み出し、該参照キーワードベクトルＷと上記入力キーワードベクトルＳとの類似度ｐ２を算出する第２のキーワードベクトル類似度算出手段と、
上記類似度ｐ１および上記類似度ｐ２に基づき、当該文書を選別する判別手段とを有することを特徴とする文書フィルタリングシステム。 - 請求項３に記載の文書フィルタリングシステムであって、
上記参照キーワードベクトルＢは、不要とされる文書の特徴を表し、
上記参照キーワードベクトルＷは、必要とされる文書の特徴を表し、
上記判別手段は、上記類似度ｐ１が予め定められた条件値Ｔ１より大きく且つ上記類似度ｐ２が予め定められた条件値Ｔ２より小さければ当該文書を不要文書として選別し、上記類似度ｐ１が上記条件値Ｔ１より小さく且つ上記類似度ｐ２が上記条件値Ｔ２より大きければ当該文書を必要文書として選別することを特徴とする文書フィルタリングシステム。 - 入力された文書の選別を行う文書フィルタリングシステムであって、
入力された文書を形態素解析してキーワードの集合にする形態素解析手段と、
上記キーワードの集合から当該文書の特徴を表す入力キーワードベクトルＳを生成するキーワードベクトル生成手段と、
予め記憶装置に記憶された参照キーワードベクトルＷを読み出し、該参照キーワードベクトルＷと上記入力キーワードベクトルＳとの積集合演算（Ｓ∩Ｗ）を行い、該積集合演算（Ｓ∩Ｗ）結果を上記入力キーワードベクトルＳから除いたキーワードベクトルＳｂ（＝Ｓ−Ｓ∩Ｗ）を生成するキーワードベクトルフィルタリング手段と、
予め記憶装置に記憶された参照キーワードベクトルＢを読み出し、該参照キーワードベクトルＢと上記キーワードベクトルＳｂとの類似度ｐ１を算出するキーワードベクトル類似度算出手段と、
上記類似度ｐ１に基づき当該文書を選別する判別手段とを有することを特徴とする文書フィルタリングシステム。 - 請求項５に記載の文書フィルタリングシステムであって、
上記参照キーワードベクトルＢは、不要とされる文書の特徴を表し、
上記参照キーワードベクトルＷは、必要とされる文書の特徴を表し、
上記判別手段は、上記類似度ｐ１が予め定められた条件値より大きければ、当該文書を不要文書として選別することを特徴とする文書フィルタリングシステム。 - 入力された文書の選別を行う文書フィルタリングシステムであって、
入力された文書を形態素解析してキーワードの集合にする形態素解析手段と、
上記キーワードの集合から当該文書の特徴を表す入力キーワードベクトルＳを生成するキーワードベクトル生成手段と、
予め記憶装置に記憶された参照キーワードベクトルＷを読み出し、該参照キーワードベクトルＷと上記入力キーワードベクトルＳとの積集合演算（Ｓ∩Ｗ）を行い、該積集合演算（Ｓ∩Ｗ）結果を上記入力キーワードベクトルＳから除いたキーワードベクトルＳｂ（＝Ｓ−Ｓ∩Ｗ）を生成する第１のキーワードベクトルフィルタリング手段と、
予め記憶装置に記憶された参照キーワードベクトルＢを読み出し、該参照キーワードベクトルＢと上記入力キーワードベクトルＳとの積集合演算（Ｓ∩Ｂ）を行い、該積集合演算（Ｓ∩Ｂ）結果を上記入力キーワードベクトルＳから除いたキーワードベクトルＳｗ（＝Ｓ−Ｓ∩Ｂ）を生成する第２のキーワードベクトルフィルタリング手段と、
予め記憶装置に記憶された参照キーワードベクトルＢａを読み出し、該参照キーワードベクトルＢａと上記入力キーワードベクトルＳｂとの類似度ｐ１を算出する第１のキーワードベクトル類似度算出手段と、
予め記憶装置に記憶された参照キーワードベクトルＷａを読み出し、該参照キーワードベクトルＷａと上記キーワードベクトルＳｗとの類似度ｐ２を算出する第２のキーワードベクトル類似度算出手段と、
上記類似度ｐ１および上記類似度ｐ２に基づき当該文書を選別する判別手段とを有することを特徴とする文書フィルタリングシステム。 - 請求項７に記載の文書フィルタリングシステムであって、
上記参照キーワードベクトルＢとＢａは、不要とされる文書の特徴を表し、
上記参照キーワードベクトルＷとＷａは、必要とされる文書の特徴を表し、
上記判別手段は、上記類似度ｐ１が予め定められた条件値Ｔ１より大きく且つ上記類似度ｐ２が予め定められた条件値Ｔ２より小さければ当該文書を不要文書として選別し、上記類似度ｐ１が上記条件値Ｔ１より小さく且つ上記類似度ｐ２が上記条件値Ｔ２より大きければ当該文書を必要文書として選別することを特徴とする文書フィルタリングシステム。 - 請求項７もしくは請求項８のいずれかに記載の文書フィルタリングシステムであって、
上記参照キーワードベクトルＢと上記参照キーワードベクトルＢａとを同じものとし、上記参照キーワードベクトルＷと上記参照キーワードベクトルＷａを同じものとすることを特徴とする文書フィルタリングシステム。 - 請求項１から請求項９のいずれかに記載の文書フィルタリングシステムであって、
上記判別手段が不要文書もしくは必要文書のいずれにも判別できない文書に対して、上記キーワードベクトルに基づく類似度の算出と、該類似度に基づく選別を繰り返し、当該文書を不要文書もしくは必要文書のいずれか一方に選別する手段を有することを特徴とする文書フィルタリングシステム。 - 請求項１０に記載の文書フィルタリングシステムであって、
上記類似度の算出の繰り返しにおいて、算出に用いる参照キーワードベクトルを任意に置き換えることを特徴とする文書フィルタリングシステム。 - 請求項１から請求項１１のいずれかに記載の文書フィルタリングシステムであって、上記入力された文書は電子メールからなり、電子メールの選別を行うことを特徴とする文書フィルタリングシステム。
- コンピュータを、請求項１から請求項１２のいずれかに記載の文書フィルタリングシステムにおける各手段として機能させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003145930A JP2004348523A (ja) | 2003-05-23 | 2003-05-23 | 文書フィルタリングシステムとプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003145930A JP2004348523A (ja) | 2003-05-23 | 2003-05-23 | 文書フィルタリングシステムとプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004348523A true JP2004348523A (ja) | 2004-12-09 |
Family
ID=33532937
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003145930A Pending JP2004348523A (ja) | 2003-05-23 | 2003-05-23 | 文書フィルタリングシステムとプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004348523A (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006268303A (ja) * | 2005-03-23 | 2006-10-05 | Nomura Research Institute Ltd | 投稿データ評価装置 |
| JP2006268304A (ja) * | 2005-03-23 | 2006-10-05 | Nomura Research Institute Ltd | 投稿データ評価装置 |
| JP2006324817A (ja) * | 2005-05-17 | 2006-11-30 | Ntt Docomo Inc | データ通信システム及びデータ通信方法 |
| JP2007122148A (ja) * | 2005-10-25 | 2007-05-17 | Just Syst Corp | 電子メール分類装置および電子メール分類方法 |
| JP2008135926A (ja) * | 2006-11-28 | 2008-06-12 | Yamaguchi Univ | 迷惑メールのフィルタ機能を有する電子メールシステム |
| JP2009104400A (ja) * | 2007-10-23 | 2009-05-14 | Kddi Corp | 電子メールフィルタリング装置、電子メールのフィルタリング方法およびプログラム |
| JP2009140437A (ja) * | 2007-12-10 | 2009-06-25 | Just Syst Corp | フィルタリング処理方法、フィルタリング処理プログラムおよびフィルタリング装置 |
| JP2017111479A (ja) * | 2015-12-14 | 2017-06-22 | 日本放送協会 | 広告文選択装置及びプログラム |
| JP2020004220A (ja) * | 2018-06-29 | 2020-01-09 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、クライアント端末、制御方法、及びプログラム |
| JP2020035272A (ja) * | 2018-08-31 | 2020-03-05 | 株式会社日立ソリューションズ東日本 | 要約生成装置および要約生成方法 |
-
2003
- 2003-05-23 JP JP2003145930A patent/JP2004348523A/ja active Pending
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006268304A (ja) * | 2005-03-23 | 2006-10-05 | Nomura Research Institute Ltd | 投稿データ評価装置 |
| JP2006268303A (ja) * | 2005-03-23 | 2006-10-05 | Nomura Research Institute Ltd | 投稿データ評価装置 |
| JP4559295B2 (ja) * | 2005-05-17 | 2010-10-06 | 株式会社エヌ・ティ・ティ・ドコモ | データ通信システム及びデータ通信方法 |
| JP2006324817A (ja) * | 2005-05-17 | 2006-11-30 | Ntt Docomo Inc | データ通信システム及びデータ通信方法 |
| US8001193B2 (en) | 2005-05-17 | 2011-08-16 | Ntt Docomo, Inc. | Data communications system and data communications method for detecting unsolicited communications |
| JP2007122148A (ja) * | 2005-10-25 | 2007-05-17 | Just Syst Corp | 電子メール分類装置および電子メール分類方法 |
| JP4688630B2 (ja) * | 2005-10-25 | 2011-05-25 | 株式会社ジャストシステム | 電子メール分類装置および電子メール分類方法 |
| JP4686724B2 (ja) * | 2006-11-28 | 2011-05-25 | 国立大学法人山口大学 | 迷惑メールのフィルタ機能を有する電子メールシステム |
| JP2008135926A (ja) * | 2006-11-28 | 2008-06-12 | Yamaguchi Univ | 迷惑メールのフィルタ機能を有する電子メールシステム |
| JP2009104400A (ja) * | 2007-10-23 | 2009-05-14 | Kddi Corp | 電子メールフィルタリング装置、電子メールのフィルタリング方法およびプログラム |
| JP2009140437A (ja) * | 2007-12-10 | 2009-06-25 | Just Syst Corp | フィルタリング処理方法、フィルタリング処理プログラムおよびフィルタリング装置 |
| JP2017111479A (ja) * | 2015-12-14 | 2017-06-22 | 日本放送協会 | 広告文選択装置及びプログラム |
| JP2020004220A (ja) * | 2018-06-29 | 2020-01-09 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、クライアント端末、制御方法、及びプログラム |
| JP2020035272A (ja) * | 2018-08-31 | 2020-03-05 | 株式会社日立ソリューションズ東日本 | 要約生成装置および要約生成方法 |
| JP7288293B2 (ja) | 2018-08-31 | 2023-06-07 | 株式会社日立ソリューションズ東日本 | 要約生成装置および要約生成方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kumar et al. | Email spam detection using machine learning algorithms | |
| JP4742618B2 (ja) | 情報処理システム、プログラム及び情報処理方法 | |
| Kumar et al. | Comparative study on email spam classifier using data mining techniques | |
| Renuka et al. | Spam classification based on supervised learning using machine learning techniques | |
| Secker et al. | AISEC: an artificial immune system for e-mail classification | |
| US8335383B1 (en) | Image filtering systems and methods | |
| Smadi et al. | Detection of phishing emails using data mining algorithms | |
| US8010614B1 (en) | Systems and methods for generating signatures for electronic communication classification | |
| JP2008538023A (ja) | 電子メールを処理する方法およびシステム | |
| CN107729520B (zh) | 文件分类方法、装置、计算机设备及计算机可读介质 | |
| JP2006243803A (ja) | 情報処理システム、プログラム及び情報処理方法 | |
| Govil et al. | A machine learning based spam detection mechanism | |
| Trivedi et al. | Effect of feature selection methods on machine learning classifiers for detecting email spams | |
| DeBarr et al. | Phishing detection using traffic behavior, spectral clustering, and random forests | |
| Bhat et al. | Classification of email using BeaKS: Behavior and keyword stemming | |
| JP2004348523A (ja) | 文書フィルタリングシステムとプログラム | |
| CN113592461A (zh) | 邮件处理方法、装置与存储介质 | |
| Krause et al. | Recognizing email spam from meta data only | |
| Reddy et al. | Classification of Spam Messages using Random Forest Algorithm | |
| Watcharenwong et al. | Spam detection for closed Facebook groups | |
| KR102005420B1 (ko) | 전자메일 저자 분류 방법 및 장치 | |
| Ankam et al. | Compositional data analysis with pls-da and security applications | |
| Şimşek et al. | Classification of Unwanted E-Mails (Spam) with Turkish Text by Different Algorithms in Weka Program | |
| alias Balamurugan et al. | Data mining techniques for suspicious email detection: A comparative study | |
| Balakumar et al. | A data mining approach on various classifiers in email spam filtering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050719 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080711 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081111 |