JP5325131B2 - パターン抽出装置、パターン抽出方法及びプログラム - Google Patents
パターン抽出装置、パターン抽出方法及びプログラム Download PDFInfo
- Publication number
- JP5325131B2 JP5325131B2 JP2010014603A JP2010014603A JP5325131B2 JP 5325131 B2 JP5325131 B2 JP 5325131B2 JP 2010014603 A JP2010014603 A JP 2010014603A JP 2010014603 A JP2010014603 A JP 2010014603A JP 5325131 B2 JP5325131 B2 JP 5325131B2
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- text
- index
- total number
- probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Description
図2は、実施形態のパターン抽出装置1の機能構成を説明するためのブロック図である。
図3、4は、パターン抽出装置1の処理を説明するための図である。以下、これらの図を用いてパターン抽出装置1の処理を説明する。
事前処理として、ラベルありテキストを含むラベルありデータとラベルなしテキストを含むラベルなしデータとが、それぞれ、1個以上、記憶部16a(図2)に格納される。ラベルありテキスト及びラベルなしテキストの例は、文字記号によって記述された文書データや、遺伝子記号によって記述された遺伝子配列や、プログラムコードによって記述されたプログラム列などである。また、ラベルありテキストは、事前に人間によって、それぞれのテキストが属する集合を表すデータであるラベルが対応付けられたテキストである。なお、集合の数は2以上であればいくつでもよいが、以下では2個の集合が設定され、一方の集合を「P+(正例:+)」とし、他方の集合を「P-(負例:-)」とする。図4の例では、識別子(ID)とテキスト(ラベルありテキスト)とラベルの内容(P+,P-)(ラベルが集合P+を表すなら(P+,P-)=(1,0)、ラベルが集合P-を表すなら(P+,P-)=(0,1))との組が、ラベルありデータとされる。また、識別子(ID)とテキスト(ラベルなしテキスト)とラベルの内容(P+,P-)が不明であることを示す情報((P+,P-)=(unk,unk))との組が、ラベルなしデータとされる。
まず、訓練部11が、記憶部16aから、ラベルありデータが含むラベルありテキストを抽出し、当該ラベルありテキストを訓練データとして用い、適用された任意のテキストが所定の集合(クラス)に属する確率を表す確率データを出力するように構成された統計モデルである分類モデルを生成する。生成された分類モデルは記憶部16bに格納される(ステップS11)。なお、分類モデルは、適用された任意のテキストが所定の集合に属する確率を表す確率データを出力するように構成されたものであればどのようなものでもよい。例えば、ナイーブ・ベイズ法や最大エントロピー法などの周知の統計方法におけるモデルを分類モデルとすればよい。以下に、ナイーブ・ベイズ法を用いる場合の分類モデルを例示する。
ナイーブ・ベイズ法では、テキストxが所定の集合(クラス)cに属する確率Pr(c|x)が以下の式で定義される。
Pr(P-)=3/10 …(5)
また、各単語wi=a〜iについてのPr(wi|P+)は以下のようになる。
前述したナイーブ・ベイズ法おける分類モデルが用いられる場合、式(1)に従って、入力されたラベルなしテキストxが所定の集合cに属する確率Pr(c|x)が算出される。例えば、式(1)から定まるPr(P+|x)と式(4)〜(23)とからなる分類モデルに、ラベルなしテキストx=a a c c d d fが適用される場合、当該ラベルなしテキストx=a a c c d d fが、ラベルP+で表される所定の集合に属する確率Pr(P+|x)は、
従来の手法では、パターンの出現頻度に基づき、或るデータベースに含まれるパターンを抽出するか否か、及び、プロジェクションを行って新たなデータベースを生成して再帰的な処理を行うか否かが、決定されていた。これに対し、本形態では、パターンの出現頻度ではなく、パターンがラベル分類に寄与する度合い(すなわち、パターンと、当該パターンを含むテキストを当該テキストが属する集合に分類した際の分類結果と、の関連性の高さ)を表す指標に基づき、或るデータベースに含まれるパターンを抽出するか否か、及び、プロジェクションを行って新たなデータベースを生成して再帰的な処理を行うか否かが決定される。
Mは、データベースが含むラベルありテキストのうち所定の集合に属することを表すラベルに対応付けられたものの総数から定まる値と、分類部12で生成されたラベルありテキストが集合P+に属する確率を表す確率データから定まる値の総数との和である。この例では、以下のように、データベースが含むラベルありテキストのうち所定の集合P+に属することを表すラベルに対応付けられたものの総数と、ラベルありテキストが集合P+に属する確率と減衰パラメータλとの積の総数との和をMとする。
ただし、或るパターンαに対応する指標が出力条件を満たさない場合であっても、当該パターンαに1個以上のアイテムが付加された新たなパターンに対応する指標が出力条件を満たす場合がある。すなわち、指標が出力条件を満たさない場合であっても、プロジェクションを行って新たなデータベースを生成して再帰的な処理を行った場合、出力条件を満たすパターンが検出される場合がある。
そして、限界値が所定の探索条件を満たすか否かに応じて、プロジェクションを行って新たなデータベースを生成して再帰的な処理を行うか否かが決定される。
抽出部14の探索部14cは、判定対象のパターンに対して生成された上記の指標と限界値とを用い、判定対象のパターンを出力リストの要素とするか否か、及び、プロジェクションを行って新たなデータベースを生成して再帰的な処理を行うか否かを決定する。
図5から図7は、ステップS14の処理の具体例を説明するためのフローチャートである。図8は、ステップS14の処理の具体例を説明するための擬似コードである。以下、これらの図を用いて、ステップS14の処理の具体例を説明する。
図9から図11は、ステップS14の実施例を説明するための図である。以下に、これらの図を用いながら、ステップS14の実施例を説明する。なお、この実施例では、記憶部16dに格納される初期のデータベースとして図3のデータベース(減衰パラメータλ=0.5が乗じられたもの)を用いる。また、K=4, λ=0.5とする。また、M=1.8, N=3.5であり、これらは初期のデータベースにおける定数である。また、図10及び図11に示す木構造の各ノードのアイテムa,b,c,dの右上添字は、その木のルートのアイテムからノードのアイテムまでの系列からなるパターンαの指標Χ2(α)であり、右下添字はそのパターンαの限界値Χ2 max(α)を表す。また、図10及び図11に示すxは、パターンαの最後にβの要素であるアイテムitemを付加した系列を新たなパターンα(α←append(α,[item]))とし、当該新たなパターンαについて、式(28)にしたがって生成されたx(α)を表す。また、図10及び図11に示すyは、パターンαの最後にβの要素であるアイテムitemを付加した系列を新たなパターンα(α←append(α,[item]))とし、当該新たなパターンαについて、式(27)にしたがって生成されたy(α)を表す。
なお、本発明は上述の実施の形態に限定されるものではない。例えば、上記の実施形態では、ステップS13でラベルありデータと確率データ付きデータとを合成したデータベースを生成する際、確率データ付きデータが含む確率Pr(P+|x),Pr(P-|x)に減衰パラメータλが乗じられた。しかし、減衰パラメータλが乗じられない構成であってもよい。また逆に、ラベルありデータのラベル値(1 or 2)に)に増幅パラメータρ(ρ≧1、好ましくはρ>1)が乗じられてもよい。また、減衰パラメータλと増幅パラメータρの両方が乗じられてもよい。
11 訓練部
12 分類部
13 データベース合成部
14 抽出部
15 制御部
16a〜16e 記憶部
Claims (10)
- 1個以上の記号からなる要素をアイテムとし、1個以上の前記アイテムからなる系列をテキストとし、前記テキストが含む1個以上の前記アイテムからなる系列をパターンとし、テキストが属する集合を表すデータであるラベルに対応付けられた前記テキストをラベルありテキストとし、前記ラベルに対応付けられていない前記テキストをラベルなしテキストとした場合における、前記ラベルなしテキストを格納する記憶部と、
前記ラベルありテキストが訓練データとして用いられて生成された統計モデルであって、なおかつ、適用された任意のテキストが所定の集合に属する確率を表す確率データを出力するように構成された分類モデルを、前記ラベルなしテキストに適用し、当該ラベルなしテキストが前記所定の集合に属する確率を表す確率データを生成する分類部と、
前記分類部で生成された前記確率データから定まる値を用い、任意の前記パターンである第1パターンと、当該第1パターンを含むテキストを当該テキストが属する集合に分類した際の分類結果と、の関連性の高さを表す指標を生成する抽出部と、
を有するパターン抽出装置。 - 請求項1のパターン抽出装置であって、
前記抽出部は、
前記指標が所定の第1出力条件を満たすときに、前記第1パターンを出力リストの要素として出力するとともに、当該第1パターンに1個以上のアイテムが付加された系列である第2パターンと、当該第2パターンを含む第2テキストを当該第2テキストが属する集合に分類した際の分類結果と、の関連性の高さを表す第2指標を生成し、当該第2指標が所定の第2出力条件を満たすときに、当該第2パターンを出力リストの要素として出力するように構成される、
ことを特徴とするパターン抽出装置。 - 請求項2のパターン抽出装置であって、
前記抽出部は、
前記第1パターンに1個以上のアイテムが付加された任意の系列である任意パターンと、当該任意パターンを含む任意のテキストを当該テキストが属する集合に分類した際の分類結果と、の関連性の高さを表す指標の限界値を生成し、前記指標が前記第1出力条件を満たさないが前記限界値が所定の探索条件を満たすときに、当該第1パターンを出力リストの要素として出力することなく、当該第1パターンに1個以上のアイテムが付加された系列である第3パターンと、当該第3パターンを含む第3テキストを当該第3テキストが属する集合に分類した際の分類結果と、の関連性の高さを表す第3指標を生成し、当該第3指標が所定の第3出力条件を満たすときに、当該第3パターンを出力リストの要素として出力するように構成される、
ことを特徴とするパターン抽出装置。 - 請求項1から3の何れかのパターン抽出装置であって、
前記確率データから定まる値は、当該確率データと所定の減衰パラメータとの積である、
ことを特徴とするパターン抽出装置。 - 請求項1から4の何れかのパターン抽出装置であって、
前記指標は、
|DL|個(|DL|≧0)の前記ラベルありテキストと、前記確率データがそれぞれ生成された|DU|個(|DU|>0)の前記ラベルなしテキストと、を含むデータベースに対して生成され、
前記第1パターンをαとし、
前記データベースが含む前記ラベルありテキストの総数|DL|から定まる値と、前記データベースが含む前記ラベルなしテキストの総数|DU|から定まる値と、の和をNとし、
前記データベースが含むラベルありテキストのうち前記所定の集合に属することを表すラベルに対応付けられたものの総数から定まる値と、前記分類部で生成された前記確率データから定まる値の総数と、の和をMとし、
前記データベースが含むラベルありテキストであって前記所定の集合に属することを表すラベルに対応付けられたラベルありテキストのうち前記第1パターンαを含むものの総数から定まる値と、前記第1パターンαを含むラベルなしテキストが前記所定の集合に属する確率を表す確率データから定まる値の総数と、の和をy(α)とし、
前記第1パターンαを含むラベルありテキストの総数から定まる値と、前記第1パターンαを含むラベルなしテキストの総数から定まる値と、の和をx(α)とした場合における、
ことを特徴とするパターン抽出装置。 - 請求項5のパターン抽出装置であって、
前記抽出部は、さらに、
y=xである場合の前記Χ2(α)をΧ2(α, y=x)とし、y=0である場合の前記Χ2(α)をΧ2(α,y=0)とし、ν≧μの場合のmax(ν, μ)をνとし、ν<μの場合のmax(ν, μ)をμとした場合における、
Χ2 max(α)=max(Χ2(α, y=x), Χ2(α,y=0))
の広義単調関数値に相当する指標の限界値を生成する、
ことを特徴とするパターン抽出装置。 - 請求項5から6の何れかのパターン抽出装置であって、
前記データベースが含む前記ラベルなしテキストの総数|DU|から定まる値が、当該ラベルなしテキストの総数|DU|と所定の減衰パラメータとの積であり、前記確率データから定まる値が、当該確率データが表す確率と前記減衰パラメータとの積であり、前記第1パターンαを含むラベルなしテキストの総数から定まる値が、当該第1パターンαを含むラベルなしテキストの総数と前記減衰パラメータとの積である、
及び/又は、
前記データベースが含む前記ラベルありテキストの総数|DL|から定まる値が、当該総数|DL|と所定の増幅パラメータとの積であり、前記データベースが含むラベルありテキストのうち前記所定の集合に属することを表すラベルに対応付けられたものの総数から定まる値が、当該ラベルありテキストのうち前記所定の集合に属することを表すラベルに対応付けられたものの総数と前記増幅パラメータとの積であり、前記データベースが含むラベルありテキストであって前記所定の集合に属することを表すラベルに対応付けられたラベルありテキストのうち前記第1パターンαを含むものの総数から定まる値が、当該ラベルありテキストであって前記所定の集合に属することを表すラベルに対応付けられたラベルありテキストのうち前記第1パターンαを含むものの総数と前記増幅パラメータとの積であり、前記第1パターンαを含むラベルありテキストの総数から定まる値が、当該第1パターンαを含むラベルありテキストの総数と前記増幅パラメータとの積である、
ことを特徴とするパターン抽出装置。 - 請求項1から7の何れかのパターン抽出装置であって、
前記抽出部は、対応する前記指標の大きさの大きい順に選択された所定個以下のパターンを、出力リストの要素として出力するように構成される、
ことを特徴とするパターン抽出装置。 - 分類部が、1個以上の記号からなる要素をアイテムとし、1個以上の前記アイテムからなる系列をテキストとし、前記テキストが含む1個以上の前記アイテムからなる系列をパターンとし、テキストが属する集合を表すデータであるラベルに対応付けられた前記テキストをラベルありテキストとし、前記ラベルに対応付けられていない前記テキストをラベルなしテキストとした場合における、前記ラベルありテキストが訓練データとして用いられて生成された統計モデルであって、なおかつ、適用された任意のテキストが所定の集合に属する確率を表す確率データを出力するように構成された分類モデルを、記憶部に格納された前記ラベルなしテキストに適用し、当該ラベルなしテキストが前記所定の集合に属する確率を表す確率データを生成するステップと、
抽出部が、前記分類部で生成された前記確率データから定まる値を用い、任意のパターンである第1パターンと、当該第1パターンを含むテキストを当該テキストが属する集合に分類した際の分類結果と、の関連性の高さを表す指標を生成するステップと、
を有するパターン抽出方法。 - 請求項1から8の何れかのパターン抽出装置としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010014603A JP5325131B2 (ja) | 2010-01-26 | 2010-01-26 | パターン抽出装置、パターン抽出方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010014603A JP5325131B2 (ja) | 2010-01-26 | 2010-01-26 | パターン抽出装置、パターン抽出方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011154469A JP2011154469A (ja) | 2011-08-11 |
JP5325131B2 true JP5325131B2 (ja) | 2013-10-23 |
Family
ID=44540396
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010014603A Expired - Fee Related JP5325131B2 (ja) | 2010-01-26 | 2010-01-26 | パターン抽出装置、パターン抽出方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5325131B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5398811B2 (ja) * | 2011-11-21 | 2014-01-29 | 日本電信電話株式会社 | 文書分類装置及び方法及びプログラム |
JP6098413B2 (ja) * | 2013-07-23 | 2017-03-22 | 富士通株式会社 | 分類パターン作成方法、分類パターン作成装置、および分類パターン作成プログラム |
US10803358B2 (en) | 2016-02-12 | 2020-10-13 | Nec Corporation | Information processing device, information processing method, and recording medium |
US11971852B2 (en) | 2019-05-31 | 2024-04-30 | Pfu Limited | File management device, file management method, and non-transitory computer readable medium |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6665669B2 (en) * | 2000-01-03 | 2003-12-16 | Db Miner Technology Inc. | Methods and system for mining frequent patterns |
US6990485B2 (en) * | 2002-08-02 | 2006-01-24 | Hewlett-Packard Development Company, L.P. | System and method for inducing a top-down hierarchical categorizer |
JP3853305B2 (ja) * | 2003-05-30 | 2006-12-06 | 株式会社ジャストシステム | 抽出装置、抽出方法、ならびに、プログラム |
JP2005141428A (ja) * | 2003-11-05 | 2005-06-02 | Nippon Telegr & Teleph Corp <Ntt> | 単語列抽出方法、装置及び単語列抽出プログラムを記録した記録媒体 |
JP4490876B2 (ja) * | 2005-06-01 | 2010-06-30 | 日本電信電話株式会社 | コンテンツ分類方法、コンテンツ分類装置、コンテンツ分類プログラムおよびコンテンツ分類プログラムを記録した記録媒体 |
-
2010
- 2010-01-26 JP JP2010014603A patent/JP5325131B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011154469A (ja) | 2011-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8171029B2 (en) | Automatic generation of ontologies using word affinities | |
CN110019794B (zh) | 文本资源的分类方法、装置、存储介质及电子装置 | |
US8458154B2 (en) | Methods and apparatus to classify text communications | |
CN106371624B (zh) | 一种用于提供输入候选项的方法、装置和输入设备 | |
CN103955453B (zh) | 一种从文档集中自动发现新词的方法及装置 | |
JPWO2011070980A1 (ja) | 辞書作成装置、単語収集方法、及び、プログラム | |
CN111737464B (zh) | 文本分类方法、装置和电子设备 | |
JP5325131B2 (ja) | パターン抽出装置、パターン抽出方法及びプログラム | |
CN109993216B (zh) | 一种基于k最近邻knn的文本分类方法及其设备 | |
WO2016095645A1 (zh) | 笔画输入方法、装置和*** | |
JP2013134752A (ja) | トピックモデル学習方法、装置、及びプログラム | |
CN107357895A (zh) | 一种基于词袋模型的文本表示的处理方法 | |
CN104809229B (zh) | 一种文本特征词提取方法及*** | |
US20120016821A1 (en) | Information processing device, information processing method, and program | |
JP2021092925A (ja) | データ生成装置およびデータ生成方法 | |
CN111125329B (zh) | 一种文本信息筛选方法、装置及设备 | |
US11494555B2 (en) | Identifying section headings in a document | |
JP2006323575A (ja) | 文書検索システム、文書検索方法、文書検索プログラム及び記録媒体 | |
US9600565B2 (en) | Data structure, index creation device, data search device, index creation method, data search method, and computer-readable recording medium | |
JP5761029B2 (ja) | 辞書作成装置、単語収集方法、及び、プログラム | |
US20100211534A1 (en) | Efficient computation of ontology affinity matrices | |
CN107577690B (zh) | 海量信息数据的推荐方法及推荐装置 | |
CN109684442B (zh) | 一种文本检索方法、装置、设备及程序产品 | |
JP2004341948A (ja) | 概念抽出システム、概念抽出方法、プログラム及び記憶媒体 | |
JP7044162B2 (ja) | 分類規則生成プログラム、分類規則生成方法および分類規則生成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20110624 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120307 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130621 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130709 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130719 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5325131 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130826 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |