JP4947861B2 - 自然言語処理装置およびその制御方法ならびにプログラム - Google Patents
自然言語処理装置およびその制御方法ならびにプログラム Download PDFInfo
- Publication number
- JP4947861B2 JP4947861B2 JP2001291859A JP2001291859A JP4947861B2 JP 4947861 B2 JP4947861 B2 JP 4947861B2 JP 2001291859 A JP2001291859 A JP 2001291859A JP 2001291859 A JP2001291859 A JP 2001291859A JP 4947861 B2 JP4947861 B2 JP 4947861B2
- Authority
- JP
- Japan
- Prior art keywords
- morpheme
- error
- morphological analysis
- connection cost
- storage means
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/268—Morphological analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、文章を単語に分解して解析する自然言語処理装置およびその制御方法ならびにプログラムに関する。
【０００２】
【従来の技術】
文章を単語に分解する形態素解析は、音声合成や情報検索など幅広い分野で必要とされる技術である。形態素解析は自然言語処理の第一段階であり、形態素解析結果を基にして句関係解析、読み付け、意味解析、文脈解析などが行われる。
【０００３】
形態素解析の方法は、各文字位置で辞書を引いて現れた複数の単語に対して、いかに確からしい単語を選択して文頭から文末までそろえるかが技術の核になる。その一手法として、単語または品詞もしくは単語情報によって分類分けされたクラスを単位として、各単位間の接続に対する重みである接続コストを設定して、その表を情報として保持し、文頭から文末までの総コストが最小（コストの定義の仕方によっては最大の場合もある）となる単語列を選択する方法がある。この接続コストの設定法としては大規模な正解コーパスを調査して各単位間の接続確率を求め、その値を基に接続コストを設定する方法などがある。
【０００４】
【発明が解決しようとする課題】
しかしながら、接続コストを各単語間の接続の統計確率から設定しても、最終的には文全体の総コストから一つの単語列を選択するため、全体の総コストの比較結果として誤りが選択されることがある。また、接続コスト以外に、クラス内単語コストや、特定もしくは全ての単語に付されるインサーションペナルティをコスト計算に加える場合は、これらの微妙なコスト値のバランスの影響があって誤りが選択されたりすることがある。このため、自然言語処理装置に記憶された接続コスト情報は、形態素解析結果の精度からみて適当とはいえない場合がある。したがって、不適当な接続コストを訂正し、統計的に学習する手段が必要である。
【０００５】
接続コストの学習に関しては、例えば、特開平5-12327号公報および特開平09-114825号公報において、形態素解析時に複数候補を出力し、正解を指定して接続コストを訂正して学習させる方法が提案されているが、一文の形態素解析時に正解を選択して学習させるので、大量かつ多様な文章に対して、学習された接続コストが統計的に適切な値になるとはいえない。
【０００６】
したがって、本発明は、より高精度な形態素解析を実現可能な接続コストの学習を行うことを目的とする。
【０００７】
【課題を解決するための手段】
本発明によれば、例えば以下の構成を備える自然言語処理装置が提供される。すなわち、
所定の文法的情報による分類を単位とし、その単位間の接続に対する重みである接続コスト情報を用いて形態素解析を行う自然言語処理装置であって、
前記接続コスト情報を記憶する第１の記憶手段と、
所定の文に対する形態素解析の正解を記憶する第２の記憶手段と、
前記所定の文それぞれに対して形態素解析を行う形態素解析手段と、
前記形態素解析手段による形態素解析結果の、前記正解に対する誤り部分を検出する検出手段と、
前記第２の記憶手段に記憶されている前記正解に係る第１の形態素とは異なるが該第１の形態素と置換しても言語的に誤りとはならない所定の第２の形態素を、前記第１の形態素と関連付けて記憶する第３の記憶手段と、
前記検出手段により検出された前記誤り部分が前記第２の形態素と一致するか否かを判定する一致判定手段と、
前記一致判定手段により前記誤り部分が前記第２の形態素と一致しないと判定された場合は、該誤り部分に対して、前記第１の記憶手段における形態素間の接続コスト情報の訂正を行う一方、前記一致判定手段により前記誤り部分が前記第２の形態素と一致すると判定された場合は、該誤り部分に対する前記接続コスト情報の訂正は行わない訂正手段と、
を備えることを特徴とする。
【０００８】
【発明の実施の形態】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。
【０００９】
（実施形態１）
図１は、実施形態における自然言語処理装置の機能ブロック図である。
【００１０】
同図において、101は、文章を解析して単語（形態素）に分解する形態素解析部である。
102は、形態素解析部101での形態素解析に用いる接続コストテーブルである。
103は、文章を正しく形態素解析した正解の集合である正解コーパスである。
104は、正解コーパスの原文の集合を形態素解析部101で形態素解析した出力の集合であるシステム出力コーパスである。
105は、正解コーパス103とシステム出力コーパス104とを用いて接続コストテーブル102を学習する接続コスト学習部であり、次の３つのブロック106〜108により構成される。106は、正解コーパス103とシステム出力コーパス104とを比較して誤り部分を検出する誤り検出部である。107は、誤り部分の形態素間の接続コストを訂正し、接続コストテーブル102を更新する接続コスト訂正部である。108は、学習の終了を判定する学習制御部である。
【００１１】
図２は、形態素解析部101で行われる形態素解析の内容を示す図である。ここで、太線枠で示されるブロック201は、現在、形態素解析部101が注目している注目形態素を示している。202は、形態素201と直前の形態素との間に生じる接続コストであり、各接続経路にその値が振られている。203は、注目形態素201の直前にある形態素が持つ累積コストであり、直前の形態素それぞれにその値が振られている。実線で示された経路204は、解析により注目形態素201が選択した最適パスである。
【００１２】
同図を用いて実施形態における形態素解析について説明する。
【００１３】
形態素解析部101は、文頭から順に辞書引きしつつ解析を行う。注目形態素201は、直前の形態素に対して、文頭から注目形態素までの累積コストを計算し、累積コストが最も少ないパスを一つ選択する。直前の形態素は既にそこまでの累積コスト203を計算して最適パスを選択済みであるので、注目形態素201までの累積コストは、
【００１４】
(直前までの累積コスト203)+(接続コスト202)+(注目形態素201の単語コスト)
【００１５】
で求める。ここで、注目形態素201の単語コストとは、単語のみに依存して生じる単語ごとに振られたコストである。このため、最適パス204は上式の第１項および第２項のみの計算で決定できる。図２では、形態素「今日（キョウ）」が最適パスとして選択され、計算された累積コストを形態素「は」に情報として付加する。この処理を文頭から文末まで行うと、文末での処理が終了した時点で文頭から文末まで繋がる一意の最適パスが選択される。
【００１６】
ここで、形態素間の接続コストは接続コストテーブル102に保持されている。形態素は、品詞や活用型など、その文法的、意味的特徴を表した詳細情報でクラスとよぶ単位に分かれており、各クラス間に接続コストが振られている。
【００１７】
図３は、接続コストテーブル102の構造の一例を示す図である。
【００１８】
301は前項の形態素のクラスを表す番号である。302は後項の形態素のクラスを表す番号である。303は、前項形態素、後項形態素のクラスの対に対して決まる接続コストの値である。
【００１９】
例えば、同図中の第１行に記述されている、
０，０＝０
は、クラス０の形態素とクラス０の形態素との接続コストは０であることを示している。また、第２行に記述されている、
０，１＝30
は、クラス０の形態素とクラス１の形態素との接続コストは30であることを示している。以下同様に、この接続コストテーブル102には各クラス間の接続の組み合わせ毎に、その接続コストが記述されている。
【００２０】
しかし、先に述べたとおり、ここに設定されている接続コストは、形態素解析結果の精度からみて最適化されているとはいえない場合がある。そこで、本発明の実施形態では、この接続コストテーブル102に表現されるクラス間の接続コストを統計的に学習する。
【００２１】
図５は、正解コーパス103の一例を示す図である。
【００２２】
正解コーパス103には原文および正しく形態素解析された内容が記述されている。形態素内容としては原文が各形態素に分けられて記述され、各形態素ごとに、文中における表記の位置および長さ、文中の表記、辞書中の見出し、品詞、音表記、活用形が情報として記述されている。システム出力コーパス104もまた、この正解コーパス103と同じ入力文章での解析結果が同じ書式で記述される。
【００２３】
図４は、接続コストテーブル102におけるクラス間接続コストの学習処理を示すフローチャートである。
【００２４】
まず、ステップS401では、形態素解析部101において、正解コーパス103の原文の集合全てを解析し、システム出力コーパス104を作成する。先述したとおり、正解コーパス103には解析前の原文および正しい解析結果が記されている。システム出力コーパス104には、正解コーパス103と同じ入力文章での解析結果を同じ書式で出力する。
【００２５】
次に、ステップS402で、誤り検出部106において、正解コーパス103とシステム出力コーパス104を比較し、誤り部分を検出する（詳細は後述する。）。続くステップS403では、接続コスト訂正部107において、誤り部分の形態素間の接続コストを訂正し、接続コストテーブル102を更新する。次に、ステップS404で、誤り検出部106が正解コーパス103の原文全てに対し誤り検出したかをチェックし、全原文の誤り検出が終了するまでステップS402に戻って処理を繰り返す。
【００２６】
ステップS405では、学習制御部108において、接続コスト学習を終了するか、学習した接続コストテーブル102を用いて再度システム出力コーパスを作成し、反復学習させるかを判定する。具体的には、例えば、誤り検出部106において、検出された誤り部分の数から、全原文の全形態素中の誤り率を反復学習ごとに計算し記録し、その平均誤り率が過去N回で所定のしきい値より大きく変動しないか否かを判定し、変動しなかった場合には学習を終了し、そうでない場合にはステップS401に戻って学習を反復することにする。ただし、学習を反復させるか終了するかの判定基準はこの限りではなく、他の判定基準を用いてもよい。
【００２７】
図６は、上記ステップS402で、誤り検出部106において行われる誤り検出処理を説明する模式図である。
【００２８】
601は、正解コーパス103に記述されているある一文の形態素内容を示している。602は、601の原文を形態素解析部101で解析してシステム出力コーパス104に記述された形態素内容を示している。誤り検出部106は、601と602の両者を比較する。この例の場合、603に示す部分において解析結果が異なっている。この部分が、システム出力コーパス104の誤りとみなせる誤り部分である。
【００２９】
図９は、上記ステップS403の接続コスト訂正処理の詳細を示すフローチャートである。
【００３０】
まず、ステップS901で、接続コストテーブル102から前項形態素のクラスを取り出し、次のステップS902で、接続コストテーブル102から後項形態素のクラスを取り出す。さらに、ステップS903で、接続コストテーブル102から両項のクラス間の接続コストを取り出す。
【００３１】
次に、ステップS904では、接続コストを訂正する。
【００３２】
図７は、本ステップにおける接続コスト訂正処理を説明する図である。同図は、図６で示した誤り部分に対する訂正処理を例として示したものである。
【００３３】
誤り検出部106が検出した形態素およびその両隣の形態素の間全ての接続コストを修正する。具体的には、例えば、正解コーパス103に現れている形態素間の接続コストを1／(1＋α)倍（ただし、α≧０）して減少させ、システム出力コーパス104に現れた形態素間の接続コストを（1＋α）倍して増加させる。ただし、接続コストの調整方法はこれに限る意図ではなく、他の方法で調整することにしてもよい。
【００３４】
なお、本実施形態における形態素解析では、先述したとおり、一文のコストの累計が最小となる単語列を解析結果としている。接続コストの定義を逆に最大のときに文として確からしいとする場合には、ここでの接続コストの訂正時の増減も逆とする。
【００３５】
そして、ステップS905で、接続コストテーブル102を訂正した接続コストでもって更新する。
【００３６】
図８は、上記ステップS904の接続コスト訂正処理およびステップS905における接続コスト更新処理を説明する図である。
【００３７】
801は、システム出力コーパス104における誤り部分の前項形態素、802が後項形態素である。各形態素はその形態素の特徴を表すクラスによって分類分けされており、接続コストテーブル102は、図３に示すように、前項形態素、後項形態素のクラスの対に対して振られた接続コストが記述されることは先述したとおりである。接続コストテーブル102から前項形態素801および後項形態素802接続コストが取得できる。これに対し、接続コストを上記したステップS904の処理によって訂正し、接続コストテーブル102の該当部分を更新する。
【００３８】
以上説明した実施形態によれば、大量かつ多様な文の形態素解析の正解を記述した正解コーパスを記憶しておき、その正解コーパスにおける各文に対して形態素解析を行い、解析誤りを訂正することが可能になり、これによって、学習された接続コストが統計的に適切な値になる。
【００３９】
（実施形態２）
上述した実施形態１では、誤り検出部106は、正解コーパス103とシステム出力コーパス104との間に異なりがあれば全て誤り部分として検出することにしていた。
【００４０】
しかし、例えば、「テニスコート」という単語が文中に含まれていて、正解コーパス103に「テニスコート」が１単語で記述されている場合、これをシステム出力コーパス104が「テニス」「コート」と分割して解析したとしても、これを言語的に誤りとみなすのは妥当ではない。
【００４１】
そこで、本実施形態では、特定のパターンの誤りは正解として許容する仕組みを設けることにする。
【００４２】
図１０は、特定のパターンの誤りを正解として許容する仕組みを設けた自然言語処理装置の機能ブロック図である。図１に示した機能ブロック図と共通するブロックには同一の参照番号が付されている。図１の機能ブロック図との比較において、接続コスト学習部105には、誤り許容判定部1001が追加されている。この誤り許容判定部1001は、正解コーパス103とシステム出力コーパス104との間で形態素内容が異なっていても正解として許容するパターンをあらかじめ記述した誤り許容パターン情報1002から情報を取得する。
【００４３】
誤り許容判定部1001は、誤り検出部106が検出した誤り部分に対して、誤り許容パターン情報1002とのマッチングをとり、誤り許容パターンと一致する場合には接続コスト訂正部107に接続コストの訂正を行わないよう指示する。
【００４４】
図１１は、誤り許容パターン情報1002の一例を示す図である。許容パターン１つ１つが＜ERROR_PATTERN＞タグで区切られる。その内部において＜ERROR_TYPE＞タグに誤りの分類（読み誤り、品詞誤り等）が記述され、＜PATTERN＞タグによって許容パターンが記述される。
【００４５】
図１２は、図１１の誤り許容パターン情報1002に記述された許容パターンを抜粋したものである。同図の1201,1202に示されるように、許容パターンは記号「-＞」をはさみ、左辺に正解コーパス103のパターン、右辺にシステム出力コーパス104のパターンが記述される。パターンが複数形態素で構成される場合は記号「／」で区切られる。１形態素のパターンの情報は「：」で区切られ、第１項が表記、第２項が品詞、第３項が音表記、第４項が未知語か否かを表すフラグで構成されている。記号「＊」は、その項がどのようなパターンでもよいことを表す。ただし、左辺と右辺は表記が一致していなければならない。
【００４６】
許容パターン1201は、接尾辞「等（トウ）」を副助詞「等（ナド）」と解析しても正解として許容することを示している。許容パターン1202は、正解コーパス103で未知語+名詞の形態素２つのパターンを、１つの名詞として解析しても正解として許容することを示している。この場合、記号「＊」により表記および読みは何でもよいが、左辺の２形態素をあわせた表記と右辺の表記とは一致していなければならない。
【００４７】
これにより上記のような誤りパターンが現れた場合には、誤り許容判定部1002が誤り部分を正解として許容し、不要なコスト訂正を防ぐことができる。
【００４８】
（実施形態３）
上述の実施形態１および２では、自然言語処理装置が接続コスト学習部105を備えるものとして説明したが、この接続コスト学習部は単独の装置として実現することも可能である。
【００４９】
図１３は、本実施形態における接続コスト学習装置の機能ブロック図である。なお、図１に示した機能ブロックと同一のブロックには同一の参照番号を付すものとする。同図に示されるとおり、この接続コスト学習装置は、接続コスト102、正解コーパス103、システム出力コーパス104、誤り検出部106、そして、接続コスト訂正部107より構成される。
【００５０】
ここで、システム出力コーパス104は、正解コーパス103と同一の正解コーパスを備える別の自然言語処理装置において、正解コーパス中の各原文を形態素解析して作成されたものである。
【００５１】
そして、上述のとおり、誤り検出部106で、正解コーパス103とシステム出力コーパス104を比較し誤り部分を検出する。その後、接続コスト訂正部107は、検出された誤り部分の形態素間の接続コストを訂正し、接続コストテーブル102を更新する。
【００５２】
これにより学習済みの接続コストテーブルが作成された。自然言語処理装置はこの学習済みの接続コストテーブルをインストールし、解析に使用することで、高精度な形態素解析処理を提供することが可能になる。かかる接続コスト学習装置があれば、自然言語処理が接続コスト学習部を備える必要がなくなる。
【００５３】
上述した実施形態では、接続コストは形態素の特徴で分類分けされたクラスごとに振られているが、接続コストを振るクラスの単位はいかなるものでもよい。例えば、１単語をそのままクラスとみなしてもよいし、品詞や活用形などさらに細かい情報で分けてもよい。また、１単語に対し前の形態素との間の接続コストを調べる場合と後ろの形態素との間の接続コストを調べる場合とで、異なるクラスや独立したクラスを保持しても構わない。さらに、形態素解析方法に関しても上記実施例の図２に示した方法に限らず、例えば、累積コスト算出時の単語コストはなくても構わないし、あるいは、自立語など一部または全部の品詞に一定の値を付加しても構わない。つまり、クラスもしくは形態素もしくは品詞間において接続の確からしさを表すパラメータを保持し、これ使用して形態素解析を行う方法であれば、本発明を適用可能である。
【００５４】
また、上述の実施形態で示した図３の接続コストテーブル、図５の正解コーパス、図１１の誤り許容パターン情報の記述形式は、上述の実施形態で示した機能を満たす限りいかなる記述形式でもよいことはいうまでもない。
【００５５】
ところで、上述した実施形態における自然言語処理装置、または、接続コスト学習装置の機能は、パーソナルコンピュータ等のコンピュータ装置を用いて実現することが可能である。
【００５６】
図１４は、図１に示した自然言語処理装置として機能するパーソナルコンピュータのハードウェア構成を示すブロック図である。
【００５７】
図示のように、パーソナルコンピュータは、全体の制御をつかさどるＣＰＵ１、ブートプログラム等を記憶しているＲＯＭ２、主記憶装置として機能するＲＡＭ３をはじめ、以下の構成を備える。
【００５８】
ＨＤＤ４は外部記憶装置としてのハードディスク装置である。また、ＶＲＡＭ５は表示しようとするイメージデータを展開するメモリであり、ここにイメージデータ等を展開することでＣＲＴ６に表示させることができる。７は、各種入力および／または設定を行うためのキーボードおよびマウスである。
【００５９】
ＨＤＤ４には、図示の如く、ＯＳ４０をはじめ、以下のものがインストールされている。
【００６０】
・形態素解析プログラム４１
形態素解析部101の機能を実行する。
・接続コスト学習プログラム４２
接続コスト学習部105の機能を実行する。図４に示すフローチャートに対応するプログラムであり、以下のモジュールを含む。
(1) 誤り検出部106の機能を実行する誤り検出モジュール４２１（図４のフローチャートにおけるステップS402に対応する。）、
(2) 接続コスト訂正部107の機能を実行する接続コスト訂正モジュール４２２（図４のフローチャートにおけるステップS403、具体的には、図９のフローチャート、に対応する。）、そして、
(3) 学習制御部108の機能を実行する学習制御モジュール４２３（図４のフローチャートにおけるステップS405に対応する。）
・接続コストテーブル102
・正解コーパス103
【００６１】
この他、形態素解析プログラム４１の実行によって、システム出力コーパス104もこのＨＤＤ４に作成されることになる。
【００６２】
なお、形態素解析プログラム４１、接続コスト学習プログラム４２、接続コストテーブル102、そして、正解コーパス103は、CD-ROMドライブ８を介して、CD-ROM８ａからインストールされたものである。
【００６３】
そして、ＨＤＤ４にインストールされているＯＳ４０ならびに形態素解析プログラム４１、接続コスト学習プログラム４２は、本パーソナルコンピュータの電源投入後、ＲＡＭ３にロードされて、ＣＰＵ１によって実行されることになる。
【００６４】
以上の構成によれば、パーソナルコンピュータを本発明に係る自然言語処理装置として機能させることができることは理解されよう。実施形態３における接続コスト学習装置として機能させることも同様に可能である。
【００６５】
【他の実施形態】
以上、本発明の実施形態を詳述したが、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタ等）から構成されるシステムに適用しても、１つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用してもよい。
【００６６】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータがその供給されたプログラムを読み出して実行することによっても達成される場合を含む。
【００６７】
したがって、本発明の機能処理をコンピュータで実現するために、そのコンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の特許請求の範囲には、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００６８】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００６９】
プログラムを供給するための記憶媒体としては、例えば、フロッピーディスク、光ディスク（CD-ROM、CD-R、CD-RW、DVD等）、光磁気ディスク、磁気テープ、メモリカード等がある。
【００７０】
その他、プログラムの供給方法としては、インターネットを介して本発明のプログラムをファイル転送によって取得する態様も含まれる。
【００７１】
また、本発明のプログラムを暗号化してCD-ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介して暗号化を解く鍵情報を取得させ、その鍵情報を使用することで暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００７２】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現され得る。
【００７３】
さらに、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【００７４】
【発明の効果】
以上説明したように、本発明によれば、より高精度な形態素解析を実現可能な接続コストの学習を行うことができる。
【図面の簡単な説明】
【図１】実施形態１における自然言語処理装置の機能ブロック図である。
【図２】実施形態１における形態素解析の内容を示す図である。
【図３】実施形態１における接続コストテーブルの構造の一例を示す図である。
【図４】実施形態１におけるクラス間接続コストの学習処理を示すフローチャートである。
【図５】実施形態１における正解コーパスの一例を示す図である。
【図６】実施形態１における誤り検出処理を説明する模式図である。
【図７】実施形態１における接続コスト訂正処理を説明する図である。
【図８】実施形態１における接続コスト訂正処理および接続コスト更新処理を説明する図である。
【図９】実施形態１における接続コスト訂正処理の詳細を示すフローチャートである。
【図１０】実施形態２における自然言語処理装置の機能ブロック図である。
【図１１】実施形態２における誤り許容パターン情報の一例を示す図である。
【図１２】実施形態２における誤り許容パターン情報を説明するための図である。
【図１３】実施形態３における接続コスト学習装置の機能ブロック図である。
【図１４】実施形態における自然言語処理装置として機能するパーソナルコンピュータのハードウェア構成を示すブロック図である。
【発明の属する技術分野】
本発明は、文章を単語に分解して解析する自然言語処理装置およびその制御方法ならびにプログラムに関する。
【０００２】
【従来の技術】
文章を単語に分解する形態素解析は、音声合成や情報検索など幅広い分野で必要とされる技術である。形態素解析は自然言語処理の第一段階であり、形態素解析結果を基にして句関係解析、読み付け、意味解析、文脈解析などが行われる。
【０００３】
形態素解析の方法は、各文字位置で辞書を引いて現れた複数の単語に対して、いかに確からしい単語を選択して文頭から文末までそろえるかが技術の核になる。その一手法として、単語または品詞もしくは単語情報によって分類分けされたクラスを単位として、各単位間の接続に対する重みである接続コストを設定して、その表を情報として保持し、文頭から文末までの総コストが最小（コストの定義の仕方によっては最大の場合もある）となる単語列を選択する方法がある。この接続コストの設定法としては大規模な正解コーパスを調査して各単位間の接続確率を求め、その値を基に接続コストを設定する方法などがある。
【０００４】
【発明が解決しようとする課題】
しかしながら、接続コストを各単語間の接続の統計確率から設定しても、最終的には文全体の総コストから一つの単語列を選択するため、全体の総コストの比較結果として誤りが選択されることがある。また、接続コスト以外に、クラス内単語コストや、特定もしくは全ての単語に付されるインサーションペナルティをコスト計算に加える場合は、これらの微妙なコスト値のバランスの影響があって誤りが選択されたりすることがある。このため、自然言語処理装置に記憶された接続コスト情報は、形態素解析結果の精度からみて適当とはいえない場合がある。したがって、不適当な接続コストを訂正し、統計的に学習する手段が必要である。
【０００５】
接続コストの学習に関しては、例えば、特開平5-12327号公報および特開平09-114825号公報において、形態素解析時に複数候補を出力し、正解を指定して接続コストを訂正して学習させる方法が提案されているが、一文の形態素解析時に正解を選択して学習させるので、大量かつ多様な文章に対して、学習された接続コストが統計的に適切な値になるとはいえない。
【０００６】
したがって、本発明は、より高精度な形態素解析を実現可能な接続コストの学習を行うことを目的とする。
【０００７】
【課題を解決するための手段】
本発明によれば、例えば以下の構成を備える自然言語処理装置が提供される。すなわち、
所定の文法的情報による分類を単位とし、その単位間の接続に対する重みである接続コスト情報を用いて形態素解析を行う自然言語処理装置であって、
前記接続コスト情報を記憶する第１の記憶手段と、
所定の文に対する形態素解析の正解を記憶する第２の記憶手段と、
前記所定の文それぞれに対して形態素解析を行う形態素解析手段と、
前記形態素解析手段による形態素解析結果の、前記正解に対する誤り部分を検出する検出手段と、
前記第２の記憶手段に記憶されている前記正解に係る第１の形態素とは異なるが該第１の形態素と置換しても言語的に誤りとはならない所定の第２の形態素を、前記第１の形態素と関連付けて記憶する第３の記憶手段と、
前記検出手段により検出された前記誤り部分が前記第２の形態素と一致するか否かを判定する一致判定手段と、
前記一致判定手段により前記誤り部分が前記第２の形態素と一致しないと判定された場合は、該誤り部分に対して、前記第１の記憶手段における形態素間の接続コスト情報の訂正を行う一方、前記一致判定手段により前記誤り部分が前記第２の形態素と一致すると判定された場合は、該誤り部分に対する前記接続コスト情報の訂正は行わない訂正手段と、
を備えることを特徴とする。
【０００８】
【発明の実施の形態】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。
【０００９】
（実施形態１）
図１は、実施形態における自然言語処理装置の機能ブロック図である。
【００１０】
同図において、101は、文章を解析して単語（形態素）に分解する形態素解析部である。
102は、形態素解析部101での形態素解析に用いる接続コストテーブルである。
103は、文章を正しく形態素解析した正解の集合である正解コーパスである。
104は、正解コーパスの原文の集合を形態素解析部101で形態素解析した出力の集合であるシステム出力コーパスである。
105は、正解コーパス103とシステム出力コーパス104とを用いて接続コストテーブル102を学習する接続コスト学習部であり、次の３つのブロック106〜108により構成される。106は、正解コーパス103とシステム出力コーパス104とを比較して誤り部分を検出する誤り検出部である。107は、誤り部分の形態素間の接続コストを訂正し、接続コストテーブル102を更新する接続コスト訂正部である。108は、学習の終了を判定する学習制御部である。
【００１１】
図２は、形態素解析部101で行われる形態素解析の内容を示す図である。ここで、太線枠で示されるブロック201は、現在、形態素解析部101が注目している注目形態素を示している。202は、形態素201と直前の形態素との間に生じる接続コストであり、各接続経路にその値が振られている。203は、注目形態素201の直前にある形態素が持つ累積コストであり、直前の形態素それぞれにその値が振られている。実線で示された経路204は、解析により注目形態素201が選択した最適パスである。
【００１２】
同図を用いて実施形態における形態素解析について説明する。
【００１３】
形態素解析部101は、文頭から順に辞書引きしつつ解析を行う。注目形態素201は、直前の形態素に対して、文頭から注目形態素までの累積コストを計算し、累積コストが最も少ないパスを一つ選択する。直前の形態素は既にそこまでの累積コスト203を計算して最適パスを選択済みであるので、注目形態素201までの累積コストは、
【００１４】
(直前までの累積コスト203)+(接続コスト202)+(注目形態素201の単語コスト)
【００１５】
で求める。ここで、注目形態素201の単語コストとは、単語のみに依存して生じる単語ごとに振られたコストである。このため、最適パス204は上式の第１項および第２項のみの計算で決定できる。図２では、形態素「今日（キョウ）」が最適パスとして選択され、計算された累積コストを形態素「は」に情報として付加する。この処理を文頭から文末まで行うと、文末での処理が終了した時点で文頭から文末まで繋がる一意の最適パスが選択される。
【００１６】
ここで、形態素間の接続コストは接続コストテーブル102に保持されている。形態素は、品詞や活用型など、その文法的、意味的特徴を表した詳細情報でクラスとよぶ単位に分かれており、各クラス間に接続コストが振られている。
【００１７】
図３は、接続コストテーブル102の構造の一例を示す図である。
【００１８】
301は前項の形態素のクラスを表す番号である。302は後項の形態素のクラスを表す番号である。303は、前項形態素、後項形態素のクラスの対に対して決まる接続コストの値である。
【００１９】
例えば、同図中の第１行に記述されている、
０，０＝０
は、クラス０の形態素とクラス０の形態素との接続コストは０であることを示している。また、第２行に記述されている、
０，１＝30
は、クラス０の形態素とクラス１の形態素との接続コストは30であることを示している。以下同様に、この接続コストテーブル102には各クラス間の接続の組み合わせ毎に、その接続コストが記述されている。
【００２０】
しかし、先に述べたとおり、ここに設定されている接続コストは、形態素解析結果の精度からみて最適化されているとはいえない場合がある。そこで、本発明の実施形態では、この接続コストテーブル102に表現されるクラス間の接続コストを統計的に学習する。
【００２１】
図５は、正解コーパス103の一例を示す図である。
【００２２】
正解コーパス103には原文および正しく形態素解析された内容が記述されている。形態素内容としては原文が各形態素に分けられて記述され、各形態素ごとに、文中における表記の位置および長さ、文中の表記、辞書中の見出し、品詞、音表記、活用形が情報として記述されている。システム出力コーパス104もまた、この正解コーパス103と同じ入力文章での解析結果が同じ書式で記述される。
【００２３】
図４は、接続コストテーブル102におけるクラス間接続コストの学習処理を示すフローチャートである。
【００２４】
まず、ステップS401では、形態素解析部101において、正解コーパス103の原文の集合全てを解析し、システム出力コーパス104を作成する。先述したとおり、正解コーパス103には解析前の原文および正しい解析結果が記されている。システム出力コーパス104には、正解コーパス103と同じ入力文章での解析結果を同じ書式で出力する。
【００２５】
次に、ステップS402で、誤り検出部106において、正解コーパス103とシステム出力コーパス104を比較し、誤り部分を検出する（詳細は後述する。）。続くステップS403では、接続コスト訂正部107において、誤り部分の形態素間の接続コストを訂正し、接続コストテーブル102を更新する。次に、ステップS404で、誤り検出部106が正解コーパス103の原文全てに対し誤り検出したかをチェックし、全原文の誤り検出が終了するまでステップS402に戻って処理を繰り返す。
【００２６】
ステップS405では、学習制御部108において、接続コスト学習を終了するか、学習した接続コストテーブル102を用いて再度システム出力コーパスを作成し、反復学習させるかを判定する。具体的には、例えば、誤り検出部106において、検出された誤り部分の数から、全原文の全形態素中の誤り率を反復学習ごとに計算し記録し、その平均誤り率が過去N回で所定のしきい値より大きく変動しないか否かを判定し、変動しなかった場合には学習を終了し、そうでない場合にはステップS401に戻って学習を反復することにする。ただし、学習を反復させるか終了するかの判定基準はこの限りではなく、他の判定基準を用いてもよい。
【００２７】
図６は、上記ステップS402で、誤り検出部106において行われる誤り検出処理を説明する模式図である。
【００２８】
601は、正解コーパス103に記述されているある一文の形態素内容を示している。602は、601の原文を形態素解析部101で解析してシステム出力コーパス104に記述された形態素内容を示している。誤り検出部106は、601と602の両者を比較する。この例の場合、603に示す部分において解析結果が異なっている。この部分が、システム出力コーパス104の誤りとみなせる誤り部分である。
【００２９】
図９は、上記ステップS403の接続コスト訂正処理の詳細を示すフローチャートである。
【００３０】
まず、ステップS901で、接続コストテーブル102から前項形態素のクラスを取り出し、次のステップS902で、接続コストテーブル102から後項形態素のクラスを取り出す。さらに、ステップS903で、接続コストテーブル102から両項のクラス間の接続コストを取り出す。
【００３１】
次に、ステップS904では、接続コストを訂正する。
【００３２】
図７は、本ステップにおける接続コスト訂正処理を説明する図である。同図は、図６で示した誤り部分に対する訂正処理を例として示したものである。
【００３３】
誤り検出部106が検出した形態素およびその両隣の形態素の間全ての接続コストを修正する。具体的には、例えば、正解コーパス103に現れている形態素間の接続コストを1／(1＋α)倍（ただし、α≧０）して減少させ、システム出力コーパス104に現れた形態素間の接続コストを（1＋α）倍して増加させる。ただし、接続コストの調整方法はこれに限る意図ではなく、他の方法で調整することにしてもよい。
【００３４】
なお、本実施形態における形態素解析では、先述したとおり、一文のコストの累計が最小となる単語列を解析結果としている。接続コストの定義を逆に最大のときに文として確からしいとする場合には、ここでの接続コストの訂正時の増減も逆とする。
【００３５】
そして、ステップS905で、接続コストテーブル102を訂正した接続コストでもって更新する。
【００３６】
図８は、上記ステップS904の接続コスト訂正処理およびステップS905における接続コスト更新処理を説明する図である。
【００３７】
801は、システム出力コーパス104における誤り部分の前項形態素、802が後項形態素である。各形態素はその形態素の特徴を表すクラスによって分類分けされており、接続コストテーブル102は、図３に示すように、前項形態素、後項形態素のクラスの対に対して振られた接続コストが記述されることは先述したとおりである。接続コストテーブル102から前項形態素801および後項形態素802接続コストが取得できる。これに対し、接続コストを上記したステップS904の処理によって訂正し、接続コストテーブル102の該当部分を更新する。
【００３８】
以上説明した実施形態によれば、大量かつ多様な文の形態素解析の正解を記述した正解コーパスを記憶しておき、その正解コーパスにおける各文に対して形態素解析を行い、解析誤りを訂正することが可能になり、これによって、学習された接続コストが統計的に適切な値になる。
【００３９】
（実施形態２）
上述した実施形態１では、誤り検出部106は、正解コーパス103とシステム出力コーパス104との間に異なりがあれば全て誤り部分として検出することにしていた。
【００４０】
しかし、例えば、「テニスコート」という単語が文中に含まれていて、正解コーパス103に「テニスコート」が１単語で記述されている場合、これをシステム出力コーパス104が「テニス」「コート」と分割して解析したとしても、これを言語的に誤りとみなすのは妥当ではない。
【００４１】
そこで、本実施形態では、特定のパターンの誤りは正解として許容する仕組みを設けることにする。
【００４２】
図１０は、特定のパターンの誤りを正解として許容する仕組みを設けた自然言語処理装置の機能ブロック図である。図１に示した機能ブロック図と共通するブロックには同一の参照番号が付されている。図１の機能ブロック図との比較において、接続コスト学習部105には、誤り許容判定部1001が追加されている。この誤り許容判定部1001は、正解コーパス103とシステム出力コーパス104との間で形態素内容が異なっていても正解として許容するパターンをあらかじめ記述した誤り許容パターン情報1002から情報を取得する。
【００４３】
誤り許容判定部1001は、誤り検出部106が検出した誤り部分に対して、誤り許容パターン情報1002とのマッチングをとり、誤り許容パターンと一致する場合には接続コスト訂正部107に接続コストの訂正を行わないよう指示する。
【００４４】
図１１は、誤り許容パターン情報1002の一例を示す図である。許容パターン１つ１つが＜ERROR_PATTERN＞タグで区切られる。その内部において＜ERROR_TYPE＞タグに誤りの分類（読み誤り、品詞誤り等）が記述され、＜PATTERN＞タグによって許容パターンが記述される。
【００４５】
図１２は、図１１の誤り許容パターン情報1002に記述された許容パターンを抜粋したものである。同図の1201,1202に示されるように、許容パターンは記号「-＞」をはさみ、左辺に正解コーパス103のパターン、右辺にシステム出力コーパス104のパターンが記述される。パターンが複数形態素で構成される場合は記号「／」で区切られる。１形態素のパターンの情報は「：」で区切られ、第１項が表記、第２項が品詞、第３項が音表記、第４項が未知語か否かを表すフラグで構成されている。記号「＊」は、その項がどのようなパターンでもよいことを表す。ただし、左辺と右辺は表記が一致していなければならない。
【００４６】
許容パターン1201は、接尾辞「等（トウ）」を副助詞「等（ナド）」と解析しても正解として許容することを示している。許容パターン1202は、正解コーパス103で未知語+名詞の形態素２つのパターンを、１つの名詞として解析しても正解として許容することを示している。この場合、記号「＊」により表記および読みは何でもよいが、左辺の２形態素をあわせた表記と右辺の表記とは一致していなければならない。
【００４７】
これにより上記のような誤りパターンが現れた場合には、誤り許容判定部1002が誤り部分を正解として許容し、不要なコスト訂正を防ぐことができる。
【００４８】
（実施形態３）
上述の実施形態１および２では、自然言語処理装置が接続コスト学習部105を備えるものとして説明したが、この接続コスト学習部は単独の装置として実現することも可能である。
【００４９】
図１３は、本実施形態における接続コスト学習装置の機能ブロック図である。なお、図１に示した機能ブロックと同一のブロックには同一の参照番号を付すものとする。同図に示されるとおり、この接続コスト学習装置は、接続コスト102、正解コーパス103、システム出力コーパス104、誤り検出部106、そして、接続コスト訂正部107より構成される。
【００５０】
ここで、システム出力コーパス104は、正解コーパス103と同一の正解コーパスを備える別の自然言語処理装置において、正解コーパス中の各原文を形態素解析して作成されたものである。
【００５１】
そして、上述のとおり、誤り検出部106で、正解コーパス103とシステム出力コーパス104を比較し誤り部分を検出する。その後、接続コスト訂正部107は、検出された誤り部分の形態素間の接続コストを訂正し、接続コストテーブル102を更新する。
【００５２】
これにより学習済みの接続コストテーブルが作成された。自然言語処理装置はこの学習済みの接続コストテーブルをインストールし、解析に使用することで、高精度な形態素解析処理を提供することが可能になる。かかる接続コスト学習装置があれば、自然言語処理が接続コスト学習部を備える必要がなくなる。
【００５３】
上述した実施形態では、接続コストは形態素の特徴で分類分けされたクラスごとに振られているが、接続コストを振るクラスの単位はいかなるものでもよい。例えば、１単語をそのままクラスとみなしてもよいし、品詞や活用形などさらに細かい情報で分けてもよい。また、１単語に対し前の形態素との間の接続コストを調べる場合と後ろの形態素との間の接続コストを調べる場合とで、異なるクラスや独立したクラスを保持しても構わない。さらに、形態素解析方法に関しても上記実施例の図２に示した方法に限らず、例えば、累積コスト算出時の単語コストはなくても構わないし、あるいは、自立語など一部または全部の品詞に一定の値を付加しても構わない。つまり、クラスもしくは形態素もしくは品詞間において接続の確からしさを表すパラメータを保持し、これ使用して形態素解析を行う方法であれば、本発明を適用可能である。
【００５４】
また、上述の実施形態で示した図３の接続コストテーブル、図５の正解コーパス、図１１の誤り許容パターン情報の記述形式は、上述の実施形態で示した機能を満たす限りいかなる記述形式でもよいことはいうまでもない。
【００５５】
ところで、上述した実施形態における自然言語処理装置、または、接続コスト学習装置の機能は、パーソナルコンピュータ等のコンピュータ装置を用いて実現することが可能である。
【００５６】
図１４は、図１に示した自然言語処理装置として機能するパーソナルコンピュータのハードウェア構成を示すブロック図である。
【００５７】
図示のように、パーソナルコンピュータは、全体の制御をつかさどるＣＰＵ１、ブートプログラム等を記憶しているＲＯＭ２、主記憶装置として機能するＲＡＭ３をはじめ、以下の構成を備える。
【００５８】
ＨＤＤ４は外部記憶装置としてのハードディスク装置である。また、ＶＲＡＭ５は表示しようとするイメージデータを展開するメモリであり、ここにイメージデータ等を展開することでＣＲＴ６に表示させることができる。７は、各種入力および／または設定を行うためのキーボードおよびマウスである。
【００５９】
ＨＤＤ４には、図示の如く、ＯＳ４０をはじめ、以下のものがインストールされている。
【００６０】
・形態素解析プログラム４１
形態素解析部101の機能を実行する。
・接続コスト学習プログラム４２
接続コスト学習部105の機能を実行する。図４に示すフローチャートに対応するプログラムであり、以下のモジュールを含む。
(1) 誤り検出部106の機能を実行する誤り検出モジュール４２１（図４のフローチャートにおけるステップS402に対応する。）、
(2) 接続コスト訂正部107の機能を実行する接続コスト訂正モジュール４２２（図４のフローチャートにおけるステップS403、具体的には、図９のフローチャート、に対応する。）、そして、
(3) 学習制御部108の機能を実行する学習制御モジュール４２３（図４のフローチャートにおけるステップS405に対応する。）
・接続コストテーブル102
・正解コーパス103
【００６１】
この他、形態素解析プログラム４１の実行によって、システム出力コーパス104もこのＨＤＤ４に作成されることになる。
【００６２】
なお、形態素解析プログラム４１、接続コスト学習プログラム４２、接続コストテーブル102、そして、正解コーパス103は、CD-ROMドライブ８を介して、CD-ROM８ａからインストールされたものである。
【００６３】
そして、ＨＤＤ４にインストールされているＯＳ４０ならびに形態素解析プログラム４１、接続コスト学習プログラム４２は、本パーソナルコンピュータの電源投入後、ＲＡＭ３にロードされて、ＣＰＵ１によって実行されることになる。
【００６４】
以上の構成によれば、パーソナルコンピュータを本発明に係る自然言語処理装置として機能させることができることは理解されよう。実施形態３における接続コスト学習装置として機能させることも同様に可能である。
【００６５】
【他の実施形態】
以上、本発明の実施形態を詳述したが、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタ等）から構成されるシステムに適用しても、１つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用してもよい。
【００６６】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータがその供給されたプログラムを読み出して実行することによっても達成される場合を含む。
【００６７】
したがって、本発明の機能処理をコンピュータで実現するために、そのコンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の特許請求の範囲には、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００６８】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００６９】
プログラムを供給するための記憶媒体としては、例えば、フロッピーディスク、光ディスク（CD-ROM、CD-R、CD-RW、DVD等）、光磁気ディスク、磁気テープ、メモリカード等がある。
【００７０】
その他、プログラムの供給方法としては、インターネットを介して本発明のプログラムをファイル転送によって取得する態様も含まれる。
【００７１】
また、本発明のプログラムを暗号化してCD-ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介して暗号化を解く鍵情報を取得させ、その鍵情報を使用することで暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００７２】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現され得る。
【００７３】
さらに、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【００７４】
【発明の効果】
以上説明したように、本発明によれば、より高精度な形態素解析を実現可能な接続コストの学習を行うことができる。
【図面の簡単な説明】
【図１】実施形態１における自然言語処理装置の機能ブロック図である。
【図２】実施形態１における形態素解析の内容を示す図である。
【図３】実施形態１における接続コストテーブルの構造の一例を示す図である。
【図４】実施形態１におけるクラス間接続コストの学習処理を示すフローチャートである。
【図５】実施形態１における正解コーパスの一例を示す図である。
【図６】実施形態１における誤り検出処理を説明する模式図である。
【図７】実施形態１における接続コスト訂正処理を説明する図である。
【図８】実施形態１における接続コスト訂正処理および接続コスト更新処理を説明する図である。
【図９】実施形態１における接続コスト訂正処理の詳細を示すフローチャートである。
【図１０】実施形態２における自然言語処理装置の機能ブロック図である。
【図１１】実施形態２における誤り許容パターン情報の一例を示す図である。
【図１２】実施形態２における誤り許容パターン情報を説明するための図である。
【図１３】実施形態３における接続コスト学習装置の機能ブロック図である。
【図１４】実施形態における自然言語処理装置として機能するパーソナルコンピュータのハードウェア構成を示すブロック図である。
Claims (7)
- 所定の文法的情報による分類を単位とし、その単位間の接続に対する重みである接続コスト情報を用いて形態素解析を行う自然言語処理装置であって、
前記接続コスト情報を記憶する第１の記憶手段と、
所定の文に対する形態素解析の正解を記憶する第２の記憶手段と、
前記所定の文それぞれに対して形態素解析を行う形態素解析手段と、
前記形態素解析手段による形態素解析結果の、前記正解に対する誤り部分を検出する検出手段と、
前記第２の記憶手段に記憶されている前記正解に係る第１の形態素とは異なるが該第１の形態素と置換しても言語的に誤りとはならない所定の第２の形態素を、前記第１の形態素と関連付けて記憶する第３の記憶手段と、
前記検出手段により検出された前記誤り部分が前記第２の形態素と一致するか否かを判定する一致判定手段と、
前記一致判定手段により前記誤り部分が前記第２の形態素と一致しないと判定された場合は、該誤り部分に対して、前記第１の記憶手段における形態素間の接続コスト情報の訂正を行う一方、前記一致判定手段により前記誤り部分が前記第２の形態素と一致すると判定された場合は、該誤り部分に対する前記接続コスト情報の訂正は行わない訂正手段と、
を備えることを特徴とする自然言語処理装置。 - 前記検出手段での検出結果に基づき、前記形態素解析手段、前記検出手段、前記一致判定手段、および、前記訂正手段による各処理を反復して行わせるように制御する学習制御手段を更に備えることを特徴とする請求項１に記載の自然言語処理装置。
- 前記学習制御手段は、
前記検出手段で検出された前記誤り部分の数から誤り率を計算する計算手段と、
前記誤り率が所定のしきい値より大きいか否かを判定する第１の判定手段と、を備え、
前記誤り率が前記所定のしきい値より大きいときに、前記各処理を反復して行わせるように制御することを特徴とする請求項２に記載の自然言語処理装置。 - 所定の文法的情報による分類を単位とし、その単位間の接続に対する重みである接続コスト情報を記憶する第１の記憶手段と、所定の文に対する形態素解析の正解を記憶する第２の記憶手段と、前記第２の記憶手段に記憶されている前記正解に係る第１の形態素とは異なるが該第１の形態素と置換しても言語的に誤りとはならない所定の第２の形態素を、前記第１の形態素と関連付けて記憶する第３の記憶手段と、を備え、前記接続コスト情報を用いて形態素解析を行う自然言語処理装置の制御方法であって、
前記所定の文それぞれに対して形態素解析を行う形態素解析ステップと、
前記形態素解析ステップにおける形態素解析結果の、前記正解に対する誤り部分を検出する検出ステップと、
前記検出ステップで検出された前記誤り部分が前記第２の形態素と一致するか否かを判定する一致判定ステップと、
前記一致判定ステップで前記誤り部分が前記第２の形態素と一致しないと判定された場合は、該誤り部分に対して、前記第１の記憶手段における形態素間の接続コスト情報の訂正を行う一方、前記一致判定ステップで前記誤り部分が前記第２の形態素と一致すると判定された場合は、該誤り部分に対する前記接続コスト情報の訂正は行わない訂正ステップと、
を有することを特徴とする自然言語処理装置の制御方法。 - 前記検出ステップでの検出結果に基づき、前記形態素解析ステップ、前記検出ステップ、前記一致判定ステップ、および、前記訂正ステップを再度実行するように制御する学習制御ステップを更に有することを特徴とする請求項４に記載の自然言語処理装置の制御方法。
- 前記学習制御ステップは、
前記検出ステップで検出された前記誤り部分の数から誤り率を計算する計算ステップと、
前記誤り率が所定のしきい値より大きいか否かを判定する第１の判定ステップと、を有し、
前記誤り率が前記所定のしきい値より大きいときに、前記形態素解析ステップ、前記検出ステップ、前記一致判定ステップ、および、前記訂正ステップを再度実行するように制御することを特徴とする請求項５に記載の自然言語処理装置の制御方法。 - 所定の文法的情報による分類を単位とし、その単位間の接続に対する重みである接続コスト情報を記憶する第１の記憶手段と、所定の文に対する形態素解析の正解を記憶する第２の記憶手段と、前記第２の記憶手段に記憶されている前記正解に係る第１の形態素とは異なるが該第１の形態素と置換しても言語的に誤りとはならない所定の第２の形態素を、前記第１の形態素と関連付けて記憶する第３の記憶手段と、を備え、前記接続コスト情報を用いて形態素解析を行う自然言語処理装置の制御用のプログラムであって、前記自然言語処理装置に、
前記所定の文それぞれに対して形態素解析を行う形態素解析ステップと、
前記形態素解析ステップにおける形態素解析結果の、前記正解に対する誤り部分を検出する検出ステップと、
前記検出ステップで検出された前記誤り部分が前記第２の形態素と一致するか否かを判定する一致判定ステップと、
前記一致判定ステップで前記誤り部分が前記第２の形態素と一致しないと判定された場合は、該誤り部分に対して、前記第１の記憶手段における形態素間の接続コスト情報の訂正を行う一方、前記一致判定ステップで前記誤り部分が前記第２の形態素と一致すると判定された場合は、該誤り部分に対する前記接続コスト情報の訂正は行わない訂正ステップと、
を実行させるプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001291859A JP4947861B2 (ja) | 2001-09-25 | 2001-09-25 | 自然言語処理装置およびその制御方法ならびにプログラム |
| US10/247,306 US20030061030A1 (en) | 2001-09-25 | 2002-09-20 | Natural language processing apparatus, its control method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001291859A JP4947861B2 (ja) | 2001-09-25 | 2001-09-25 | 自然言語処理装置およびその制御方法ならびにプログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003099426A JP2003099426A (ja) | 2003-04-04 |
| JP2003099426A5 JP2003099426A5 (ja) | 2008-10-30 |
| JP4947861B2 true JP4947861B2 (ja) | 2012-06-06 |
Family
ID=19113933
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001291859A Expired - Fee Related JP4947861B2 (ja) | 2001-09-25 | 2001-09-25 | 自然言語処理装置およびその制御方法ならびにプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20030061030A1 (ja) |
| JP (1) | JP4947861B2 (ja) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3890326B2 (ja) * | 2003-11-07 | 2007-03-07 | キヤノン株式会社 | 情報処理装置、情報処理方法ならびに記録媒体、プログラム |
| WO2008048169A2 (en) * | 2006-10-20 | 2008-04-24 | Anoto Ab | Printing of coding patterns |
| US7823138B2 (en) | 2006-11-14 | 2010-10-26 | Microsoft Corporation | Distributed testing for computing features |
| US20090245646A1 (en) * | 2008-03-28 | 2009-10-01 | Microsoft Corporation | Online Handwriting Expression Recognition |
| US20100166314A1 (en) * | 2008-12-30 | 2010-07-01 | Microsoft Corporation | Segment Sequence-Based Handwritten Expression Recognition |
| JP5819860B2 (ja) * | 2010-02-12 | 2015-11-24 | グーグル・インコーポレーテッド | 複合語分割 |
| JP5853595B2 (ja) * | 2011-10-31 | 2016-02-09 | 富士通株式会社 | 形態素解析装置、方法、プログラム、音声合成装置、方法、プログラム |
| US10289653B2 (en) | 2013-03-15 | 2019-05-14 | International Business Machines Corporation | Adapting tabular data for narration |
| US9164977B2 (en) | 2013-06-24 | 2015-10-20 | International Business Machines Corporation | Error correction in tables using discovered functional dependencies |
| US9600461B2 (en) | 2013-07-01 | 2017-03-21 | International Business Machines Corporation | Discovering relationships in tabular data |
| US9607039B2 (en) | 2013-07-18 | 2017-03-28 | International Business Machines Corporation | Subject-matter analysis of tabular data |
| KR101509727B1 (ko) * | 2013-10-02 | 2015-04-07 | 주식회사 시스트란인터내셔널 | 자율학습 정렬 기반의 정렬 코퍼스 생성 장치 및 그 방법과, 정렬 코퍼스를 사용한 파괴 표현 형태소 분석 장치 및 그 형태소 분석 방법 |
| US9830314B2 (en) | 2013-11-18 | 2017-11-28 | International Business Machines Corporation | Error correction in tables using a question and answer system |
| CN106030568B (zh) * | 2014-04-29 | 2018-11-06 | 乐天株式会社 | 自然语言处理***、自然语言处理方法、以及自然语言处理程序 |
| JP6318024B2 (ja) * | 2014-06-26 | 2018-04-25 | 株式会社日立超エル・エス・アイ・システムズ | 形態素解析チューニング装置、音声合成システム、及び形態素解析チューニング方法 |
| US10095740B2 (en) | 2015-08-25 | 2018-10-09 | International Business Machines Corporation | Selective fact generation from table data in a cognitive system |
| US11308397B2 (en) * | 2018-02-16 | 2022-04-19 | Ilya Sorokin | System and method of training a neural network |
| US10650100B2 (en) | 2018-06-08 | 2020-05-12 | International Business Machines Corporation | Natural language generation pattern enhancement |
Family Cites Families (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4618984A (en) * | 1983-06-08 | 1986-10-21 | International Business Machines Corporation | Adaptive automatic discrete utterance recognition |
| US4817156A (en) * | 1987-08-10 | 1989-03-28 | International Business Machines Corporation | Rapidly training a speech recognizer to a subsequent speaker given training data of a reference speaker |
| JP2963463B2 (ja) * | 1989-05-18 | 1999-10-18 | 株式会社リコー | 対話型言語解析装置 |
| EP0545988B1 (en) * | 1990-08-09 | 1999-12-01 | Semantic Compaction System | Communication system with text message retrieval based on concepts inputted via keyboard icons |
| US5418717A (en) * | 1990-08-27 | 1995-05-23 | Su; Keh-Yih | Multiple score language processing system |
| JPH0512327A (ja) * | 1991-07-03 | 1993-01-22 | Ricoh Co Ltd | 形態素解析装置 |
| US5463718A (en) * | 1991-11-08 | 1995-10-31 | Hitachi, Ltd. | Learning method and apparatus |
| DE69319550T2 (de) * | 1992-11-27 | 1999-03-11 | Sharp Kk | Bilderzeugungsgerät |
| US5537317A (en) * | 1994-06-01 | 1996-07-16 | Mitsubishi Electric Research Laboratories Inc. | System for correcting grammer based parts on speech probability |
| JP2618832B2 (ja) * | 1994-06-16 | 1997-06-11 | 日本アイ・ビー・エム株式会社 | 文書の論理構造の解析方法及びシステム |
| US5610812A (en) * | 1994-06-24 | 1997-03-11 | Mitsubishi Electric Information Technology Center America, Inc. | Contextual tagger utilizing deterministic finite state transducer |
| US5519786A (en) * | 1994-08-09 | 1996-05-21 | Trw Inc. | Method and apparatus for implementing a weighted voting scheme for multiple optical character recognition systems |
| CA2167748A1 (en) * | 1995-02-09 | 1996-08-10 | Yoav Freund | Apparatus and methods for machine learning hypotheses |
| US5708757A (en) * | 1996-04-22 | 1998-01-13 | France Telecom | Method of determining parameters of a pitch synthesis filter in a speech coder, and speech coder implementing such method |
| US5963903A (en) * | 1996-06-28 | 1999-10-05 | Microsoft Corporation | Method and system for dynamically adjusted training for speech recognition |
| US5995928A (en) * | 1996-10-02 | 1999-11-30 | Speechworks International, Inc. | Method and apparatus for continuous spelling speech recognition with early identification |
| US5829000A (en) * | 1996-10-31 | 1998-10-27 | Microsoft Corporation | Method and system for correcting misrecognized spoken words or phrases |
| US6044344A (en) * | 1997-01-03 | 2000-03-28 | International Business Machines Corporation | Constrained corrective training for continuous parameter system |
| JP3992348B2 (ja) * | 1997-03-21 | 2007-10-17 | 幹雄 山本 | 形態素解析方法および装置、並びに日本語形態素解析方法および装置 |
| US6052682A (en) * | 1997-05-02 | 2000-04-18 | Bbn Corporation | Method of and apparatus for recognizing and labeling instances of name classes in textual environments |
| US6470307B1 (en) * | 1997-06-23 | 2002-10-22 | National Research Council Of Canada | Method and apparatus for automatically identifying keywords within a document |
| JPH1185756A (ja) * | 1997-09-03 | 1999-03-30 | Sharp Corp | 翻訳装置及び翻訳装置制御プログラムを記憶した媒体 |
| US6052657A (en) * | 1997-09-09 | 2000-04-18 | Dragon Systems, Inc. | Text segmentation and identification of topic using language models |
| US6134532A (en) * | 1997-11-14 | 2000-10-17 | Aptex Software, Inc. | System and method for optimal adaptive matching of users to most relevant entity and information in real-time |
| US6134527A (en) * | 1998-01-30 | 2000-10-17 | Motorola, Inc. | Method of testing a vocabulary word being enrolled in a speech recognition system |
| JP2000040085A (ja) * | 1998-07-22 | 2000-02-08 | Hitachi Ltd | 日本語形態素解析処理の後処理方法および装置 |
| US6571210B2 (en) * | 1998-11-13 | 2003-05-27 | Microsoft Corporation | Confidence measure system using a near-miss pattern |
| DE69829187T2 (de) * | 1998-12-17 | 2005-12-29 | Sony International (Europe) Gmbh | Halbüberwachte Sprecheradaptation |
| US6253181B1 (en) * | 1999-01-22 | 2001-06-26 | Matsushita Electric Industrial Co., Ltd. | Speech recognition and teaching apparatus able to rapidly adapt to difficult speech of children and foreign speakers |
| US6618697B1 (en) * | 1999-05-14 | 2003-09-09 | Justsystem Corporation | Method for rule-based correction of spelling and grammar errors |
| JP2001043221A (ja) * | 1999-07-29 | 2001-02-16 | Matsushita Electric Ind Co Ltd | 中国語単語分割装置 |
| US6721697B1 (en) * | 1999-10-18 | 2004-04-13 | Sony Corporation | Method and system for reducing lexical ambiguity |
| US6513025B1 (en) * | 1999-12-09 | 2003-01-28 | Teradyne, Inc. | Multistage machine learning process |
| US6917845B2 (en) * | 2000-03-10 | 2005-07-12 | Smiths Detection-Pasadena, Inc. | Method for monitoring environmental condition using a mathematical model |
| US6963841B2 (en) * | 2000-04-21 | 2005-11-08 | Lessac Technology, Inc. | Speech training method with alternative proper pronunciation database |
| US6925432B2 (en) * | 2000-10-11 | 2005-08-02 | Lucent Technologies Inc. | Method and apparatus using discriminative training in natural language call routing and document retrieval |
| US6941266B1 (en) * | 2000-11-15 | 2005-09-06 | At&T Corp. | Method and system for predicting problematic dialog situations in a task classification system |
| US6941264B2 (en) * | 2001-08-16 | 2005-09-06 | Sony Electronics Inc. | Retraining and updating speech models for speech recognition |
-
2001
- 2001-09-25 JP JP2001291859A patent/JP4947861B2/ja not_active Expired - Fee Related
-
2002
- 2002-09-20 US US10/247,306 patent/US20030061030A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| US20030061030A1 (en) | 2003-03-27 |
| JP2003099426A (ja) | 2003-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4947861B2 (ja) | 自然言語処理装置およびその制御方法ならびにプログラム | |
| US7996211B2 (en) | Method and apparatus for fast semi-automatic semantic annotation | |
| US8977536B2 (en) | Method and system for translating information with a higher probability of a correct translation | |
| JP5071373B2 (ja) | 言語処理装置、言語処理方法および言語処理用プログラム | |
| US8392191B2 (en) | Chinese prosodic words forming method and apparatus | |
| JPH07325828A (ja) | 文法チェックシステム | |
| WO2003065245A1 (fr) | Procede de traduction, procede de production de phrase traduite, support d'enregistrement, programme et ordinateur | |
| US8135573B2 (en) | Apparatus, method, and computer program product for creating data for learning word translation | |
| JP5482236B2 (ja) | プログラムおよび情報処理装置 | |
| US7389220B2 (en) | Correcting incomplete negation errors in French language text | |
| JP2000339310A (ja) | 文書分類方法、文書分類装置、およびプログラムを記録する記録媒体 | |
| JPH0474259A (ja) | 文書要約装置 | |
| JP3870251B2 (ja) | テンス・アスペクト・モダリティ翻訳処理装置 | |
| JP3599734B2 (ja) | 文章校正装置およびその方法 | |
| JP3692711B2 (ja) | 機械翻訳装置 | |
| JP2838850B2 (ja) | 仮名漢字変換装置 | |
| JP3873299B2 (ja) | 仮名漢字変換装置および仮名漢字変換方法 | |
| JP2001337945A (ja) | 自動編集装置及び方法並びにこれに利用される記憶媒体 | |
| JPH1166068A (ja) | 機械翻訳装置および機械翻訳方法ならびに機械翻訳プログラムを記録した記録媒体 | |
| JP2002236876A (ja) | 解析方法及び解析装置 | |
| Llitjós | Towards Interactive and Automatic Refinement of Translation Rules | |
| JP2001265766A (ja) | 機械翻訳方法、機械翻訳装置及び記録媒体 | |
| JPH10187699A (ja) | 文書処理装置及びその方法 | |
| JP2002073070A (ja) | 音声処理方法、音声処理装置及び記憶媒体並びに自然言語処理方法 | |
| Parsing | Syntactic Annotation: Linguistic Aspects of Grammatical Tagging and Skeleton Parsing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080910 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080910 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110617 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110701 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110829 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120302 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120306 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150316 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150316 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |