JPH11175525A - 自然言語処理用データベース装置 - Google Patents

Abstract

(57)【要約】 【課題】 ユーザが自然言語処理用データベースに自分
の希望する文字列及びその頻度情報を追加・修正するこ
とができる。 【解決手段】 本発明装置は、自然言語文に現れる所定
文字数でなる部分文字列とその絶対的又は相対的な頻度
情報との組を複数組格納している自然言語処理用データ
ベースを有する。また、ユーザから入力された、自然言
語処理用データベースの格納内容に反映させたい文字列
及び重要度を受け取るユーザ入力手段と、入力文字列を
構成する、所定文字数でなる１又は複数の部分文字列の
項目が自然言語処理用データベースになければ、重要度
に応じた頻度情報とを組として追加させると共に、その
部分文字列の項目が自然言語処理用データベースにあれ
ば、その部分文字列の頻度情報を重要度に応じて更新さ
せるデータベース更新手段とを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は自然言語処理用デー
タベース装置に関し、例えば、文の形態素を自動的に解
析する形態素解析装置に適用し得るものである。

【０００２】

【従来の技術】［文献名］特開平７−２７１７９２ 日本語文等の自然言語文を処理する装置（例えば機械翻
訳装置や質疑応答装置やコンピュータ援用の教育装置
等）においては、自然言語文に対して最初に形態素解析
を行う。

【０００３】形態素解析装置は、一般に、形態素解析部
（形態素解析プログラム部）と、辞書（単語辞書）と、
活用語尾テーブルと、品詞別接続テーブルとから構成さ
れており、形態素解析部が、上述の各種記憶部が、入力
テキストに対して、辞書や、活用語尾テーブルや、品詞
別接続テーブル等を参照することで形態素解析を行うも
のである。

【０００４】これに対して、近年、単語辞書を使用せ
ず、代わりにタグつき（＝形態素境界や各形態素の品詞
情報等を保持した）コーパス（＝大量のテキストデー
タ）から学習した、タグつき部分文字列の出現頻度情報
を格納している統計データベース（自然言語処理用デー
タベース）を用いた形態素解析装置が研究され始めてい
る（特開平７−２７１７９２号公報や、特願平９−６８
３００号明細書及び図面参照）。

【０００５】この形態素解析方式では、開発者による発
見的な手法で構築されてきた接続テーブルの代わりに、
コーパスから求めた統計データに基づく連鎖確率（出現
頻度情報）を使用するという点で、従来方式よりも、形
態素境界の確定の根拠が明確である。また、未知語が存
在しても一定の基準で精度の高い解析を進めることがで
きるとされている。

【０００６】

【発明が解決しようとする課題】ところが、上記の統計
データに基づく形態素解析装置では、辞書を用いないた
め、ユーザがある形態素を定義して形態素解析結果に反
映したいときに、そのことを実現する手段が（用意され
てい）ないという課題がある。すなわち、辞書に登録す
るという方法が使えないので、ユーザがある形態素を定
義して形態素解析結果に反映したいときに、それを実現
する手段がなかった。

【０００７】そのため、ユーザ定義の形態素データの入
力を受けつけられるて自然言語処理用データベース装置
（統計データベース装置）が求められている。

【０００８】

【課題を解決するための手段】かかる課題を解決するた
め、本発明は、自然言語文に現れる所定文字数でなる部
分文字列とその絶対的又は相対的な頻度情報との組を複
数組格納しており、自然言語処理装置本体に利用される
自然言語処理用データベースを有する自然言語処理用デ
ータベース装置において、（１）ユーザから入力され
た、上記自然言語処理用データベースの格納内容に反映
させたい文字列及び重要度を受け取るユーザ入力手段
と、（２）ユーザから入力された文字列を構成する、上
記所定文字数でなる１又は複数の部分文字列の項目が上
記自然言語処理用データベースになければ、上記重要度
に応じた頻度情報とを組として、上記自然言語処理用デ
ータベースに追加させると共に、ユーザから入力された
文字列を構成する、上記所定文字数でなる１又は複数の
部分文字列の項目が上記自然言語処理用データベースに
あれば、上記自然言語処理用データベースのその部分文
字列の頻度情報を上記重要度に応じて更新させるデータ
ベース更新手段とを備えたことを特徴とする。

【０００９】

【発明の実施の形態】（Ａ）第１の実施形態 （Ａ−１）第１の実施形態の構成 以下、本発明による自然言語処理用データベース装置
（統計データベース装置）を形態素解析装置に適用した
第１の実施形態を図面を参照しながら詳述する。

【００１０】この第１の実施形態の形態素解析装置は、
入出力装置や通信装置や外部記憶装置等を適宜有するワ
ークステーションやパソコン等の情報処理装置で実現さ
れるものであるが、機能的には、図１の機能ブロック図
で示すことができる。

【００１１】図１において、第１の実施形態の形態素解
析装置は、入力部１と、形態素解析部２と、出力部３
と、タグつきコーパス（タグつきコーパス記憶部）４
と、連鎖確率計算部５と、統計データベース６と、統計
データベース重み変更部７と、ユーザ形態素入力部８と
からなる。

【００１２】ここで、入力部１、形態素解析部２及び出
力部３は、形態素解析装置本体を構成しており、タグつ
きコーパス４、連鎖確率計算部５、統計データベース
６、統計データベース重み変更部７及びユーザ形態素入
力部８は、統計データベース装置を構成している。ま
た、タグつきコーパス４及び連鎖確率計算部５は、統計
データベース６を形成させるものであり、形態素解析
は、形成された統計データベース６を利用するものであ
るので、この第１の実施形態の場合には、これらタグつ
きコーパス４及び連鎖確率計算部５を省略することもで
きる。

【００１３】入力部１は、文字列（自然言語テキスト）
を入力として受けとり、形態素解析部２にその入力文字
列を送るものである。入力部１は、例えば、キーボー
ド、マウス、ＯＣＲ（光学式文字認識装置）、音声認識
装置等の任意の手段で構成されていても良く、また、ネ
ットワーク等の通信媒体を経て外部からの通信信号を受
信する手段として構成されていても良い。

【００１４】形態素解析部２は、入力文字列に対して、
統計データベース６の情報を利用して形態素解析を行う
ものである。形態素解析部２は、詳細構成の図示は省略
していないが、以下のような機能を担う拡張文字列生成
部２ａ、スコアテーブル２ｂ、スコア計算部２ｃ及び最
適経路探索部２ｄを有する。

【００１５】拡張文字列生成部２ａは、統計データベー
ス６を参照して、入力文字列の拡張文字を生成し、入力
文字列の文頭から文末までについて、Ｎ文字でなる拡張
文字列（Ｎ−ｇｒａｍ）の経路（組み合わせ）をスコア
テーブル２ｂに格納するものである。スコアテーブル２
ｂは、入力文字列の文頭から文末までの全ての拡張文字
列（Ｎ−ｇｒａｍ）の経路と、統計データベース６に格
納されている部分連鎖確率情報とに基づき求めた拡張文
字列の経路に対応する拡張文字列の連鎖確率情報を格納
するものである。スコア計算部２ｃは、統計データベー
ス６に格納されている部分連鎖確率情報に基づき、スコ
アテーブル２ｂに格納されている拡張文字列の経路に対
する連鎖確率情報を計算するものである。最適経路探索
部２ｄは、スコア計算部２ｃにより計算された連鎖確率
情報の中から、最適な条件（例えば最大値の連鎖確率情
報を与えるなど）を満たす拡張文字列を、最適拡張文字
列（形態素解析結果）として選択するものである。

【００１６】出力部３は、形態素解析部２から解析結果
の形態素列を受けとり、出力するものである。例えば、
種々の表示手段や印刷手段や通信手段等が該当する。

【００１７】タグつきコーパス４は、形態素境界（や各
形態素の品詞情報）のタグを保持した大量のテキストデ
ータである。図２に、タグつきコーパス４のデータ例を
示す。この図２に示す例では形態素境界をスラッシュ
（／）で表示し、品詞・活用型・活用形の情報を四角括
弧内にカンマで列記するという形式で各情報を保持して
いる。なお、タグとして、形態素境界だけを含むタグつ
きコーパス４であっても良い。

【００１８】連鎖確率計算部５は、タグつきコーパス４
が保持するテキストデータを処理し、統計データベース
６を作成するものである（特開平７−２７１７９２号公
報では、単語モデル推定手段あるいは品詞付けモデル推
定手段と呼ばれている）。具体的には、例えば、Ｎ−ｇ
ｒａｍ拡張文字列（形態素境界だけを含む拡張文字列、
又は、形態素境界や品詞を含む拡張文字列）の連鎖確率
情報を計算するものである。

【００１９】統計データベース６は、基本的には、連鎖
確率計算部５で計算された結果のデータベースである。
なお、この第１の実施形態の場合、統計データベース６
の格納内容は、統計データベース重み変更部７によっ
て、変更できるようになされている。

【００２０】統計データベース重み変更部７は、ユーザ
形態素入力部８から形態素解析結果に影響を与える形態
素情報（特定のＮ−ｇｒａｍ拡張文字列のデータ）を受
けて、統計データベース６中のその形態素情報（Ｎ−ｇ
ｒａｍ拡張文字列）に関するデータに対して変更を加え
るものである。具体的には、例えば、指示されたＮ−ｇ
ｒａｍ拡張文字列の連鎖確率情報を変更するものであ
る。

【００２１】ユーザ形態素入力部８は、ユーザから形態
素解析結果に影響を与える形態素情報の入力を受け付
け、その情報を整理して、統計データベース重み変更部
７にそれを送るものである。なお、この第１の実施形態
のユーザ形態素入力部８は、変更の重要度のデータを受
け付けて、そのデータも同時に送るものである。例え
ば、「確実にその形態素を解析結果に反映させたい」と
きはユーザは重要度０．９９を入力し、「他の部分への
影響を極力少なくして反映させたい」ときは重要度０．
３を入力する。

【００２２】（Ａ−２）第１の実施形態の動作 入力文字列を入力部１が受け付け、形態素解析部２が統
計データベース６の格納内容を使用して形態素解析を行
い、出力部３を経て形態素列を出力する動作は、統計デ
ータベース６を利用する従来の形態素解析装置と同様で
あるので、その説明は省略する。

【００２３】また、タグつきコーパス４に対して連鎖確
率計算部５が処理を行い、統計データベース６を作成す
る動作も、従来の装置と同様であるのでその説明は省略
する。

【００２４】例えば、文献『長尾 眞、森 信介著、
「大規模日本語テキストのｎグラム統計の作り方と語句
の自動抽出」、情報処理学会研究報告自然言語処理９６
−１、１９９３年７月』に記載のものを適用できる。

【００２５】そこで、以下では、ユーザからの形態素情
報の入力をユーザ形態素入力部８で受け付けて、統計デ
ータベース重み変更部７を通じて統計データベース６の
データを修正する動作を図３を参照しながら説明する。

【００２６】なお、以下の説明においては、統計データ
ベース６は、Ｎ−ｇｒａｍ文字の文字区切りに関するも
のとする。また、タグつきコーパス４のデータは情報と
して（品詞等の情報は持たず）形態素区切りだけを持っ
ているものとする。

【００２７】まず、ユーザに形態素情報入力画面（図４
参照）を提示し、形態素情報の入力を受け付ける（ステ
ップ３０１）。

【００２８】図４における画面中の四角括弧対［］で挟
まれた部分がユーザが入力する部分である。形態素情報
の入力は、一連の文字列に形態素区切り記号を挿入した
ものである。なお、マニュアル等によって入力方法をユ
ーザに予め知得させておく。形態素区切り記号で区切ら
れた各部分文字列が形態素である、という意味の入力で
ある。入力された文字列中に区切り記号がない場合は、
その文字列全体が一つの形態素であると判断する。重要
度は０．０から１．０の間の数値を入力するものとす
る。０．９９（限りなく１に近い値）であれば、入力さ
れた各形態素は確実に反映されることを意味し、値が小
さくなるほど形態素の反映される可能性が減じる。これ
はある形態素を切り出すために生じる他の形態素への影
響をどの程度ユーザが容認するかを示す値である。

【００２９】次に、ユーザ形態素入力部８から上記のユ
ーザが入力した形態素列と重要度を受けとった統計デー
タベース重み変更部７は、入力された形態素列を拡張文
字列に変換する（ステップ３０２）。図５に拡張文字列
の例を示す。図５において、拡張文字＜こ，０＞や＜
こ，１＞における文字「こ」は、形態素列を構成する文
字そのものであり、数字「０」、「１」はそれぞれ、そ
の文字の後側が形態素区切りになっていないかいるかを
表している。＜＃，１＞は特殊拡張文字であり、統計デ
ータベース６がＮ−ｇｒａｍ拡張文字列毎に連鎖確率情
報を構成するものであれば、入力された形態素列の先頭
側及び分割側にそれぞれ、Ｎ−１個ずつ付加されるもの
である。

【００３０】次に、位置ポインタを拡張文字列の先頭に
設定し（ステップ３０３）、そこからＮ拡張文字（Ｎ−
ｇｒａｍの場合）の抽出可能かどうかを調べる（ステッ
プ３０４）。例えば、Ｎ＝３の場合であって、図５の拡
張文字列の場合、ポインタが、先頭の＜＃，１＞から＜
ぐ，１＞までの間にあるときは、３拡張文字の抽出が可
能であり、＜ぐ，１＞の直後の＜＃，１＞にポインタが
あるときに初めて３文字の抽出が不可能となる。

【００３１】ステップ３０４の判定において、抽出可能
であればステップ３０５に進み、抽出不可能であれば一
連の処理を終了する。

【００３２】ステップ３０５においては、実際に、Ｎ拡
張文字を抽出し、抽出した拡張文字列が統計データベー
ス６の見出しに存在しているか否かを探索する（ステッ
プ３０６）。

【００３３】統計データベース６をテーブル構成で構成
した一例を図６に示している。統計データベース６は、
図６に示すように、Ｎ−ｇｒａｍ（３−ｇｒａｍ）拡張
文字列でなる見出しと、それに対する連鎖確率情報の値
（確率値そのものでも良く、また、それを一律に所定倍
したものであっても良い；以下では重みの値と呼ぶ）と
でなる。見出しのＮ−ｇｒａｍ拡張文字列には、重複す
るものは存在しない。

【００３４】ここで、当該見出しが統計データベース６
に存在していない場合には（ステップ３０６で否定結
果）、形態素入力時に受け付けた重要度の数値を参考に
して、重みの値を作成する（ステップ３１０）。値の作
成方法にはいろいろ考えられるが、最も単純な方法とし
ては、重要度の数値をそのまま重みの値とする方法を挙
げることができる。その後、統計データベース６に当該
見出しを持ったデータを一行追加し、重み値を登録する
（ステップ３１１）。

【００３５】一方、ステップ３０６の判定において、抽
出データが既に統計データベース６に存在したという結
果を得た場合には、統計データベース６から現在の重み
値を取得する（ステップ３０７）。そして、現在の重み
値と、形態素入力時に受け付けた重要度の数値を参考に
して新しい重み値を計算する（ステップ３０８）。そし
て、このようにして求めた新しい重み値に、当該見出し
（Ｎ−ｇｒａｍ拡張文字列）の重み値を変更する（ステ
ップ３０９）。

【００３６】新しい重み値の計算方法もいろいろ考えら
れるが、例えば、以下の（１）式に示す計算方法を挙げ
ることができる。

【００３７】 （新しい重み値）＝（現在の重み値）＋｛１．０−（現在の重み値）｝＊（ 重要度） …（１） この（１）式の計算方法を適用した場合、重要度が最大
であればほとんど１．０に近い値になり、重要度が小さ
くても現在の重み値よりもわずかだが確実に値が増加す
るような新しい重み値が計算できる。

【００３８】現在の位置ポインタで定まるＮ−ｇｒａｍ
拡張文字列について、統計データベース６の格納内容の
追加、変更処理を終了すると、ポインタを一文字ずらし
て（ステップ３１２）、上述したステップ３０４に戻
る。

【００３９】（Ａ−３）第１の実施形態の効果 上記第１の実施形態によれば、ユーザが統計データベー
ス６に自分の希望する形態素（拡張文字列）及びその重
み値を追加・修正することができる。その結果、形態素
解析結果に希望の形態素列情報を反映することができ
る。すなわち、ユーザは簡単な入力操作によって、希望
する解析結果が得られるように、統計データベース６を
変更することができ、装置の使い勝手を従来より向上さ
せることができる。

【００４０】（Ａ−４）第１の実施形態の変形実施形態 統計データベース６は、項目の追加・修正に応じられる
構成であれば良く、構成がテーブル構成に限定されるも
のではない。また、その内容も、Ｎ−ｇｒａｍ文字列に
限定されないので、特開平７−２７１７９２号公報に記
載のようにＮ個の品詞並びのデータであっても良い。

【００４１】また、形態素情報の入力を、図２に示すよ
うな品詞情報をも有する形式で実行させるようにすれ
ば、形態素区切り情報だけでなく、品詞情報をも有する
Ｎ−ｇｒａｍ拡張文字列を拡張している統計データベー
ス６に対しても、項目の追加・修正を行うことができ
る。

【００４２】さらに、重要度にはマイナスの値を与えら
れるようにしても良い。その場合、統計データベース６
のテーブルの値は現状よりも減少することになるので、
当該形態素の分割を抑制させるように働くことになる。

【００４３】さらにまた、第１の実施形態においては、
ユーザからは形態素列全体に対して重要度を付与する方
式で説明したが、重要度は各Ｎ−ｇｒａｍ拡張文字の組
毎に指定するようにしても良い。さらに、重み値の計算
時に、ユーザにＮ−ｇｒａｍ拡張文字の組毎に重要度を
問い合わせて対話的に処理する方式でも良い。

【００４４】このようにＮ−ｇｒａｍ拡張文字の組毎に
指定できるようにした場合においては、重要度ではな
く、重み値（連鎖確率情報）自体を指定できるようにし
ても良い。この場合、既存の重み値（連鎖確率情報）を
表示して修正指定させることが好ましい。重み値（連鎖
確率情報）自体を指定させる場合において、重み値とし
て０の指定も許容させることが好ましい。この場合、重
み値０のＮ−ｇｒａｍ拡張文字列は、形態素解析結果に
反映されることが絶対ないものとなる。言い換えると、
積極的な禁止条件を付与したことになる。

【００４５】また、第１の実施形態においては、重み値
（連鎖確率情報）の修正は、ユーザ入力に係る形態素情
報から得られたＮ−ｇｒａｍ拡張文字列に対して行われ
るものであったが、この修正に合わせて、他のＮ−ｇｒ
ａｍ拡張文字列の重み値（連鎖確率情報）の修正も行う
ようにしても良い。例えば、一般的に、Ｎ−ｇｒａｍ拡
張文字列についての情報を格納している統計データベー
ス６においては、先頭のＮ−１個の拡張文字が同じ複数
のＮ−ｇｒａｍ拡張文字列の重み値（連鎖確率情報）の
総和が所定値（例えば１）になるようになされており、
この条件を守るように、他のＮ−ｇｒａｍ拡張文字列の
重み値（連鎖確率情報）の修正も行うようにしても良
い。このような修正は、重み値（連鎖確率情報）を頻度
値に変えて修正し、再度重み値に変えることで実行する
ことができる。

【００４６】なお、統計データベース６における重み値
を頻度で管理するものに対しても、上記第１の実施形態
の技術思想を適用することができる。

【００４７】（Ｂ）第２の実施形態 （Ｂ−１）第２の実施形態の構成 以下、本発明による自然言語処理用データベース装置
（統計データベース装置）を形態素解析装置に適用した
第２の実施形態を図面を参照しながら詳述する。

【００４８】この第２の実施形態の形態素解析装置も、
入出力装置や通信装置や外部記憶装置等を適宜有するワ
ークステーションやパソコン等の情報処理装置で実現さ
れるものであるが、機能的には、図７の機能ブロック図
で示すことができる。なお、図７において、上述した図
１との同一、対応部分には、同一符号を付して示してい
る。

【００４９】図７において、第２の実施形態の形態素解
析装置は、入力部１と、形態素解析部２と、出力部３
と、タグつきコーパス４と、連鎖確率計算部５と、統計
データベース６と、ユーザ形態素入力部８と、コーパス
追加部９とからなる。この第２の実施形態の場合、連鎖
確率計算部５、統計データベース６、ユーザ形態素入力
部８及びコーパス追加部９が、統計データベース装置
（自然言語処理用データベース装置）を構成している。

【００５０】図７において、入力部１、形態素解析部
２、出力部３、タグつきコーパス４、連鎖確率計算部
５、統計データベース６及びユーザ形態素入力部８は、
第１の実施形態と同じ機能を担うものであり、その機能
説明は省略する。

【００５１】コーパス追加部９は、ユーザ形態素入力部
８から送られてくる形態素列情報を、重要度に応じた数
だけ、その複製を作成してタグつきコーパス４に追加す
るものである。コーパス追加部９は、タグつきコーパス
４のデータサイズ（例えば、文数、形態素数、文字数
等）の初期値を与えられており、タグつきコーパス４に
データを追加する際に保持しているサイズの値を変更す
る。また、コーパス追加部９は、タグつきコーパス４に
データを追加した後に、連鎖確率計算部５に対して再計
算を指令するものである。

【００５２】（Ｂ−２）第２の実施形態の動作 従来装置の動作と異なるのは、ユーザ形態素入力部８と
コーパス追加部９の関連する部分だけである。そこで、
以下では、ユーザからの形態素情報の入力をユーザ形態
素入力部８で受け付けて、コーパス追加部９を通じてタ
グつきコーパス４にデータを追加し、連鎖確率計算部５
に再計算指令を与えるまでの動作を図８のフローチャー
トを参照しながら説明する。なお、この第２の実施形態
のタグつきコーパス４は、図２に示した形式のものでは
なく、それから品詞情報（活用型、活用形を含む）を除
いたものとする。

【００５３】まず、ユーザに形態素入力画面（上記図４
参照）を提示し、形態素情報の入力を受け付ける（ステ
ップ８０１）。このステップに関しては、第１の実施形
態に同じである（図３のステップ３０１）。

【００５４】次に、既存のコーパスサイズと重要度によ
り追加する分量（ここでは文数）を決める（ステップ８
０２）。コーパスのサイズのデータはコーパス追加部９
が保持しているものとする。例えば、次の（２）式によ
り、追加分量を定める。なお、今までのコーパスサイズ
に応じて複数の式を選択適用するようにしても良い。

【００５５】 追加分量（文数）＝コーパスサイズ（文数）＊０．０１＊重要度（但し、少 数点以下切り上げ） …（２） 次に、ステップ８０２で決められた追加文数だけ、入力
形態素列情報を複製し、タグつきコーパス４に追加する
（ステップ８０３）。このとき、追加した文数（場合に
よっては形態素数等その他のデータも）によりコーパス
サイズを更新しておく。

【００５６】そして、タグつきコーパス４が更新された
ことを通知し、連鎖確率計算部５に対して再計算の指令
を送る（ステップ８０４）。これによって、連鎖確率計
算部５が更新されたタグつきコーパス４を用いて再計算
を行い、統計データベース６が更新される。

【００５７】更新された統計データベース６を用いて形
態素解析を行うと、ユーザの入力が反映された解析結果
が得られる。

【００５８】（Ｂ−３）第２の実施形態の効果 上記第２の実施形態によっても、ユーザが統計データベ
ース６に自分の希望する形態素（拡張文字列）及びその
重み値を追加・修正することができ、形態素解析結果に
希望の形態素列情報を反映することができる。すなわ
ち、ユーザは簡単な入力操作によって、希望する解析結
果が得られるように、統計データベース６を変更するこ
とができ、装置の使い勝手を従来より向上させることが
できる。

【００５９】なお、第２の実施形態では、統計データベ
ース６の作成方法を利用して、ユーザの希望を統計デー
タベース６に反映する方法であり、他のＮ−ｇａｒｍ拡
張文字列への悪影響が少なくて済むと考えられる。すな
わち、ユーザの入力した文（形態素列）がコーパス中に
何度も出現したという位置付けで考えるだけで良いの
で、恣意的な操作が少ない（＝人為的なミスが入りにく
い）ため、ユーザ情報の反映によるリスクが小さく、統
計データベース６をゆるやかに操作することができる。

【００６０】一方、ユーザ情報の反映度合が小さい、指
定した形態素に係るＮ−ｇｒａｍ拡張文字列の連鎖確率
情報を小さくする方向には操作できないという面では、
第１の実施形態の方が良好である。

【００６１】（Ｂ−４）第２の実施形態の変形実施形態 統計データベース６は、項目の追加・修正に応じられる
構成であれば良く、構成がテーブル構成に限定されるも
のではない。また、その内容も、Ｎ−ｇｒａｍ文字列に
限定されないので、特開平７−２７１７９２号公報に記
載のようにＮ個の品詞並びのデータであっても良い。

【００６２】また、形態素情報の入力を、図２に示すよ
うな品詞情報をも有する形式で実行させるようにすれ
ば、形態素区切り情報だけでなく、品詞情報をも有する
Ｎ−ｇｒａｍ拡張文字列を拡張している統計データベー
ス６に対しても、項目の追加・修正を行うことができ
る。

【００６３】さらに、統計データベース６における重み
値を頻度で管理するものに対しても、上記第２の実施形
態の技術思想を適用することができる。

【００６４】（Ｃ）第３の実施形態 （Ｃ−１）第３の実施形態の構成 以下、本発明による自然言語処理用データベース装置
（統計データベース装置）を形態素解析装置に適用した
第３の実施形態を図面を参照しながら詳述する。

【００６５】この第３の実施形態の形態素解析装置も、
入出力装置や通信装置や外部記憶装置等を適宜有するワ
ークステーションやパソコン等の情報処理装置で実現さ
れるものであるが、機能的には、図９の機能ブロック図
で示すことができる。なお、図９において、上述した図
１との同一、対応部分には、同一符号を付して示してい
る。

【００６６】図９において、第３の実施形態の形態素解
析装置は、入力部１と、形態素解析部２と、出力部３
と、タグつきコーパス４と、連鎖確率計算部５と、統計
データベース６と、統計データベース重み変更部７と、
ユーザ形態素入力部８と、文例検索部１０と、文例出力
部１１と、タグつきコーパスのインデックス（インデッ
クス記憶部）１２とからなる。この第３の実施形態の場
合、連鎖確率計算部５、統計データベース６、統計デー
タベース重み変更部７、ユーザ形態素入力部８、文例検
索部１０、文例出力部１１及びインデックス１２が、統
計データベース装置（自然言語処理用データベース装
置）を構成している。

【００６７】図９において、入力部１、形態素解析部
２、出力部３、タグつきコーパス４、連鎖確率計算部
５、統計データベース６及び統計データベース重み変更
部７は、第１の実施形態と同じ機能を担うものであり、
その機能説明は省略する。

【００６８】タグつきコーパス４が、保持しているデー
タは第１の実施形態に同じであるが、その格納データの
インデックス１２が別に用意されている。タグつきコー
パス４のインデックス１２は、タグつきコーパス４が保
持しているデータのタグ（区切り記号、品詞・活用形等
の情報）を除去したデータ（プレーンデータ）を見出し
として保持する。各見出しには、その元となったタグつ
きコーパス４内のデータヘのポインタが付与されてい
る。

【００６９】ユーザ形態素入力部８は、第１の実施形態
の動作の他に、文例検索部１０に対しても、受け付けた
ユーザ形態素列を送るものである。

【００７０】文例検索部１０は、ユーザ形態素入力部８
からユーザ形態素列を受けとって区切り記号を取り除い
た文字列から、一定文字数（Ｍ文字）の部分文字列を
（複数個：可能な限り）作成するものである。また、そ
の各部分文字列をインデックス１２に対して送り、イン
デックス１２の見出し中（プレーンデータ）に当該部分
文字列を含むものがあれば、元データヘのポインタを取
得する。さらに、そのポインタのデータをタグつきコー
パス４に送り、当該データ（文例：タグつき形態素列）
を取得し、文例出力部１１に送付するものである。

【００７１】文例出力部１１は、文例検索部１０から送
られてきた形態素列（文例）を出力するものである。

【００７２】（Ｃ−２）第３の実施形態の動作 以下では、この第３の実施形態における特徴動作を行う
ユーザ形態素入力部８、文例検索部１０及び文例出力部
１１の動作について、図１０のフローチャートを参照し
ながら説明する。

【００７３】まず、ユーザに形態素入力画面（図１１参
照）を提示し、形態素入力を受け付け（ステップ１００
１）、この受付時に押下されたボタンが、文例検索ボタ
ンか学習ボタンかを判定する（ステップ１００２）。

【００７４】図１１に示すように、この第３の実施形態
の場合、形態素入力画面は、形態素入力及び重要度入力
を受け付ける入力フィールドだけでなく、「学習ボタ
ン」及び「文例検索ボタン」が表示され、動作モード
を、これら「学習ボタン」及び「文例検索ボタン」によ
って指示することを求めている。また、「文例検索ボタ
ン」の押下によって開始された文例検索動作によって得
られた文例を表示するための表示フィールドも予め用意
されている。

【００７５】学習ボタンが押下された場合には、統計デ
ータベース重み変更部７がユーザ形態素列を受け取り、
第１の実施形態と同様の動作を行うため、図１１に示す
処理を終了する。なお、図１１の処理が終了したときに
は、上述した図３のステップ３０２以降の処理に進むよ
うになる。

【００７６】一方、押下されたボタンが文例検索ボタン
であった場合には、文例検索部１０がユーザ形態素列の
みを受け取り（重要度のデータは必要ない）、タグ（こ
こでは区切り記号のみ）を除去してプレーンデータ（文
字列）を作成する（ステップ１００３）。例えば、入力
形態素列が、「ここ／では／きもの／を／ぬぐ」であっ
た場合には、区切り記号を全て除去した「ここではきも
のをぬぐ」が、プレーンデータとなる。

【００７７】次に、当該プレーンデータから部分文字列
を作成する（ステップ１００４）。この過程では、予め
この処理用の文字数が定められているものとして（ここ
では３文字とする；この文字数はＮ−ｇｒａｍ拡張文字
列のＮ文字とは無関係であっても良い）、プレーンデー
タからその長さの部分文字列を全て切り出してくる。な
お、文字数はシステム起動時に指定する、あるいはユー
ザからの入力を受ける等の方法で変更可能であっても良
い。例えば、プレーンデータが上記の例であった場合に
は、「ここで」、「こでは」、「ではき」、「はき
も」、「きもの」、「ものを」、「のをぬ」、「をぬ
ぐ」という計８個の部分文字列が作成される。ここで、
プレーンデータの文字数が上記の定められた文字数に達
していない場合は、プレーンデータそのものを部分文字
列とする。

【００７８】次に、未処理の中で最も先頭側の部分文字
列を処理対象にセットし（ステップ１００５）、インデ
ックス内の見出しに当該部分文字列が含まれているもの
があるかどうかのマッチングをとり、マッチした見出し
の元データヘのポインタを全て文例検索部１０が受け取
る（ステップ１００６）。

【００７９】そして、処理対象の部分文字列に処理済み
フラグを付与し（ステップ１００７）、他に未処理の部
分文字列がないか調べる（ステップ１００８）。

【００８０】未処理の部分文字列があった場合には、上
述したステップ１００５に戻る。このようなステップ１
００５〜１００８でなる処理ループを繰り返すことによ
り、やがて未処理の部分文字列がなくなる。このように
して全ての部分文字列の処理が完了した場合には、受け
取った元データヘのポインタの重複を削除して整理する
（ステップ１００９）。これは、複数の部分文字列を含
むプレーンデータがあった場合、各々の部分文字列のマ
ッチング処理に対して元データが獲得されるためであ
る。

【００８１】次に、ポインタでタグつきコーパス４のデ
ータ（文例）を参照して獲得する（ステップ１０１
０）。そして、文例出力部１１に、それらの文例を送
り、画面に出力して（ステップ１０１１）、一連の処理
を終了する。

【００８２】図１２は、出力画面の例を示すものであ
る。この出力画面は、上述した図１１に示すユーザ形態
素列入力画面に対応しており、「文例検索ボタン」の下
にこの検索結果が出力される。

【００８３】このような出力画面を見て、ユーザは重要
度を変更して「学習ボタン」を押下して、第１の実施形
態のような統計データベース６の追加、変更動作に移行
させることができる。

【００８４】すなわち、ユーザが統計データベース６に
自分の希望する形態素及びその重み値を追加・修正する
にあたって、同じ文字列を含む文例を検索・表示するこ
とにより、ユーザの入力が他のどのような文の解析に影
響を与えるか推定することができる。統計データベース
６であるので、絶対的に他への影響を避けることはでき
ないが、文例を見ることで入力形態素列を変更したり、
重要度を変更したりすることができる。

【００８５】文例検索対象となるタグつきコーパス４
は、解析に使用する統計データベース６の元であるが故
に、得られる形態素解析結果を間接的に表現している。
例えば、仮に、それらの文のタグを除去して実際に解析
させれば、形態素区切り情報をタグとして保有するタグ
つきコーパス４の文に戻る。その意味で上記の推定が効
率的に行える。従って、全く別種のコーパス（タグつ
き、タグなし）を検索対象としても良いが、その場合、
参照することで推定はできるが、現状の解析に与える直
接的な影響を知ることはできないので、効果はやや薄れ
る。

【００８６】（Ｃ−３）第３の実施形態の効果 上記第３の実施形態によっても、ユーザが統計データベ
ース６に自分の希望する形態素（拡張文字列）及びその
重み値を追加・修正することができ、形態素解析結果に
希望の形態素列情報を反映することができる。すなわ
ち、ユーザは簡単な入力操作によって、希望する解析結
果が得られるように、統計データベース６を変更するこ
とができ、装置の使い勝手を従来より向上させることが
できる。

【００８７】また、第３の実施形態によれば、ユーザ入
力の形態素列と同じ部分文字列を含む文例を検索する文
例検索部を設けたので、ユーザは、統計データベースを
変更する前にその影響を推定して、入力内容を調整する
ことができる。

【００８８】（Ｃ−４）第３の実施形態の変形実施形態 第３の実施形態は、第１の実施形態の構成を基本的に備
えているので、上述した第１の実施形態についての変形
実施形態を、この第３の実施形態の変形実施形態として
挙げることができる。

【００８９】また、第３の実施形態は、第１の実施形態
の構成に文例検索部１０及び文例出力部１１を設けたも
のであるが、第２の実施形態の構成に文例検索部１０及
び文例出力部１１を設けて装置を構成しても良い。

【００９０】さらに、第３の実施形態では、文例検索部
１０がインデックス１２をも利用して文例を検索するも
のを示したが、インデックス１２を省略し、文例検索部
１０がタグつきコーパス４に対して直接検索処理するも
のであっても良い。この場合、文例検索部１０は、ユー
ザ入力の形態素列からタグを除去する必要はない。

【００９１】（Ｄ）他の実施形態 上記各実施形態の説明においても、種々変形実施形態に
ついて言及したが、さらに、以下のような変形実施形態
を挙げることができる。

【００９２】上記各実施形態は、ユーザが反映させよう
とする形態素列情報をその都度入力するものであった
が、出力部３から出力された形態素列情報をそのまま又
は一部修正して、ユーザ入力の形態素列情報として入力
できるようにしても良い。

【００９３】また、上記各実施形態においては、対象と
する自然言語が日本語であるものを示したが、他の言語
に係る所定文字数の文字列を格納した統計データベース
装置（自然言語処理用データベース装置）に対しても、
本発明を適用することができる。

【００９４】さらに、上記各実施形態においては、本発
明の統計データベース装置を形態素解析装置に適用した
ものを示したが、本発明の統計データベース装置を利用
する処理は、形態素解析に限定されるものではない。例
えば、通信手段で受信した自然言語テキストの一部がバ
ーストエラーによって未知語の場合に、その未知語部分
の正しい文字列を統計データベースの格納内容を利用し
て推定するような自然言語処理装置の統計データベース
装置に本発明の統計データベース装置を適用することが
できる。本発明の統計データベース装置の用途によって
は、統計データベースに、形態素区切り情報や品詞情報
等を保有しない文字列だけを格納していても良い。

【００９５】なお、特許請求の範囲における文字列の
語、形態素区切り情報や品詞情報等を含むものも含まな
いものの双方を意味するものとする。

【００９６】

【発明の効果】以上のように、本発明によれば、自然言
語文に現れる所定文字数でなる部分文字列とその絶対的
又は相対的な頻度情報との組を複数組格納しており、自
然言語処理装置本体に利用される自然言語処理用データ
ベースを有する自然言語処理用データベース装置が、ユ
ーザから入力された、自然言語処理用データベースの格
納内容に反映させたい文字列及び重要度を受け取るユー
ザ入力手段と、ユーザから入力された文字列を構成す
る、所定文字数でなる１又は複数の部分文字列の項目が
自然言語処理用データベースになければ、重要度に応じ
た頻度情報とを組として、自然言語処理用データベース
に追加させると共に、その部分文字列の項目が自然言語
処理用データベースにあれば、自然言語処理用データベ
ースのその部分文字列の頻度情報を重要度に応じて更新
させるデータベース更新手段とを有するので、ユーザが
自然言語処理用データベースに自分の希望する文字列及
びその頻度情報を追加・修正することができ、自然言語
処理結果に希望の文字列情報を反映することができ、装
置の使い勝手を従来より向上させることができる。

【図面の簡単な説明】

【図１】第１の実施形態の構成を示す機能ブロック図で
ある。

【図２】タグつきコーパスの例を示す説明図である。

【図３】第１の実施形態の特徴動作を示すフローチャー
トである。

【図４】第１の実施形態の形態素入力画面の一例を示す
説明図である。

【図５】拡張文字列の一例を示す説明図である。

【図６】統計データベースの一例を示す説明図である。

【図７】第２の実施形態の構成を示す機能ブロック図で
ある。

【図８】第２の実施形態の特徴動作を示すフローチャー
トである。

【図９】第３の実施形態の構成を示す機能ブロック図で
ある。

【図１０】第３の実施形態の特徴動作を示すフローチャ
ートである。

【図１１】第３の実施形態の形態素入力画面の一例を示
す説明図である。

【図１２】第３の実施形態の検索文例出力画面の一例を
示す説明図である。

【符号の説明】

１…入力部、２…形態素解析部、３…出力部、４…タグ
つきコーパス、５…連鎖確率計算部、６…統計データベ
ース、７…統計データベース重み変更部、８…ユーザ形
態素入力部、９…コーパス追加部、１０…文例検索部、
１１…文例出力部、１２…インデックス。

Claims (4)

【特許請求の範囲】
1. 【請求項１】 自然言語文に現れる所定文字数でなる部
   分文字列とその絶対的又は相対的な頻度情報との組を複
   数組格納しており、自然言語処理装置本体に利用される
   自然言語処理用データベースを有する自然言語処理用デ
   ータベース装置において、 ユーザから入力された、上記自然言語処理用データベー
   スの格納内容に反映させたい文字列及び重要度を受け取
   るユーザ入力手段と、 ユーザから入力された文字列を構成する、上記所定文字
   数でなる１又は複数の部分文字列の項目が上記自然言語
   処理用データベースになければ、上記重要度に応じた頻
   度情報とを組として、上記自然言語処理用データベース
   に追加させると共に、ユーザから入力された文字列を構
   成する、上記所定文字数でなる１又は複数の部分文字列
   の項目が上記自然言語処理用データベースにあれば、上
   記自然言語処理用データベースのその部分文字列の頻度
   情報を上記重要度に応じて更新させるデータベース更新
   手段とを備えたことを特徴とする自然言語処理用データ
   ベース装置。
2. 【請求項２】 上記データベース更新手段が、 ユーザから入力された文字列を、上記所定文字数でなる
   １又は複数の部分文字列に分離し、分離した部分文字列
   で上記自然言語処理用データベースを検索し、検索の結
   果、分離した部分文字列の項目がなければ、上記重要度
   に応じた頻度情報とを組として、上記自然言語処理用デ
   ータベースに追加させると共に、検索の結果、分離した
   部分文字列の項目があれば、上記自然言語処理用データ
   ベースのその部分文字列の頻度情報を上記重要度に応じ
   て更新させるものであることを特徴とする請求項１に記
   載の自然言語処理用データベース装置。
3. 【請求項３】 上記データベース更新手段が、 上記自然言語処理用データベースの形成に利用した自然
   言語文や自然言語文字列を格納している文例記憶部と、 上記ユーザ入力手段が受け取った文字列を、少なくとも
   重要度に応じて定まる出現回数だけ、上記文例記憶部に
   追加する文例追加部と、 追加処理後の上記文例記憶部の格納内容に基づいて、上
   記自然言語処理用データベースを再構築させるデータベ
   ース再構築部とでなることを特徴とする請求項１に記載
   の自然言語処理用データベース装置。
4. 【請求項４】 上記自然言語処理用データベースの形成
   に利用した自然言語文や自然言語文字列を格納している
   文例記憶部を有する請求項１〜３のいずれかに記載の自
   然言語処理用データベース装置において、 ユーザから入力された文例取出用の文字列を受け取る文
   例取出用文字列入力手段と、 文例取出用文字列の全体又はその部分文字列を有する、
   上記文例記憶部に格納されている自然言語文や自然言語
   文字列を取り出して出力する文例検索出力手段とをさら
   に有することを特徴とする自然言語処理用データベース
   装置。