JPH0821034B2 - 言語解析装置 - Google Patents

Description

【発明の詳細な説明】 技術分野 本発明は言語解析装置、特に自動翻訳装置に有用な言
語解析装置に関する。

従来技術 例えば英語等の外国語の文からそれに対応する日本語
の文を作成する場合、入力された英文の形態素を解析
し、その構文を解析し、その文構造を変換し、その後に
日本語の訳文を生成する。

すなわち、辞書を検索することによって入力文を構成
する各単語等の形態素を解析し、これらの形態素につい
ての品詞等の情報を得る。その後、得られた品詞等の情
報に基づいて、各々の単語またはこれらの単語により形
成されるブロック相互の修飾関係を文法ルールにより解
析することにより、入力文の構造の解析、すなわち構文
解析を行う。さらに、解析された構文に基づいて入力文
の文構造を日本語の構文配列の順序に変換し、変換され
た配列に従って日本語の形態素を生成し、日本語文を生
成する。

このような訳文生成の際に行われる形態素解析におい
ては、スペース、コンマ、コロン等のデリミッタにより
入力文を辞書引き単位に区分し、この辞書引き単位につ
いて辞書を検索することにより、単語等の形態素の品詞
その他の情報を得ている。その場合に、通常の名詞、動
詞等についてはその多くを辞書に格納しておくことがで
きるから、容易に検索され、情報を得ることができる。

しかし、固有名詞についてこのような辞書の検索を行
う場合には、固有名詞は非常に多くの種類が存在するた
め、これらをすべて辞書に格納しておくことは不可能で
ある。したがって辞書に未登録の固有名詞は固有名詞と
して処理することができなかった。

また、固有名詞は、例えばMr.Brown、Lake Biwaのよ
うに、他の普通名詞等と一緒になって固有名詞を表すこ
とがあるが、このような場合に辞書の検索によって固有
名詞と普通名詞をそれぞれ別々に解析したのでは、まと
まった固有名詞として認識することができない。

従来はこのように、固有名詞を適切に認識し、解析す
ることができない欠点があった。

目 的 本発明はこのような従来技術の欠点を解消し、未登録
の固有名詞を処理でき、また、固有名詞を前後の語句と
の関係を考慮して適切に解析することのできる言語解析
装置を提供することを目的とする。

構 成 本発明は上記の目的を達成させるため、所定の言語の
文字列を入力する入力手段と、入力手段から入力された
文字列の検索に用いられる辞書手段と、入力された文字
列について辞書手段を検索した後、文字列の性質情報を
解析する性質情報解析手段とを有し、性質情報解析手段
は、文字列の前後の文字列の性質情報を考慮して文字列
の性質情報を解析することを特徴としたものである。以
下、本発明の一実施例に基づいて具体的に説明する。

第１図には、本発明による言語解析装置を英日自動翻
訳装置に適用した一実施例が示されている。なお、本発
明は、英語の入力文の形態素解析以外にも用いることが
でき、英語を日本語に翻訳する英日翻訳装置のみなら
ず、ある１つの言語を他の言語に翻訳する自動翻訳装置
にも効果的に適用されることは、言うまでもない。

本実施例は入力処理部14を有し、入力処理部14には入
力装置12からデータが入力される。入力装置12は例え
ば、英数字キー等の文字キーや機能キー等を有するキー
ボード、紙に記録された英字テキストを読み取る光学的
文字読み取り装置、磁気ディスクの読み取り装置等を含
む。

入力処理部14は入力文字列バッファ14aを有し、入力
装置12から入力された英語の入力文を入力文字列バッフ
ァ14aに記憶する。入力処理部14は入力文字列バッファ1
4aに記憶された入力文を読み出して単位切出し部16に出
力する。単位切出し部16は、デリミッタテーブル18の検
索によって、入力処理部14から送られた入力文の辞書引
き単位切出しを行う機能部である。デリミッタテーブル
18にはスペース、コンマ等のデリミッタが格納されてい
る。

単位切出し部16はデリミッタテーブル18からデリミッ
タを読み出し、入力処理部14から送られる入力文をデリ
ミッタの存在する部分で区切ることにより、参照辞書20
を検索する場合の単位となる文字列に分割する。分割さ
れた文字列は辞書検索部22に入力される。

辞書検索部22は、単位切出し部16から送られる辞書引
き単位に分割された入力文について参照辞書20を検索す
る。参照辞書20には、例えば第２図に示すように、英文
の文字列のエントリ、その品詞、性質情報等が記録され
ている。参照辞書20には同図に示す固有名詞の他、その
他の品詞、例えば動詞、形容詞等の文字列も記録されて
いる。なお、同図において品詞としての固有名詞という
記録は、後述する登録固有名詞処理を行うものを意味
し、通常の文法上の固有名詞を表すものではない。ま
た、性質情報とは、その固有名詞が表すものを示し、１
つとは限らない。

辞書検索部22は辞書引き単位に分割された文字列につ
いて参照辞書20を検索し、文字列が固有名詞である場合
には固有名詞処理部24に出力し、後述する固有名詞の処
理を行う。また、固有名詞でない場合には処理部36に出
力し、処理部36の辞書情報保存テーブル36aに保存す
る。

固有名詞処理部24は、直前文末処理部26、直前固有名
詞処理部28、固有名詞自身処理部30、からなる。

直前文末処理部26は、辞書検索部22により検索され入
力された文字列の直前の文字列が文末であるか否かを判
断し、直前の文字列が文末である場合には処理すべき文
字列の先頭の大文字を小文字に変換して辞書検索部22に
送り、辞書検索部22に再度参照辞書20の検索を行わせ
る。この再度の検索によっても検索されなかった文字列
は未登録の固有名詞と判断され、処理部36に送られ、辞
書情報保存テーブル36aに保存される。また直前の文字
列が文末でない場合に、後述するように性質情報未知の
固有名詞として処理部36に送り、辞書情報保存テーブル
36aに登録する。

直前固有名詞処理部28は、直前文末処理部26から送ら
れた直前の文字列の性質情報を解析し、固有名詞自身処
理部30に出力する。固有名詞自身処理部30は、解析すべ
き固有名詞の性質情報を調べ、後述するように、固有名
詞と直前の固有名詞のいずれかに性質情報が未登録の場
合に、他方の登録された性質情報により固有名詞と直前
の固有名詞をまとめて解析し、処理部36の辞書情報保存
テーブル36aに保存する。

処理部36は、辞書情報保存テーブル36aを有し、直前
固有名詞処理部28または辞書検索部22から送られたデー
タを辞書情報保存テーブル36aに保存した後、保存され
たデータを読み出して構文解析部38に出力する。構文解
析部38は辞書情報保存テーブル36aから読み出された形
態素解析の行われた入力文の構文解析を行う。

第３図に示すフローチャートにより、本装置の動作を
説明する。

まず、入力装置12から英語の入力文を入力処理部14に
読み込む（100）。入力処理部14に読み込まれた入力文
は入力文字列バッファ14aに格納される。入力文字列バ
ッファ14aに記憶された入力文は単位切り出し部16に読
み出される。

単位切り出し部16では、入力文が入力されるとデリミ
ットテーブル18からデリミッタを読み出し、辞書引き単
位の切り出しが行われる（102）。すなわち、入力され
た入力文を構成する文字列は、スペース、コロン等のデ
リミッタのある部分で区切ることにより、参照辞書20を
検索する場合の単位である検索キー文字列に、文字列の
先頭から順に分割される。分割された辞書引き単位、す
なわち検索キー文字列が終りか否かを判断し（104）、
検索キー文字列がまだある場合（終りでない場合）には
検索キー文字列を辞書検索部22に送る。

辞書検索部22に検索キー文字列が送られると、辞書検
索部22はこの検索キー文字列について参照辞書20を検索
する（106）。第２図に示すような参照辞書20のエント
リに検索キー文字列があるか否かを判断し（108）、エ
ントリがある場合には参照辞書20に記憶されている品詞
情報を読み出し、検索キー文字列が固有名詞か否かを判
断する（110）。

検索キー文字列が固有名詞でない場合には、辞書検索
部22は参照辞書20から読み出したデータを処理部36に送
り、辞書情報保存テーブル36aに記録する（112）。辞書
情報保存テーブル36aにデータが保存されると、処理部3
6から単位切り出し部16にデータが保存された旨の入力
および直前に保存された検索キー文字列のデータが入力
される。これによりステップ102に戻り、際び単位切り
出し部16において辞書引き単位の切り出しを行う。

ステップ110において検索キー文字列が固有名詞の場
合には、辞書検索部22は参照辞書20から読み出したその
固有名詞（以下単に固有名詞という）のデータを、処理
部36の辞書情報保存テーブル36aから単位切り出し部16
を通して辞書検索部22に入力されている直前の検索キー
文字列のデータとともに、固有名詞処理部24に送り、固
有名詞処理部24において辞書登録固有名詞の処理が行わ
れる（114）。

ここで辞書登録固有名詞の処理を第４図に示すフロー
チャートにより説明する。

辞書検索部22から固有名詞処理部24に送られたデータ
は、直前文末処理部26を通して直前固有名詞処理部28に
入力される。辞書登録固有名詞の処理においては、直前
文末処理部26は機能しない。

直前固有名詞処理部28において、固有名詞の直前にあ
る検索キー文字列が、参照辞書20に未登録の固有名詞、
すなわち後述する辞書未登録固有名詞処理を行われたも
のであるか否かを判断し（200）、未登録の固有名詞で
ある場合には、固有名詞および直前の未登録の固有名詞
の全体を固有名詞の性質情報をもつ固有名詞と判断し
（202）、これらのデータを処理部36に送り、辞書情報
保存テーブル36aに記録する（214）。

直前固有名詞処理部28において、ステップ200で、固
有名詞の直前にある検索キー文字列が未登録の固有名詞
でないと判断された場合には、固有名詞の直前にある検
索キー文字列が参照辞書20に登録された固有名詞か否か
を判断する（204）。固有名詞の直前にある検索キー文
字列が登録された固有名詞である場合には、この直前の
固有名詞の性質情報が未知（Unknwn）、すなわち参照辞
書20に登録されていないものであるか否かを判断する
（206）。

直前の固有名詞の性質情報が未知の場合には、ステッ
プ202に進み、固有名詞および直前の固有名詞の全体を
固有名詞の性質情報をもつ固有名詞と判断し（202）、
直前固有名詞処理部28はこれらのデータを処理部36に送
る。処理部36に送られたデータは、辞書情報保存テーブ
ル36aに記録される（214）。

直前固有名詞処理部28においてステップ206で、直前
の固有名詞の性質情報が未知（Unknown）でない、すな
わち参照辞書20に登録されていると判断された場合に
は、これらのデータは直前固有名詞処理部28から固有名
詞自身処理部30に送られる。固有名詞自身処理部30にお
いて、固有名詞の性質情報が未知（Unknown）であるか
否かを判断する（208）。固有名詞の性質情報が未知で
ある場合には、固有名詞自身処理部30は固有名詞および
直前の固有名詞の全体を直前の固有名詞の性質情報をも
つ固有名詞と判断し（210）、これらのデータを処理部3
6に送る。処理部36に送られたデータは、辞書情報保存
テーブル36aに記録される（214）。

固有名詞自身処理部30において、固有名詞自身の性質
情報が未知でない、すなわち参照辞書20に登録されてい
ると判断された場合には、固有名詞自身処理部30は、固
有名詞を直前の固有名詞とは別に、参照辞書20から検索
された性質情報をもった固有名詞と判断し（212）、そ
のデータを処理部36に送る。処理部36に送られたデータ
は、辞書情報保存テーブル36aに記録される（214）。

第３図に戻って、ステップ108において参照辞書20の
エントリに検索キー文字列がない場合には、検索キー文
字列の１文字目が大文字か否かを判断し（116）、大文
字でない場合には辞書検索部22はこの検索キー文字列を
未登録語と判断して処理部36に送り、辞書情報保存テー
ブル36aに記録する（118）。

１文字目が大文字の場合には、辞書検索部22からこの
検索キー文字列のデータが辞書情報保存テーブルに記録
された直前のエントリのデータとともに、固有名詞処理
部24に送られ、辞書未登録固有名詞の処理が行われる
（120）。

第５図により辞書未登録固有名詞の処理について説明
する。

検索キー文字列のデータは辞書情報保存テーブルに記
録された直前のエントリのデータとともに、直前文末処
理部26に送られ、直前文末処理部26において辞書情報保
存テーブルに記録された直前のエントリの末尾が文末候
補か否かを判断する（300）。この文末候補か否かの判
断は、辞書情報保存テーブルに記録された直前のエント
リの末尾が単独のピリオド（．）等の文末候補であるか
否かを判断することにより行う。

辞書情報保存テーブルに記録された直前のエントリの
末尾が文末候補である場合には、直前文末処理部26から
の直前固有名詞処理部28にデータが送られ、直前固有名
詞処理部28は辞書情報保存テーブルに記録された直前の
エントリを文末と判断し（302）、検索キー文字列の１
文字目の大文字を小文字に直して辞書検索部22に送る。

辞書検索部22は小文字に直された検索キー文字列につ
いて参照辞書20を検索し（304）、参照辞書20にエント
リがあるか否かを判断する（306）。エントリがある場
合には、辞書検索部22は参照辞書20から検索したデータ
を処理部36に送り、辞書情報保存テーブル36aに記録す
る（308）。エントリがない場合には辞書検索部22は、
この検索キー文字列の１文字目を大文字に戻して未登録
の固有名詞として処理部36に送り、辞書情報保存テーブ
ル36aに記録する（310）。

ステップ300において、直前文末処理部26が辞書情報
保存テーブルに記録された直前のエントリの末尾を文末
候補でないと判断した場合には、直前文末処理部26から
直前固有名詞処理部28にそのデータが送られ、直前固有
名詞処理部28は辞書情報保存テーブルに記録された直前
のエントリを文末でないと判断する（312）。直前固有
名詞処理部28から固有名詞自身処理部30にデータが送ら
れ、固有名詞自身処理部30は検索キー文字列を性質情報
が未知の固有名詞と判断する（314）。

固有名詞自身処理部30はデータを直前固有名詞処理部
28に戻し、直前固有名詞処理部28において辞書登録固有
名詞の処理が行われる（316）。この辞書登録固有名詞
の処理は第４図に示すものと同じである。

第３図に戻って、ステップ104において切り出された
辞書引き単位が終りの場合には、処理部36から辞書情報
保存テーブル36aに記録されたデータを構文解析部38に
出力し（122）、本実施例の形態素解析が終了する。以
上説明した本装置の動作を入力文の例をあげて説明す
る。

例えば入力文「In Tokyo Station Mr.Walter…」が入
力された場合について、第６図により説明する。まず、
この入力文を入力処理部14に読み込む入力処理（100）
を行う。次に辞書引き単位の切り出し（102）を行い、
スペースにより上記の入力文を各単語に分割する。まず
「In」について参照辞書20の検索を行う（106）。「I
n」は、そのままではエントリが参照辞書20になく、辞
書登録固有名詞の処理へ進むが、直前が文頭（ファイル
の先頭）であるので、文末と認識する。そこで「In」を
「in」に直して辞書検索すると、エントリが存在し（10
8）、固有名詞ではないので（110）、参照辞書20から検
索されたデータを辞書情報保存テーブル36aに記録する
（112）。

次に「Tokyo」について参照辞書20の検索を行う（10
6）。「Tokyo」は、参照辞書20にエントリがなく（10
8）、１文字目が大文字なので（116）、辞書末登録固有
名詞の処理を行う（120）。第５図に進み、直前は「I
n」であり文末候補がないから（300）、「In」を文末で
ないと認定し（312）、「Tokyo」を性質情報未知（Unkn
own）の固有名詞とし（314）、辞書登録固有名詞の処理
を行う（316）。

第４図に進み、直前の「In」が未登録の固有名詞では
なく（200）、登録固有名詞でもないから（204）、単独
で自分自身の性質情報をもった固有名詞、すなわち性質
情報未知（Unknown）の固有名詞としとして記録する（2
16）。

第３図に戻り、次に「Station」について参照辞書20
の検索を行う（106）。「Station」は参照辞書20にエン
トリがあり（108）、固有名詞であるから（110）、辞書
登録固有名詞の処理を行う（114）。第４図に進み、直
前の「Tokyo」が未登録の固有名詞であるから（200）、
「Tokyo Station」全体を「Station」の性質情報「場
所」を有する固有名詞として記録する（202）。

次に「Wr.」について第３図の参照辞書20の検索を行
う（106）。「Mr.」は、参照辞書20にエントリがあり、
固有名詞であるから（110）、辞書登録固有名詞の処理
を行う（114）。第４図に進み、直前の「Station」は未
登録の固有名詞ではなく（200）、登録固有名詞であり
（204）、性質情報「場所」が未知ではない（206）。
「Mr.」は、性質情報が「人」であり、未知ではないか
ら（208）、「Mr.」は単独で、性質情報「人」の固有名
詞として登録する（212）。

次に再び第３図に戻り、「Walter」について参照辞書
20を検索する（106）。「Walter」は参照辞書20にエン
トリがあり（108）、固有名詞であるから（110）、辞書
登録固有名詞の処理を行う（114）。第４図に進み、直
前の「Mr.」は未登録の固有名詞ではなく（200）、登録
固有名詞であり（204）、性質情報が「人」で未知では
なく（206）、「Walter」の性質情報は未知でので（20
8）、「Mr.Walter」をまとめて性質情報「人」をもつ固
有名詞として記録する（210）。

以上のように本実施例によれば、英語の入力文を検索
キー文字列に分割して、まず参照辞書20により検索し、
参照辞書20に固有名詞としてエントリがあった場合に登
録固有名詞の処理を行う。登録固有名詞の処理は、辞書
情報保存テーブルに記録された直前のエントリを考慮
し、辞書情報保存テーブルに記録された直前のエントリ
が固有名詞である場合には辞書情報保存テーブルに記録
された直前のエントリおよび対象の固有名詞の性質情報
を調べ、いずれかの性質情報がない場合には他方の性質
情報を付与し、いずれも性質情報がある場合にはそれぞ
れ単独で独自の性質情報をもった固有名詞とされる。

したがって、性質情報のない固有名詞に性質情報を適
切に付与するとともに、付与されている性質情報をより
適切な性質情報にしぼることができる。これにより後の
構文解析において、解析を有効に行うことができ、適切
な翻訳を行うことができる。

また、参照辞書20に未登録の文字列について、１文字
目が大文字でかつ直前の文字列が文末と判断された場合
には、大文字を小文字に変換して再度参照辞書20を検索
しているから、文頭の文字列についても参照辞書20によ
る検索を行うことができる。さらに、文頭でない箇所に
大文字で始まる文字列が現れた場合には固有名詞と判断
し、この固有名詞の性質情報はその前後に性質情報の登
録された固有名詞がある場合にはこれによって付与され
る。したがって、参照辞書20に未登録の固有名詞をある
程度解析することができる。

効 果 本発明によれば、辞書に性質情報が未登録の固有名詞
について、その前後に性質情報の登録された固有名詞が
ある場合に、この登録された固有名詞の性質情報を用い
て性質情報が未登録の固有名詞に性質情報を付与すると
ともに、前後の固有名詞の性質情報により固有名詞の性
質情報を解析しているから、固有名詞に適切な性質情報
を与え、入力文の解釈を有効に行うことができる。

【図面の簡単な説明】

第１図は本発明による言語解析装置の一実施例を示すブ
ロック図、 第２図は第１図の参照辞書に記憶されるデータの一例を
示す図、 第３図は第１図の装置の全体の動作を示フローチャー
ト、 第４図は第３図に示す動作のうち、辞書登録固有名詞の
処理を示すフローチャート、 第５図は第３図に示す動作のうち、辞書未登録固有名詞
の処理を示すフローチャート、 第６図は第１図の装置において入力文が処理され、辞書
情報保存テーブルに格納されるデータが変化す例を示す
図である。 主要部分の符号の説明 14……入力処理部 16……単位切出し部 18……デリミッタテーブル 20……参照辞書 22……辞書検索部 24……固有名詞処理部 26……直前文末処理部 28……直前固有名詞処理部 30……固有名詞自身処理部 36……処理部 36a……辞書情報保存テーブル

Claims (2)

【特許請求の範囲】
1. 【請求項１】所定の言語の文字列を入力する入力手段
   と、 該入力手段から入力された前記文字列の検索に用いられ
   る辞書手段と、 前記入力された文字列について該辞書手段を検索する検
   索手段と、 該検索手段による検索の結果、前記入力された文字列の
   うち、文脈に応じて変化する性質を表わす性質情報が辞
   書手段に未登録の文字列について、性質情報を付与し、
   文字列の解析を行なう解析手段とを有し、 前記解析手段は、性質情報が辞書手段に未登録の文字列
   に性質情報を付与する際、前記文字列の前および／また
   は後の文字列について性質情報が登録されている場合に
   は、前および／または後の文字列の性質情報を用いて、
   当該未登録の文字列に性質情報を付与することを特徴と
   する言語解析装置。
2. 【請求項２】特許請求の範囲第１項に記載の装置におい
   て、前記解析手段により性質情報の付与される前記文字
   列と、該文字列に性質情報を付与するのに用いる前およ
   び／または後の文字列とは、固有名詞であることを特徴
   とする言語解析装置。