JPH0816910B2

JPH0816910B2 - 言語解析装置

Info

Publication number: JPH0816910B2
Application number: JP61234327A
Authority: JP
Inventors: 壽彦横川
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1986-10-03
Filing date: 1986-10-03
Publication date: 1996-02-21
Anticipated expiration: 2011-02-21
Also published as: JPS6389975A

Description

【発明の詳細な説明】技術分野本発明は言語解析装置、とくに、たとえば自動翻訳装
置に有用な自然言語を解析する言語解析装置に関する。

従来技術たとえば英語などの外国語の文からそれに対応する日
本語の文を作成する場合、入力された英文の形態素を解
析し、その構文を解析し、その文構造を変換し、そのの
ち日本語の訳文を生成する。

文の形態素を解析する際、ある単語が単独で用いられ
ているか、他の単語と結合した連語または熟語として用
いられているかは、解析結果を左右する重要な問題であ
る。従来方式には、単語単独での辞書情報と、熟語ない
しは連語についての辞書情報とを併立して備えた方式
と、たとえば最長一致法などのように特定の条件に合致
した熟語ないしは連語を常に優先して選択する方式とが
ある。

前者の従来方式は、選択の対象となる候補の組合せが
非常に多くなり、それらのすべてについて解析をする必
要がある。したがって、処理に時間を要し、また誤った
組合せも正解としてとらえられる危険性があるなど、無
駄が多い。

また後者の従来方式では、熟語としての用法が常に他
に優先して選択される。したがって、単語相互の結合度
の高くない連語などの場合にも熟語としての用法が常に
選択され、誤った解析結果を導出する危険性が高い。

このように形態素解析において可能のある全候補をす
べて解としてしまうと、候補の数が多くなり、その後の
構造変換や訳文生成の処理で生ずる解は莫大な数となっ
てしまう。このように解の候補の数が多いことは、それ
以降の処理の速度を著しく低下させる結果を招く。

そこで、自動翻訳プロセス全体の効率を向上させるに
は、このような無駄な解の数を減らして解析の効率を高
くすることが要求される。

目的本発明はこのような要求に鑑み、形態素解析を効率的
に行なうことのできる言語解析装置を提供することを目
的とする。

構成本発明は上記の目的を達成させるため、単語、連語お
よび熟語について形態素データを含む辞書データが格納
された辞書手段と、入力された文について辞書手段を参
照して形態素解析を行なう解析手段とを有する言語解析
装置において、辞書手段は、連語および熟語について、
連語または熟語を構成する語の相互の結合度を示す結合
度データを含み、解析手段は、入力された文に含まれる
それぞれの語について辞書手段を参照し、１つの語につ
いて他の語との組合せで複数の辞書データが索出された
ときは、結合度データを参照して結合度の高い語の組合
せを選択する言語解析装置を特徴としたものである。以
下、本発明の一実施例に基づいて具体的に説明する。

第２図を参照すると、本発明による言語解析装置を英
日自動翻訳装置に適用した実施例の全体構成が示されて
いる。なお本発明は、英語を日本語に翻訳する英日自動
翻訳装置のみならず、ある言語を他の言語に翻訳する際
おもに、入力される言語の文を解析する如何なる言語の
解析装置にも効果的に適用されることは、言うまでもな
い。

同実施例は入力部10を有し、日本語に翻訳すべき英文
テキスト12がこれにより入力される。入力部10はたとえ
ば、英数字キーなどの文字キーや機能キーなどを有する
キーボード、紙に記録された英文テキストを読み取る光
学的文字読取装置（OCR），および（または）磁気ディ
スクなどの記憶媒体に記録された英文テキストを読み込
むファイル記憶装置などを含んでよい。

入力部10により入力された英文テキストは、前編集部
14に読み込まれ、翻訳の前処理が行なわれる。ここで
は、主として文の認定と未知語の処理を行なう。これは
形態素解析の一部として機能する。

前編集された英文データは、前編集で得られた情報と
ともに形態素解析部16に転送される。形態素解析部16で
は、単語辞書18を索引して文に分割し、英文の形態素を
解析し、未知語の処理、固有名詞、時の表現、数の表現
などの各種のまとめあげを行ない、付加疑問、同格の認
定などの文全体の処理を行なう。その形態素解析ルール
は解析ルールファイル36に格納されている。

形態素解析された英文データは、形態素解析で得られ
た辞書情報とともに構文解析Ｉ部20に転送される。構文
解析Ｉ部20は、文法ルールを英文データに適用して文に
ついて表層構造の解析を行ない、すべての構文的可能性
を見つけ出す機能部である。

構文解析Ｉ部20で構文解析された英文データは、その
解析情報とともに構文解析II部22に送られる。ここで
は、構文解析Ｉによる表層的な構文解析結果から、構造
記述を適用して解を選択する。これによって英語文の確
からしい解析木を作成し、その構造を作る。これらの構
文解析ルールはやはり、解析ルールファイル36に格納さ
れている。

構文解析された英文データは、解析木のデータとして
構造変換部24に転送される。構造変換部24では、英語文
の中間的構造である構文木から対応する日本語文の構文
木を作成し、日本語文を訳出しやすい日本語基底構造に
変換する。

こうして構造変換された日本語の基底構造を示す構文
木データは訳文生成部26に送出され、後者にて訳文の生
成が行なわれる。これは、日本語の構文木の木構造から
日本語の文を生成する機能部である。

訳文生成された日本語分データ、すなわち訳文データ
は、後編集部30に送られる。後編集部30では、翻訳処理
に利用した情報を使用し、辞書18を索引して訳文データ
を修正し、より自然な日本語文を完成する。この日本語
文データは出力部32に転送され、翻訳された日本語文34
として出力部32から出力される。出力部32は、たとえば
プリンタ、ディスプレイ、および（または）磁気ディス
クなどのファイル記憶装置を含む。

これらの一連の翻訳処理の流れは、本装置全体の制御
を統括する制御部38によって制御される。単語辞書18に
は、本実施例では英語および日本語の単語についての辞
書データが格納され、語彙だけでなく、係り関係すなわ
ち共起関係や、意味、単複、品詞などの様々な情報が記
述されている。また解析ルールファイル36には、形態素
解析および構文解析のルールデータが格納されている。

制御部38には、操作表示部40が接続されている。操作
表示部40は、操作者から本装置に様々な指示を与える、
たとえば翻訳指示キー、カーソルキーなどの操作キー
や、入力英語文テキスト、翻訳結果の日本語文、辞書情
報などの中間データ、操作者に対する様々な指示などを
可視表示するディスプレイやインジケータを有する。な
お、それらの操作表示機能の多くは、入力部10にキーボ
ードを備えている場合はそのキーボードに、また出力部
32にディスプレイを備えている場合はそのディスプレイ
に含まれるように構成してよい。

第１図を参照すると、形態素解析部16の詳細な構成が
例示されている。形態素解析部16は、入力部10のキーボ
ードなどの入力装置100や入力文書ファイル102とのイン
タフェースをとる入力インタフェース104を有する。入
力インタフェース104には、これらの入力装置100や入力
文書ファイル102からたとえばASCIIなどのコードデータ
の形で英文文字列データが入力され、その文字列データ
を一時蓄積する入力文字列バッファが備えられている。
これらの入力文字列は、前編集部14にて前編集を受けた
ものでよい。

形態素解析部16は、図示のように処理部106,辞書検索
部108,矛盾解消ルール処理部110および制御部112を有す
る。処理部106は、形態素解析を行なう解析処理機能部
であり、検索済み辞書情報バッファすなわち辞書情報保
存テーブル120（第９図）を有する。形態素解析は、入
力文字列の先頭から順に検索キーの文字列に従って辞書
探索を指示し、これに従って辞書検索部108から得た辞
書情報を検索済み辞書情報バッファ120に格納し、後述
の最優先フラグに応じた優先度の処理などを実行するこ
とによって行なわれる。

辞書検索部108は、処理部106から指示される検索キー
文字列に基づき、単語辞書18を検索して辞書情報を取り
出し、これを処理部106に転送する機能部である。

単語辞書18には、第３図にそのエントリ情報の例を示
すように、各単語のエントリについて品詞、活用などの
文法情報の他に、最優先フラグが格納されている。この
辞書をここでは優先フラグ付辞書ファイルと称する。
「最優先フラグ」とは、辞書エントリを構成する連語ま
たは熟語に含まれる単語相互間の結合の強弱を示すフラ
グであり、「０」が弱い結びつきまたは結びつき無し
を、また「１」が強い結びつきを示す。これによって、
文において、連語または熟語のなかで結びつきが強いと
判定したものは熟語としての用法と推定し、そうでない
場合は単語単独での用法の可能性も並列的に考慮する。

第３図に例示するように、単語辞書18における各エン
トリは、単語単独と連語または熟語とを区別せず、連語
および熟語、ならびにそれらを構成する単語単独のそれ
ぞれについて配列されている。また活用形もそれぞれ１
つのエントリを構成している。活用形が複数ある場合も
それぞれ別のエントリとして登録され、その活用が何で
あるかは活用部に表示される。品詞についても同様であ
り、複数の品詞の登録を許容し、それぞれの品詞情報を
有する。その他の情報としては、たとえば名詞の可算、
不可算の別、自動詞、他動詞の別、訳語などが登録され
ている。

たとえば“get"は動詞の原形であり、最優先フラグは
「０」である。熟語“get up"は、原形動詞句で、その
最優先フラグは「１」である。また、前置詞句“up to"
は最優先フラグが「１」であるが、連語としての名詞句
“white house"は最優先フラグが「０」であり、後者は
単語間の結合度が低いことを示している。なお同図にお
いて、記号は空白文字を示している。

このように辞書検索部108で検索された辞書情報には
最優先フラグが含まれている。同じ文字列、または重複
する文字列について最優先フラグに「１」がたっている
ときは、その矛盾を解消しなければならない。この矛盾
解消を行なうのが矛盾解消ルール処理部110であり、こ
れは、解析ルールファイル36に格納されている最優先フ
ラグ矛盾解消ルールを参照してその処理を行なう。

矛盾解消ルールは本実施例では、次の（１）〜（３）
の順序で適用され、これによって優先選択を行なう。

（１）品詞が動詞となる熟語または語、（２）構成字数の多い連語、熟語または語、（３）文における位置が前の方にある連語、熟語または
語。

こうして選択された語の用法、換言すれば解析単位
は、処理部106の検索済み辞書情報バッファ120に活性情
報として表示される。活性情報は、「１」でその解析単
位が有効であることを示し、「０」でその可能性を採用
しないことを示す。

制御部112は、これら形態素解析部16の各機能部の動
作、処理を統括し、制御する機能部である。これは、本
装置全体の制御を行なう制御部38に含まれていてもよ
い。

形態素解析された結果は、出力インタフェース114を
通して構文解析Ｉ部20へ転送される。構文解析Ｉ部20に
直接転送しない場合は、構文解析用入力ファイル116お
よび構文解析用辞書情報ファイル118に一旦格納され
る。

本実施例では、形態素解析の際、辞書引き単位の切出
し位置から始まる単語、連語または熟語をすべて取り出
すが、最優先フラグに従ってひとまとまりの「ユニッ
ト」と認定された連語または熟語については、それを構
成する個々の単語について得られた辞書情報は破棄す
る。つまり、形態素解析で得られた辞書情報の最優先フ
ラグを参照して、文において、単語相互間の結びつきの
強弱を判定する。連語または熟語のなかで結びつきが強
いと判定したものはその文において熟語としての用法で
あると推定し、そうでない場合は単語単独での用法の可
能性も並列的に考慮する。

このような最優先フラグによる処理は、第４図に示す
ようなシーケンスにて行なう。入力部10から入力文字列
データを受け（200），最優先フラグ付き辞書ファイル1
8を索引するために入力文字列を辞書引き単位に切り出
し（201），これに従って辞書18を検索し（203），これ
を入力文字列データの示す文の最終位置まで行なうと
（202），最優先フラグの矛盾を解消し（204），形態素
解析結果を構文解析Ｉ部20へ出力する（205）。

入力処理200では、まず入力文書ファイル102または入
力装置100から入力インタフェース104の入力文字列バッ
ファに読み込む（210,第５図）。入力文字列データは、
たとえばASCIIなどのコードで入力されるが、符号EOFを
読み込むと、処理部106は入力文字列バッファにNULLコ
ードを書き込んで最終位置とする。

次に処理部106は入力文字列を整形する（211）。たと
えば空白文字などのスペース該当文字種に属する文字が
２個以上連続したときは、それらを単一の空白文字にま
とめる。スペース該当文字種には、空白文字タブ、改行などが含まれる。また、入力文字列バッファの先頭から
最初に現われるスペース該当文字種以外の文字までのス
ペース該当文字は消去する。

たとえばなる入力文字列を整形すると、これは、第６図に示すよ
うに、に整形され、符号［NULL］の位置がバッファの最終位置
を示している。

辞書引き単位の切出し処理201で使用される辞書引き
デリミタは、英文字、数字、アポストロフィ、ハイフン
およびピリオド以外の文字、ならびに空白文字に続くア
ポストロフィの位置に置かれる。処理部106は、辞書引
きの先頭ポインタを有し、これは、最初はバッファの先
頭にセットされる。

辞書検索部108はそこで、先頭ポインタの指示してい
る文字から次のデリミタの直前の文字までの文字列を検
索キー文字列として最優先フラグ付き辞書ファイル18を
索引する。辞書エントリと検索キー文字列を比較し、両
者が一致したらその辞書情報を取り込む（203）。辞書
エントリの文字列全体が少なくとも検索キー文字列の先
頭から始まる部分と一致し、その部分の直後が辞書引き
デリミタまたはアポストロフィもしくはピリオドである
場合に、一致と判定される。たとえば第７図に示すよう
に、検索キー文字列の先頭文字“g"を先頭ポインタが指示していると、辞書
エントリの“get"と“get upon"がこれと一致する。

索出された辞書情報は処理部106の検索済み辞書情報
バッファ120に格納される。この読込みとともに、その
一致した文字列の開始位置と終了位置が記憶される。こ
れは、入力バッファ中の文字位置を先頭から順に特定す
るものである。検索済み辞書情報バッファ120には活性
情報の蓄積領域が設けられているが、これは、索出した
辞書情報が後の処理に有効なものか否かを指示する情報
であり、この段階ではすべて「１」にしておく。

以降先頭ポインタは、辞書引きのたびに更新され、文
字列を左から右に見て現在の先頭ポインタの次に現われ
るデリミタの直後の文字にセットされる。こうして順次
辞書検索が行なわれる。上述の例では、最初に“I"の
“I"を、次に“will"の“w"を、次に“get"の“g"を、
という順に辞書引き単位の先頭の文字を指示する。先頭
ポインタがNULLコードを通過すると、最終位置と判定さ
れる（202）。こうして、前述の英文入力文字列の例に
ついて索出された辞書情報の例を第９図に示す。

第8A図〜第8D図を参照し、矛盾解消ルール処理部110
が最優先フラグ矛盾解消ルールファイル36を参照して行
なう最優先フラグの矛盾解消処理204を説明する。第8A
図および第8B図のフローが最優先フラグが立っている語
の位置が重なった場合の処理であり、第8C図および第8D
図のフローは最優先フラグによって解析単位すなわち要
素を消去する処理、すなわち活性情報を「０」にする処
理である。なおこれらのフロー図において、記号「＜
＝」は代入を、「→」は参照を、また「ｐ→ｘ」はポイ
ンタｐのエントリのもつｘの内容をそれぞれ示す。

まず、最優先フラグが「１」であり、かつ文における
位置が重なる語の組を検出する（ステップ220〜223）。
次に、検出された各組について最優先フラグ解消ルール
を適用し、それらのうち有効なものを選択する（ステッ
プ224〜235）。

たとえば前述の例では、第９図に示すように、文字列については、開始位置「８」終了位置「13」の“get u
p"と、開始位置「12」終了位置「16」の“up to"で最優
先フラグに「１」がたち、しかもその文字位置が重複す
る。これにまず、前述のルール（１）が適用され、保存
用ポインタpsaveの品詞、およびポインタｐの品詞を参
照してそれらが動詞であるか否かを判定する（224）。
この例では、動詞に該当するので“get up"の組合せが
選択される。

ルール（１）を満足しないときは、ルール（２）を適
用して（228），保存用ポインタpsaveのエントリを参照
してその文字列の長さlensとポインタｐのエントリを参
照してその文字列の長さlenとを比較する。さらにルー
ル（２）を満足しないときは、ルール（３）を適用して
（229），保存用ポインタpsaveの開始位置を参照してそ
の位置startsとポインタｐの開始位置を参照してその位
置startとを比較する。

こうして矛盾解消ルール（１）〜（３）の順に適用し
てそのいずれかが満足されると、満足されなかった、す
なわち有効でないエントリの活性情報を「０」にし（23
2），他の、すなわち有効なエントリのそれは「１」の
ままにしておく（231）。このような矛盾解消ルールの
適用を、ポインタｐを歩進させながら（234,235）最終
位置まで各エントリについて順次実行し、有効なエント
リについてのみ活性情報を「１」とする。前述の例につ
いてその状態を第10図に示す。たとえば、エントリ“up
to"についてその活性情報が「０」とされた。

次に、活性情報および最優先フラグの双方とも「１」
である組合せと位置が一部でも重複するものを検出し
（236〜241）、それらの活性情報を「０」にする（242,
249）。このような矛盾解消ルールの適用を、ポインタ
ｐを歩進させながら（243,248）最終位置まで各エント
リについて順次実行し、有効でないエントリの活性情報
を「０」とする。これによって、たとえばエントリ“ge
t up"については“get"および“up"の活性情報が「０」
とされた（第10図）。なおエントリ“white"“white ho
use"および“house"については、位置の重複があっても
最優先フラグがすべて「０」であるので、それらの活性
情報は「１」に維持されている。

こうして最終位置［NULL］の直前まで処理が行なわれ
ると、入力インタフェース104の入力バッファ、および
検索済み辞書情報バッファ120の内容を出力インタフェ
ース114から構文解析Ｉ部16へ出力する。検索済み辞書
情報バッファ120の内容は、活性情報に「１」が表示さ
れているエントリのみについて出力が行なわれる。たと
えば、入力バッファの内容は構文解析用入力ファイル11
6へ書き出し、検索済み辞書情報バッファ120の内容は構
文解析用辞書情報ファイル118へ書き出すようにしても
よい。このとき、活性情報および最優先フラグもともに
出力されるので、構文解析用辞書情報ファイル118は検
索済み辞書情報バッファ120と同一の構造となる。な
お、活性情報および最優先フラグを出力しないように構
成してもよい。

効果本発明によれば、文の形態素解析の際、辞書引き単位
の切出し位置から始まる単語、連語または熟語をすべて
取り出すが、辞書情報に含まれる最優先フラグに従って
ひとまとまりと認定された連語または熟語については、
それを構成する個々の単語について得られた辞書情報を
破棄する。つまり、文において、単語相互間の結びつき
の強弱を判定し、連語または熟語のなかで結びつきが強
いものはその文において熟語としての用法であると推定
し、そうでない場合は単語単独での用法の可能性も並列
的に考慮する。これによって形態素解析が効率的に行な
われる。

【図面の簡単な説明】

第１図は、第２図に示す実施例の形態素解析部の詳細な
構成例を示す機能ブロック図、第２図は、本発明による言語解析装置を英日自動翻訳装
置に適用した実施例の全体構成を示す機能ブロック図、第３図は、第１図に示す実施例における最優先フラグ付
き辞書ファイルの構成例を示す説明図、第４図は同実施例における形態素解析処理の例を示すフ
ロー図、第５図は形態素解析処理における入力処理の例を示すフ
ロー図、第６図は同実施例における入力文字列の整形の例を示す
説明図、第７図は同実施例における辞書検索の例を示す説明図、第8A図ないし第8D図は、形態素解析における最優先フラ
グの矛盾の解消処理の例を示すフロー図、第９図は辞書引きした検索済み辞書情報バッファの内容
の例を示す説明図、第10図は、最優先フラグの矛盾解消処理を行なった結果
の検索済み辞書情報バッファの内容の例を示す説明図で
ある。主要部分の符号の説明 16……形態素解析部 18……最優先フラグ付き辞書ファイル 36……最優先フラグ矛盾解消ルールファイル 106……処理部 108……辞書検索部 110……矛盾解消ルール処理部 112……制御部

Claims

【特許請求の範囲】

【請求項１】単語、連語および熟語について形態素デー
タを含む辞書データが格納された辞書手段と、入力された文について該辞書手段を参照して形態素解析
を行なう解析手段とを有する言語解析装置において、前記辞書手段は、連語および熟語について、これを連語
または熟語として成立させるための優先フラグを含み、前記解析手段は、入力された文に含まれるそれぞれの語
について前記辞書手段を参照し、１つの語について他の
語との組合せで複数の辞書データが索出されたときは、
優先フラグが設定されているかを判断し、優先フラグが
設定されているときには、連語または熟語としての用法
であると推定し、該連語または熟語を構成する個々の単
語についての辞書データを破棄し、連語または熟語とし
て形態素解析を行なうことを特徴とする言語解析装置。
【請求項２】特許請求の範囲第１項記載の装置におい
て、前記解析手段は、前記辞書手段の検索を行なった語
の他の語との複数の組合せについてともに優先フラグが
設定されており、矛盾が生じたときには、所定の矛盾解
消ルールに従って該複数の組合せのうちの１つを優先さ
せて矛盾を解消することを特徴とする言語解析装置。