JPH0474260A - 語間ネットワークの生成方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［発明の目的］ （産業上の利用分野） 本発明は、例えば仮名漢字変換処理における同音語選択
等に利用される、複数の語間の関係を表す語間ネットワ
ークを効果的に生成し得る語間ネットワークの生成方式
に関する。

（従来の技術） 近時、複数の語（単語や熟語等）間の関係を表す語間ネ
ットワークを用いて、自然言語処理等の言語処理を実行
することが種々試みられている。

例えば本出願人も特願平１−１５７１５９号にて、語間
の連想関係をネットワークとして表現し、これを仮名漢
字変換処理における同音語選択に利用してその変換精度
を高めることを提唱した。このような語間ネットワーク
を用いれば、例えば共起関係にある語を持たない読みの
情報が与えられた場合であっても、上記語間ネットワー
クに示される連想関係を持つ語間の繋がり関係に従って
適切な仮名漢字変換候補を選択していくことが可能とな
る。

然し乍ら、この種の語間ネットワークを実用化規模のレ
ベルで大量の語に亘って構築するには多大な作業量を必
要とし、人手に頼って語間ネットワークを作成すること
は事実上不可能である。これ故、実用的で応用性に富み
、且つ自動化に適した語間ネットワークの作成手法の開
発が期待されている。

この１つの手法として本出願人は、例えば特願平１−３
１７７９１号にて文章における段落等の文章構成単位毎
に、その文章構成単位内で同時に出現する任意の２語の
出現開度を求め、この頻度情報を全ての文章構成単位に
亘って対応する２語毎に集積し、これを正規化してその
２語間を結ぶリンクの重みを決定する方式を提唱した。

このような語間ネットワークの生成方式によれば、入力
した文章から自動的に、しかも効率良く連想関係にある
２語を抽出し、その２語間を結ぶリンクの重みを決定し
て行くことができ、実用化規模のレベルでの語間ネット
ワークを生成することができる。しかも原データ（文章
データ）を大量に用意することにより、語間の結びつき
として不自然なもの（雑音）を統計的に排除することが
可能となり、高性能な語間ネットワークを構築すること
が可能となる。

ところが雑音を排除する為に必要な大量の文章データを
用意するには、現実的にはかなりの困難を伴う。この結
果、ともすれば雑音を残したままで語間ネットワークを
作成してしまう虞れがあり、語間ネットワークの信頼性
低下の要因となっている。

（発明が解決しようとする課題） このように従来にあっては、実用化レベルでの言語処理
に用いられる語間ネットワークを高性能に構築する上で
種々の問題があった。

本発明はこのような事情を考慮してなされたもので、そ
の目的とするところは、少ない文章データから残留雑音
の少ない高性能な信頼性の高い語間ネットワークを効果
的に生成することのできる語間ネットワークの生成方式
を提供することにある。

［発明の構成］ （課題を解決するための手段） 本発明は、複数の語に対応付けたノードを重み付きのリ
ンクで結合して上記語間の関係を表す語間ネットワーク
を生成するに際し、 ■入力された文章中から、例えば文章の段落や一定の文
章長さからなる所定のまとまりをなす文章構成単位を抽
出し、■上記文章構成単位内に出現する任意の２語間の
文法的・意味的な関係の有無をそれぞれ検査する。■そ
して文法的・意味的な関係を持つ２語間と文法的・意味
的な関係を持たない２語間とに異なる結合強度を与え、
これらの文章構成単位毎に求められる２語間の結合強度
の情報を全ての文章構成単位に亘って対応する２語間毎
に集積し、■全ての文章構成単位に亘って集積された２
語間の結合強度の情報に従って上記２語間を結合するリ
ンクの重みを決定するようにしたことを特徴とするもの
である。

■特に上記全ての文章構成単位に亘って集積された２語
間の結合強度の情報を正規化した上で前記各リンクの重
みを決定するようにしたことを特徴とするものである。

（作　用） 本発明によれば、文章中の所定のまとまりをなす文章構
成単位内で同時的に出現する２語に対して、例えば言語
処理装置で用いられる辞書や文法、つまり人間が語間の
結び付きに関して持っている知識を機械的に具現化した
情報に基づいてその文法的・意味的な関係の有無が検査
される。この検査により文法的・意味的な関係があると
判定された２語は、単に偶然的に前記文章構成単位内に
同時に出現した２語ではなく、−船釣にも同時的に出現
する確率の高い２語であり、その間の結び付きが非常に
強いと判断することができる。

このような判断結果に基づき、文法的・意味的な関係を
持つ２語に対して、例えば強い結合強度を与え、種々の
２語間についての結合強度の集計を行えば、雑音の原因
となる偶然的に出現した２語の結合を相対的に弱めるこ
とが可能となる。この結果、比較的少量の文章データし
か用意することができない場合であっても雑音の混入を
低下させた（混入の少ない）高性能な語間ネットワーク
を効率的に作成することが可能となる。

しかも上述した２語間の文法・意味的検査については、
全て機械的に行うことができるので、従来におけるネッ
トワークの作成処理と同様に自動的にその作成処理を実
行することができ、実用性や応用性に富むと云う効果が
期待できる。

（実施例） 以下、図面を参照して本発明の一実施例に係る語間ネッ
トワークの生成方式について説明すｚ０第１図は一実施
例に係る語間ネットワークの生成処理手続きの流れ（ア
ルゴリズム）を示す図である。この処理手続きは、文書
（テキスト）データや音声等の形態で適宜入力される文
章中から、所定のまとまりをなす文章構成単位を抽出し
、従来より種々の言語処理で用いられている形態素解析
手法を用いる等して、例えば上記文章構成単位を単語列
に分解する処理から行われる（ステップａ）。上記所定
のまとまりをなす文章構成単位とは、１つの意味ある固
まりをなしている文章部分を示し、例えば１つの文、１
つの節、１つの章。

１つの段落、１フアイル、１ページ、１にバイトの長さ
の文章部分等の単位からなる。どのようなまとまりを文
章構成単位とするかは、システム仕様等に応じて定めら
れる。

しかる後、上述した如く求められた単語列に対して構文
・意味解析処理を施し、単語間の係り受は関係を求める
（ステップｂ）。そして前記文章構成単位内において係
り受は関係にある２語をリストアツブし、これを表とし
て保持する。尚、係り受は関係については、上述した構
文・意味解析処理だけては唯一に定まらない場合もある
。このような場合には、係り受けの関係をなす可能性の
ある全ての２語を上記表に登録するようにしてもよいし
、適当な１つだけを選択して上記表に登録するようにし
ても良い。

以上のような前処理を行った後、上述した所定のまとま
りをなす文章構成単位内に存在する、つまり同時に出現
している任意の２語間の結合強度を調べる（ステップＣ
）。この２語間の結合強度は２つの単語の結び付きの強
さを示す、例えば連想の容易性等を表す数値として与え
られる。具体的にはこの結合強度は、前述した単語間の
係り受は関係を登録した表を参照し、例えば係り受は関
係のある２語の結合強度を［２点コ、係り受は関係のな
い２語間の結合強度を［１点］とし与えられる。このよ
うにして各文章構成単位毎に求められる２語間の結合強
度を、全ての文章構成単位に亘って、つまり入力された
文章の全体に亘って、対応する２語間毎に集積し、その
総和を求める。

但し、助詞、接続詞や副詞の一部、或いは「こと」　「
もの」等の形式名詞、指示詞、数詞、感動詞等の入力文
章の文脈とは独立な語については、ここでは他の単語と
の結合は考えない。また自分自身との結合強度は常に［
０］であるとする。

この２語間の結合強度の付与・算出について、例えば第
２図に示されるような 「昨日、事件が起きた。

事件の犯人は、少年だった。」 なる文章構成単位を例に説明する。この場合、前述した
ステップａ、ｂにおける構文・意味解析処理にて上記文
章構成単位が求められた入力文章についての係り受は関
係にある２語の情報が第３図に示すような表（リスト）
として求められるものとする。

この場合、上記文章構成単位中に出現する、下線を付し
て示した６つ（５種類）の単語間について第３図に示す
係り受は関係を持つ２語の表を参照しながら、上記ステ
ップＣに示される処理にょリ、その２語間毎に結合強度
の値が付与される。

即ち、最初に出現した単語「昨日」に着目すると、その
次に出現する単語「事件」との間には係り受は関係がな
いので１点、更にその次に出現する単語「起きる」との
間には係り受は関係があることから２点が与えられ、そ
の後に出現する単語「事件」　「犯人」　「少年」との
間には句点で区切られて係り受は関係がないことからそ
れぞれ１点の結合強度が付与される。結局、最初に出現
した単語「昨日」に着目した２語「昨日：事件」につい
ては２回の出現を合計した［１　＋　１］の２点が与え
られ、「昨日：起きる」については２点、「昨日二犯人
」　「昨日：少年」にはそれぞれ１点が与えられる。

そして２番目に出現した単語「事件」に着目すると、そ
の次に出現する単語「起きる」との間に係り受は関係が
あることから２点、その後に出現する単語「事件」は同
じ物であるから０点、更に「犯人」　「少年」との間に
は句点で区切られて係り受は関係がないことからそれぞ
れ１点の結合強度が付与される。

また３番目に出現する単語「起きる」に着目すると、そ
の後に出現する単語「事件」　「犯人゛」「少年」との
間には句点で区切られて係り受は関係がないことからそ
れぞれ１点の結合強度が付与される。

そして４番目に出現する単語「事件」に着目すると、次
に出現する単語「犯人」との間に係り受は関係があるこ
とから２点、その次の単語「少年」との間には係り受は
関係がないことから１点が与えられ、５番目に出現する
単語「犯人」については次の単語「少年」との間に係り
受は関係があることから２点が与えられる。

結局、このようにして各単語間に付与した結合強度を整
理すると、 「昨日：事件」　・・・２点。

「昨日；起きる」・・・２点 「昨日：犯人」　・・・１点 「昨日：少年」　・・・１点 「事件：起きる」・・・２点 「事件：事件」　・・・０点 「事件二犯人」　・・・１点 「事件：少年」　・・・１点 「起きる：事件」・・・１点 「起きる二犯人」・・・１点 「起きる：少年」・・・１点 「事件二犯人」　・・・２点 「事件：少年」　・・・１点 「犯人：少年」　・・・２点 となり、更にこれを整理すると 「昨日：事件」　・・・２点 「昨日：起きる」・・・２点 「昨日二犯人」　・・・１点 「昨日：少年」　・・・１点 「事件：起きる」・・・２点＋１点−３点「事件：事件
」　・・・０点　（結合なし）「事件：犯人」　・・・
１点＋２点−３点「事件：少年」　・・・１点＋１点−
２点「起きる；犯人Ｊ・・・１点 「起きる：少年」・・・１点 「犯人　少年」　・・・２点 となり、第４図に示すような結合関係が求められる。

尚、このようにして求められる文章構成単位における結
合強度の情報の中で、その結合強度の値が成る一定値［
ＣＭＡＸ］よりも大きい場合には、例えばその値を［Ｃ
ＭＡＸ］に矯正するようにすることも可能である。具体
的には［ＣＭ＾Ｘ］が［２］であるならば、第４図に示
す単語「事件二犯人」との間の結合強度を［３］から［
２］に変更すると云うような矯正処理を施す。このよう
な矯正処理を施すようにすれば、同じ単語が繰り返し出
現することでその単語を含む２語間の結合強度が部分的
に大となる場合、その関係が他に対し特別に優先されて
しまうと云うような不具合を防ぐことが可能となる。

しかる後、上述した如く求められる文章構成単位におけ
る結合強度の情報を、今までに１１；られている結合強
度の情報に加える。即ち、今までに出現していない２語
の組についてはその２語の情報をその結合強度と共に付
は加え、今までに出現している２語の組については、今
回得られた結合強度を今までに求められている結合強度
に加算し、その総和を累積的に求める（ステップｄ）。

以上の処理を入力された文章の全てに対して実行するべ
く、処理するべき文章が未だあるか否かを判別し、未処
理の文章が存在する場合にはステップａからの処理を繰
り返し実行する（ステップｅ）。そして入力された文章
の上述した如く切り出される文章構成単位についてそれ
ぞれ２語間の結合強度か求められ、その結合強度の情報
が全ての文章構成単位に亘って集積処理されたことが確
認された時点で次に示すリンクの重みを決定する処理を
実行して語間ネットワークを生成する。

この重み付はリンクを用いた語間ネットワークは、複数
の単語をノードにそれぞれ対応付け、これらのノードを
結ぶリンクの重みをそれぞれ決定する処理からなる。最
も単純には、例えば第４図に示すように求められる単語
間の結合強度に従い、その結合強度の値をそのままリン
クの重みとじて決定することである。

然し乍ら、この実施例では上述した如くして求められる
結合強度の情報を適宜正規化処理施した上で、１ノード
当りのリンク数を制限して各リンクの重みを決定するも
のとなっている。

即ち、ここでは前述した如く求められる２語（単語対）
に対応するリンクの数を調べ、総リンク数が成る閾値［
ＬＭＡＸ］よりも大きいが否かを判定する（ステップｆ
）。そして総リンク数が上記閾値［ＬＭＡＸ］よりも大
きい場合には、前記結合強度の情報を以下に説明するよ
うに正規化してリンクの重みを決定しくステップｇ）、
閾値［ＬＭＡＸ］以下の場合はそのままステップｈ、ｉ
に示す語間ネットワークの生成処理に移行する。

ここでのステップｇにおける結合強度の情報の正規化処
理は、次の理由による。

２語間の結合強度を表現する語間ネットワークは、一般
的にその構成規模が大きくなる程精巧なものとなる。し
かし構成規模が大きくなるに従って語間ネットワークを
格納するメモリの記憶容量の問題を生じる。しかしてこ
の語間ネットワークの大きさく構成規模）派、主にリン
クの総数で決まる。従って語間ネットワークが定められ
た記憶容量内に収まらないような場合には、リンクの数
を低減する必要が生じる。また本来ならば連想関係を持
たない２語であっても、たまたまその２語が文章中で位
置的に近い位置にあった為に、その語間に連想関係があ
ると看做されてしまったものも、一般的には数多く生じ
易い。

そこでリンクの総数が成る閾値、即ち、上記閾値［ＬＭ
＾Ｘ］より多くなったならば、例えば重要度の低いと思
われる（雑音である可能性の高い）リンクを正規化の手
法を導入して削除する（ステップｇ）。

この正規化処理では、例えば全体の結合強度を適切な量
に減じることでリンクの数を減らし、同時にこれによっ
て雑音と思われるリンクを削除する。リンクの数を減ら
す手法としては、例えば全てのリンクの結合強度に［１
］よりも小さい正の実数を掛けるという手法も考えられ
るが、ここでは望ましい分布パターンの鋳型に嵌め込む
ことによりその正規化処理を実行する。

具体的には上述した如く求められた結合強度（リンクの
重み）が、例えば第５図（ａ）に示すような分布パター
ンをなしているとする。この第５図（ａ）では、例えば
リンクの重み（結合強度）が［２］であるリンクは［ｆ
ｌ　と［ｇｌの２本であることが示される。これに対し
て望ましい分布パターンが第５図（ｂ）に示すようなも
のであれば、正規化処理は第５図（ａ）において値の大
きいリンク［ａ］、　　［ｂｌ、　　［ｃ］、　・・・
の順に、第５図（ｂ）に示す分布パターンに順に対応付
けして行く。

このような正規化処理により、例えば重み（結合強度）
が［８コであるリンク［ａ］の重み（結合強度）が［４
］に正規化され、重み（結合強度）が［６］であるリン
ク［ｂｌの重み（結合強度）は［３］に変更される。こ
のように全体のリンクの重みを減少させ、その正規化を
行う。

尚、雑音を減らしたり、多すぎるリンクを減らす別の手
法としては、例えば望ましい分布バターンの中に、その
重み（結合強度）が［０］であるリンクを用意しておい
ても良い。こうすると重み（結合強度）が［０］である
リンクは削除されたことと等しくなる。また強制的に成
る値以下のリンクを削除するようにすることも可能であ
る。

以上のようにして結合強度の情報（リンクの重み）に対
して適宜正規化処理を施した後、１ノード当りのリンク
数に対する処理を実行する。

先ずステップｈでは、１ノード当りのリンク数が成る閾
値［ＩＮＡＸ］より多いか否かを判定し、リンク数が上
記閾値［ＩＭ＾Ｘ］より多い場合には、そのノードにつ
いてのリンク数が［ＩＭ＾Ｘ］以下になるようにリンク
を削除する。このリンクの削除は、リンクの重み（結合
強度）の値が小さいものから順に削除することによりな
される。この１ノード当りのリンク数の制限処理は１つ
のノードに過度にリンクが集中すると、そのノードが期
待される以上に発火し易くなってしまうことから、これ
を防ぐ為に行われる処置である。

尚、リンク数を制限する為の別の手法としては、上述し
た閾値［ＩＮＡＸ］を定数として与えることなく、例え
ば総リンク数や総ノード数を反映した変数としたり、リ
ンクの重みが一定値以下のものをランダムに間引くよう
な手法を採用しても良い。また重みが非零であるリンク
の総数が成る一定値以上に多くなった場合、リンクの重
みを全体的に減じるようにする。その上でリンクの重み
が成る値以下のリンクを削除することで、リンク数を減
少させるようにしても良い。

またステップｉでは、上述したステップｈでの処理と同
様の理由により、ここでは１ノード当りのリンクの重み
の総和が所定の閾値［Ｉｓ　Ｍ＾Ｘ〕より大きいノード
を求める。そして１ノード当りのリンクの重みの総和が
閾値［ｌｓ　Ｍ＾Ｘ、］より大きいノードについては、
上記総和が上記閾値［１ｓ　Ｍ＾Ｘ］以下となるように
リンクを削除する。このリンクの削除は、重み（結合強
度）の値の小さいリンクから行う。具体的には、 ■　そのノードに接続されているリンクの重みに［１］
未満の実数を掛ける等し、全体的にリンクの重みの総和
を減らす。

■　そのノードに接続されているリンクの重みの軽いも
のを中心に、順次リンクを削除する。

■　上記■、■に示される手法を併用してリンクを削除
する。

等の手法を用いて１ノード当りのリンク数を制限する。

以上のようにして語に対応付けられたノードに接続され
るリンクの数を制限し、且つそのリンクの重みを前述し
た如く２語間の結合強度にＵづいて決定していくことに
より、語間の文法的・意味的な関係を適確に表現した雑
音の少ない語間ネットワークを効果的に生成することが
可能となる。

尚、本発明は上述した実施例に限定されるものではない
。例えば第１図に示した処理手続きにおけるステップｆ
、〜、ｉの処理については、その実行順位を適宜入れ換
えても良く、またその一部を適宜省略して手続きを簡略
化したり、或いは別の処理を適宜追加することもできる
。

またステップｂ、ｃでは文章の係り受けを解析し、係り
受けの関係にある２語の結合強度を係り受は関係のない
２語の結合強度よりも大きく設定したが、別の文法・意
味的な関係、例えば共起関係や概念上の上位・下位関係
、部分・全体関係、原因・結果関係、手段・機能関係等
を解析し、これらの関係に応じて２語間の結合強度を更
に段階的に定めるようにしても良い。またこれらの中で
文法・意味的関係にある単語の組み合わせを排除したい
ならば、その語間の結合強度情報をその他の場合と比べ
て軽くするようにすることも可能である。

更にはステップｇでの正規化処理における望ましい分布
としては、例示した以外の様々なものが考えられる。し
かし−船釣にはリンクの重みの値が大きいリンク程、そ
の数が少なくなるという分布パターンに正規化すること
が適している。具体的には第５　ｅ　（ｂ）に示したよ
うに分布パターンが一次関数的に減少していくもののみ
ならず、指数関数的に減少して行く分布パターン等を用
いて正規化処理を施すようにすれば良い。

またこの実施例では各処理ステップの全般に亘って“成
る量′とか“一定の値”という概念を示したが、その値
についてはリンク数やノード数。

リンクの重みの平均値等のパラメータによる変数として
与えるようにしても良い。その他、本発明はその要旨を
逸脱しない範囲で種々に変形して実施することができる
。

［発明の効果］ 以上詳述したように本発明によれば、複数の語間の関係
を表す語間ネットワークを所定の文書構成単位内におけ
る任意の２語間の文法・意味的関係に応じて設定される
結合強度に従い、その語間のリンクの重みを決定しなが
ら作成するので、少量の文章データしかない場合であっ
ても、語間ネットワークを自動的、且つ効果的に生成す
ることができる。しかも語間の結合強度を適宜正規化処
理することにより、語間ネットワークを保持するメモリ
の記憶容量を節約することができる。そして不本意な語
間の関係を示す雑音を効果的に削除することができ、新
規文書に対する学習の容易化を実現することができる等
の数々の利点を持つ語間ネットワークを効率的に作成し
得る等の実用上多大なる効果が奏せられる。

【図面の簡単な説明】

図は本発明の一実施例に係る語間ネットワークの生成方
式について示すもので、 第１図は語間ネットワークの生成処理手順を示す図、第
２図は処理対象文章（文章構成単位）の例を示す図、第
３図は第２図の文章例についての係り受は関係を示す図
、第４図は第２図の文章例についての語間の関係を表す
語間ネットワークを示す図、第５図はリンクの重みとリ
ンク数の分布状況とその正規化処理を説明する為の図で
ある。 ａ・・・文章構成単位の抽出手段、ｂ・・・係り受は関
係の抽出手段、Ｃ・・・結合強度の算出手段、ｄ・・・
結合強度の集積手段、ｇ・・・正規化手段、ｈ、１・・
・リンク数の削減手段。 出願人代理人　弁理士　鈴江武彦

Claims (3)

【特許請求の範囲】
1. （１）語に対応付けたノードを重み付きのリンクを用い
   て結合して語間の関係を表す語間ネットワークを生成す
   るに際し、 入力された文章中から所定のまとまりをなす文章構成単
   位を抽出する手段と、上記文章構成単位内に出現する任
   意の２語間の文法的・意味的な関係の有無を検査して文
   法的・意味的な関係を持つ２語間と文法的・意味的な関
   係を持たない２語間とに異なる結合強度を与える手段と
   、前記文章構成単位毎に求められる２語間の結合強度の
   情報を全ての文章構成単位に亘って対応する２語間毎に
   集積する手段と、全ての文章構成単位に亘って集積され
   た２語間の結合強度の情報に従って上記２語間を結合す
   るリンクの重みを決定する手段を備えたことを特徴とす
   る語間ネットワークの生成方式。
2. （２）文章構成単位は、文章の段落、または一定の文章
   長からなるまとまりの単位として定められるものである
   請求項（１）に記載の語間ネットワークの生成方式。
3. （３）リンクの重みを決定する手段は、全ての文章構成
   単位に亘って集積された２語間の結合強度の情報を正規
   化し、この正規化された結合強度の情報に従って決定さ
   れることを特徴とする請求項（１）に記載の語間ネット
   ワークの生成方式。