JP2001195402A - 言語処理装置、言語処理方法およびその方法を記憶した記憶媒体 - Google Patents
言語処理装置、言語処理方法およびその方法を記憶した記憶媒体Info
- Publication number
- JP2001195402A JP2001195402A JP2000001982A JP2000001982A JP2001195402A JP 2001195402 A JP2001195402 A JP 2001195402A JP 2000001982 A JP2000001982 A JP 2000001982A JP 2000001982 A JP2000001982 A JP 2000001982A JP 2001195402 A JP2001195402 A JP 2001195402A
- Authority
- JP
- Japan
- Prior art keywords
- speech
- word
- sequence
- dictionary
- language processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
Abstract
(57)【要約】
【課題】 辞書や処理系を小規模にすることができ、且
つ品詞付与を高速に行うことができる言語処理装置など
を提供する。 【解決手段】 単語品詞辞書を用いて処理対象文中のそ
れぞれの単語に品詞を付与することができる言語処理装
置において、処理対象文中の文頭から順に切り出された
それぞれの単語について可能な一つまたは複数の品詞を
単語品詞辞書から検索する品詞検索部3、それぞれの品
詞に隣接可能な品詞を品詞列として記憶しておく隣接品
詞表記憶部2、処理対象文中から切り出された単語と前
記品詞検索部3により検索された一つまたは複数のその
単語の品詞との組を単語切り出し順に並べた品詞列を生
成する品詞列生成部4、品詞列生成部4により生成され
た品詞列が可能な品詞列か否かを前記隣接品詞表記億部
2に記憶された可能な品詞列情報を用いて検査する品詞
列検査部5、未知語を多品詞語として処理する未知語処
理部7を備えた。
つ品詞付与を高速に行うことができる言語処理装置など
を提供する。 【解決手段】 単語品詞辞書を用いて処理対象文中のそ
れぞれの単語に品詞を付与することができる言語処理装
置において、処理対象文中の文頭から順に切り出された
それぞれの単語について可能な一つまたは複数の品詞を
単語品詞辞書から検索する品詞検索部3、それぞれの品
詞に隣接可能な品詞を品詞列として記憶しておく隣接品
詞表記憶部2、処理対象文中から切り出された単語と前
記品詞検索部3により検索された一つまたは複数のその
単語の品詞との組を単語切り出し順に並べた品詞列を生
成する品詞列生成部4、品詞列生成部4により生成され
た品詞列が可能な品詞列か否かを前記隣接品詞表記億部
2に記憶された可能な品詞列情報を用いて検査する品詞
列検査部5、未知語を多品詞語として処理する未知語処
理部7を備えた。
Description
【0001】
【発明の属する技術分野】本発明は、日本語や各種外国
語など自然言語を処理することができる言語処理装置に
係わり、特に、単語品詞辞書を用いて処理対象文中のそ
れぞれの単語に品詞を付与することができる言語処理装
置などに関する。
語など自然言語を処理することができる言語処理装置に
係わり、特に、単語品詞辞書を用いて処理対象文中のそ
れぞれの単語に品詞を付与することができる言語処理装
置などに関する。
【0002】
【従来の技術】近年、日本語や各種外国語など自然言語
をコンピュータを用いて処理する言語処理として、自動
翻訳、自動文書分類、自動要約文作成などが行われてい
るが、その基本となる技術は単語を切り出し、切り出し
た単語に品詞を付与することである。そして、このよう
な品詞付与においては、複数の品詞を持つ単語に正しい
品詞を付与することが従来より課題となっている。しか
し、言語現象の多様性から、任意の処理対象文に対して
実用的な精度をもってそのような多品詞問題を解消する
ことは難しい。そこで、処理対象文の属する領域を限定
し、その領域の文が持つ特性(領域特性と呼ぶ)を求め
て利用することが考えられた。さらに、これに関連し
て、領域特性を構文規則の精緻化や優先度設定の形で利
用することも従来より行われている。例えば特開昭63-2
8991号公報に示された従来技術において、各種分野の処
理対象文が入力されたとき、システムの構成を分野に応
じて動的に変更して分野独特の表現を処理できるように
しているのがその一例である。ところが、一般に構文規
則の数は数百以上であり、それらの組み合わせも考慮す
ると莫大な数になる。これらに対して個別に精緻化や優
先度設定を行うには多大なコストがかかり実質的には不
可能である。一方、領域特性をN個の品詞からなる品詞
列(Nグラムと呼ぶ)の生起確率の形で利用して品詞列
を選択する従来技術がある。一般に、このようなNグラ
ムの生起確率を用いる方が個々の構文規則に対して精緻
化や優先度設定を行うよりも低コストで行うことができ
る。しかし、構文解析を行わずにNグラムだけを用いて
品詞列を選択してもそれが構文的に正しい(文として成
立する)保証はないので、Nグラム中に多品詞語を含む
ことにより発生する複数の品詞列候補について構文解析
を行って正しい品詞列を選択する必要がある。したがっ
て、構文的に正しくない品詞列を含めて品詞列の最後ま
で構文解析を行った場合、処理効率が低下する。特開平
5−250405号公報に示された構文解析装置は、Nグラム
を用いる際のこのような処理効率低下を解決しようとす
るものであり、品詞列に対して構文解析を行う構文解析
手段を備え、処理対象文を文頭から文末方向に構文解析
する際に、単語毎に文頭から当該単語までの品詞列候補
の生成とその構文解析を行うようにして、構文的に正し
くない品詞列を早期に除き、無駄な品詞列選択処理を行
わないようにしている。
をコンピュータを用いて処理する言語処理として、自動
翻訳、自動文書分類、自動要約文作成などが行われてい
るが、その基本となる技術は単語を切り出し、切り出し
た単語に品詞を付与することである。そして、このよう
な品詞付与においては、複数の品詞を持つ単語に正しい
品詞を付与することが従来より課題となっている。しか
し、言語現象の多様性から、任意の処理対象文に対して
実用的な精度をもってそのような多品詞問題を解消する
ことは難しい。そこで、処理対象文の属する領域を限定
し、その領域の文が持つ特性(領域特性と呼ぶ)を求め
て利用することが考えられた。さらに、これに関連し
て、領域特性を構文規則の精緻化や優先度設定の形で利
用することも従来より行われている。例えば特開昭63-2
8991号公報に示された従来技術において、各種分野の処
理対象文が入力されたとき、システムの構成を分野に応
じて動的に変更して分野独特の表現を処理できるように
しているのがその一例である。ところが、一般に構文規
則の数は数百以上であり、それらの組み合わせも考慮す
ると莫大な数になる。これらに対して個別に精緻化や優
先度設定を行うには多大なコストがかかり実質的には不
可能である。一方、領域特性をN個の品詞からなる品詞
列(Nグラムと呼ぶ)の生起確率の形で利用して品詞列
を選択する従来技術がある。一般に、このようなNグラ
ムの生起確率を用いる方が個々の構文規則に対して精緻
化や優先度設定を行うよりも低コストで行うことができ
る。しかし、構文解析を行わずにNグラムだけを用いて
品詞列を選択してもそれが構文的に正しい(文として成
立する)保証はないので、Nグラム中に多品詞語を含む
ことにより発生する複数の品詞列候補について構文解析
を行って正しい品詞列を選択する必要がある。したがっ
て、構文的に正しくない品詞列を含めて品詞列の最後ま
で構文解析を行った場合、処理効率が低下する。特開平
5−250405号公報に示された構文解析装置は、Nグラム
を用いる際のこのような処理効率低下を解決しようとす
るものであり、品詞列に対して構文解析を行う構文解析
手段を備え、処理対象文を文頭から文末方向に構文解析
する際に、単語毎に文頭から当該単語までの品詞列候補
の生成とその構文解析を行うようにして、構文的に正し
くない品詞列を早期に除き、無駄な品詞列選択処理を行
わないようにしている。
【0003】
【発明が解決しようとする課題】しかしながら、特開平
5−250405号公報に示された前記の従来技術において
は、構文解析を行うので、そのための辞書や処理系は改
良されているとは言え、大きくならざるを得ないし、処
理速度も改良されているとは言え、遅くなる。本発明の
目的は、このような従来技術の問題を解決し、辞書や処
理系を小規模にすることができ、且つ品詞付与を高速に
行うことができる言語処理装置などを提供することにあ
る。
5−250405号公報に示された前記の従来技術において
は、構文解析を行うので、そのための辞書や処理系は改
良されているとは言え、大きくならざるを得ないし、処
理速度も改良されているとは言え、遅くなる。本発明の
目的は、このような従来技術の問題を解決し、辞書や処
理系を小規模にすることができ、且つ品詞付与を高速に
行うことができる言語処理装置などを提供することにあ
る。
【0004】
【課題を解決するための手段】前記の課題を解決するた
めに、請求項1記載の発明では、単語品詞辞書を用いて
処理対象文中のそれぞれの単語に品詞を付与することが
できる言語処理装置において、処理対象文中の文頭から
順に切り出されたそれぞれの単語について可能な一つま
たは複数の品詞を単語品詞辞書から検索する品詞検索手
段と、それぞれの品詞に隣接可能な品詞を品詞列として
記憶しておく隣接品詞記憶手段と、処理対象文中から切
り出された単語と前記品詞検索手段により検索された一
つまたは複数のその単語の品詞との組を単語切り出し順
に並べた品詞列を生成する品詞列生成手段と、品詞列生
成手段により生成された品詞列が可能な品詞列か否かを
前記隣接品詞記憶手段に記憶された可能な品詞列情報を
用いて検査する品詞列検査手段とを備えた。また、請求
項2記載の発明では、請求項1記載の発明において、複
数の可能な品詞を持つ単語について、それぞれの可能な
品詞に対応付けてその単語の品詞として採用する優先順
である優先度を示す情報を予め記憶しておく単語品詞辞
書記憶手段を備えた。また、請求項3記載の発明では、
単語品詞辞書を用いて処理対象文中のそれぞれの単語に
品詞を付与することができる言語処理方法において、そ
れぞれの品詞に隣接可能な品詞を品詞列として記憶して
おき、処理対象文中の文頭から順に切り出されたそれぞ
れの単語について可能な一つまたは複数の品詞を単語品
詞辞書から検索し、切り出された単語と検索された一つ
または複数のその単語の品詞との組を単語切り出し順に
並べた品詞列を生成し、生成された品詞列が可能な品詞
列か否かを記憶された前記隣接可能な品詞の品詞列を用
いて検査する方法にした。また、請求項4記載の発明で
は、請求項3記載の発明において、品詞を付与しようと
した単語が単語品詞辞書に登録されていなかったとき、
その単語に特定の複数の品詞を付与して多品詞語として
扱う方法にした。また、請求項5記載の発明では、請求
項3または請求項4記載の発明において、複数の可能な
品詞を持つ多品詞語について、それぞれの可能な品詞に
対応付けてその単語の品詞として採用する優先順である
優先度を示す情報を予め単語品詞辞書に記憶しておく方
法にした。また、請求項6記載の発明では、プログラム
を記憶した記憶媒体において、請求項3、請求項4、ま
たは請求項5記載の言語処理方法に従ってプログラミン
グしたプログラムを記憶した。
めに、請求項1記載の発明では、単語品詞辞書を用いて
処理対象文中のそれぞれの単語に品詞を付与することが
できる言語処理装置において、処理対象文中の文頭から
順に切り出されたそれぞれの単語について可能な一つま
たは複数の品詞を単語品詞辞書から検索する品詞検索手
段と、それぞれの品詞に隣接可能な品詞を品詞列として
記憶しておく隣接品詞記憶手段と、処理対象文中から切
り出された単語と前記品詞検索手段により検索された一
つまたは複数のその単語の品詞との組を単語切り出し順
に並べた品詞列を生成する品詞列生成手段と、品詞列生
成手段により生成された品詞列が可能な品詞列か否かを
前記隣接品詞記憶手段に記憶された可能な品詞列情報を
用いて検査する品詞列検査手段とを備えた。また、請求
項2記載の発明では、請求項1記載の発明において、複
数の可能な品詞を持つ単語について、それぞれの可能な
品詞に対応付けてその単語の品詞として採用する優先順
である優先度を示す情報を予め記憶しておく単語品詞辞
書記憶手段を備えた。また、請求項3記載の発明では、
単語品詞辞書を用いて処理対象文中のそれぞれの単語に
品詞を付与することができる言語処理方法において、そ
れぞれの品詞に隣接可能な品詞を品詞列として記憶して
おき、処理対象文中の文頭から順に切り出されたそれぞ
れの単語について可能な一つまたは複数の品詞を単語品
詞辞書から検索し、切り出された単語と検索された一つ
または複数のその単語の品詞との組を単語切り出し順に
並べた品詞列を生成し、生成された品詞列が可能な品詞
列か否かを記憶された前記隣接可能な品詞の品詞列を用
いて検査する方法にした。また、請求項4記載の発明で
は、請求項3記載の発明において、品詞を付与しようと
した単語が単語品詞辞書に登録されていなかったとき、
その単語に特定の複数の品詞を付与して多品詞語として
扱う方法にした。また、請求項5記載の発明では、請求
項3または請求項4記載の発明において、複数の可能な
品詞を持つ多品詞語について、それぞれの可能な品詞に
対応付けてその単語の品詞として採用する優先順である
優先度を示す情報を予め単語品詞辞書に記憶しておく方
法にした。また、請求項6記載の発明では、プログラム
を記憶した記憶媒体において、請求項3、請求項4、ま
たは請求項5記載の言語処理方法に従ってプログラミン
グしたプログラムを記憶した。
【0005】
【作用】前記のような手段または方法にしたので、請求
項1および請求項3記載の発明では、処理対象文中の文
頭から順に切り出されたそれぞれの単語について可能な
一つまたは複数の品詞が単語品詞辞書から検索され、切
り出された単語と検索された一つまたは複数のその単語
の品詞との組を単語切り出し順に並べた品詞列が生成さ
れ、生成された品詞列が可能な品詞列か否かが記憶され
ている隣接可能な品詞の品詞列を用いて検査される。請
求項2記載の発明では、請求項1記載の発明において、
複数の可能な品詞を持つ単語について、それぞれの可能
な品詞に対応付けてその単語の品詞として採用する優先
順である優先度を示す情報が予め記憶しておかれる。請
求項4記載の発明では、請求項3記載の発明において、
品詞を付与しようとした単語が単語品詞辞書に登録され
ていなかったとき、その単語に特定の複数の品詞が付与
され、多品詞語として扱われる。請求項5記載の発明で
は、請求項3または請求項4記載の発明において、複数
の可能な品詞を持つ多品詞語について、それぞれの可能
な品詞に対応付けてその単語の品詞として採用する優先
順である優先度を示す情報が予め単語品詞辞書に記憶し
ておかれる。請求項6記載の発明では、請求項3、請求
項4、または請求項5記載の言語処理方法に従ってプロ
グラミングしたプログラムが、例えば着脱可能な記憶媒
体に記憶される。
項1および請求項3記載の発明では、処理対象文中の文
頭から順に切り出されたそれぞれの単語について可能な
一つまたは複数の品詞が単語品詞辞書から検索され、切
り出された単語と検索された一つまたは複数のその単語
の品詞との組を単語切り出し順に並べた品詞列が生成さ
れ、生成された品詞列が可能な品詞列か否かが記憶され
ている隣接可能な品詞の品詞列を用いて検査される。請
求項2記載の発明では、請求項1記載の発明において、
複数の可能な品詞を持つ単語について、それぞれの可能
な品詞に対応付けてその単語の品詞として採用する優先
順である優先度を示す情報が予め記憶しておかれる。請
求項4記載の発明では、請求項3記載の発明において、
品詞を付与しようとした単語が単語品詞辞書に登録され
ていなかったとき、その単語に特定の複数の品詞が付与
され、多品詞語として扱われる。請求項5記載の発明で
は、請求項3または請求項4記載の発明において、複数
の可能な品詞を持つ多品詞語について、それぞれの可能
な品詞に対応付けてその単語の品詞として採用する優先
順である優先度を示す情報が予め単語品詞辞書に記憶し
ておかれる。請求項6記載の発明では、請求項3、請求
項4、または請求項5記載の言語処理方法に従ってプロ
グラミングしたプログラムが、例えば着脱可能な記憶媒
体に記憶される。
【0006】
【発明の実施の形態】以下、図面により本発明の実施の
形態を詳細に説明する。図1は本発明の各実施例の言語
処理装置の構成ブロック図である。図示したように、こ
の実施例の言語処理装置は、各単語に対応付けてその可
能な品詞を記述した単語品詞辞書を記憶しておく単語品
詞辞書記憶部1、文中で隣接可能な品詞をそれぞれの単
語に対応付けて記述した隣接品詞表を記憶しておく隣接
品詞表記憶部2、処理対象文中の文頭から順に切り出さ
れたそれぞれの単語について可能な一つまたは複数の品
詞を前記単語品詞辞書から検索する品詞検索部3、処理
対象文中から切り出された単語と前記品詞検索部3によ
り検索された一つまたは複数のその単語の品詞との組を
単語切り出し順に並べた品詞列を生成する品詞列生成部
4、品詞列生成部4により生成された品詞列が可能な品
詞列か否かを隣接品詞表を用いて検査する品詞列検査部
5、前記単語品詞辞書記憶部1に基本的な単語分だけの
小規模な単語品詞辞書を登録する品詞登録部6、品詞を
付与しようとした単語が単語品詞辞書に登録されていな
かったとき、その単語に特定の複数の品詞を付与して多
品詞語として扱う未知語処理部7、言語処理装置全体を
制御・管理するシステム制御部8、処理対象文を入力す
る入力部9、処理対象文中に含まれる各単語とその品詞
などを出力する出力部10を備えている。なお、この実施
例では、請求項1記載の品詞検索手段、隣接品詞記憶手
段、品詞列生成手段、品詞列検査手段をそれぞれ前記品
詞検索部3、隣接品詞表記億部2、品詞列生成部4、品
詞列検査部5により実現している。また、前記品詞検索
部3、品詞列生成部4、品詞列検査部5、品詞登録部
6、未知語処理部7、システム制御部8は、プログラム
などを記憶する共有のRAMなどのメモリおよびそのプ
ログラムに従って動作する共有のCPUを有している。
また、単語品詞辞書記憶部1および隣接品詞表記憶部2
は、ハードディスク装置とRAMにより実現される。ま
た、入力部9は、キーボード、マウス、着脱可能な記憶
媒体を駆動する装置、通信制御部などから構成され、出
力部10は、例えば表示装置である。
形態を詳細に説明する。図1は本発明の各実施例の言語
処理装置の構成ブロック図である。図示したように、こ
の実施例の言語処理装置は、各単語に対応付けてその可
能な品詞を記述した単語品詞辞書を記憶しておく単語品
詞辞書記憶部1、文中で隣接可能な品詞をそれぞれの単
語に対応付けて記述した隣接品詞表を記憶しておく隣接
品詞表記憶部2、処理対象文中の文頭から順に切り出さ
れたそれぞれの単語について可能な一つまたは複数の品
詞を前記単語品詞辞書から検索する品詞検索部3、処理
対象文中から切り出された単語と前記品詞検索部3によ
り検索された一つまたは複数のその単語の品詞との組を
単語切り出し順に並べた品詞列を生成する品詞列生成部
4、品詞列生成部4により生成された品詞列が可能な品
詞列か否かを隣接品詞表を用いて検査する品詞列検査部
5、前記単語品詞辞書記憶部1に基本的な単語分だけの
小規模な単語品詞辞書を登録する品詞登録部6、品詞を
付与しようとした単語が単語品詞辞書に登録されていな
かったとき、その単語に特定の複数の品詞を付与して多
品詞語として扱う未知語処理部7、言語処理装置全体を
制御・管理するシステム制御部8、処理対象文を入力す
る入力部9、処理対象文中に含まれる各単語とその品詞
などを出力する出力部10を備えている。なお、この実施
例では、請求項1記載の品詞検索手段、隣接品詞記憶手
段、品詞列生成手段、品詞列検査手段をそれぞれ前記品
詞検索部3、隣接品詞表記億部2、品詞列生成部4、品
詞列検査部5により実現している。また、前記品詞検索
部3、品詞列生成部4、品詞列検査部5、品詞登録部
6、未知語処理部7、システム制御部8は、プログラム
などを記憶する共有のRAMなどのメモリおよびそのプ
ログラムに従って動作する共有のCPUを有している。
また、単語品詞辞書記憶部1および隣接品詞表記憶部2
は、ハードディスク装置とRAMにより実現される。ま
た、入力部9は、キーボード、マウス、着脱可能な記憶
媒体を駆動する装置、通信制御部などから構成され、出
力部10は、例えば表示装置である。
【0007】図2に、第1の実施例の動作フローを示
す。以下、図2に従ってこの実施例の動作を説明する。
まず、システム制御部8が入力部9により処理対象文
(以下、対象文と略す)を入力させる(S1)。ここで
は、例えば‘The technique can be localized to regi
ons, suggesting its use in screening of patterned
arrays.’という英文が入力されたものとする。システ
ム制御部8は、この対象文をシステム制御部8内のRA
Mに格納する。そして、品詞検索部3が文頭から順に次
の単語がある限り(S2でYes)1単語づつ切り出す。
次に、品詞検索部3は、切り出した単語を単語品詞辞書
記憶部1に記憶されている単語品詞辞書中から検索する
(S3)。なお、単語品詞辞書には、図3に示すように
アルファベット順に並んだ単語に対応付けてその品詞が
記述されている。図3において、「V」は動詞、「N」は
名詞、「J」は形容詞である。単語が見つかると、品詞
列生成部4は、その単語を既知語と判断し(S4でYe
s)、RAM内の単語とその品詞の列である品詞列に対
象文中から切り出した単語とその品詞を対応付けて書き
込む(図4参照)(S5)。なお、図4は一つの対象文
について品詞列生成が終わった時点での品詞列である。
図示したようにそれぞれ単語の左に品詞の種類を示す文
字が記述されている。単語品詞辞書において複数の品詞
が対応付けられている単語はそのまま複数の品詞が品詞
列に書き込まれている。例えば、図示した「can」とい
う単語は単語品詞辞書において助動詞(Tx)と名詞(N)と
が対応付けられているので、そのいずれの品詞もその単
語に対応付けて書き込まれるのである。
す。以下、図2に従ってこの実施例の動作を説明する。
まず、システム制御部8が入力部9により処理対象文
(以下、対象文と略す)を入力させる(S1)。ここで
は、例えば‘The technique can be localized to regi
ons, suggesting its use in screening of patterned
arrays.’という英文が入力されたものとする。システ
ム制御部8は、この対象文をシステム制御部8内のRA
Mに格納する。そして、品詞検索部3が文頭から順に次
の単語がある限り(S2でYes)1単語づつ切り出す。
次に、品詞検索部3は、切り出した単語を単語品詞辞書
記憶部1に記憶されている単語品詞辞書中から検索する
(S3)。なお、単語品詞辞書には、図3に示すように
アルファベット順に並んだ単語に対応付けてその品詞が
記述されている。図3において、「V」は動詞、「N」は
名詞、「J」は形容詞である。単語が見つかると、品詞
列生成部4は、その単語を既知語と判断し(S4でYe
s)、RAM内の単語とその品詞の列である品詞列に対
象文中から切り出した単語とその品詞を対応付けて書き
込む(図4参照)(S5)。なお、図4は一つの対象文
について品詞列生成が終わった時点での品詞列である。
図示したようにそれぞれ単語の左に品詞の種類を示す文
字が記述されている。単語品詞辞書において複数の品詞
が対応付けられている単語はそのまま複数の品詞が品詞
列に書き込まれている。例えば、図示した「can」とい
う単語は単語品詞辞書において助動詞(Tx)と名詞(N)と
が対応付けられているので、そのいずれの品詞もその単
語に対応付けて書き込まれるのである。
【0008】一方、ステップS4において、検索対象の
単語が見つからなかった場合には未知語と判断し(S4
でNo)、未知語処理部7がその単語を多品詞語として扱
い、その単語の品詞として特定の品詞、例えば動詞
(V)、形容詞(J)、名詞(N)を割り当てて(S6)品詞列
に書き込む(図7(a)に示した単語「Jurassic」参照)
(S5)。動詞(V)、形容詞(J)、名詞(N)の3つの品詞
を割り当てるのはこれらのうちのいずれかである確率が
高いからである。なお、図7は、‘Late Jurassicsedim
entation was strongly controlled by maximum subsid
ence along the same trough axis.’を対象文として処
理したものである。この後はステップS2に戻り、切り
出すべき次の単語があるか否かを判定し(S2)、あれ
ば(S2でYes)ステップS3以下を繰り返す。それに
対して、ステップS2において次の単語がないと判定さ
れたならば(S2でNo)、品詞列検査部5が、RAM内
に記憶しておいた品詞列にまだ取り出していない単語と
その品詞の組がある限り(ここは最初の取出しであるか
ら当然取り出していない組がある)(S7でYes)、品
詞列の冒頭から順にその組を取り出す。そして、取り出
した単語と品詞の組が品詞を二つ以上持つ多品詞語でな
ければ(S8でNo)、取り出した単語と品詞の組をその
ままRAM内の所定領域に移し、取り出すべき次の組が
あるか否かを判定し(S7)、あれば再び取り出した組
の単語が多品詞語か否かを判定する(S8)。その結
果、多品詞語であると判定されたならば(S8でYe
s)、品詞列生成部4は図4に示したような品詞列から
隣接品詞列を生成する(S9)。例えば図4の例の「ca
n」の場合では、二つの品詞X,Nが可能であり、この多品
詞語の2語前と2語後の間の単語の品詞から、まず、A-
N-X-B-Vという隣接品詞列を生成するのである。
単語が見つからなかった場合には未知語と判断し(S4
でNo)、未知語処理部7がその単語を多品詞語として扱
い、その単語の品詞として特定の品詞、例えば動詞
(V)、形容詞(J)、名詞(N)を割り当てて(S6)品詞列
に書き込む(図7(a)に示した単語「Jurassic」参照)
(S5)。動詞(V)、形容詞(J)、名詞(N)の3つの品詞
を割り当てるのはこれらのうちのいずれかである確率が
高いからである。なお、図7は、‘Late Jurassicsedim
entation was strongly controlled by maximum subsid
ence along the same trough axis.’を対象文として処
理したものである。この後はステップS2に戻り、切り
出すべき次の単語があるか否かを判定し(S2)、あれ
ば(S2でYes)ステップS3以下を繰り返す。それに
対して、ステップS2において次の単語がないと判定さ
れたならば(S2でNo)、品詞列検査部5が、RAM内
に記憶しておいた品詞列にまだ取り出していない単語と
その品詞の組がある限り(ここは最初の取出しであるか
ら当然取り出していない組がある)(S7でYes)、品
詞列の冒頭から順にその組を取り出す。そして、取り出
した単語と品詞の組が品詞を二つ以上持つ多品詞語でな
ければ(S8でNo)、取り出した単語と品詞の組をその
ままRAM内の所定領域に移し、取り出すべき次の組が
あるか否かを判定し(S7)、あれば再び取り出した組
の単語が多品詞語か否かを判定する(S8)。その結
果、多品詞語であると判定されたならば(S8でYe
s)、品詞列生成部4は図4に示したような品詞列から
隣接品詞列を生成する(S9)。例えば図4の例の「ca
n」の場合では、二つの品詞X,Nが可能であり、この多品
詞語の2語前と2語後の間の単語の品詞から、まず、A-
N-X-B-Vという隣接品詞列を生成するのである。
【0009】次に、品詞列検査部5がこの隣接品詞列が
可能であるか否かを隣接品詞表記億部2内に記憶されて
いる隣接品詞表を用いて検査する(S10)。隣接品詞表
は、この実施例では各品詞を中心にその品詞に可能な前
後5つの品詞列を予め登録したものである。図5に隣接
品詞表の一例を示す。この例の隣接品詞表は、品詞Xと
品詞Nについてのみ示しており、図示したようにこの隣
接品詞表のなかに可能な隣接品詞列としてA-N-X-B-Vと
いう品詞列が登録されているので、品詞列検査部5は検
査対象の隣接品詞列が可能であると判断し(S10でYe
s)、「can」に品詞Xを付与し(S12)、その組をRA
M内の前記所定領域に書き込む。続いて、ステップS7
に戻り、次の単語と品詞の組についてステップS7から
繰り返す。そして、この繰り返しのなかで、例えば図4
に示した「patterned」という多品詞語を取り出した場
合には、まず隣接品詞列「N-P-V-N-.」の5つの品詞列
(最後の品詞はピリオドである)が生成され、隣接品詞
表に従ってこれが隣接可能でないと判定される(S10で
No)。そこで、品詞列生成部4は「patterned」の次の
品詞候補Jを用いて「N-P-J-N-.」という5つの隣接品詞
列を生成し(S11)、同様に品詞列検査部5が隣接可能
か否かを検査し(S10)、可能であるので(S10でYe
s)、「patterned」に品詞Jを付与する。こうして、次
の単語と品詞の組がないと判定されたならば(S7でN
o)、RAM内の前記所定領域に記憶されている図6に
示すような結果を出力部10に出力する(S13)。なお、
図7(a)の処理結果は図7(b)のようになる。このよう
に、第1の実施例によれば、構文解析を行う代わりに小
規模な隣接品詞表を用いて隣接可能か否かを検査するこ
とにより品詞列を選択することができるので、辞書や処
理系を小規模にすることができ、且つ品詞付与を高速に
行うことができる。
可能であるか否かを隣接品詞表記億部2内に記憶されて
いる隣接品詞表を用いて検査する(S10)。隣接品詞表
は、この実施例では各品詞を中心にその品詞に可能な前
後5つの品詞列を予め登録したものである。図5に隣接
品詞表の一例を示す。この例の隣接品詞表は、品詞Xと
品詞Nについてのみ示しており、図示したようにこの隣
接品詞表のなかに可能な隣接品詞列としてA-N-X-B-Vと
いう品詞列が登録されているので、品詞列検査部5は検
査対象の隣接品詞列が可能であると判断し(S10でYe
s)、「can」に品詞Xを付与し(S12)、その組をRA
M内の前記所定領域に書き込む。続いて、ステップS7
に戻り、次の単語と品詞の組についてステップS7から
繰り返す。そして、この繰り返しのなかで、例えば図4
に示した「patterned」という多品詞語を取り出した場
合には、まず隣接品詞列「N-P-V-N-.」の5つの品詞列
(最後の品詞はピリオドである)が生成され、隣接品詞
表に従ってこれが隣接可能でないと判定される(S10で
No)。そこで、品詞列生成部4は「patterned」の次の
品詞候補Jを用いて「N-P-J-N-.」という5つの隣接品詞
列を生成し(S11)、同様に品詞列検査部5が隣接可能
か否かを検査し(S10)、可能であるので(S10でYe
s)、「patterned」に品詞Jを付与する。こうして、次
の単語と品詞の組がないと判定されたならば(S7でN
o)、RAM内の前記所定領域に記憶されている図6に
示すような結果を出力部10に出力する(S13)。なお、
図7(a)の処理結果は図7(b)のようになる。このよう
に、第1の実施例によれば、構文解析を行う代わりに小
規模な隣接品詞表を用いて隣接可能か否かを検査するこ
とにより品詞列を選択することができるので、辞書や処
理系を小規模にすることができ、且つ品詞付与を高速に
行うことができる。
【0010】本発明の第2の実施例では、複数の可能な
品詞を持つ単語についてそれぞれの可能な品詞に対応付
けてその単語の品詞として採用する優先順である優先度
を示す情報を予め記憶しておく請求項2記載の単語品詞
辞書記憶手段を単語品詞辞書記憶部1により実現してい
る。利用者が単語品詞辞書を作成する際、例えば図8に
示した単語品詞辞書の品詞の記述順を優先度順にするの
である。以下、図4に品詞列を示した文中の「screenin
g」という単語について第2の実施例の要部を説明す
る。まず、その単語の2語前と2語後間の単語の品詞か
ら N-P-N-p-V N-P-V-p-V N-P-N-p-J N-P-V-p-J という隣接品詞列が生成される。そして、隣接品詞表か
ら仮にいずれも可能であると判定されたとする。しか
し、この実施例では、図8に示した単語品詞辞書によ
り、「screening」の品詞としては品詞NとVのうちNの優
先度が高いと判定されるので、「screening」の品詞をN
と決定する。こうして、この実施例によれば、より容易
に品詞を決定することができる。以上、処理対象の自然
言語が英語である場合について本発明の一実施例を説明
したが、処理対象の自然言語が日本語など英語以外の自
然言語である場合についても同様に本発明を実施するこ
とができる。また、図1に示した言語処理装置の場合に
ついて説明したが、以上説明した本発明の言語処理方法
に従ってプログラミングしたプログラムを、例えば着脱
可能な記憶媒体に記憶させ、その記憶媒体をそれまで本
発明による言語処理を行えなかったパーソナルコンピュ
ータなど情報処理装置に装着することにより、その情報
処理装置において本発明と同じ(または同様の)「言語
処理を行うこともできる。
品詞を持つ単語についてそれぞれの可能な品詞に対応付
けてその単語の品詞として採用する優先順である優先度
を示す情報を予め記憶しておく請求項2記載の単語品詞
辞書記憶手段を単語品詞辞書記憶部1により実現してい
る。利用者が単語品詞辞書を作成する際、例えば図8に
示した単語品詞辞書の品詞の記述順を優先度順にするの
である。以下、図4に品詞列を示した文中の「screenin
g」という単語について第2の実施例の要部を説明す
る。まず、その単語の2語前と2語後間の単語の品詞か
ら N-P-N-p-V N-P-V-p-V N-P-N-p-J N-P-V-p-J という隣接品詞列が生成される。そして、隣接品詞表か
ら仮にいずれも可能であると判定されたとする。しか
し、この実施例では、図8に示した単語品詞辞書によ
り、「screening」の品詞としては品詞NとVのうちNの優
先度が高いと判定されるので、「screening」の品詞をN
と決定する。こうして、この実施例によれば、より容易
に品詞を決定することができる。以上、処理対象の自然
言語が英語である場合について本発明の一実施例を説明
したが、処理対象の自然言語が日本語など英語以外の自
然言語である場合についても同様に本発明を実施するこ
とができる。また、図1に示した言語処理装置の場合に
ついて説明したが、以上説明した本発明の言語処理方法
に従ってプログラミングしたプログラムを、例えば着脱
可能な記憶媒体に記憶させ、その記憶媒体をそれまで本
発明による言語処理を行えなかったパーソナルコンピュ
ータなど情報処理装置に装着することにより、その情報
処理装置において本発明と同じ(または同様の)「言語
処理を行うこともできる。
【0011】
【発明の効果】以上説明したように、本発明によれば、
請求項1および請求項3記載の発明では、処理対象文中
の文頭から順に切り出されたそれぞれの単語について可
能な一つまたは複数の品詞が単語品詞辞書から検索さ
れ、切り出された単語と検索された一つまたは複数のそ
の単語の品詞との組を単語切り出し順に並べた品詞列が
生成され、生成された品詞列が可能な品詞列か否かが記
憶されている隣接可能な品詞の品詞列を用いて検査され
るので、構文解析のための大規模な辞書や処理系が不要
になるし、処理が簡単になるため品詞付与を高速に行う
ことができる。また、請求項2記載の発明では、請求項
1記載の発明において、複数の可能な品詞を持つ単語に
ついて、それぞれの可能な品詞に対応付けてその単語の
品詞として採用する優先順である優先度を示す情報が予
め記憶しておかれるので、より容易に品詞を決定するこ
とができる。また、請求項4記載の発明では、請求項3
記載の発明において、品詞を付与しようとした単語が単
語品詞辞書に登録されていなかったとき、その単語に特
定の複数の品詞が付与され、多品詞語として扱われるの
で、予め単語品詞辞書に登録しておく単語および品詞を
小規模にすることができる。また、請求項5記載の発明
では、請求項3または請求項4記載の発明において、複
数の可能な品詞を持つ多品詞語について、それぞれの可
能な品詞に対応付けてその単語の品詞として採用する優
先順である優先度を示す情報が予め単語品詞辞書に記憶
しておかれるので、より容易に品詞を決定することがで
きる。また、請求項6記載の発明では、請求項3、請求
項4、または請求項5記載の言語処理方法に従ってプロ
グラミングしたプログラムが、例えば着脱可能な記憶媒
体に記憶されるので、その記憶媒体をそれまで請求項3
乃至請求項5記載の発明によった言語処理を行えなかっ
たパーソナルコンピュータなど情報処理装置に装着する
ことにより、その情報処理装置において請求項3乃至請
求項5記載の発明の効果を得ることができる。
請求項1および請求項3記載の発明では、処理対象文中
の文頭から順に切り出されたそれぞれの単語について可
能な一つまたは複数の品詞が単語品詞辞書から検索さ
れ、切り出された単語と検索された一つまたは複数のそ
の単語の品詞との組を単語切り出し順に並べた品詞列が
生成され、生成された品詞列が可能な品詞列か否かが記
憶されている隣接可能な品詞の品詞列を用いて検査され
るので、構文解析のための大規模な辞書や処理系が不要
になるし、処理が簡単になるため品詞付与を高速に行う
ことができる。また、請求項2記載の発明では、請求項
1記載の発明において、複数の可能な品詞を持つ単語に
ついて、それぞれの可能な品詞に対応付けてその単語の
品詞として採用する優先順である優先度を示す情報が予
め記憶しておかれるので、より容易に品詞を決定するこ
とができる。また、請求項4記載の発明では、請求項3
記載の発明において、品詞を付与しようとした単語が単
語品詞辞書に登録されていなかったとき、その単語に特
定の複数の品詞が付与され、多品詞語として扱われるの
で、予め単語品詞辞書に登録しておく単語および品詞を
小規模にすることができる。また、請求項5記載の発明
では、請求項3または請求項4記載の発明において、複
数の可能な品詞を持つ多品詞語について、それぞれの可
能な品詞に対応付けてその単語の品詞として採用する優
先順である優先度を示す情報が予め単語品詞辞書に記憶
しておかれるので、より容易に品詞を決定することがで
きる。また、請求項6記載の発明では、請求項3、請求
項4、または請求項5記載の言語処理方法に従ってプロ
グラミングしたプログラムが、例えば着脱可能な記憶媒
体に記憶されるので、その記憶媒体をそれまで請求項3
乃至請求項5記載の発明によった言語処理を行えなかっ
たパーソナルコンピュータなど情報処理装置に装着する
ことにより、その情報処理装置において請求項3乃至請
求項5記載の発明の効果を得ることができる。
【図1】本発明の各実施例の言語処理装置の構成ブロッ
ク図である。
ク図である。
【図2】本発明の第1の実施例を示す言語処理方法の動
作フロー図である。
作フロー図である。
【図3】本発明の第1の実施例を示す言語処理方法のデ
ータ構成図である。
ータ構成図である。
【図4】本発明の第1の実施例を示す言語処理方法の他
のデータ構成図である。
のデータ構成図である。
【図5】本発明の第1の実施例を示す言語処理方法の他
のデータ構成図である。
のデータ構成図である。
【図6】本発明の第1の実施例を示す言語処理方法の他
のデータ構成図である。
のデータ構成図である。
【図7】本発明の第1の実施例を示す言語処理方法の他
のデータ構成図である。
のデータ構成図である。
【図8】本発明の第2の実施例を示す言語処理方法のデ
ータ構成図である。
ータ構成図である。
1 単語品詞辞書記憶部 2 隣接品詞表記憶部 3 品詞検索部 4 品詞列生成部 5 品詞列検査部 6 品詞登録部 7 未知語処理部 8 システム制御部 9 入力部 10 出力部
Claims (6)
- 【請求項1】 単語品詞辞書を用いて処理対象文中のそ
れぞれの単語に品詞を付与することができる言語処理装
置において、処理対象文中の文頭から順に切り出された
それぞれの単語について可能な一つまたは複数の品詞を
単語品詞辞書から検索する品詞検索手段と、それぞれの
品詞に隣接可能な品詞を品詞列として記憶しておく隣接
品詞記憶手段と、処理対象文中から切り出された単語と
前記品詞検索手段により検索された一つまたは複数のそ
の単語の品詞との組を単語切り出し順に並べた品詞列を
生成する品詞列生成手段と、品詞列生成手段により生成
された品詞列が可能な品詞列か否かを前記隣接品詞記憶
手段に記憶された可能な品詞列情報を用いて検査する品
詞列検査手段とを備えたことを特徴とする言語処理装
置。 - 【請求項2】 請求項1記載の言語処理装置において、
複数の可能な品詞を持つ単語について、それぞれの可能
な品詞に対応付けてその単語の品詞として採用する優先
順である優先度を示す情報を予め記憶しておく単語品詞
辞書記憶手段を備えたことを特徴とする言語処理装置。 - 【請求項3】 単語品詞辞書を用いて処理対象文中のそ
れぞれの単語に品詞を付与することができる言語処理方
法において、それぞれの品詞に隣接可能な品詞を品詞列
として記憶しておき、処理対象文中の文頭から順に切り
出されたそれぞれの単語について可能な一つまたは複数
の品詞を単語品詞辞書から検索し、切り出された単語と
検索された一つまたは複数のその単語の品詞との組を単
語切り出し順に並べた品詞列を生成し、生成された品詞
列が可能な品詞列か否かを記憶された前記隣接可能な品
詞の品詞列を用いて検査することを特徴とする言語処理
方法。 - 【請求項4】 請求項3記載の言語処理方法において、
品詞を付与しようとした単語が単語品詞辞書に登録され
ていなかったとき、その単語に特定の複数の品詞を付与
して多品詞語として扱うことを特徴とする言語処理方
法。 - 【請求項5】 請求項3または請求項4記載の言語処理
方法において、複数の可能な品詞を持つ多品詞語につい
て、それぞれの可能な品詞に対応付けてその単語の品詞
として採用する優先順である優先度を示す情報を予め単
語品詞辞書に記憶しておくことを特徴とする言語処理方
法。 - 【請求項6】 プログラムを記憶した記憶媒体におい
て、請求項3、請求項4、または請求項5記載の言語処
理方法に従ってプログラミングしたプログラムを記憶し
たことを特徴とする記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000001982A JP2001195402A (ja) | 2000-01-07 | 2000-01-07 | 言語処理装置、言語処理方法およびその方法を記憶した記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000001982A JP2001195402A (ja) | 2000-01-07 | 2000-01-07 | 言語処理装置、言語処理方法およびその方法を記憶した記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2001195402A true JP2001195402A (ja) | 2001-07-19 |
Family
ID=18531142
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000001982A Pending JP2001195402A (ja) | 2000-01-07 | 2000-01-07 | 言語処理装置、言語処理方法およびその方法を記憶した記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2001195402A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10380957B2 (en) | 2016-11-01 | 2019-08-13 | Seiko Epson Corporation | Electrooptic device, electronic device, and driving method |
-
2000
- 2000-01-07 JP JP2000001982A patent/JP2001195402A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10380957B2 (en) | 2016-11-01 | 2019-08-13 | Seiko Epson Corporation | Electrooptic device, electronic device, and driving method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20070233460A1 (en) | Computer-Implemented Method for Use in a Translation System | |
JPH0411906B2 (ja) | ||
JPS63305463A (ja) | 自然言語処理方式 | |
JP2008083952A (ja) | 辞書作成支援システム、方法及びプログラム | |
KR20040101678A (ko) | 복합 형태소 분석 장치 및 방법 | |
JP4001283B2 (ja) | 形態素解析装置および自然言語処理装置 | |
KR100792203B1 (ko) | 특허 문서 번역을 위한 미등록 단일명사 특허 전문용어의대역어 사전 구축 장치 및 방법 | |
JP4431759B2 (ja) | 未登録語自動抽出装置及びプログラム、並びに未登録語自動登録装置及びプログラム | |
JP2000259635A (ja) | 翻訳装置及び翻訳方法並びに翻訳プログラムを記録した記録媒体 | |
JP4875040B2 (ja) | 機械翻訳システム及び機械翻訳プログラム | |
WO2003003241A1 (en) | Predictive cascading algorithm for multi-parser architecture | |
JP2001195402A (ja) | 言語処理装置、言語処理方法およびその方法を記憶した記憶媒体 | |
JP5185343B2 (ja) | 機械翻訳装置及び機械翻訳プログラム | |
JP2632806B2 (ja) | 言語解析装置 | |
JP6417359B2 (ja) | 請求の範囲の構文解析構成方法 | |
JP3085394B2 (ja) | 複数文翻訳における訳語選択方法およびこれを用いた機械翻訳システム | |
JPH07325826A (ja) | 日本語処理システム | |
JP2009258887A (ja) | 機械翻訳装置及び機械翻訳プログラム | |
JP4206266B2 (ja) | 全文検索装置、処理方法、処理プログラム及び記録媒体 | |
JP4262529B2 (ja) | 全文検索装置、方法、プログラム及び記録媒体 | |
JP2000259630A (ja) | 機械翻訳方法及びその装置並びに機械翻訳プログラムを記憶した媒体 | |
JPH11259473A (ja) | 機械翻訳装置及び機械翻訳方法 | |
JPH09160920A (ja) | 機械翻訳装置 | |
JPH0612449A (ja) | 機械翻訳装置及びその方法 | |
JPH0594472A (ja) | 適訳語選択方式 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050125 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050315 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070220 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071002 |