JP3728789B2 - Japanese sentence analyzer and Japanese sentence analysis method - Google Patents
Japanese sentence analyzer and Japanese sentence analysis method Download PDFInfo
- Publication number
- JP3728789B2 JP3728789B2 JP03033996A JP3033996A JP3728789B2 JP 3728789 B2 JP3728789 B2 JP 3728789B2 JP 03033996 A JP03033996 A JP 03033996A JP 3033996 A JP3033996 A JP 3033996A JP 3728789 B2 JP3728789 B2 JP 3728789B2
- Authority
- JP
- Japan
- Prior art keywords
- word
- character string
- unregistered
- registered
- words
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、入力された日本語文に含まれる辞書にのっていない単語、特にカタカナで記載された単語を検出し、この検出した単語を登録する日本語文解析装置および日本語文解析方法に関する。
【０００２】
【従来の技術】
機械翻訳の前処理には、形態素解析と言われる処理が行われている。形態素解析とは、簡単にいうと入力された日本語文に対して辞書を用いて文節切りや単語切りなどを行う処理である。ここで、問題となるのは入力された日本語文中に辞書に載っていない単語（以下、未登録単語と言う。）が存在すると、形態素解析が正確に行えないという点である。したがって、機械翻訳にも失敗するという結果となる。そこで、機械翻訳の前処理で翻訳に失敗しそうなところを予め警告するためには、未登録語を正確に検出する必要がある。
【０００３】
また、未登録単語は文献中のキーワードとなる単語として用いられる新語である場合が多い。このため、文書検索の自動キーワード作成（インデックス作成）等の技術では、未登録単語をキーワードとして登録する必要がある。すなわち、文書検索の自動キーワード作成で辞書にない未登録単語をキーワードとして登録するためには、未登録単語を正確に検出しなければならない。
【０００４】
従来、未登録単語の検出処理は、未登録単語がカタカナ文字列である場合がほとんどであることから、辞書引きに失敗した文字列に同じ文字種（カタカナ）が連接する文字列全体を未登録語として検出するというものであった。
例えば、「インタラプタ」という文字列に対して「イン」、「タラ」が辞書に登録されている登録語で、「プタ」が未登録語である場合には、「インタラプタ」を未登録単語として検出する方法（情報処理学会第３６回（昭和６３年前記）全国大会予稿集１２３１頁〜１２３２頁「日英機械翻訳用前編集システム(2)-形態素のあいまい性の検出方法- 」参照）や、
「ニューステーションホテル」と言う文字列に対して辞書引きされる「ニュー」、「ニュース」「ホテル」等の情報は無視し、カタカナ文字列全体である「ニューステーションホテル」を未知語（本願で言う未登録単語）として検出する方法（情報処理学会第４７回（平成５年後期）全国大会予稿集３−１５９頁〜３−１６０頁「選択的辞書引き機構を導入した日本語形態素解析における未知語推定機構」参照）であった。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記した未登録単語を抽出する方法では、カタカナの文字列が複数の単語からなる複合語であると、この複合語を未登録単語として検出してしまうという問題がある。例えば、「ファイナンシャルシステム」という文字列の単語（「ファイナンシャル」が未登録語であり、「システム」とつながって複合語を形成している単語）がある場合、登録語である「ファイ」や「システム」等の辞書引きされる情報を無視し（「ファイ」、「システム」は辞書ファイルに登録されている単語とする。）、「ファイナンシャルシステム」全体が未登録単語として検出される。また、「ファイナンシャル」という未登録単語を含む複合語である「ファイナンシャルバンキング」、「ファイナンシャルセンター」、「ファイナンシャルアドバイザー」、「ファイナンシャルプランナー」等も別の未登録単語として検出される（「バンキング」、「センター」、「アドバイザー」、「プランナー」等は辞書に登録されている単語であるとする。）。このため、機械翻訳の前処理における処理量が増加したり、文書検索のキーワードとして冗長なキーワード（複合語）が作成されるという結果となる。
【０００６】
ここで、登録単語と照合しない部分のみを未登録単語として検出するという手法も考えられるが、この手法では検出すべき未登録単語の一部が登録単語と一致していると、この一致した部分が切り離された不適当な文字列の未登録単語が検出されることになる。上記した例の「ファイナンシャルシステム」という文字列に対して、「ファイ」、「システム」と言う登録単語に一致する部分を除いた「ナンシャル」という単語として正当性のない文字列を未登録単語として検出してしまう。さらに、未登録単語の文字列が複数の単語を連接させた文字列とたまたま一致する場合には、未登録単語が検出されないという問題もある。例えば、「カリマンタン」と言う文字列の未登録単語に対して「カリ」「マン」「タン」という３つの登録単語があると、未登録単語が検出されないということである。
【０００７】
この発明の目的は、未登録単語を含むカタカナ文字列中から正確に未登録単語を形成する文字列のみを検出し、この検出した未登録単語を登録することのできる日本語文解析装置および日本語文解析方法を提供することにある。
【０００８】
また、この発明は、検出された未登録単語の正当性を検出し、誤って検出されて登録された未登録単語を取り消すことのできる日本語文解析装置および日本語文解析方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
この発明の日本語文解析装置は、単語の文字列およびその単語の属性を示すデータを登録した辞書ファイルと、前記辞書ファイルを用いて入力された文字列を単語に分割する形態素解析を行う形態素解析手段と、
前記入力された文字列中の連接するカタカナ文字列が前記形態素解析によって複数の単語に分割されたとき、この分割された単語内に文字列長が１文字の未登録単語が含まれていれば、該未登録単語と該未登録単語の前または後ろに隣合う単語とをつないだ文字列を未登録単語として検出する未登録単語検出手段と、
該検出された未登録単語を前記辞書ファイルに仮登録する未登録単語登録手段と、
前記未登録単語検出手段で検出され、前記辞書ファイルに仮登録されている未登録単語と一致する文字列の単語が前記形態素解析によって連接するカタカナ文字列を分割した複数の単語に含まれているとき、一致する文字列以外の単語の正当性を検証した検証結果に基づいて、該未登録単語が単語として正当なものであるかどうかを検証する正当性検証手段と、を備え、
前記未登録単語登録手段は、前記正当性検証手段が正当であることを検証した仮登録されている未登録単語を前記辞書ファイルに正式に登録する。
【００１０】
この構成では、形態素解析手段が辞書ファイルを用いて入力された文字列を単語に分割する形態素解析を行う。形態素解析された結果、連接するカタカナ文字列が複数の単語に分割されたときに、分割された単語内に文字列長が１文字の未登録単語が含まれていれば、未登録単語検出手段がこの１文字の未登録単語と該未登録単語の前または後ろに隣合う単語とをつないだ文字列を未登録単語として検出する。そして、未登録単語登録手段がこの検出された未登録単語を辞書ファイルに仮登録する。また、正当性検証手段が前記形態素解析によって連接するカタカナ文字列を分割した複数の単語に前記未登録単語検出手段で検出され、登録されている未登録単語と一致する文字列の単語が含まれるとき、一致する文字列以外の単語の正当性を検証した検証結果に基づいて、該未登録単語が単語として正当なものであるかどうかを検証する。そして、未登録単語登録手段が単語として正当なものであることが検証された辞書ファイルに仮登録されている未登録単語を正式に登録する。
【００２２】
【発明の実施の形態】
図１は、この発明の実施の形態である日本語文解析装置の機能を示すブロック図である。日本語文解析装置１は、テキストデータ記憶部２と、形態素解析部３、辞書ファイル４と、単語候補検出部５と、単語候補登録部６と、単語候補検証部７と、単語候補削除部８と、登録単語検証部９と、単語候補正式登録部１０とを備えている。
テキストデータ記憶部２は、処理の対象となるテキストデータを記憶する。
形態素解析部３は、前記テキストデータ記憶部２に記憶されているテキストデータに対して形態素解析を行う。
辞書ファイル４は、単語の文字列と、該単語の属性（品詞等）を対応させて記憶している。
単語候補検出部５は、前記形態素解析部３で形態素解析された結果に基づいて、辞書ファイル４に登録されていない未登録単語を単語候補として検出する。
単語候補登録部６は、前記単語候補検出部５で検出された単語候補を辞書ファイル４に仮登録する。
単語候補検証部７は、辞書ファイル４に仮登録されている単語候補の正当性を検証する。
単語候補削除部８は、辞書ファイル４に仮登録されている単語候補で正当性が検証されなかった単語を削除する。
登録単語検証部９は、未登録単語の含まれている可能性がある文字列中から検出された辞書ファイル４に登録されている単語の正当性を検証する。
単語候補正式登録部１０は、仮登録されている単語候補で正当性が検証されたときにこの単語候補を正式に登録する。
【００２３】
図２は、この発明の実施の形態である日本語群解析装置の処理を示すフローチャートである。ここでは、日本語文解析装置１の一連の処理を簡単に説明する。日本語文解析装置１は、テキストデータ記憶部２に処理対象となるテキストデータを取り込み、記憶する（ｎ１）。形態素解析部３は、句読点で区切られた文字列単位毎にテキストデータを取り込む（ｎ２）。形態素解析部３は、句読点で区切られたテキストデータを取り込むと、辞書ファイル４を用いて形態素解析を行う（ｎ３）。この形態素解析によって、ｎ２で取り込まれた句読点で区切られたテキストデータが形態素に分割される。日本語文解析装置１は、ｎ３において形態素解析部３で形態素解析された結果にカタカナ文字列の単語が含まれているかどうかを判定する（ｎ４）。カタカナ文字列の単語が含まれていない場合には、ｎ１でテキストデータ記憶部２に記憶したテキストデータを全て処理したかどうか（未処理のテキストデータが残っていないかどうか）を判定し（ｎ１１）、処理されていないテキストデータが残っているとｎ２に戻る。
【００２４】
カタカナ文字列の単語が含まれている場合には、単語候補検出部５がこのカタカナ文字列の単語に未登録単語が含まれているかどうかを判定する（ｎ５）。未登録語が含まれていると、単語候補検出部５はこの未登録単語に連接するカタカナ文字列の単語を含めたカタカナ文字列全体から単語候補を検出し、この検出した単語候補を辞書ファイル４に仮登録する第１の単語候補検出、登録処理を行う（ｎ６）。ｎ５で未登録単語が含まれていないと判定した場合、または、上記したｎ６の処理を完了すると、辞書ファイル４に登録されている複数のカタカナ文字列の登録単語が連接している箇所の有無を判定する（ｎ７）。カタカナ文字列の登録単語が連接した箇所があると、この登録単語をつなげたカタカナ文字列全体から単語候補を検出し、この検出した単語候補を辞書ファイル４に仮登録する第２の単語候補検出、登録処理を行う（ｎ８）。
【００２５】
また、単語候補検証部７は、形態素解析によって分割された単語の中に、ｎ６、または、ｎ８で辞書ファイル４に仮登録されている単語候補と同じカタカナ文字列の単語があるかどうか（ｎ６、または、ｎ８で辞書ファイル４に仮登録した単語候補が別の文字列中から再出現しているかどうか）を判定する（ｎ９）。単語候補が再出現していると、単語候補検証部７が辞書ファイル４に仮登録されているこの再出現した単語候補の正当性を検証する単語候補正当性検証処理を実行する（ｎ１０）。
【００２６】
そして、未処理のテキストデータが残っていないかどうかをｎ１１で判定し、未処理のテキストデータが残っていれば上記したｎ２〜ｎ１０の処理をくりかえす。未処理のテキストデータがなければ、辞書ファイル４に仮登録されている不要な単語候補（正当性が検証されなかった単語候補等）を全て削除して処理を完了する（ｎ１２）。
【００２７】
以下、上記した処理を詳細に説明する。
ｎ１では、テキストデータ記憶部２が形態素解析を行う一連のテキストデータ（ファイル単位、レコード単位、ディレクトリ単位、ハードディスク単位、時間単位、１００ＭＢ等のデータ量単位等）を取り込み、記憶する。
【００２８】
ｎ２、ｎ３では、形態素解析部３がテキストデータ記憶部２に記憶された一連のテキストデータから、順次句読点で区切られた文字列単位で取り出し、形態素解析を行う。そして、形態素解析部３はこの形態素解析を行った句読点で区切られた文字列単位のテキストデータを単語に分割して出力する。
例えば、形態素解析を行うテキストデータに「ファイナンシャルシステム」というカタカナ文字列が含まれているとする。また、辞書ファイル４には図３（Ａ）に示すように「ファイ」「システム」という文字列が単語として登録されており、「ナンシャル」「ファイナンシャル」「ファイナンシャルシステム」という文字列の単語が登録されていないものとする。ここで、形態素解析部３はこの「ファイナンシャルシステム」と言うカタカナ文字列に対して形態素解析を行うと、図３（Ｂ）に示すように「ナ」「ン」「シャ」「ル」で辞書引きに失敗し、「ファイ」と「システム」とを品詞が名詞である単語として検出する。そして、形態素解析部３はこの連続して辞書引きに失敗した「ナ」「ン」「シャ」「ル」をつなげたカタカナ文字列「ナンシャル」を１つの未登録単語とみなし、図３（Ｃ）に示すように「ファイナンシャルシステム」と言う文字列の形態素解析の結果として「ファイ」、「ナンシャル」および「システム」の３つの単語を出力する。このとき「ナンシャル」の品詞は未登録語として出力される。
【００２９】
ｎ４では、形態素解析部３が出力した形態素解析結果にカタカナ文字列の単語が含まれているかどうかを判定する。ここで、形態素解析結果にカタカナ文字列の単語が含まれていない場合には、ｎ５〜ｎ１０の処理を行わず、ｎ１１で未処理のテキストデータの有無を判定する。一方、形態素解析結果にカタカナ文字列の単語が含まれている場合にはｎ５〜ｎ１０の処理を行う。
【００３０】
ｎ５では、単語候補検出部５がこの形態素解析結果に未登録単語が含まれているかどうかを判定する。この実施の形態では、形態素解析の結果にその品詞が未登録語とされた単語を含んでいるときに、未登録単語が含まれていると判定する。上記した例では、品詞が未登録語とされた「ナンシャル」と言う単語が含まれているので、ｎ５で未登録単語を含んでいると判定される。
【００３１】
単語候補検出部５は、ｎ５で未登録単語を含んでいると判定すると、この未登録単語に連接するカタカナ文字列全体から、単語候補を検出し、この検出した単語候補を辞書ファイル４に仮登録する第１の単語候補検出、登録処理を実行する。ここで、未登録単語に連接するカタカナ文字列全体とは、未登録単語の前または／および後ろに連続しているカタカナ文字列の単語（未登録単語に連接している単語）を含めたカタカナ文字列のことである。上記した例では、「ファイナンシャルシステム」が未登録単語に連接するカタカナ文字列全体となる。なお、「ファイ」の前および「システム」の後ろに、カタカナ文字列の単語が連接していないものとする。
【００３２】
ここで、図４を参照しながら第１の単語候補検出、登録処理を詳細に説明する。図４は第１の単語候補検出、登録処理の流れを示すフローチャートである。このカタカナ文字列の未登録単語に連接するカタカナ文字列全体を１つの単語とし、品詞を名詞として辞書ファイル４に登録する（ｎ２１）。上記している例では「ファイナンシャルシステム」が単語（品詞は名詞）として辞書ファイル４に登録される。つぎに、ｎ２１で辞書ファイル４に登録した単語のカタカナ文字列中に含まれる未登録単語が１文字の単語であるかどうかを判定する（ｎ２２）。ここで、１文字の単語でなければこの未登録単語を単語候補の構成要素として検出する（ｎ２３）。未登録単語が１文字であり、この未登録単語の前にカタカナ文字列の登録単語が連接しているとこの登録単語と未登録単語とをつないだ文字列からなる単語を単語候補の構成要素として検出し、また、この未登録単語の前または後ろにカタカナ文字列の登録単語が連接しているとこの登録単語と未登録単語とをつないだ文字列からなる単語を単語候補の構成要素として検出する（ｎ２４）。例えば、「イリオモテ」と言う文字列に対して、形態素解析結果が「イ」が未登録語、「リオ」「モテ」が登録語である場合、「イ」が１文字の未登録であるので後ろの登録語「リオ」とつながれた「イリオ」が単語候補の構成要素として検出される。なお、形態素解析部３で未登録語である「イ」の前に検出している単語はカタカナ文字列ではないとする。また、この１文字の未登録単語の前後両方にカタカナ文字列の登録単語が連接している場合には、前に連接する登録単語とつながれた単語候補の構成要素と、後ろに連接する登録単語とつながれた単語候補の構成要素とを検出する。
【００３３】
そして、形態素解析において、未登録単語を含むカタカナ文字列全体から検出されている登録単語（辞書ファイル４に登録されている単語）の正当性の対象となる登録単語の正当性検証処理を行う（ｎ２５）。ここでは、検証する登録単語が、複合語を形成しうる単語であれば正当性がある、複合語を形成しえない単語であれば正当性がない、とする。上記した「ファイナンシャルシステム」という文字列の例では「ファイ」と「システム」との２つの登録単語が正当性の検証対象となる。単語の正当性の検証は登録単語検証部９で行われる。単語の正当性は以下に示す▲１▼〜▲３▼のルールに基づいて検証される。
▲１▼単語の文字列長によるルール
このルールでは、複合語ではない単語の文字列中に、登録単語と一致する文字列が含まれる可能性は、登録単語の文字列長が長くなるにつれて低下するという理由から、この実施の形態では、
(1) 文字列長が４文字以上の単語であれば正当性のある単語、
(2) 文字列長が２または３文字の単語であれば正当性の有無を判定できない単語、
(3) １文字であれば正当性がない単語、であるとする。
▲２▼単語の品詞によるルール
このルールでは以下に示す品詞の働きに基づいて正当性を検証する。
感動詞は、他の単語を修飾したり、他の単語に修飾されたりする性質がないため、複合語の構成単語とはならない。
副詞は、他の単語を修飾したり、他の単語に修飾されたりする性質がないため、複合語の構成単語とはならない。
サ行変格活用以外の動詞は、複合語の構成単語とならない。
接頭辞は、複合語の最後に来ることはない。
接尾辞は、複合語の先頭にくることはない。
連濁は、複合語の先頭にくることはない。
以上の理由から、本実施の形態では
(1) 単語が感動詞、副詞、サ行変格活用以外の動詞、のいずれかであれば、正当性のない単語、
(2) 単語が接頭辞で、且つ、該単語の後ろにカタカナ文字列が連接していないと、正当性のない単語、
(3) 単語が接尾辞、連濁で、且つ、該単語の前にカタカナ文字列が連接していないと、正当性のない単語、
(4) 上記(1)(2)(3) のいずれにも該当しないと、正当性の有無を判定できない単語、であるとする。
▲３▼単語の性質によるルール
このルールでは、単語毎にその性質を、複合語を形成する可能性の多い単語、複合語を形成する可能性の少ない単語、どちらでもない単語（以下、有用な性質を持たない単語、と言う。）、のいずれかに設定しておき、
(1) 単語の性質が複合語を形成する可能性の多い単語であれば、正当性のある単語、
(2) 単語の性質が複合語を形成する可能性の少ない単語であれば、正当性のない単語、
(3) 単語の性質が有用な性質を持たない単語であれば、正当性の有無を判定できない単語、であるとする。
なお、この単語毎に性質を種類分けはする方法としては、複数の文献等から、単語毎に形成された複合語の数、一致する文字列を含む独立した単語（複合語でない単語）の数等の統計を取り、この統計に基づいて単語の性質を設定すればよい。また、人手による作業でこの統計を取ってもよいし、自動的に統計を取って単語の性質を設定するようにしてもよい。自動的にこの統計を取って単語の性質を設定する処理については後述する。
【００３４】
図５は、ｎ２５における登録単語の正当性検証処理のフローチャートである。この処理は、最初に文字列長によるルールから単語の正当性を検証する。正当性を検証する登録単語の文字列長が、４文字以上、２または３文字、１文字、のいずれであるかを判定する（ｎ４１、ｎ４２）。ここで、文字列長が４文字以上であればｎ４８において正当性のある単語と判定する。文字列長が１文字であればｎ４９において正当性のない単語と判定する。文字列長が２または３文字であれば、単語の文字列長によるルールからは、該単語の正当性を検証できないとして、単語の品詞による正当性の検証を行う。
【００３５】
ここでは、
▲１▼単語の品詞が感動詞、副詞、サ行変格活用以外の動詞、であるか、
▲２▼単語の品詞が接頭辞で且つ後ろにカタカナ文字列が続いていないか、
▲３▼単語の品詞が接尾辞または連濁で且つ前にカタカナ文字列が続いていないか、
を判定し（ｎ４３〜ｎ４５）、この▲１▼〜▲３▼のいずれかに該当する単語であれば、ｎ４９で正当性のない単語と判定する。また、この▲１▼〜▲３▼のいずれにも該当しない単語であれば、この単語の品詞によるルールからは該単語の正当性が検証できないとして、以下の単語の性質による正当性の検証を行う。
【００３６】
上記したように、単語毎に、複合語を形成する可能性の多い単語、複合語を形成する可能性の少ない単語、有用な性質を持たない単語、のいずれかの性質が設定されている。検証する単語の性質が上記したいずれに設定されているかを判定し（ｎ４６、ｎ４７）、複合語を形成する可能性の多い単語であればｎ４８で正当性のある単語と判定する。また、複合語を形成する可能性の少ない単語であればｎ４９で正当性のない単語と判定する。また、有用な性質を持たない単語であれば正当性を検証できない単語と判定する（ｎ５０）。以上のように、この処理では登録単語が正当性のある単語、正当性のない単語、または、正当性の検証できない単語のいずれかに判定される。なお、上記した実施の形態では、単語の文字列長によるルール、単語の品詞によるルール、単語の性質によるルール、の３つで単語の正当性を検証しているが、上記した任意のルール１つまたは２つを組み合わせて単語の正当性を検証するようにしてもよい。
【００３７】
単語候補検出部５は，登録単語の正当性検証処理で、正当性があると判定された単語を単語候補の構成要素としては検出しない（ｎ２６→ｎ３０）。また、正当性がないと判定された単語であれば、前にカタカナ文字列の単語が連接していると、この単語とをつないだ文字列からなる単語を単語候補の構成要素として検出する（ｎ２９）。また、後ろにカタカナ文字列の単語が連接しているとこの単語とつないだ文字列からなる単語を単語候補の構成要素として検出する（ｎ２９）。正当性が検証されなかった単語であれば、その単語を単語候補の構成要素として検出する（ｎ２８）。
【００３８】
例えば、図６（Ａ）に示すように、「ファイナンシャルシステム」と言う文字列に対して、形態素解析によって「ファイ」「システム」が登録語、「ナンシャル」が未登録語とする結果であれば、未登録語である「ナンシャル」の文字列長は１文字ではないので、単語候補の構成要素として検出される。登録単語である「ファイ」は文字列長、単語の品詞、および、その性質からも正当性が検証されない単語であるので、単語候補の構成要素として検出される（「ファイ」は有用な性質を持たない単語であるとする。）。また、登録単語である「システム」は文字列長が４文字であるので、文字列長によるルールによって正当性がある単語と判定され、単語候補の構成要素として検出されない。したがって、この例では、「ファイ」と「ナンシャル」の２つが単語候補の構成要素として検出される。また、図６（Ｂ）に示すように、「インフレーター」と言う文字列に対して、形態素解析の結果が「イン」「フレー」を登録語、「ター」を未登録語とするものであれば、未登録語である「ター」の文字列長は１文字ではないので単語候補の構成要素として検出される。「イン」は文字列長、単語の品詞、および、その性質からも正当性が検証されない単語であるので、単語候補の構成要素として検出される（「イン」は有用な性質を持たない単語であるとする。）。また、感動詞「フレー」は単語の品詞によるルールによって正当性のない単語と判定されるので、前に隣合う単語「イン」とつなげた「インフレー」と後ろに隣合う単語「ター」とつなげた「フレーター」が単語候補の構成要素として検出される。したがって、この例では、「イン」「インフレー」「フレーター」「ター」の４つが単語候補の構成要素として検出される。
また、図６（Ｃ）に示すように、「イリオモテ」と言う文字列に対して、形態素解析の結果が「イ」が未登録語、「リオ」「モテ」が登録語とするものであれば、未登録語である「イ」の文字列長は１文字であるので、その後ろに隣合う単語「リオ」とつながる。また、下一段動詞である「モテ」は単語の品詞によるルールによって正当性のない単語と判定され、前に隣合う単語「リオ」とつながる。ここで、「リオ」にはすでに「イ」が接続されているので、「イリオモテ」が単語候補の構成要素として検出される。
さらに、図６（Ｄ）に示すように、「インタラプタ」言う文字列に対して、形態素解析の結果が「イン」「タラ」が登録語「プタ」が未登録語とするものであれば、未登録語である「プタ」の文字列長は１文字ではないの単語候補の構成要素として検出される。「イン」「タラ」は文字列長、単語の品詞、および、その性質からも正当性が検証されない単語であるので、その単語が単語候補の構成要素として検出される（「イン」「タラ」は有用な性質を持たない単語であるとする。）。したがって、この例では、「イン」「タラ」「プタ」の３つが単語候補の構成要素として検出される。
【００３９】
このようにして検出された単語候補の構成要素および単語候補の構成要素で連接するものの組み合わせを、単語候補として作成する（ｎ３１）。例えば、図６（Ａ）に示す例では、「ファイ」「ナンシャル」「ファイナンシャル」の３つが単語候補として作成される。また、図６（Ｂ）に示す例では、「イン」「インフレー」「フレーター」「ター」「インフレータ」が単語候補として作成される。図６（Ｃ）に示す例では、「イリオモテ」が単語候補として作成される。図６（Ｄ）に示す例では「イン」「タラ」「プタ」「インタラ」「タラプタ」「インタラプタ」が単語候補として作成される。なお、連接していない単語「イン」と「プタ」をつないだ「インプタ」という単語候補は作成されない。そして、ｎ３１で作成された単語候補で且つ辞書ファイル４に登録されていない文字列の単語候補を、辞書ファイル４に仮登録する（ｎ３２）。仮登録された単語候補の品詞は「候補」に設定される。また、単語候補の仮登録においては、この単語候補が切り出された元の文字列の単語（ｎ２１で登録された単語）を登録した辞書ファイル４内の位置を示すデータ（ポインタ）も同時に登録する。図７に単語候補が登録された辞書ファイル４の例を示す。図６（Ａ）に示す例では、「ファイ」はすでに辞書に登録されているので「ナンシャル」「ファイナンシャル」の２つが単語候補として登録され、品詞は候補に設定されている。また、これらの単語候補は切り出された元の文字列の単語「ファイナンシャルシステム」が登録されている辞書ファイル４内の位置を示すデータ（ポインタ８）が付加されて辞書ファイル４に登録される。
【００４０】
以下、ｎ２１で登録した単語の品詞を名詞とした理由について簡単に説明する。カタカナの未登録語の発生源は大きく分けて以下に示す▲１▼〜▲３▼の３つであると考えられる。
▲１▼外来語の動詞、形容詞、名詞がカタカナ表記された日本語となる場合（図８（Ａ）参照）
外来語の動詞は日本語のサ行変格活用の動詞の語幹となり、サ行変格活用の動詞の語幹は名詞として使われている。また、外来語の形容詞は日本語の形容動詞になる。さらに、外来語としても形容詞と名詞の両方の性質をもつものがカタカナ表記されることが多い。これらの理由から、この発生源から発生するカタカナ未登録語が名詞である確率が非常に高いといえる。
▲２▼日本語で難しい漢字や強調したい単語などがカタカナ表記された場合（図８（Ｂ）参照）
この発生源から発生するカタカナ未登録語は上記したようにサ行変格活用の動詞、形容動詞、名詞に加えて文法的に「名詞」と同様に扱われる固有名詞がほとんどであるといえる。したがって、この発生源から発生するカタカナ未登録語も名詞である確率が非常に高いといえる。
▲３▼外来語の擬音語や擬態語を転用、外来語の短縮、または、和声カタカナ語から発生する場合（図８（Ｃ）参照）
この場合には、その品詞がいろいろあって、どの品詞が多いということは一概に言うことはできないが、統計的に言って、このような発生源から発生するカタカナ未登録語の出現の頻度は非常に少ない。
以上の▲１▼〜▲３▼の理由から、カタカナ未登録語の品詞を名詞とすることが最適である考えられるからである。
【００４１】
ｎ７では、形態素解析の結果から複数のカタカナ文字列の登録単語が連接している箇所があるかどうかを判定する。ここで、複数のカタカナ文字列の登録単語が連接している箇所があれば、ｎ８で第２の単語候補検出、登録処理が実行される。図９は、第２の単語候補検出、登録処理の流れを示すフローチャートである。形態素解析結果において、複数のカタカナ文字列の登録単語が連接する例としては「カリマンタン」「カードシステム」等の文字列がある。「カリマンタン」という文字列の形態素解析結果を図１０（Ａ）に示し、「カードシステム」という文字列に対する形態素解析結果を図１０（Ｂ）に示す。「カリマンタン」と言う文字列は、形態素解析で「カリ」「マン」「タン」という３つの登録単語が連接する文字列であると判定される。「カードシステム」と言う文字列は形態素解析で「カード」「システム」という２つの登録単語が連接する文字列であると判定される。
【００４２】
登録単語検証部９が各登録単語に対して、単語の正当性を検証する（ｎ５１、ｎ５２）。この単語の正当性は上記した図５に示した処理で検証される。そして、正当性のない単語が検出されているか（ｎ５３）、または、正当性の検証できない単語が連接して検出されているかを判定する（ｎ５４）。ここで、正当性のない単語が検出されておらず、且つ、正当性の検証できない単語が連接していなければ、未登録単語が含まれている可能性が無いとして処理を完了する。正当性のない単語が検出されている場合、または、正当性を検証できない単語が連接して検出されている場合には、以下の処理が行われる。
【００４３】
このカタカナ文字列全体を１つの単語とし、品詞を名詞として辞書ファイル４に登録する（ｎ５５）。正当性の検証できない単語を、単語候補の構成要素として検出する（ｎ５６）。また、正当性がないと判定された単語は、前にカタカナ文字列の登録単語が連接しているとこの登録単語とつないだ文字列からなる単語を単語候補の構成要素として検出し、また、後ろにカタカナ文字列の登録単語が連接しているとこの登録単語をつないだ文字列からなる単語を単語候補の構成要素として検出する（ｎ５７）。そして、検出された単語候補の構成要素を組み合わせて単語候補を作成し（ｎ５８）、作成された単語候補で且つ辞書ファイル４に登録されていない文字列の単語候補を、辞書ファイル４に仮登録する（ｎ５９）。仮登録された単語候補の品詞は候補に設定される。また、この単語候補が切り出された元の文字列の単語（ｎ５５で登録された単語）が登録されている辞書ファイル４内の位置も記憶される。
【００４４】
例えば、「カリマンタン」という文字列を形態素解析した結果の「カリ」「マン」「タン」の３つの登録単語が全て正当性の検証できない単語であったとする。この場合、ｎ５５で「カリマンタン」の品詞を名詞として辞書ファイル４に登録する。また、「カリ」「マン」「タン」が単語候補の構成要素として検出され、「カリマン」「マンタン」が単語候補として仮登録される。なお、連接していない単語「カリ」「タン」をつないだ「カリタン」という単語は単語候補として作成されない。
また、「カードシステム」という文字列の形態素解析の結果である「システム」は上記した文字列によるルールから正当性のある単語と判定される。したがって、正当性のない単語が検出されておらず、且つ、正当性の検証できない単語も連接しないので、未登録単語が含んでいる可能性が無いと判定され、ｎ５５以降処理が行われない。
【００４５】
すなわち、この実施の形態では、形態素解析の結果に正当性のない単語が含まれている場合、または、正当性が検証できない単語が連接している場合に、カタカナ文字列中に未登録語含まれている可能性があると判断し、その他の場合であればカタカナ文字列中に未登録語含まれている可能性がないと判断している。そして、カタカナ文字列中に未登録語含まれている可能性があると判断した場合には、単語候補を作成し、これを辞書ファイル４に仮登録している。
【００４６】
なお、この第２の単語候補検出、登録処理における単語の正当性の検証において、上記したルールでは厳しすぎて、正当性のある単語を正当性のない単語であると判定してしまうケースも想定される。このような場合には、辞書ファイル４に登録されている複数の単語からなる複合語が、未登録単語として登録されてしまうという問題が生じる恐れもある。このため、この第２の単語候補検出、登録処理における、上記した単語の正当性を検証する単語の文字列長によるルールを以下のように変更してもよい。
【００４７】
(1) 文字列長が３文字以上の単語であれば正当性のある単語、
(2) 文字列長が２文字の単語であれば正当性の有無を判定できない単語、
(3) １文字であれば正当性がない単語、であるとする。
このように、変更することで辞書ファイル４に複数の登録単語からなる複合語が登録される可能性を減少させることができる。
【００４８】
ｎ９では、形態素解析された結果に辞書ファイル４に仮登録されている単語候補が含まれているか（単語候補が再出現したか）どうかを判定している。ここで、単語候補が再出現したと判定すると、ｎ１０の単語候補の正当性検証処理が実行される。図１１は、単語候補の正当性検証処理を示すフローチャートである。最初に、再出現した単語候補に連接するがカタカナ文字列全体が、該単語候補を辞書ファイル４に仮登録したときに切り出した文字列と一致しているかどうかを判定する（ｎ６１）。すなわち、「ファイナンシャルシステム」という文字列から切り出された「ファイナンシャル」という単語が辞書ファイル４に仮登録されている場合、再度同じ文字列から「ファイナンシャル」という単語候補が切り出されたのかどうかを判定する。ｎ６１で、単語候補が切り出された文字列と同一であると判定すると、単語候補の正当性を正確に検証ができないとして処理を完了する。
【００４９】
ｎ６１で文字列が同一でないと判定すると、この文字列の形態素解析された結果に単語候補が２つ以上含まれているかどうかを判定する（ｎ６２）。ｎ６２で単語候補が２つ以上含まれている場合には、単語候補の正当性の検証ができないと判定して処理を完了する。一方、このカタカナ文字列中に単語候補が１つしか含まれていない場合には、各登録単語に対して上記した図５に示す正当性の検証処理を行う（ｎ６３、ｎ６４）。そして、全ての登録単語が正当性のある単語として判定されなければ（ｎ６５）、単語候補の正当性が検証できないとして処理を完了する。全ての登録単語の正当性が検証されれば、該単語候補は正当性があると判定して、辞書ファイル４に該単語候補を正式に登録する（ｎ６６）。単語候補を辞書ファイル４に正式に登録する処理は、その品詞を候補から名詞に変更する処理である。単語候補正式登録部１０がこの仮登録されている単語候補を正式に登録する処理を行う。
【００５０】
例えば、「ファイナンシャルシステム」という文字列が検出されて、辞書ファイル４に「ファイナンシャル」「ナンシャル」が単語候補として仮登録されている。ここで、「ファイナンシャルアドバイザ」という文字列の形態素解析の結果は図１２（Ａ）に示すようになる。なお、「ファイナンシャルアドバイザ」という文字列の形態素解析の結果が、図１２（Ｂ）に示すようになると考えることもできるが、形態素解析の一般的な手法である最長一致法（最も長い単語を優先する。）や、文節数最小法（分割する単語数を最小にする。）を用いることでこのような結果となることはない。そして、「アドバイザ」は文字列長から正当性のある単語と判定される。これにより、「ファイナンシャル」という文字列も正当性がある単語候補と判定され、辞書ファイル４における「ファイナンシャル」の品詞が候補から名詞に変更される。これによって、「ファイナンシャル」が辞書ファイル４に正式に登録されたことになる。
【００５１】
ｎ１で記憶した一連のテキストデータ全体に対して上記した処理が完了すると、辞書ファイル４に仮登録されている不要な単語を削除する処理を実行する。図１４は、不要な単語を削除する不要単語削除処理の流れを示すフローチャートである。辞書ファイル４に登録されている単語で、その品詞が候補である単語を全て検出して削除する（ｎ７１〜ｎ７３）。これによって、単語候補として仮登録されたがその後に同じ文字列が出現しなかったものや、正当性が検証されなかった単語候補は全て削除される。例えば、図１３に示した辞書ファイル４であれば「ナンシャル」「インフレー」「フレーター」・・・等が削除される（図１５（Ａ）参照）。そして、もとの文字列の位置を示すポインタを記憶している単語があれば、このポインタで指定される位置に登録されている単語を削除するとともに、このポインタも同時に削除する（ｎ７４〜ｎ７７）。これによって、上記した処理で正当性が検証され、正式な単語として辞書ファイル４に登録された単語を切り出したカタカナ文字列の単語が削除される。なお、このカタカナ文字列は複合語であり、辞書ファイル４に登録されていなくても問題はない。例えば、図１５（Ａ）に示した辞書ファイル４では「ファイナンシャルシステム」が削除される（図１５（Ｂ）参照）が、「ファイナンシャル」と「システム」は単語として登録されているので、「ファイナンシャルシステム」が削除されたことで問題が生じることはない。
【００５２】
以上、説明したように、本願発明では未登録単語と登録単語とが連接して形成されたカタカナ文字列の複合語から、未登録単語を正確に検出して辞書ファイル４に登録することができる。
また、未登録単語の文字列と、複数の登録単語が連接して形成されたカタカナ文字列とが一致する場合であっても、未登録単語を正確に検出して辞書ファイル４に登録することができる。
さらに、誤って登録された単語は、最終的に削除されるので、辞書ファイル４に不要な単語が登録されることもない。
【００５３】
次に、自動的に統計を取って、単語毎にその性質を、複合語を形成することが多い単語、複合語を形成することが少ない単語、有用な性質を持たない単語、のいずれかに設定する処理を説明する。図１６は、この単語の性質判定処理を示すフローチャートである。ここでは、図１７に示すように辞書ファイル４は、単語毎にその性質を記憶するエリアを有している。図中において、複合語を形成することが多い単語の性質は１であり、複合語を形成することが少ない単語の性質は２であり、有用な性質を持たない単語の性質は３である。また、統計を取るデータとして複合語および単語（辞書ファイル４に登録されていない未登録単語を含む）を登録した統計データを用意する（図１８参照）。なお、複合語には単語間に・を単語の区切りを示す記号として入れられている。
【００５４】
ｎ８１で、統計を取る単語（以下、対象単語と言う。）が選択入力されると、その単語が部分文字列として含まれている全ての単語を検出する（ｎ８２）。例えば、対象単語が「イズム」であれば、図１７に示す辞書ファイル４からは「イズム」「エゴイズム」「ダダイズム」「ヒロイズム」「ヘブライズム」が検出され、対象単語が「マネー」であれば「マネー」「マネージ」「マネージメント」「マネージャ」「マネージャー」が検出される。そして、統計データから１つずつ単語を抽出して（ｎ８３）、以下に示す判定を行う。なお、複合語からは・で区切られた単語毎に抽出する。例えば、統計データに複合語である「イズム・グループ」が入っていれば、「イズム」「グループ」の２つの単語として抽出する。
【００５５】
ｎ８３で抽出した単語に対象単語が部分文字列として含まれているかどうかを判定し（ｎ８４）、含まれていなければｎ８３に戻って次の単語を抽出する。一方、対象単語が部分文字列として含まれていれば、ｎ８３で抽出した単語と対象単語が完全に一致するか（文字列長がおなじかどうか）を判定し（ｎ８５）、文字列長が同じであれば、図示していないカウンタａを１カウントアップする（ｎ８６）。また、文字列長が同じでなければ、（ｎ８３で抽出した単語の文字列長が対象単語の文字列長よりも長ければ）、ｎ８３で抽出された単語と同じ単語がｎ８２で検出されているかどうか（辞書ファイル４に完全に一致する単語が登録されているかどうか）を判定する（ｎ８７）。ここで、辞書ファイル４に完全に一致する単語が登録されていると判定すれば、ｎ８３に戻って次の単語を抽出する。例えば、辞書ファイル４に「エゴイズム」が登録されており、ｎ８３で抽出された単語も「エゴイズム」である場合である。辞書ファイル４に完全に一致する単語が登録されていないと判定すれば、図示していないカウンタｂを１カウントアップする（ｎ８８）。ｎ８６、またはｎ８８の処理が完了すると、ｎ８３に戻って次の単語を抽出する。なお、カウンタａおよびカウンタｂは、ｎ８１で対象単語が選択されたときにカウント値が０に設定される。統計データの全ての単語を抽出して上記したｎ８３以降の処理を完了すると（ｎ８９）、以下に示す単語の性質を判定する処理を行い（ｎ９０）、この性質を対象単語の性質として辞書ファイル４に登録する（ｎ９１）。
【００５６】
図１７に示す辞書ファイル４と図１８に示す統計データを用い、「イズム」と「マネー」を対象単語としたときには、上記した処理でカウンタａ、および、カウンタｂの計数値は、以下のようになる。
「イズム」 ａ＝１、ｂ＝６
「マネー」 ａ＝５、ｂ＝０
単語の性質は、上記したように複合語を形成することが多い単語、複合語を形成することが少ない単語、有用な性質を持たない単語、の３つのいずれかに判定される。この実施の形態では、
ａ／（ａ＋ｂ）＞０．８ が成立すればその性質を複合語のなかで独立した単語となりやすいとし、
ｂ／（ａ＋ｂ）＞０．８ が成立すればその性質を複合語のなかで独立した単語となりにくいとし、
それ以外は、有用な性質をもたない単語であると判定する。
【００５７】
ｎ９０では、上記した処理で得られたカウンタａ、および、カウンタｂの計数値を用いて、上記の演算を行い、単語の性質を判定する。そして、ｎ９１でこの性質を対象単語の性質として辞書ファイル４に登録し、処理を完了する。
【００５８】
以上のように、本実施の形態では単語の性質を統計に基づいて設定するようにしているので、客観的に単語の性質を設定することができる。
【００５９】
【発明の効果】
以上のように、この発明によれば、連接するカタカナ文字列に未登録単語含まれるときに、正確に未登録単語を形成する文字列の範囲を特定して、未登録単語を検出し、この検出した未登録単語を登録することができる。また、誤って検出され、辞書ファイルに登録された単語は最終的に削除されるので、辞書ファイルの容量が不要に大きくなることもない。
【図面の簡単な説明】
【図１】この発明の実施の形態である日本語文解析装置の機能を示すブロック図である。
【図２】この実施の形態の日本語文解析装置の処理を示すフローチャートである。
【図３】形態素解析の概念を示す図である。
【図４】第１の単語候補検出、登録処理の流れを示すフローチャートである。
【図５】登録単語の正当性検証処理のフローチャートである。
【図６】検出される単語候補の構成要素および作成される単語候補の例を示す図である。
【図７】単語候補が登録された辞書ファイルを示す図である。
【図８】カタカナ未登録語の発生源を説明する図である。
【図９】第２の単語候補検出、登録処理の流れを示すフローチャートである。
【図１０】検出される単語候補の構成要素および作成される単語候補の例を示す図である。
【図１１】単語候補の正当性検証処理を示すフローチャートである。
【図１２】単語候補が含まれる文字列の形態素解析結果を示す図である。
【図１３】仮登録されていた単語候補が正式に登録されたときの辞書ファイルを示す図である。
【図１４】不要な単語を削除する不要単語削除処理の流れを示すフローチャートである。
【図１５】不要な単語が削除されたときの辞書ファイルを示す図である。
【図１６】単語性質判定処理を示すフローチャートである
【図１７】単語の性質を記憶する辞書ファイルを示す図である。
【図１８】統計データを示す図である。
【符号の説明】
１−日本語文解析装置
２−テキストデータ記憶部
３−形態素解析部
４−辞書ファイル
５−単語候補検出部
６−単語候補登録部
７−単語候補検証部
８−単語候補削除部
９−登録単語検証部
１０−単語候補正式登録部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a Japanese sentence analysis apparatus and a Japanese sentence analysis method for detecting words not included in a dictionary included in an inputted Japanese sentence, particularly words written in katakana, and registering the detected words.
[0002]
[Prior art]
In the pre-processing of machine translation, processing called morphological analysis is performed. To put it simply, the morphological analysis is a process of cutting a sentence or a word using a dictionary for an inputted Japanese sentence. The problem here is that morphological analysis cannot be performed accurately if there is a word (hereinafter referred to as an unregistered word) that is not in the dictionary in the input Japanese sentence. Therefore, machine translation also fails. Therefore, in order to warn in advance that a translation is likely to fail in the machine translation preprocessing, it is necessary to accurately detect unregistered words.
[0003]
Unregistered words are often new words used as keywords in documents. For this reason, in a technique such as automatic keyword creation (index creation) for document search, it is necessary to register an unregistered word as a keyword. That is, in order to register an unregistered word that is not in the dictionary as a keyword in automatic keyword creation for document search, the unregistered word must be accurately detected.
[0004]
Conventionally, the unregistered word detection process is based on the fact that the unregistered word is mostly a katakana character string. It was something to detect as.
For example, if “IN” and “TARA” are registered words registered in the dictionary for the character string “INTERRUPTERS” and “DATA” is an unregistered word, “INTERRUPTERS” is set as an unregistered word. Detecting method (see IPSJ 36th (1988) National Convention Preprints, pp. 1231-1232, "Pre-editing System for Japanese-to-English Machine Translation (2) -Method for Detecting Morphological Ambiguity-") and ,
Ignore information such as “New”, “News”, “Hotel”, etc., that is drawn for the character string “New Station Hotel”, and use the word “New Station Hotel” as an unknown word (in this application). Method of Detecting as Unregistered Words (Information Processing Society of Japan 47th (Second 1993) National Convention Preprints, pp. 3-159 to 3-160, "Unknown in Japanese Morphological Analysis Introducing Selective Dictionary Lookup Mechanism" Word Estimation Mechanism ”).
[0005]
[Problems to be solved by the invention]
However, the above-described method for extracting unregistered words has a problem that if a katakana character string is a compound word composed of a plurality of words, this compound word is detected as an unregistered word. For example, if there is a word of the word “financial system” (“final” is an unregistered word and a word connected to “system” to form a compound word), the registered words “phi” and “ Information such as “system” or the like that is looked up in the dictionary is ignored (“Phi” and “system” are words registered in the dictionary file), and the entire “financial system” is detected as an unregistered word. In addition, compounds such as “financial banking”, “financial center”, “financial advisor”, and “financial planner” that include the unregistered word “financial” are also detected as other unregistered words (“banking”, "Center,""advisor,""planner," etc. are words registered in the dictionary.) For this reason, the amount of processing in the pre-processing of machine translation increases, and redundant keywords (compound words) are created as document search keywords.
[0006]
Here, a method of detecting only a portion that does not match a registered word as an unregistered word is also conceivable, but in this method, if a part of the unregistered word to be detected matches the registered word, this matched portion Is detected, an unregistered word of an inappropriate character string is detected. For the character string “Financial System” in the above example, a character string that is not legitimate as an unregistered word as the word “Nancial”, excluding the portion that matches the registered words “Fi” and “System” It will be detected. Furthermore, when the character string of the unregistered word happens to coincide with a character string obtained by connecting a plurality of words, there is a problem that the unregistered word is not detected. For example, if there are three registered words “Kali”, “Man”, and “Tan” for the unregistered word in the character string “Kalimantan”, the unregistered word is not detected.
[0007]
An object of the present invention is to detect only a character string that accurately forms an unregistered word from a katakana character string including an unregistered word, and to register the detected unregistered word and Japanese sentence analyzer It is to provide an analysis method.
[0008]
Another object of the present invention is to provide a Japanese sentence analysis device and a Japanese sentence analysis method capable of detecting the validity of a detected unregistered word and canceling an unregistered word that has been erroneously detected and registered. And
[0009]
[Means for Solving the Problems]
A Japanese sentence analysis apparatus according to the present invention includes a dictionary file in which a character string of a word and data indicating the attribute of the word are registered, and a morpheme analysis for dividing a character string input by using the dictionary file into words. Means,
When concatenated katakana character strings in the input character string are divided into a plurality of words by the morphological analysis, a character string length of one character is included in the divided words. Unregistered If a word is included, Unregistered Words and the Unregistered Unregistered word detecting means for detecting a character string connecting a word adjacent before or after the word as an unregistered word,
Unregistered word registration means for temporarily registering the detected unregistered word in the dictionary file;
A word of a character string that is detected by the unregistered word detection means and matches an unregistered word temporarily registered in the dictionary file is obtained by the morphological analysis. Split concatenated katakana strings Multiple words Included in Rare Have And verifying whether or not the unregistered word is valid as a word based on the verification result of verifying the validity of a word other than the matching character string, and
The unregistered word registering means formally registers, in the dictionary file, a temporarily registered unregistered word verified by the validity verifying means to be valid.
[0010]
In this configuration, the morphological analysis unit performs a morphological analysis that divides a character string input using a dictionary file into words. As a result of the morphological analysis, when the concatenated katakana character string is divided into a plurality of words, the character string length is one character in the divided words. Unregistered If a word is included, the unregistered word detection means Unregistered Words and the Unregistered A character string that connects an adjacent word before or after the word is detected as an unregistered word. Then, the unregistered word registering means temporarily registers the detected unregistered word in the dictionary file. In addition, the validity verification unit performs the morphological analysis Multiple words divided from concatenated katakana strings Is detected by the unregistered word detection means and includes a word of a character string that matches the registered unregistered word, based on the verification result of verifying the validity of the word other than the matching character string, It is verified whether the unregistered word is valid as a word. Then, the unregistered word registering means formally registers the unregistered words temporarily registered in the dictionary file verified to be valid as words.
[0022]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a block diagram showing functions of a Japanese sentence analyzing apparatus according to an embodiment of the present invention. The Japanese
The text
The morphological analysis unit 3 performs a morphological analysis on the text data stored in the text
The
The word
The word
The word
The word
The registered
The word candidate
[0023]
FIG. 2 is a flowchart showing the processing of the Japanese group analysis device according to the embodiment of the present invention. Here, a series of processes of the Japanese
[0024]
If a word in the katakana character string is included, the word
[0025]
In addition, the word
[0026]
Then, it is determined at n11 whether or not unprocessed text data remains, and if the unprocessed text data remains, the above-described processes n2 to n10 are repeated. If there is no unprocessed text data, all unnecessary word candidates temporarily registered in the dictionary file 4 (such as word candidates whose validity has not been verified) are deleted and the processing is completed (n12).
[0027]
Hereinafter, the above processing will be described in detail.
In n1, the text
[0028]
At n2 and n3, the morpheme analysis unit 3 takes out from the series of text data stored in the text
For example, it is assumed that the text data to be subjected to morphological analysis includes a katakana character string “financial system”. In the
[0029]
In n4, it is determined whether or not the word of the katakana character string is included in the morphological analysis result output by the morphological analysis unit 3. Here, when the word of the katakana character string is not included in the morphological analysis result, the process of n5 to n10 is not performed, and the presence or absence of unprocessed text data is determined in n11. On the other hand, if the morphological analysis result includes the words of the katakana character string, the processing of n5 to n10 is performed.
[0030]
In n5, the word
[0031]
If the word
[0032]
Here, the first word candidate detection and registration processing will be described in detail with reference to FIG. FIG. 4 is a flowchart showing the flow of the first word candidate detection and registration process. The entire katakana character string connected to the unregistered word of the katakana character string is set as one word, and the part of speech is registered as a noun in the dictionary file 4 (n21). In the example described above, “financial system” is registered in the
[0033]
In the morphological analysis, the validity verification process of the registered word that is the target of the validity of the registered word (word registered in the dictionary file 4) detected from the entire katakana character string including the unregistered word is performed ( n25). Here, it is assumed that if the registered word to be verified is a word that can form a compound word, there is legitimacy, and if the registered word is a word that cannot form a compound word, there is no legitimacy. In the above-described example of the character string “financial system”, two registered words of “phi” and “system” are subject to verification of validity. The registered
(1) Rule based on word string length
According to this rule, the possibility that a character string that matches a registered word is included in a character string of a word that is not a compound word decreases in this embodiment because the character string length of the registered word decreases. ,
(1) If the character string length is a word of 4 characters or more, a valid word,
(2) A word whose character string length is 2 or 3 characters whose validity cannot be determined,
(3) It is assumed that a single character is a word having no validity.
(2) Rules based on part of speech of words
This rule verifies the validity based on the function of the part of speech shown below.
The impression verb is not a constituent word of a compound word because it has no property of modifying other words or being modified by other words.
Adverbs are not constituent words of a compound word because they do not have the property of modifying other words or being modified by other words.
Verbs other than the inflection of the line are not compound words.
The prefix never comes at the end of a compound word.
The suffix does not come at the beginning of a compound word.
Rendaku does not precede compound words.
For the above reasons, in this embodiment,
(1) If the word is one of a verb, a verb other than a verb, adverb, or saber modification,
(2) If a word is a prefix and no katakana character string is concatenated after the word, an invalid word,
(3) If a word is suffixed or connected, and a katakana character string is not connected in front of the word, an invalid word,
(4) It is assumed that the word cannot be judged whether it is valid or not unless it falls under any of the above (1), (2), and (3).
(3) Rules based on the nature of words
In this rule, the nature of each word is defined as a word that is likely to form a compound word, a word that is less likely to form a compound word, or a word that is neither (hereinafter, a word that does not have a useful property). )),
(1) If the nature of the word is a word that is likely to form a compound word,
(2) If the nature of the word is a word that is unlikely to form a compound word, an invalid word,
(3) If a word does not have a useful property, it is assumed that the word cannot be determined for validity.
In addition, as a method of classifying the characteristics for each word, the number of compound words formed for each word, the number of independent words (words that are not compound words) including matching character strings from a plurality of documents, etc. And the like, and the nature of the word may be set based on the statistics. Further, the statistics may be collected manually, or the characteristics of the words may be set automatically. The process of automatically collecting the statistics and setting the nature of the word will be described later.
[0034]
FIG. 5 is a flowchart of the validity verification process of the registered word in n25. In this process, first, the validity of a word is verified from a rule based on a character string length. It is determined whether the character string length of the registered word for verifying the validity is 4 characters or more, 2 or 3 characters, 1 character (n41, n42). Here, if the character string length is four characters or more, it is determined that the word is valid at n48. If the character string length is one character, it is determined as an invalid word in n49. If the character string length is two or three characters, it is determined that the validity of the word cannot be verified from the rule based on the character string length of the word, and the validity of the word is verified based on the part of speech.
[0035]
here,
(1) Whether the part of speech of a word is an inflection verb, an adverb, or a verb other than the inflection
(2) Check if the part of speech of the word is a prefix and no katakana character string follows
(3) Whether the part of speech of the word is a suffix or rendaku and is not preceded by a katakana character string,
(N43 to n45), and if it is a word corresponding to any of the above (1) to (3), it is determined that the word is not valid in n49. If the word does not correspond to any of (1) to (3), the validity of the word cannot be verified from the rule based on the part of speech of the word. Do.
[0036]
As described above, for each word, any one of a word that is likely to form a compound word, a word that is unlikely to form a compound word, and a word that does not have a useful property is set. It is determined to which of the above-mentioned characteristics of the word to be verified is set (n46, n47), and if it is a word that is likely to form a compound word, it is determined as a valid word at n48. If the word is unlikely to form a compound word, the word is judged to be invalid in n49. If the word does not have a useful property, it is determined that the validity cannot be verified (n50). As described above, in this process, the registered word is determined as a valid word, an invalid word, or a word whose validity cannot be verified. In the embodiment described above, the validity of a word is verified by three rules: a rule based on the character string length of the word, a rule based on the part of speech of the word, and a rule based on the nature of the word. One or a combination of the two may be used to verify the correctness of the word.
[0037]
The word
[0038]
For example, as shown in FIG. 6A, if a character string “financial system” is a result of morphological analysis that “fi” and “system” are registered words and “nancial” is an unregistered word. Since the character string length of the unregistered word "Nancial" is not one character, it is detected as a component of a word candidate. The registered word “Phi” is a word whose validity is not verified from the length of the character string, the part of speech of the word, and its nature, so it is detected as a constituent element of the word candidate (“Phi” has a useful property. It is assumed that the word does not have.). In addition, since the registered word “system” has a character string length of four characters, it is determined as a valid word by a rule based on the character string length, and is not detected as a component of a word candidate. Therefore, in this example, two of "phi" and "noncial" are detected as components of the word candidate. Also, as shown in FIG. 6B, for the character string “inflator”, the result of the morphological analysis is that “in” and “frame” are registered words and “tar” is an unregistered word. For example, since the character string length of the unregistered word "tar" is not one character, it is detected as a component of a word candidate. “In” is a word whose validity is not verified based on the length of the character string, the part of speech of the word, and its nature, so it is detected as a constituent element of the word candidate (“In” is a word having no useful property) Suppose there is.) In addition, the inflection word "Fray" is determined to be invalid according to the rules of word part-of-speech, so it is connected to the adjacent word "In" and the subsequent word "Inflation" and the subsequent word "Tar". “Flator” is detected as a constituent element of the word candidate. Therefore, in this example, four of “in”, “inflation”, “flater”, and “tar” are detected as components of word candidates.
In addition, as shown in FIG. 6C, for the character string “Iriomote”, the result of morphological analysis is that “I” is an unregistered word and “Rio” and “Mote” are registered words. For example, since the character string length of “i” which is an unregistered word is one character, it is connected to the word “Rio” which is adjacent to it. Further, the lower verb "Mote" is determined to be an invalid word by the rule of the part of speech of the word, and is connected to the preceding word "Rio". Here, since “I” is already connected to “Rio”, “Iriomote” is detected as a constituent element of the word candidate.
Furthermore, as shown in FIG. 6D, for a character string “interrupter”, if the result of morphological analysis is “in” “tara” and the registered word “puta” is an unregistered word, The character string length of the unregistered word “puta” is detected as a component of a word candidate that is not one character. “In” and “Tara” are words whose validity is not verified based on the character string length, the part of speech of the word, and the nature thereof, so that the word is detected as a constituent element of the word candidate (“In” “Tara”). Is a word that has no useful properties.) Therefore, in this example, three of “in”, “cod”, and “puta” are detected as components of word candidates.
[0039]
A combination of the word candidate components detected in this way and the word candidate components connected to each other is created as a word candidate (n31). For example, in the example shown in FIG. 6A, three words “Fi”, “Nancial”, and “Financial” are created as word candidates. In the example shown in FIG. 6B, “In”, “Inflation”, “Flator”, “Tur” and “Inflator” are created as word candidates. In the example shown in FIG. 6C, “Iriomote” is created as a word candidate. In the example shown in FIG. 6D, “IN”, “TARA”, “PUTTER”, “INTERLA”, “TARAPTA”, and “INTERRUPTTER” are created as word candidates. It should be noted that a word candidate "impta", which connects unconnected words "in" and "puta", is not created. Then, a word candidate of a character string which is a word candidate created in n31 and is not registered in the
[0040]
Hereinafter, the reason why the part of speech of the word registered in n21 is used as a noun will be briefly described. The sources of unregistered words in Katakana can be broadly divided into the following three (1) to (3).
(1) When verbs, adjectives and nouns of foreign words are in Japanese with katakana notation (see Fig. 8 (A))
Foreign verb verbs become the stems of Japanese verbs, and the verb stems are used as nouns. In addition, adjectives in foreign words become Japanese adjective verbs. Furthermore, even foreign words having both adjective and noun properties are often written in katakana. For these reasons, it can be said that the probability that a katakana unregistered word generated from this source is a noun is very high.
(2) When Japanese characters that are difficult to pronounce in Japanese or words to be emphasized are written in katakana (see Fig. 8 (B))
The katakana unregistered words generated from this source are mostly proper nouns that are treated grammatically in the same way as "nouns" in addition to the verbs, adjective verbs, and nouns that are used for sacra modification. Therefore, it can be said that katakana unregistered words generated from this source are also very likely to be nouns.
(3) When diverting an onomatopoeia or mimetic word of a foreign word, shortening the foreign word, or originating from a harmony katakana word (see FIG. 8C)
In this case, there are various parts of speech, and it cannot be generally said which parts of speech are many, but statistically speaking, the frequency of occurrence of unregistered words from katakana is such a frequency. Very little.
This is because, for the reasons (1) to (3) above, it is considered optimal to use the part of speech of an unregistered word as a noun.
[0041]
In n7, it is determined from the result of the morphological analysis whether or not there is a portion where registered words of a plurality of katakana character strings are connected. Here, if there is a location where the registered words of a plurality of katakana character strings are connected, the second word candidate detection and registration process is executed at n8. FIG. 9 is a flowchart showing the flow of the second word candidate detection and registration process. In the result of morphological analysis, examples of connecting registered words of a plurality of katakana character strings include character strings such as “Kalimantan” and “card system”. FIG. 10A shows the morphological analysis result of the character string “Kalimantan”, and FIG. 10B shows the morphological analysis result for the character string “card system”. The character string “Kalimantan” is determined by morphological analysis to be a character string in which three registered words “Kali”, “Man”, and “Tan” are connected. The character string “card system” is determined by morphological analysis to be a character string in which two registered words “card” and “system” are connected.
[0042]
The registered
[0043]
The entire katakana character string is set as one word, and the part of speech is registered as a noun in the dictionary file 4 (n55). A word whose validity cannot be verified is detected as a component of a word candidate (n56). In addition, a word that is determined to be invalid is detected as a word candidate component that includes a word string that is connected to the registered word of the katakana character string, and connected to the registered word. If the registered words of the katakana character string are contiguously connected, a word composed of the character string connecting the registered words is detected as a constituent element of the word candidate (n57). Then, word candidates are created by combining the components of the detected word candidates (n58), and the word candidates of the character strings that are not registered in the
[0044]
For example, it is assumed that all three registered words “Kali”, “Man”, and “Tan” as a result of morphological analysis of a character string “Kalimantan” are words whose validity cannot be verified. In this case, the part of speech of “Kalimantan” is registered in the
Further, “system”, which is the result of the morphological analysis of the character string “card system”, is determined to be a valid word from the rule based on the character string. Therefore, since a word having no validity is not detected and a word whose validity cannot be verified is not connected, it is determined that there is no possibility that an unregistered word is included, and the processing after n55 is not performed.
[0045]
In other words, in this embodiment, when the result of the morphological analysis includes an invalid word or when a word whose validity cannot be verified is connected, an unregistered word is included in the katakana character string. In other cases, it is determined that there is no possibility that an unregistered word is included in the katakana character string. When it is determined that there is a possibility that an unregistered word is included in the katakana character string, a word candidate is created and temporarily registered in the
[0046]
In addition, in the verification of the validity of the word in the second word candidate detection and registration process, it is assumed that the above-described rules are too strict and it is determined that a valid word is an invalid word. Is done. In such a case, there is a possibility that a compound word composed of a plurality of words registered in the
[0047]
(1) If the character string length is a word of 3 characters or more, a valid word,
(2) A word whose character string length cannot be determined as valid if it is a two-character word,
(3) It is assumed that a single character is a word having no validity.
In this way, the possibility that a compound word including a plurality of registered words is registered in the
[0048]
In n9, it is determined whether or not the result of the morphological analysis includes a word candidate temporarily registered in the dictionary file 4 (whether the word candidate has reappeared). Here, when it is determined that the word candidate has reappeared, the validity verification processing of the n10 word candidate is executed. FIG. 11 is a flowchart showing the word candidate validity verification processing. First, it is determined whether the entire katakana character string connected to the re-appearing word candidate matches the character string cut out when the word candidate is temporarily registered in the dictionary file 4 (n61). That is, when the word “financial” extracted from the character string “financial system” is provisionally registered in the
[0049]
If it is determined at n61 that the character strings are not identical, it is determined whether or not two or more word candidates are included in the result of the morphological analysis of the character string (n62). If two or more word candidates are included in n62, it is determined that the validity of the word candidates cannot be verified, and the process is completed. On the other hand, when only one word candidate is included in the katakana character string, the above-described validity verification process shown in FIG. 5 is performed on each registered word (n63, n64). If all the registered words are not determined as valid words (n65), the process is completed because the validity of the word candidates cannot be verified. If the validity of all registered words is verified, it is determined that the word candidate is valid, and the word candidate is formally registered in the dictionary file 4 (n66). The process of formally registering a word candidate in the
[0050]
For example, a character string “financial system” is detected, and “financial” and “nancial” are temporarily registered in the
[0051]
When the above-described processing is completed for the entire series of text data stored in n1, processing for deleting unnecessary words temporarily registered in the
[0052]
As described above, in the present invention, an unregistered word can be accurately detected and registered in the
Further, even when a character string of unregistered words and a katakana character string formed by concatenating a plurality of registered words match, unregistered words are accurately detected and registered in the
Furthermore, words registered incorrectly are finally deleted, so that unnecessary words are not registered in the
[0053]
Next, statistics are automatically taken and the nature of each word is changed to either a word that often forms a compound word, a word that rarely forms a compound word, or a word that does not have a useful property. The setting process will be described. FIG. 16 is a flowchart showing the word property determination processing. Here, as shown in FIG. 17, the
[0054]
In n81, when a word for statistics (hereinafter referred to as a target word) is selected and input, all words including the word as a partial character string are detected (n82). For example, if the target word is “ism”, “ism”, “egoism”, “dadaism”, “heroism”, and “hebrism” are detected from the
[0055]
It is determined whether or not the target word is included as a partial character string in the word extracted in n83 (n84). If not included, the process returns to n83 to extract the next word. On the other hand, if the target word is included as a partial character string, it is determined whether the word extracted in n83 completely matches the target word (whether the character string length is the same) (n85), and the character string length is the same. If so, the counter a (not shown) is incremented by 1 (n86). If the character string length is not the same (if the character string length of the word extracted in n83 is longer than the character string length of the target word), whether the same word as the word extracted in n83 is detected in n82 (N87) is determined (whether a word that completely matches the
[0056]
When the
"Ism" a = 1, b = 6
"Money" a = 5, b = 0
The nature of the word is determined to be one of three words: a word that often forms a compound word as described above, a word that rarely forms a compound word, and a word that does not have a useful property. In this embodiment,
If a / (a + b)> 0.8 holds, it is assumed that the property is likely to be an independent word in a compound word,
If b / (a + b)> 0.8 holds, the property is considered to be difficult to become an independent word in a compound word,
Otherwise, it is determined that the word has no useful property.
[0057]
In n90, the above calculation is performed using the count values of the counter a and the counter b obtained in the above processing, and the nature of the word is determined. Then, in n91, this property is registered in the
[0058]
As described above, according to the present embodiment, the word properties are set based on statistics, so that the word properties can be set objectively.
[0059]
【The invention's effect】
As described above, according to the present invention, when an unregistered word is included in a concatenated katakana character string, the range of the character string that accurately forms the unregistered word is specified, and the unregistered word is detected. The detected unregistered word can be registered. In addition, since the words detected in error and registered in the dictionary file are finally deleted, the capacity of the dictionary file does not increase unnecessarily.
[Brief description of the drawings]
FIG. 1 is a block diagram showing functions of a Japanese sentence analyzing apparatus according to an embodiment of the present invention.
FIG. 2 is a flowchart showing processing of the Japanese sentence analysis apparatus according to this embodiment.
FIG. 3 is a diagram showing the concept of morphological analysis.
FIG. 4 is a flowchart showing a flow of first word candidate detection and registration processing;
FIG. 5 is a flowchart of registered word validity verification processing;
FIG. 6 is a diagram illustrating components of detected word candidates and examples of generated word candidates.
FIG. 7 is a diagram showing a dictionary file in which word candidates are registered.
FIG. 8 is a diagram illustrating the source of katakana unregistered words.
FIG. 9 is a flowchart showing a flow of second word candidate detection and registration processing;
FIG. 10 is a diagram illustrating an example of components of a detected word candidate and a created word candidate.
FIG. 11 is a flowchart showing word candidate validity verification processing;
FIG. 12 is a diagram illustrating a morphological analysis result of a character string including word candidates.
FIG. 13 is a diagram illustrating a dictionary file when a temporarily registered word candidate is formally registered.
FIG. 14 is a flowchart showing a flow of an unnecessary word deletion process for deleting an unnecessary word.
FIG. 15 is a diagram showing a dictionary file when unnecessary words are deleted.
FIG. 16 is a flowchart showing a word property determination process.
FIG. 17 is a diagram showing a dictionary file that stores word properties.
FIG. 18 is a diagram showing statistical data.
[Explanation of symbols]
1- Japanese sentence analyzer
2-Text data storage
3-Morphological analysis unit
4- Dictionary file
5-word candidate detection unit
6-word candidate registration unit
7-word candidate verification unit
8--word candidate deletion unit
9-Registered word verification unit
10- word candidate official registration department
Claims (2)
前記辞書ファイルを用いて入力された文字列を単語に分割する形態素解析を行う形態素解析手段と、
前記入力された文字列中の連接するカタカナ文字列が前記形態素解析によって複数の単語に分割されたとき、この分割された単語内に文字列長が１文字の未登録単語が含まれていれば、該未登録単語と該未登録単語の前または後ろに隣合う単語とをつないだ文字列を未登録単語として検出する未登録単語検出手段と、
該検出された未登録単語を前記辞書ファイルに仮登録する未登録単語登録手段と、
前記未登録単語検出手段で検出され、前記辞書ファイルに仮登録されている未登録単語と一致する文字列の単語が前記形態素解析によって連接するカタカナ文字列を分割した複数の単語に含まれているとき、一致する文字列以外の単語の正当性を検証した検証結果に基づいて、該未登録単語が単語として正当なものであるかどうかを検証する正当性検証手段と、を備え、
前記未登録単語登録手段は、前記正当性検証手段が正当であることを検証した仮登録されている未登録単語を前記辞書ファイルに正式に登録する日本語文解析装置。A dictionary file in which character strings of words and data indicating the attributes of the words are registered;
Morphological analysis means for performing morphological analysis to divide a character string input using the dictionary file into words,
When katakana character string concatenating in the input character string is divided into a plurality of words by the morphological analysis, the string length to the divided within word if it contains unregistered word one letter the unregistered word detection means for detecting a string that connects the word adjacent to the front or back of the unregistered word and the unregistered word as an unregistered word,
Unregistered word registration means for temporarily registering the detected unregistered word in the dictionary file;
The detected by the unregistered word detection means, Ru included Tei in more words word string matching the unregistered word being provisionally registered by dividing the katakana character string to be concatenated by said morphological analysis in the dictionary file A validity verification means for verifying whether or not the unregistered word is valid as a word based on a verification result of verifying the validity of a word other than a matching character string,
The unregistered word registering unit is a Japanese sentence analyzing apparatus for officially registering the temporarily registered unregistered word verified by the validity verifying unit in the dictionary file.
未登録単語検出手段が、前記入力された文字列中の連接するカタカナ文字列が前記形態素解析によって複数の単語に分割されたとき、この分割された単語内に文字列長が１文字の未登録単語が含まれていれば、該未登録単語と該未登録単語の前または後ろに隣合う単語とをつないだ文字列を未登録単語として検出するステップと、
未登録単語登録手段が、該検出された未登録単語を前記辞書ファイルに仮登録するステップと、
正当性検証手段が、前記未登録単語検出手段で検出され、前記辞書ファイルに仮登録されている未登録単語と一致する文字列の単語が前記形態素解析によって連接するカタカナ文字列を分割した複数の単語に含まれているとき、一致する文字列以外の単語の正当性を検証した検証結果に基づいて、該未登録単語が単語として正当なものであるかどうかを検証するステップと、
前記未登録単語登録手段が、前記正当性検証手段が正当であることを検証した仮登録されている未登録単語を前記辞書ファイルに正式に登録するステップと、を有する日本語文解析方法。A morpheme analysis unit that performs a morpheme analysis to divide a character string input using a dictionary file in which data indicating the character string of the word and the attribute of the word is registered;
When the unregistered word detecting means divides a concatenated katakana character string in the input character string into a plurality of words by the morphological analysis, the unregistered word having a character string length of one character in the divided word. if it contains a word, a step of detecting a character string that connects the word adjacent to the front or back of the unregistered word and the unregistered word as an unregistered word,
An unregistered word registering unit temporarily registers the detected unregistered word in the dictionary file;
Validity verification means is detected by the unregistered word detection means, and a plurality of katakana character strings in which words of a character string that matches unregistered words temporarily registered in the dictionary file are connected by the morphological analysis are divided . comprising the steps of: word to included Tei Rutoki, based on a match verification to verify the validity of the word other than the character string as a result, to verify whether the yet-registered word is legitimate as a word,
A method of analyzing a Japanese sentence, comprising: the unregistered word registering unit officially registering the temporarily registered unregistered word verified by the validity verification unit in the dictionary file.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03033996A JP3728789B2 (en) | 1996-02-19 | 1996-02-19 | Japanese sentence analyzer and Japanese sentence analysis method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03033996A JP3728789B2 (en) | 1996-02-19 | 1996-02-19 | Japanese sentence analyzer and Japanese sentence analysis method |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003380248A Division JP3855989B2 (en) | 2003-11-10 | 2003-11-10 | Japanese sentence analysis device and Japanese sentence analysis method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09223141A JPH09223141A (en) | 1997-08-26 |
| JP3728789B2 true JP3728789B2 (en) | 2005-12-21 |
Family
ID=12301076
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03033996A Expired - Fee Related JP3728789B2 (en) | 1996-02-19 | 1996-02-19 | Japanese sentence analyzer and Japanese sentence analysis method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3728789B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7136803B2 (en) * | 2001-09-25 | 2006-11-14 | Apple Computer, Inc. | Japanese virtual dictionary |
-
1996
- 1996-02-19 JP JP03033996A patent/JP3728789B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09223141A (en) | 1997-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6035268A (en) | Method and apparatus for breaking words in a stream of text | |
| US7069207B2 (en) | Linguistically intelligent text compression | |
| US7136806B2 (en) | Sentence segmentation method and sentence segmentation apparatus, machine translation system, and program product using sentence segmentation method | |
| KR100999488B1 (en) | Method and apparatus for detecting document plagiarism | |
| JP2001034623A (en) | Information retrievel method and information reteraval device | |
| JPH09198409A (en) | Extremely similar docuemtn extraction method | |
| Loftsson et al. | Tagging a morphologically complex language using an averaged perceptron tagger: The case of Icelandic | |
| US7684975B2 (en) | Morphological analyzer, natural language processor, morphological analysis method and program | |
| EP1575172A2 (en) | Compression of logs of language data | |
| Agbago et al. | Truecasing for the Portage system | |
| JP3855989B2 (en) | Japanese sentence analysis device and Japanese sentence analysis method | |
| JP3728789B2 (en) | Japanese sentence analyzer and Japanese sentence analysis method | |
| JP2000089786A (en) | Method for correcting speech recognition result and apparatus therefor | |
| CN113158693A (en) | Uygur language keyword generation method and device based on Chinese keywords, electronic equipment and storage medium | |
| CN114444491A (en) | New word recognition method and device | |
| KR100283100B1 (en) | Statistical Application Extraction Method and Method for Massive Coral | |
| O’Rourke et al. | Word variant identification in old french | |
| JPH10177575A (en) | Device and method for extracting word and phrase and information storing medium | |
| JP2009009583A (en) | Method for segmenting non-segmented text using syntactic parse | |
| JP3609252B2 (en) | Automatic character string classification apparatus and method | |
| JP2000222432A (en) | Document retrieval device, document retrieval method and recording medium recording document retrieval program | |
| JPH0668070A (en) | Compound word dictionary registering device | |
| JPS63192130A (en) | Automatic key word extracting device | |
| JP2001022752A (en) | Method and device for character group extraction, and recording medium for character group extraction | |
| Dash et al. | Automatic Processing of Bangla Verbs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040907 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041108 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050913 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050926 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091014 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101014 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101014 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111014 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111014 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121014 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121014 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131014 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |