JP5495425B2 - Sentence correction program, method, and sentence analysis server for correcting sentences containing unknown words - Google Patents
Sentence correction program, method, and sentence analysis server for correcting sentences containing unknown words Download PDFInfo
- Publication number
- JP5495425B2 JP5495425B2 JP2009265784A JP2009265784A JP5495425B2 JP 5495425 B2 JP5495425 B2 JP 5495425B2 JP 2009265784 A JP2009265784 A JP 2009265784A JP 2009265784 A JP2009265784 A JP 2009265784A JP 5495425 B2 JP5495425 B2 JP 5495425B2
- Authority
- JP
- Japan
- Prior art keywords
- sentence
- information
- correction
- analysis target
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 20
- 238000012937 correction Methods 0.000 claims description 160
- 230000006870 function Effects 0.000 claims description 37
- 230000000877 morphologic effect Effects 0.000 claims description 32
- 239000000203 mixture Substances 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 8
- 238000012552 review Methods 0.000 claims description 3
- 230000014509 gene expression Effects 0.000 description 25
- 238000000605 extraction Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 241000700605 Viruses Species 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、未知語を含む文章を修正するための文章修正プログラム、方法及び文章解析サーバに関する。 The present invention relates to a sentence correction program, method, and sentence analysis server for correcting sentences including unknown words.
インターネットの普及により、ブログ、掲示板又はクチコミコメントを公開するWebサイトに、様々なテキストが記述されている。「ブログ」(Weblog)とは、一般的に個人によって運営され、時事ニュースや専門的トピックスに関する自らの意見を表明するために、日記的に更新することができるサイトをいう。また、「掲示板」とは、様々なテーマについて、他人と議論を逐次に交換するためのサイトをいう。更に、「クチコミコメント」とは、人の噂のような、物事の評判などに関するコメントを記述することができるサイトをいう。これらサイトは、親しみやすさから、口語的な「くだけた表現」で記述されることが多い。 With the spread of the Internet, various texts are described on blogs, bulletin boards, or Web sites that publish reviews. A “blog” is a site that is generally run by an individual and can be updated in a diary to express their opinions on current news and specialized topics. A “bulletin board” is a site for sequentially exchanging discussions with other people on various themes. Furthermore, “review comments” refers to a site where comments about things such as people's rumors can be described. These sites are often described in colloquial “quick expressions” because of their friendliness.
近年、このようなサイトによって公開されるWeb文書も、情報抽出、検索及び統計処理の対象とされるようになってきた。これらWeb文書の文章内容を解析するために、少なくとも形態素解析が必要となる。形態素解析プログラムは、解析対象となる文章を形態素に分割する。英語の文章は、“This is a pen.”のように単語ごとに区切られた「分かち書き」にされている。これに対して、日本語の文章は、分かち書きされていないため、構文解析等に先立って、形態素解析による処理が必要となる。 In recent years, Web documents published by such sites have also been targeted for information extraction, search, and statistical processing. In order to analyze the text content of these Web documents, at least morphological analysis is required. The morphological analysis program divides a sentence to be analyzed into morphemes. English sentences are divided into words such as "This is a pen." On the other hand, Japanese sentences are not separately written, and therefore processing by morphological analysis is required prior to syntax analysis or the like.
「形態素」とは、文章の構成要素のうち、意味を持つ最小の単位をいう。形態素解析プログラムは、「単語」毎に「品詞」「読み」が登録された辞書を有する。分割された形態素には、辞書を用いて「品詞」「読み」の情報が付与され、単語の配列を規定する文法規則を用いて文章を解析する。このように、形態素解析プログラムの解析精度は、辞書に依存する。そのため、辞書に登録されていない単語を含む文章は、十分な解析精度を得ることができない。 A “morpheme” refers to the smallest meaningful unit among the constituent elements of a sentence. The morphological analysis program has a dictionary in which “part of speech” and “reading” are registered for each “word”. The divided morphemes are given “part of speech” and “reading” information using a dictionary, and the sentence is analyzed using grammatical rules that define the word arrangement. Thus, the analysis accuracy of the morphological analysis program depends on the dictionary. Therefore, a sentence including words that are not registered in the dictionary cannot obtain sufficient analysis accuracy.
これに対し、ブログ、掲示板又はクチコミコメントによって公開されるWeb文書には、一般的に、以下のような「くだけた表現」が多数含まれる。
(1)「うっそー」「すごーい」のような会話における発音の変化傾向に併せた表記
(2)「カッコイイ」のように本来ひらがなで表記される語を意図的にカタカナにした表記
(3)「ヵゎぃぃ」(「かわいい」と読む)、「ゎたUゎ」(「わたしは」と読む)のような特有の表記
On the other hand, a Web document published by a blog, a bulletin board, or a word-of-mouth comment generally includes many “descriptive expressions” as follows.
(1) Notation combined with the changing tendency of pronunciation in conversations such as “Usoso” and “Sugoi” (2) Notation that intentionally katakana is used for words that are originally written in hiragana, such as “cool” (3) Peculiar notation such as “Kai-yi” (read as “cute”), “Kita U” (read as “I am”)
これら表現は、一般的に、形態素解析プログラムの辞書には登録されていないために、「未知語」として処理される。辞書に登録されていない単語は、形態素相当の単位に分割された上で、「品詞」「読み」の情報に代えて「未知語」という情報のみが付与される。 Since these expressions are generally not registered in the dictionary of the morphological analysis program, they are processed as “unknown words”. A word that is not registered in the dictionary is divided into units corresponding to morphemes, and only information “unknown word” is given instead of “part of speech” and “reading” information.
勿論、「未知語」として処理された語を全て、人手によって辞書に登録することができれば、形態素解析の精度を向上させることができる。しかし、「未知語」の登録には、品詞及び活用形の登録、既存の辞書との互換性の維持といった、専門的な人手のスキルが必要となる。 Of course, if all the words processed as “unknown words” can be manually registered in the dictionary, the accuracy of morphological analysis can be improved. However, the registration of “unknown words” requires specialized human skills, such as registration of parts of speech and usage forms, and maintenance of compatibility with existing dictionaries.
これに対して、未知語を含む文章を形態素解析に適した文章に修正する技術がある(例えば非特許文献1参照)。この技術によれば、解析に失敗して「未知語」として出力されることを前提として、未知語を含む文章である解析対象文章を形態素解析する。そして、形態素解析の結果に基づいて、未知語の部分を任意文字列に置き換えた検索キーを生成する。生成された検索キーによって、修正基準文章から、自動的に修正候補文字列が検索され、修正候補文字列から1以上の修正ルールが生成される。生成された修正ルールは、(1)同じような文脈で頻繁に使用される表現か、(2)解析対象文章の表現から変化し過ぎていないか、(3)修正後の文章が日本語として自然か、といった指標を用いて、スコアリングされ、最適な修正ルールが選択される。解析対象文章は、選択された修正ルールによって、形態素解析に適した文章に修正される。 On the other hand, there is a technique for correcting a sentence including an unknown word into a sentence suitable for morphological analysis (for example, see Non-Patent Document 1). According to this technique, a morphological analysis is performed on an analysis target sentence that is a sentence including an unknown word, on the assumption that the analysis fails and is output as an “unknown word”. Based on the result of the morphological analysis, a search key is generated by replacing the unknown word part with an arbitrary character string. A correction candidate character string is automatically searched from the correction reference text by using the generated search key, and one or more correction rules are generated from the correction candidate character string. The generated correction rules are either (1) an expression that is frequently used in the same context, (2) whether it has changed too much from the expression of the sentence to be analyzed, or (3) the corrected sentence is in Japanese Scoring is performed using an index such as whether natural or not, and an optimal correction rule is selected. The analysis target sentence is corrected to a sentence suitable for morphological analysis according to the selected correction rule.
非特許文献1に記載された技術によれば、修正基準文章から検索された修正候補文字列に基づいて修正ルールが生成されるため、解析対象文章は、修正基準文章に依存して修正される。その結果、解析対象文章は、正しく形態素解析される文章には修正されても、異なる意味内容の文章に修正される場合や、過剰修正される場合があった。 According to the technique described in Non-Patent Document 1, the correction rule is generated based on the correction candidate character string searched from the correction reference sentence, and thus the analysis target sentence is corrected depending on the correction reference sentence. . As a result, even if the analysis target sentence is corrected to a sentence that is correctly analyzed for morpheme, it may be corrected to a sentence having a different meaning or may be overcorrected.
また、非特許文献1に記載された技術によれば、修正基準文章には、例えば、新聞記事の文章のような形態素解析の解析精度が高い文章が用いられている。一般に、新聞記事の文章は、「定型的な表現」が多い。「定型的な表現」は、形態素解析プログラムの辞書に登録されている確率が高いため、新聞記事の文章は、形態素解析の精度が高い。 Further, according to the technique described in Non-Patent Document 1, a sentence with high analysis accuracy of morphological analysis such as a sentence of a newspaper article is used as the correction reference sentence. In general, the sentences of newspaper articles often have “standard expressions”. Since the “standard expression” has a high probability of being registered in the dictionary of the morphological analysis program, the sentences of newspaper articles have high morphological analysis accuracy.
例えば、解析対象文章の「えーゆーはかっこいい」という表現は、新聞記事の文章を修正基準文章とすると、「英雄はかっこいい」と修正される。この解析対象文章がITやコンピュータに関する文章であれば、この表現は、「auはかっこいい」と修正されることが望ましい。 For example, the expression “e-yu is cool” in the sentence to be analyzed is corrected as “the hero is cool” when the sentence of the newspaper article is the correction standard sentence. If the analysis target sentence is a sentence related to IT or a computer, it is desirable that this expression is corrected as “au is cool”.
また、例えば、解析対象文章の「そんなの関係ねぇ」という表現は、「そんなの関係ない」と修正される。しかし、この解析対象文章が数年前の流行を反映した文章であれば、この表現は、「そんなの関係ねぇ」のまま修正されないことが望ましい。 Further, for example, the expression “no such relationship” in the sentence to be analyzed is corrected as “no such relationship”. However, if the sentence to be analyzed is a sentence reflecting a trend several years ago, it is desirable that this expression is not corrected as it is.
そこで、本発明は、口語的な「くだけた表現」で記述された文章情報であっても、形態素解析によって未知語と判断されることのない、文章解析に適した文章に修正することができる文章修正プログラム、方法及び文章解析サーバを提供することを目的とする。 Therefore, according to the present invention, even sentence information described in colloquial “complex expression” can be corrected to a sentence suitable for sentence analysis that is not determined as an unknown word by morphological analysis. An object is to provide a sentence correction program, method, and sentence analysis server.
本発明によれば、未知語を含む解析対象文章情報に対して、該未知語を修正するようにコンピュータを機能させる文章修正プログラムであって、
修正基準文章情報の集合を記憶した基準文章記憶手段と、
解析対象文章情報を形態素に分割し、未知語を抽出する未知語抽出手段と、
未知語に対応するワイルドカードと、当該未知語に対する前方及び後方の少なくとも一方の隣接形態素とからなる検索キーを生成する検索キー生成手段と、
基準文章記憶手段を用いて、解析対象文章情報の内容に類似する1つ以上の修正基準文章情報を検索する基準文章検索手段と、
修正基準文章情報の中から、検索キーを用いて、ワイルドカードで検索された1つ以上の修正ルールを検索する修正ルール検索手段と、
修正ルールの中から、文章構成指標に基づいて1つの修正ルールを選択する修正ルール選択手段と
してコンピュータを機能させることを特徴とする。
According to the present invention, for a sentence information to be analyzed including an unknown word, a sentence correction program that causes a computer to function to correct the unknown word,
Reference sentence storage means for storing a set of corrected reference sentence information;
An unknown word extraction means for dividing the sentence information to be analyzed into morphemes and extracting unknown words;
Search key generating means for generating a search key comprising a wild card corresponding to an unknown word and at least one of the adjacent morphemes in front and rear of the unknown word;
A reference sentence search means for searching for one or more corrected reference sentence information similar to the content of the analysis target sentence information using the reference sentence storage means;
Correction rule search means for searching one or more correction rules searched with a wild card using a search key from the correction reference sentence information;
The computer is caused to function as a correction rule selection means for selecting one correction rule based on a sentence composition index from among the correction rules.
本発明の文章修正プログラムにおける他の実施形態によれば、
基準文章記憶手段は、複数の修正基準文章情報を、その内容に基づいて複数のカテゴリに分類しており、
基準文章検索手段は、解析対象文章情報の内容に最も類似するカテゴリを検索し、当該カテゴリに含まれる修正基準文章情報を出力するようにコンピュータを機能させることも好ましい。
According to another embodiment of the sentence correction program of the present invention,
The reference sentence storage means classifies a plurality of corrected reference sentence information into a plurality of categories based on the contents thereof,
It is also preferable that the reference sentence search unit searches the category most similar to the content of the analysis target sentence information and causes the computer to function so as to output the corrected reference sentence information included in the category.
本発明の文章修正プログラムにおける他の実施形態によれば、基準文章検索手段は、解析対象文章情報における特徴語を抽出し、該特徴語をキーとして1つ以上の修正基準文章情報を検索するようにコンピュータを機能させることも好ましい。 According to another embodiment of the sentence correction program of the present invention, the reference sentence search means extracts a feature word in the analysis target sentence information, and searches for one or more correction reference sentence information using the feature word as a key. It is also preferable to make the computer function.
本発明の文章修正プログラムにおける他の実施形態によれば、解析対象文章情報は、ネットワークを介して公開されているブログ(Weblog)、掲示板及び/又はクチコミコメントにおける不特定多数のユーザによって記述された文章情報であるようにコンピュータを機能させることも好ましい。 According to another embodiment of the sentence correction program of the present invention, the sentence information to be analyzed is described by an unspecified number of users in a blog (Weblog), bulletin board, and / or word-of-mouth comment published via a network. It is also preferable to make the computer function so as to be text information.
本発明の文章修正プログラムにおける他の実施形態によれば、基準文章記憶手段は、複数の修正基準文章情報を、その日時情報に基づいて複数のカテゴリに分類しており、
基準文章検索手段は、解析対象文章情報に記述された日時情報、又は、解析対象文章情報が作成された日時情報に最も近いカテゴリを検索し、当該カテゴリに含まれる修正基準文章情報を出力するようにコンピュータを機能させることも好ましい。
According to another embodiment of the sentence correction program of the present invention, the reference sentence storage means classifies a plurality of corrected reference sentence information into a plurality of categories based on the date and time information,
The reference text search means searches the date and time information described in the analysis target text information or the category closest to the date and time information on which the analysis target text information was created, and outputs the corrected reference text information included in the category. It is also preferable to make the computer function.
本発明の文章修正プログラムにおける他の実施形態によれば、
解析対象文章情報は、ネットワークを介して公開されているブログ、掲示板及び/又はクチコミコメントにおける不特定多数のユーザによって記述された文章情報であり、
解析対象文章情報がブログである場合、日時情報は、当該ブログのURL(Uniform Resource Locator)アドレスに含まれたものであるようにコンピュータを機能させることも好ましい。
According to another embodiment of the sentence correction program of the present invention,
Analysis target text information is text information described by an unspecified number of users in a blog, bulletin board and / or word-of-mouth comment published via the network,
When the analysis target text information is a blog, it is also preferable to make the computer function so that the date / time information is included in the URL (Uniform Resource Locator) address of the blog.
本発明の文章修正プログラムにおける他の実施形態によれば、
基準文章記憶手段は、日時情報に基づいて分類されたカテゴリ毎に、更に、修正基準文章情報の内容に基づいて複数のカテゴリに分類しており、
基準文章検索手段は、日時情報によって検索されたカテゴリの中から、解析対象文章情報の内容に最も類似するカテゴリを検索し、当該カテゴリに含まれる修正基準文章情報を出力するようにコンピュータを機能させることも好ましい。
According to another embodiment of the sentence correction program of the present invention,
The reference sentence storage means is further classified into a plurality of categories based on the contents of the corrected reference sentence information for each category classified based on the date and time information,
The reference text search means searches the category most similar to the content of the analysis target text information from the categories searched by the date and time information, and causes the computer to function so as to output the corrected reference text information included in the category. It is also preferable.
本発明の文章修正プログラムにおける他の実施形態によれば、基準文章検索手段は、日時情報によって検索されたカテゴリの中から、解析対象文章情報における特徴語を抽出し、該特徴語をキーとして1つ以上の修正基準文章情報を検索するようにコンピュータを機能させることも好ましい。 According to another embodiment of the sentence correction program of the present invention, the reference sentence search means extracts a feature word in the analysis target sentence information from the category searched by the date and time information, and uses the feature word as a key. It is also preferred to have the computer function to retrieve one or more corrected reference text information.
本発明の文章修正プログラムにおける他の実施形態によれば、修正ルール選択手段は、文章構成指標として、(1)当該修正ルールにおける出現頻度、(2)未知語と修正ルールに基づく修正形態素との間の編集距離、及び/又は、(3)修正前と修正後との形態素解析コスト値の差分、に基づいて1つの修正ルールを選択するようにコンピュータを機能させることも好ましい。 According to another embodiment of the sentence correction program of the present invention, the correction rule selection means includes (1) an appearance frequency in the correction rule, and (2) an unknown word and a correction morpheme based on the correction rule as a sentence composition index. It is also preferable to cause the computer to function so as to select one correction rule based on the edit distance between and / or (3) the difference in the morphological analysis cost value before and after the correction.
本発明によれば、未知語を含む解析対象文章情報に対して、該未知語を修正する装置の文章修正方法であって、
修正基準文章情報の集合を、基準文章記憶部に記憶しており、
解析対象文章情報を形態素に分割し、未知語を抽出する第1のステップと、
未知語に対応するワイルドカードと、当該未知語に対する前方及び後方の少なくとも一方の隣接形態素とからなる検索キーを生成する第2のステップと、
基準文章記憶部を用いて、解析対象文章情報の内容に類似する1つ以上の修正基準文章情報を検索する第3のステップと、
修正基準文章情報の中から、検索キーを用いて、ワイルドカードで検索された1つ以上の修正ルールを検索する第4のステップと、
修正ルールの中から、文章構成指標に基づいて1つの修正ルールを選択する第5のステップと
を有することを特徴とする。
According to the present invention, a sentence correction method for an apparatus for correcting an unknown word for analysis target sentence information including an unknown word,
A set of corrected standard text information is stored in the standard text storage unit,
Dividing the sentence information to be analyzed into morphemes and extracting unknown words;
A second step of generating a search key consisting of a wild card corresponding to the unknown word and at least one of the front and rear adjacent morphemes for the unknown word;
A third step of searching for one or more corrected reference sentence information similar to the content of the analysis target sentence information using the reference sentence storage unit;
A fourth step of searching for one or more correction rules searched with a wild card from the correction reference sentence information using a search key;
And a fifth step of selecting one correction rule based on the sentence composition index from among the correction rules.
本発明によれば、未知語を含む解析対象文章情報を他の公開サーバからネットワークを介して取得し、該未知語を修正する文章解析サーバであって、
修正基準文章情報の集合を記憶した基準文章記憶手段と、
解析対象文章情報を形態素に分割し、未知語を抽出する未知語抽出手段と、
未知語に対応するワイルドカードと、当該未知語に対する前方及び後方の少なくとも一方の隣接形態素とからなる検索キーを生成する検索キー生成手段と、
基準文章記憶手段を用いて、解析対象文章情報の内容に類似する1つ以上の修正基準文章情報を検索する基準文章検索手段と、
修正基準文章情報の中から、検索キーを用いて、ワイルドカードで検索された1つ以上の修正ルールを検索する修正ルール検索手段と、
修正ルールの中から、文章構成指標に基づいて1つの修正ルールを選択する修正ルール選択手段と
を有することを特徴とする。
According to the present invention, a sentence analysis server that acquires analysis target sentence information including an unknown word from another public server via a network, and corrects the unknown word,
Reference sentence storage means for storing a set of corrected reference sentence information;
An unknown word extraction means for dividing the sentence information to be analyzed into morphemes and extracting unknown words;
Search key generating means for generating a search key comprising a wild card corresponding to an unknown word and at least one of the adjacent morphemes in front and rear of the unknown word;
A reference sentence search means for searching for one or more corrected reference sentence information similar to the content of the analysis target sentence information using the reference sentence storage means;
Correction rule search means for searching one or more correction rules searched with a wild card using a search key from the correction reference sentence information;
And a correction rule selecting means for selecting one correction rule from the correction rules based on a sentence composition index.
本発明の文章修正プログラム、方法及び文章解析サーバによれば、口語的な「くだけた表現」で記述された文章情報であっても、形態素解析によって未知語と判断されることのない、文章解析に適した文章に修正することができる。 According to the sentence correction program, method, and sentence analysis server of the present invention, even sentence information described in colloquial “kudaku expression” is not judged as an unknown word by morphological analysis. It can be corrected to a sentence suitable for.
以下、本発明の実施の形態について、図面を用いて詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図1は、本発明における文章修正プログラムの機能構成図である。 FIG. 1 is a functional configuration diagram of a sentence correction program according to the present invention.
図1によれば、文章修正プログラム1は、基準文章記憶部11と、基準文章検索部12と、未知語抽出部13と、検索キー生成部14と、修正ルール検索部15と、修正ルール選択部16と、修正ルール適用部17とを有する。基準文章記憶部11を除くこれら機能部は、装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現できる。尚、各機能部の処理の流れは、コンピュータを用いた文章修正方法として実行できる。
According to FIG. 1, the sentence correction program 1 includes a reference
基準文章記憶部11は、修正基準文章情報の集合を記憶する。修正基準文章は、例えば技術文書、ブログテキスト、雑誌記事及び新聞記事のような様々な分野の文章を含む。基準文章記憶部11は、修正基準文章情報を、文章内容のカテゴリ又は特徴語によって分類していてもよいし、文章の内容的日時(又は作成日時)によって分類していてもよい。基準文章記憶部11は、基準文章検索部12によって参照される。
The reference
未知語抽出部13は、解析対象文章情報を入力する。解析対象文章情報は、Webサイトに公開されているブログ、掲示板又はクチコミコメントのような不特定多数のユーザによって記述された文章情報であってもよい。未知語抽出部13は、その解析対象文章情報を形態素解析によって形態素に分割する。ここで、「できるかどうヵゎ分かりません」というくだけた表現を含む解析対象文章を例に挙げて説明する。
解析対象文章 :できるかどうヵゎ分かりません
形態素解析結果:できる/か/どう/ヵゎ(未知語)/分かり/ませ/ん
くだけた表現は、形態素解析辞書に登録されていない場合が多い。そこで、形態素解析辞書に登録されていない表現「ヵゎ」は、未知語として処理される。
The unknown
Text to be analyzed: I don't know if it can be done Morphological analysis results: I can / can / how / k (unknown word) / understand / not / don't know the expression is often not registered in the morphological analysis dictionary . Therefore, the expression “K” not registered in the morphological analysis dictionary is processed as an unknown word.
未知語抽出部13は、解析対象文章から未知語を検出した場合、形態素解析によって抽出された未知語と、未知語に隣接する形態素とを合わせた文字列とを、検索キー生成部14へ出力する。また、未知語抽出部13は、未知語が検出された解析対象文章情報を、基準文章検索部12へ出力する。更に、未知語抽出部13は、未知語が検出された解析対象文章情報を修正ルール選択部16と、修正ルール適用部17とへ出力する。
When the unknown
基準文章検索部12は、解析対象文章情報を入力する。また、基準文章検索部12は、基準文章記憶部11を参照し、解析対象文章の内容に類似する1つ以上の修正基準文章情報を検索によって選択する。基準文章検索部12は、基準文章記憶部11の分類に基づいて、例えば以下の3つの条件で検索する。
(1)解析対象文章情報の内容に最も類似するカテゴリに対応した修正基準文章情報を検索する。
(2)解析対象文章情報における特徴語を抽出し、その特徴語をキーとして修正基準文章情報を検索する。
(3)解析対象文章情報に記述された日時情報、又は、解析対象文章情報が作成された日時情報に最も近い修正基準文章情報を検索する。
そして、基準文章検索部12は、1つ以上の修正基準文章情報を、修正ルール検索部15へ出力する。
The reference
(1) The correction reference sentence information corresponding to the category most similar to the content of the analysis target sentence information is searched.
(2) A feature word in the analysis target sentence information is extracted, and the correction reference sentence information is searched using the feature word as a key.
(3) The date and time information described in the analysis target sentence information or the correction reference sentence information closest to the date and time information when the analysis target sentence information is created is searched.
Then, the reference
検索キー生成部14は、未知語と、当該未知語に対する前方及び後方の少なくとも一方の隣接形態素とからなる「検索キー」を生成する。ここで、未知語と、それに隣接する前方後方の各1形態素とが、検索キーの生成に利用されたものとして説明する。
入力文字列 :どう/ヵゎ(未知語)/分かり
検索キー :どう*分かり(ここで、「*」は、1以上の任意文字列を示す。)
The search
Input character string: How / Key (unknown word) / Understanding Search key: How * Understanding (where “*” indicates one or more arbitrary character strings)
検索キー生成部14は、未知語を任意文字列(例えばワイルドカード)とし、任意文字列と、未知語に隣接する文字列と合わせた検索キーを生成する。勿論、未知語は、2以上連続するものであってもよい。また、隣接する形態素は、未知語に対する前方及び後方の少なくとも一方があればよい。同様に、隣接する形態素も、2形態素以上連続するものであってもよい。検索キー生成部14は、生成した検索キーを修正ルール検索部15へ出力する。
The search
修正ルール検索部15は、検索キーと1つ以上の修正基準文章情報とを入力する。修正ルールとは、未知語(例えば「ヵゎぃぃ」)から、修正候補文字列(例えば、「かわいい」)へ文字列変換するためのルールをいう。修正ルール検索部15は、修正基準文章情報の中から、検索キーを含む修正候補文字列を検索する。そして、修正ルール検索部15は、抽出した修正候補文字列中の任意文字列に該当する部分を、未知語に近似する部分と判断し、修正ルールとして抽出する。
The correction
修正ルール検索部15は、例えば、検索により、以下の修正候補文字列を得る。修正ルール検索部15は、抽出した修正候補文字列中の任意文字列に該当する部分から、1以上の修正ルールを抽出する。
検索キー :どう*分かり(ここで、「*」は、1以上の任意文字列を示す。)
修正候補文字列:これはどう/かは/分かりません
よくあるかどう/か/分かりません
どう/したらいいのか/分かりません
この先どう/かは/分かりません
本当かどう/か/分かりませんが
使うかどう/かは/分かりませんけどね
あるかどう/かは/分かりません
どう/なっているか/分かりませんよ
修正ルール :ヵゎ⇒かは
ヵゎ⇒か
ヵゎ⇒したらいいのか
ヵゎ⇒なっているか
For example, the correction
Search key: How to understand * (Here, “*” indicates one or more arbitrary character strings.)
Candidate for correction: How / why / I do n’t know
I do n’t know if it ’s common
I don't know what to do / what to do
I do n’t know /
I do n’t know if it ’s true
I do n’t know if I ’ll use it or not.
I do n’t know if it ’s there.
I don't know what / what is going on.
⇒
⇒ What should I do?
Is it ⇒
検索キーによる検索によって得られる修正ルールは、2以上であってもよい。修正ルール検索部15は、検索キーによる検索によって得た全ての修正ルールを、修正ルール選択部16へ出力する。
Two or more correction rules may be obtained by a search using a search key. The correction
修正ルール選択部16は、入力された修正ルールが2以上ある場合は、文章構成指標に基づいて文脈に適した1つの修正ルールを選択する。
When there are two or more input correction rules, the correction
文章構成指標は、(1)修正ルールにおける出現頻度、(2)未知語と、修正ルールに基づく修正形態素との間の編集距離、及び/又は、(3)修正前と修正後との形態素解析コスト値の差分から算出される指標をいう。修正ルール選択部16は、この文章構成指標に基づいて1つの修正ルールを選択する。
The sentence composition index includes (1) the appearance frequency in the correction rule, (2) the edit distance between the unknown word and the corrected morpheme based on the correction rule, and / or (3) the morphological analysis before and after the correction. An index calculated from the difference in cost values. The correction
修正ルール選択部16は、例えば、以下の修正ルールを入力したとする。
修正ルール :ヵゎ⇒かは
ヵゎ⇒か
ヵゎ⇒したらいいのか
ヵゎ⇒なっているか
For example, it is assumed that the correction
Correction rule:
⇒
⇒ What should I do?
Is it ⇒
(1)修正ルールにおける出現頻度
修正ルールにおける出現頻度は、検索された修正ルールに該当する検索結果文字列が出現した頻度をいう。以下の表では、検索結果文字列の出現頻度に基づくスコアリングの例を表す。
出現頻度が高い文字列は、未知語が出現した文脈と類似した文脈の中で頻繁に利用される表現であると考えられ、修正候補文字列である可能性が高い。一方、類似した文脈の中であまり利用されていない表現は、修正候補文字列ではない可能性が高い。そこで、出現頻度の高い修正ルールは、スコアが高くなる。スコアは、出現頻度を検索件数で割り、正規化することにより、検索件数に依存しないものとしてもよい。 A character string having a high appearance frequency is considered to be an expression that is frequently used in a context similar to the context in which the unknown word appears, and is likely to be a correction candidate character string. On the other hand, an expression that is not frequently used in a similar context is highly likely not to be a correction candidate character string. Therefore, the correction rule having a high appearance frequency has a high score. The score may be independent of the number of searches by dividing the appearance frequency by the number of searches and normalizing the score.
(2)未知語と、修正ルールに基づく修正形態素との間の編集距離
編集距離とは、二つの文字列がどの程度異なっているかを表す指標であり、一方の文字列を他方の文字列に変換するために必要な挿入、削除、置換の最小回数として与えられる。修正ルールに基づく修正形態素は、未知語に対して少数文字の挿入や削除、置換を実行したものであることが多い。例えば、「フォーラム」から「ファーム」への編集は、「ォ」を「ァ」に置換し、「ラ」を削除する方法が、最小の編集回数である2回となるため、編集距離は2である。以下の表は、編集距離に基づくスコアリングの例を表す。
編集距離の小さい修正ルールは、スコアが高くなる。また、Web文書では、「ヤバい」や「カッコイイ」のように本来ひらがなで表記されるべき語がカタカナで表記されている例が多い。そのため、例えば、カタカナをひらがなに置換する編集距離を小さくする重み付き編集距離を用いてもよい。 A correction rule with a small editing distance has a high score. In many Web documents, words that should be originally written in hiragana, such as “Yabai” or “Cool”, are often written in katakana. Therefore, for example, a weighted editing distance that reduces the editing distance for replacing katakana with hiragana may be used.
(3)形態素解析コスト値の差分
形態素解析コスト値とは、複数ある単語区切りの中で、その単語区切りがどのくらい確からしいかを表す指標である。形態素解析コスト値は、例えば、単語単体での出現確率(生起コスト)や複数単語が連続して出現する確率(連接コスト)から算出される。形態素解析コスト値は、修正ルールの文脈における適応度を評価する指標として用いられる。
(3) Difference in morpheme analysis cost value The morpheme analysis cost value is an index representing how probable the word break is among a plurality of word breaks. The morpheme analysis cost value is calculated from, for example, the appearance probability (occurrence cost) of a single word or the probability that a plurality of words appear continuously (concatenation cost). The morphological analysis cost value is used as an index for evaluating the fitness in the context of the correction rule.
文全体の形態素解析コスト値は、文頭から文末までの各形態素の連接コストと単語生起コストとの和を累積して算出する(累積コスト)。修正ルールの適用により、文脈における適応度が高い表現が生成された場合、その表現周辺の生起コストや連接コストは小さくなるため、文全体の形態素解析コスト値は小さくなる。一方、文脈における適応度が低い表現が生成された場合、その表現周辺の生起コストや連接コストは大きくなるため、文全体の形態素解析コスト値は大きくなる。 The morpheme analysis cost value of the entire sentence is calculated by accumulating the sum of the concatenation cost of each morpheme from the beginning of the sentence to the end of the sentence and the word occurrence cost (accumulated cost). When an expression having a high degree of fitness in context is generated by applying the correction rule, the occurrence cost and the concatenation cost around the expression are reduced, so the morphological analysis cost value of the entire sentence is reduced. On the other hand, when an expression with low fitness in the context is generated, the occurrence cost and the connection cost around the expression increase, and the morphological analysis cost value of the entire sentence increases.
ここでは、修正ルール適用後の文全体の形態素解析コスト値と、修正前の文全体の形態素解析コスト値との差分から、形態素解析コスト値に基づくスコアとして算出する。修正ルールによって生成された表現が文脈に適応する場合、算出されるスコアは高くなる。 Here, a score based on the morphological analysis cost value is calculated from the difference between the morphological analysis cost value of the entire sentence after application of the correction rule and the morphological analysis cost value of the entire sentence before the correction. If the expression generated by the correction rule adapts to the context, the calculated score will be high.
文章構成指標(score)は、(1)修正ルールにおける出現頻度(freq)、(2)未知語と、修正ルールに基づく修正形態素との間の編集距離(dist)、及び/又は、(3)形態素解析コスト値の差分(cost)から、例えば、以下の計算式により算出する。
score=α・freq+β・dist+γ・cost
ここで、α、β、γは、重み付け関数であり、修正ルールの適用と学習により、最適値を算出することができる。また、修正ルールは、適用する閾値を設定することができる。閾値を低く設定した場合、適用される修正ルールは増加するが、その中に含まれる修正ルールの誤適用も増加する。一方、閾値を高く設定した場合、適用される修正ルールは減少するが、その中に含まれる修正ルールの誤適用も減少させることができる。
The sentence composition index (score) includes (1) the appearance frequency (freq) in the correction rule, (2) the edit distance (dist) between the unknown word and the correction morpheme based on the correction rule, and / or (3) From the difference (cost) of the morpheme analysis cost value, for example, it is calculated by the following formula.
score = α ・ freq + β ・ dist + γ ・ cost
Here, α, β, and γ are weighting functions, and optimum values can be calculated by applying and learning correction rules. The correction rule can set a threshold value to be applied. When the threshold is set low, the number of correction rules to be applied increases, but the erroneous application of the correction rules included therein also increases. On the other hand, when the threshold value is set high, the number of correction rules to be applied decreases, but the erroneous application of the correction rules included therein can also be reduced.
修正ルール選択部16は、文章構成指標に基づいて、1つの修正ルールを選択する。ここで、修正ルール選択部16は、閾値以上且つ最大のスコアを持つ修正ルールを選択してもよい。修正ルール選択部16は、選択した1つの修正ルールを、修正ルール適用部17へ出力する。
The correction
修正ルール適用部17は、解析対象文章に修正ルールを適用する。修正ルール適用部17から出力された修正済みの文章情報は、様々な文章解析に適するものとなる。
The correction
本発明の特徴は、解析対象文章に対して、適切な修正基準文章を検索によって選択することにある。従って、基準文章記憶部11及び基準文章検索部12における複数の実施形態を、以下の図2〜図4によって説明する。
A feature of the present invention resides in that an appropriate correction reference text is selected by searching for a text to be analyzed. Accordingly, a plurality of embodiments in the reference
図2は、本発明におけるカテゴリに基づいて基準文章を検索する説明図である。 FIG. 2 is an explanatory diagram for searching for a reference sentence based on a category in the present invention.
カテゴリに基づく基準文章検索では、予め複数の修正基準文章情報を、その内容に基づいて複数のカテゴリに分類している。基準文章のカテゴリは、文章中に出現する語の偏りに基づいて分類される。
例えば、「着信履歴」「通話」といった語が、他の語と比較して多く出現する文章は、「携帯電話」のカテゴリに分類する。
また、「ウィルス」「スパイウェア」「ファイアウォール」といった語が、他の語と比較して多く出現する文章は、「情報セキュリティ」のカテゴリに分類する。
In the reference text search based on categories, a plurality of corrected reference text information is classified in advance into a plurality of categories based on the contents thereof. The category of the reference sentence is classified based on the bias of words appearing in the sentence.
For example, the word that was said, "call history", "call" is, many emerging sentence in comparison with other words, to classify the category of "mobile phone".
In addition, sentences in which words such as “virus”, “spyware”, and “firewall” appear more frequently than other words are classified into the “information security” category.
カテゴリに基づく基準文章検索は、そのカテゴリに偏って多く出現した語をキーワードとして、解析対象文章をフィルタリングし、キーワードと一致する語数を計測する。ここで、解析対象文章は、キーワードと一致する語数が最も多いカテゴリに属する文章と推定される。基準文章検索部12は、解析対象文章情報の内容に最も類似するカテゴリを検索し、カテゴリに含まれる修正基準文章情報を出力する。
In the reference text search based on the category, the analysis target sentence is filtered using words that appear frequently in the category as keywords, and the number of words matching the keyword is measured. Here, the analysis target sentence is estimated to be a sentence belonging to the category having the largest number of words matching the keyword. The reference
図3は、本発明における特徴語に基づいて基準文章を検索する説明図である。 FIG. 3 is an explanatory diagram for searching for a reference sentence based on feature words in the present invention.
特徴語に基づく基準文章検索では、解析対象文章から特徴語を抽出する。抽出された特徴語をキーワードとして検索することによって、関連性の高い文章を収集する。基準文章検索部12は、解析対象文章と関連性の高い1つ以上の修正基準文章情報を出力する。
In the reference sentence search based on the feature word, the feature word is extracted from the analysis target sentence. By searching for extracted feature words as keywords, highly relevant sentences are collected. The reference
特徴語の抽出には、例えばtf・idf法を用いることができる。tf・idf法とは、文章中に出現する単語の重み(=特徴度合い)を計算する方法である。tf・idf法は、文章中の特徴的な語を抽出するためのアルゴリズムとして用いられ、tf(Term Frequency、単語の出現頻度)とidf(Inverse Document Frequency、逆出現頻度)の2つの指標によって計算される。 For example, the tf / idf method can be used to extract the feature words. The tf / idf method is a method for calculating the weight (= feature degree) of a word appearing in a sentence. The tf / idf method is used as an algorithm to extract characteristic words in a sentence, and is calculated using two indices, tf (term frequency, word appearance frequency) and idf (inverse document frequency). Is done.
この方法によれば、単語tの文書dにおける重みw(t,d)は、次のように計算される。
w(t,d)=tf(t,d)・idf(t)
tfは、その単語が一つの文章中に出現する頻度である。tf(d,t)は、文書dにおける単語tが現れる頻度を、文書内の形態素数で割った値である。tfは、文章中で出現頻度が高い単語は、その文章において重要であると判断する指標である。
According to this method, the weight w (t, d) of the word t in the document d is calculated as follows.
w (t, d) = tf (t, d) ・ idf (t)
tf is the frequency at which the word appears in a sentence. tf (d, t) is a value obtained by dividing the frequency of occurrence of the word t in the document d by the number of morphemes in the document. tf is an index for determining that a word having a high appearance frequency in a sentence is important in the sentence.
一方、多くの文章に出現する単語は、文章を特定する性質を持たないことが多い。idfは、多くの文章に出現する語の重要度を下げ、その文章にのみ出現する単語の重要度を上げる指標である。idfは、文書の数Nと、単語tが一回以上出現する文書の数によって、以下の式のように定義される。
idf(t)=log(N/df(t))+1
On the other hand, words appearing in many sentences often do not have the property of specifying sentences. idf is an index that lowers the importance of words that appear in many sentences and increases the importance of words that appear only in those sentences. idf is defined as the following equation, depending on the number N of documents and the number of documents in which the word t appears one or more times.
idf (t) = log (N / df (t)) + 1
図4は、本発明における日時情報に基づいて基準文章を検索する説明図である。 FIG. 4 is an explanatory diagram for searching for a reference sentence based on date information in the present invention.
日時情報に基づく基準文章検索では、予め複数の修正基準文章情報を、その日時情報に基づいて複数のカテゴリに分類している。基準文章のカテゴリは、文章の日時情報に基づいて分類される。文章の日時情報には、文章に記述された日時情報と、文章が作成された日時情報と、文章が更新された日時情報とがある。 In the reference sentence search based on the date information, a plurality of corrected reference sentence information is classified in advance into a plurality of categories based on the date information. The category of the reference sentence is classified based on the date and time information of the sentence. The date / time information of the sentence includes date / time information described in the sentence, date / time information when the sentence was created, and date / time information when the sentence was updated.
文章に記述された日時情報は、文章中に記載されている情報から判断される。例えば、「池田和史が、2003/12/09に、チーム松本に入団」と記載されている場合、文章に記述された日時情報は、2003年12月9日と判断される。 The date and time information described in the sentence is determined from the information described in the sentence. For example, when “Kazufumi Ikeda joined Team Matsumoto on 12/09/2003” is described, the date / time information described in the sentence is determined to be December 9, 2003.
文章が作成された日時情報は、本文中に含まれている時間情報から判断される。例えば、「http://www.blog.jp/20040105/index.html」のようにURL(Uniform Resource Locator)アドレスに含まれていることが多い。この場合、文章が作成された日時情報は、2004年1月5日と判断される。 The date and time information when the sentence is created is determined from the time information included in the text. For example, it is often included in a URL (Uniform Resource Locator) address such as “http://www.blog.jp/20040105/index.html”. In this case, the date / time information on which the sentence was created is determined to be January 5, 2004.
文章が更新された日時情報は、Webページのヘッダに含まれている時間情報から判断される。例えば、「Last-Modified:Tue,19 Aug 2003 06:10:54 GMT」のような情報がWebページのヘッダに含まれている。この場合、文章が更新された日時情報は、2003年8月19日、6時10分54秒と判断される。 The date information when the text is updated is determined from the time information included in the header of the Web page. For example, information such as “Last-Modified: Tue, 19 Aug 2003 06:10:54 GMT” is included in the header of the Web page. In this case, the date and time information when the text is updated is determined as August 19, 2003, 6:10:54.
基準文章検索部12は、解析対象文章情報に記述された日時情報、又は、解析対象文章情報が作成された日時情報に最も近いカテゴリを検索し、そのカテゴリに含まれる修正基準文章情報を出力する。
The reference
また、基準文章検索部12は、解析対象文章情報が更新された日時情報に最も近いカテゴリを検索し、そのカテゴリに含まれる修正基準文章情報を出力してもよい。更に、日時情報として、文章に記述された日時情報、文章が作成された日時情報及び文章が更新された日時情報のうち複数が検索できる場合、例えば、優先度をつけて、「文章に記述された日時情報」>「文章が作成された日時情報」>「文章が更新された日時情報」の順に判断してもよい。
The reference
基準文章検索部12は、予め複数の修正基準文章情報を、その日時情報に基づいて複数のカテゴリに分類したものを、更に、その修正基準文章の内容に基づいて複数のカテゴリに分類したものに対して、検索が実行されてもよい。また、基準文章検索部12は、予め複数の修正基準文章情報を、その日時情報に基づいて複数のカテゴリに分類したものに対して、解析対象文章から抽出した特徴語をキーワードとして、検索が実行されてもよい。
The reference
図5は、本発明における文章解析サーバのシステム構成図である。 FIG. 5 is a system configuration diagram of the sentence analysis server according to the present invention.
図5によれば、文章解析サーバ2は、通信インタフェース部20と、基準文章入力部21と、解析対象文章入力部22と、文章修正機能部23と、基準文章記憶部11とを有する。文章解析サーバ2は、通信インタフェース部20を介してインターネットに接続する。
According to FIG. 5, the
また、図5によれば、文章解析サーバ2は、インターネットを介して、Webサーバ3と通信することができる。また、Webサーバ3は、投稿者用端末4から接続される。
Moreover, according to FIG. 5, the
WebサーバAは、ブログテキスト、雑誌記事、新聞記事又は技術文書のような様々な文章情報を公開している。文章解析サーバ2は、インターネットを介して、WebサーバAから、それら文章情報を修正基準文章として収集する。
Web server A publishes various text information such as blog texts, magazine articles, newspaper articles or technical documents. The
WebサーバBは、投稿者用端末4から受信した、解析対象文章であるブログテキストを公開する。文章解析サーバ2は、インターネットを介して、WebサーバBから、そのブログテキストを解析対象文章として取得する。
The Web server B publishes the blog text, which is the analysis target sentence, received from the
基準文章入力部21は、通信インタフェース部20を介して、修正基準文章を受信する。その修正基準文章は、基準文章記憶部11へ出力される。
The reference
解析対象文章入力部22は、通信インタフェース部20を介して、解析対象文章を受信する。その解析対象文章を、文章修正機能部23へ出力される。
The analysis target
文章修正機能部23は、図1で前述した機能構成部と全く同様である。文章修正機能部23は、解析対象文章入力部22から解析対象文章を入力し、修正後文章を出力する。
The sentence
図6は、本発明におけるシステムのシーケンス図である。 FIG. 6 is a sequence diagram of the system according to the present invention.
(S61)文章解析サーバ2は、WebサーバAから修正基準文章を収集する。それら修正基準文章は、基準文章記憶部11によって記憶される。
(S62)投稿者用端末4は、解析対象文章であるブログテキストをWebサーバBへ投稿する。
(S63)文章解析サーバ2は、WebサーバBから解析対象文章(「えーゆーはかっこいい」)を受信する。その解析対象文章は、文章修正機能部23へ出力される。
(S64)文章修正機能部23は、解析対象文章情報を形態素に分割する。
(S65)文章修正機能部23は、形態素に未知語が含まれていた場合、未知語を抽出する。また、文章修正機能部23は、未知語が検出された解析対象文章情報を、基準文章検索部12へ出力する。
(S66)基準文章検索部12は、解析対象文章から、文章のカテゴリ、特徴語又は日時情報を抽出する。基準文章検索部12は、解析対象文章情報の内容に類似する1つ以上の修正基準文章情報を基準文章記憶部11から検索する。基準文章検索部12は、文章修正機能部23へ、修正基準文章情報を出力する。
(S67)文章修正機能部23は、S65で抽出した未知語と、その未知語に対する前方及び後方の少なくとも一方の隣接形態素とからなる検索キーを生成する。
(S68)文章修正機能部23は、修正基準文章情報の中から、検索キーを用いて、未知語に近似する1つ以上の修正ルールを検索する。
(S69)文章修正機能部23は、S68で検索した修正ルールの中から、文章構成指標に基づいて1つの修正ルールを選択する。文章修正機能部23は、選択した修正ルールを解析対象文章に適用し、修正後文章(「auはかっこいい」)を出力する。
(S61) The
(S62) The
(S63) The
(S64) The sentence
(S65) If the unknown word is included in the morpheme, the sentence correcting
(S66) The reference
(S67) The sentence
(S68) The sentence
(S69) The sentence
以上、詳細に説明したように、本発明の文章修正プログラム、方法及び文章解析サーバによれば、口語的な「くだけた表現」で記述された文章情報であっても、形態素解析によって未知語と判断されることのない、文章解析に適した文章に修正することができる。 As described above in detail, according to the sentence correction program, method, and sentence analysis server of the present invention, even sentence information described in colloquial “complex expression” can be identified as unknown words by morphological analysis. It can be corrected to a sentence suitable for sentence analysis without being judged.
解析対象文章に類似するカテゴリの文章集合を修正基準文章として利用することによって、解析対象文章を、関連性のある意味内容の文章に修正することができる。また、解析対象文章に記述された日時又は作成された日時に近い文章集合を修正基準文章として利用することによって、文章作成時の流行を反映した文章に修正することができる。これにより、異なる意味内容の文章に修正されたり、過剰修正されたりすることなく、文章を修正することができる。 By using a sentence set in a category similar to the analysis target sentence as the correction reference sentence, the analysis target sentence can be corrected to a sentence having a relevant meaning. In addition, by using the date and time described in the analysis target text or a set of sentences close to the created date and time as the correction reference text, the text can be corrected to reflect the fashion at the time of text creation. As a result, the sentence can be corrected without being corrected to a sentence having a different meaning or being overcorrected.
また、修正基準文章が、形態素解析の精度が高い一定の文章(例えば新聞記事のみ)である場合と比較して、修正後の文章における未知語の割合を減少させることができ、文章修正の精度を上げることができる。 In addition, compared to the case where the correction reference sentence is a fixed sentence (for example, only newspaper articles) with high accuracy of morphological analysis, the proportion of unknown words in the corrected sentence can be reduced, and the accuracy of sentence correction can be reduced. Can be raised.
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。 Various changes, modifications, and omissions of the above-described various embodiments of the present invention can be easily made by those skilled in the art. The above description is merely an example, and is not intended to be restrictive. The invention is limited only as defined in the following claims and the equivalents thereto.
1 文章修正プログラム
11 基準文章記憶部
12 基準文章検索部
13 未知語抽出部
14 検索キー生成部
15 修正ルール検索部
16 修正ルール選択部
17 修正ルール適用部
2 文章解析サーバ
20 通信インタフェース部
21 基準文章入力部
22 解析対象文章入力部
23 文章修正機能部
3 Webサーバ
4 投稿用端末
DESCRIPTION OF SYMBOLS 1
Claims (11)
修正基準文章情報の集合を記憶した基準文章記憶手段と、
前記解析対象文章情報を形態素に分割し、未知語を抽出する未知語抽出手段と、
前記未知語に対応するワイルドカードと、当該未知語に対する前方及び後方の少なくとも一方の隣接形態素とからなる検索キーを生成する検索キー生成手段と、
前記基準文章記憶手段を用いて、前記解析対象文章情報の内容に類似する1つ以上の修正基準文章情報を検索する基準文章検索手段と、
前記修正基準文章情報の中から、前記検索キーを用いて、前記ワイルドカードで検索された1つ以上の修正ルールを検索する修正ルール検索手段と、
前記修正ルールの中から、文章構成指標に基づいて1つの修正ルールを選択する修正ルール選択手段と
してコンピュータを機能させることを特徴とする文章修正プログラム。 A sentence correction program that makes a computer function to correct an unknown word for analysis target sentence information including an unknown word,
Reference sentence storage means for storing a set of corrected reference sentence information;
An unknown word extracting means for dividing the analysis target sentence information into morphemes and extracting unknown words;
Search key generating means for generating a search key consisting of a wild card corresponding to the unknown word and at least one of the adjacent morphemes forward and backward with respect to the unknown word;
Reference sentence search means for searching for one or more corrected reference sentence information similar to the content of the analysis target sentence information using the reference sentence storage means;
Correction rule search means for searching one or more correction rules searched by the wild card using the search key from the correction reference sentence information;
A sentence correction program for causing a computer to function as a correction rule selection means for selecting one correction rule based on a sentence composition index from among the correction rules.
前記基準文章検索手段は、前記解析対象文章情報の内容に最も類似する前記カテゴリを検索し、当該カテゴリに含まれる前記修正基準文章情報を出力する
ようにコンピュータを機能させることを特徴とする請求項1に記載の文章修正プログラム。 The reference sentence storage means classifies a plurality of corrected reference sentence information into a plurality of categories based on the contents thereof,
The said reference sentence search means searches the said category most similar to the content of the said analysis object sentence information, and makes a computer function so that the said correction | amendment reference sentence information contained in the said category may be output. 1. The sentence correction program according to 1.
前記基準文章検索手段は、前記解析対象文章情報に記述された日時情報、又は、前記解析対象文章情報が作成された日時情報に最も近い前記カテゴリを検索し、当該カテゴリに含まれる前記修正基準文章情報を出力する
ようにコンピュータを機能させることを特徴とする請求項1に記載の文章修正プログラム。 The reference sentence storage means classifies a plurality of corrected reference sentence information into a plurality of categories based on the date and time information,
The reference text search means searches the category closest to the date / time information described in the analysis target text information or the date / time information on which the analysis target text information was created, and the corrected reference text included in the category The sentence correction program according to claim 1, wherein the computer is caused to function so as to output information.
前記解析対象文章情報が前記ブログである場合、前記日時情報は、当該ブログのURL(Uniform Resource Locator)アドレスに含まれたものである
ようにコンピュータを機能させることを特徴とする請求項5に記載の文章修正プログラム。 The analysis target sentence information is sentence information described by an unspecified number of users in a blog, a bulletin board, and / or a review comment published via a network,
6. The computer according to claim 5, wherein when the analysis target text information is the blog, the computer functions so that the date / time information is included in a URL (Uniform Resource Locator) address of the blog. Sentence correction program.
前記基準文章検索手段は、日時情報によって検索された前記カテゴリの中から、前記解析対象文章情報の内容に最も類似する前記カテゴリを検索し、当該カテゴリに含まれる前記修正基準文章情報を出力する
ようにコンピュータを機能させることを特徴とする請求項5又は6に記載の文章修正プログラム。 The reference sentence storage means is further classified into a plurality of categories based on the content of the corrected reference sentence information for each category classified based on date and time information,
The reference text search means searches the category most similar to the content of the analysis target text information from the categories searched by date and time information, and outputs the corrected reference text information included in the category 7. The sentence correction program according to claim 5 or 6, wherein the computer is caused to function.
修正基準文章情報の集合を、基準文章記憶部に記憶しており、
前記解析対象文章情報を形態素に分割し、未知語を抽出する第1のステップと、
前記未知語に対応するワイルドカードと、当該未知語に対する前方及び後方の少なくとも一方の隣接形態素とからなる検索キーを生成する第2のステップと、
前記基準文章記憶部を用いて、前記解析対象文章情報の内容に類似する1つ以上の修正基準文章情報を検索する第3のステップと、
前記修正基準文章情報の中から、前記検索キーを用いて、前記ワイルドカードで検索された1つ以上の修正ルールを検索する第4のステップと、
前記修正ルールの中から、文章構成指標に基づいて1つの修正ルールを選択する第5のステップと
を有することを特徴とする装置の文章修正方法。 A sentence correction method of an apparatus for correcting an unknown word for analysis target sentence information including an unknown word,
A set of corrected standard text information is stored in the standard text storage unit,
Dividing the analysis target sentence information into morphemes and extracting unknown words;
A second step of generating a search key comprising a wildcard corresponding to the unknown word and at least one of the adjacent morphemes forward and backward with respect to the unknown word;
A third step of searching for one or more corrected reference sentence information similar to the content of the analysis target sentence information using the reference sentence storage unit;
A fourth step of searching one or more correction rules searched by the wildcard using the search key from the correction standard sentence information;
From among the modified rules, text correction method of the device, characterized in that it comprises a fifth step of selecting one of the correction rule based on the sentence structure index.
修正基準文章情報の集合を記憶した基準文章記憶手段と、
前記解析対象文章情報を形態素に分割し、未知語を抽出する未知語抽出手段と、
前記未知語に対応するワイルドカードと、当該未知語に対する前方及び後方の少なくとも一方の隣接形態素とからなる検索キーを生成する検索キー生成手段と、
前記基準文章記憶手段を用いて、前記解析対象文章情報の内容に類似する1つ以上の修正基準文章情報を検索する基準文章検索手段と、
前記修正基準文章情報の中から、前記検索キーを用いて、前記ワイルドカードで検索された1つ以上の修正ルールを検索する修正ルール検索手段と、
前記修正ルールの中から、文章構成指標に基づいて1つの修正ルールを選択する修正ルール選択手段と
を有することを特徴とする文章解析サーバ。 A sentence analysis server that acquires analysis target sentence information including an unknown word from another public server via a network, and corrects the unknown word,
Reference sentence storage means for storing a set of corrected reference sentence information;
An unknown word extracting means for dividing the analysis target sentence information into morphemes and extracting unknown words;
Search key generating means for generating a search key consisting of a wild card corresponding to the unknown word and at least one of the adjacent morphemes forward and backward with respect to the unknown word;
Reference sentence search means for searching for one or more corrected reference sentence information similar to the content of the analysis target sentence information using the reference sentence storage means;
Correction rule search means for searching one or more correction rules searched by the wild card using the search key from the correction reference sentence information;
A sentence analysis server, comprising: a correction rule selecting unit that selects one correction rule from the correction rules based on a sentence composition index.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009265784A JP5495425B2 (en) | 2009-11-21 | 2009-11-21 | Sentence correction program, method, and sentence analysis server for correcting sentences containing unknown words |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009265784A JP5495425B2 (en) | 2009-11-21 | 2009-11-21 | Sentence correction program, method, and sentence analysis server for correcting sentences containing unknown words |
Publications (4)
Publication Number | Publication Date |
---|---|
JP2011113097A JP2011113097A (en) | 2011-06-09 |
JP2011113097A5 JP2011113097A5 (en) | 2011-12-08 |
JP2011113097A6 JP2011113097A6 (en) | 2012-01-12 |
JP5495425B2 true JP5495425B2 (en) | 2014-05-21 |
Family
ID=44235414
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009265784A Expired - Fee Related JP5495425B2 (en) | 2009-11-21 | 2009-11-21 | Sentence correction program, method, and sentence analysis server for correcting sentences containing unknown words |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5495425B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108197086B (en) * | 2017-12-29 | 2022-02-01 | 国信优易数据股份有限公司 | Passive element parameter analysis method and device |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3553984B2 (en) * | 1992-06-03 | 2004-08-11 | 富士通株式会社 | Apparatus and method for generating character string replacement rule |
JPH09153034A (en) * | 1995-11-29 | 1997-06-10 | Toshiba Corp | Document preparing device and method therefor |
-
2009
- 2009-11-21 JP JP2009265784A patent/JP5495425B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011113097A (en) | 2011-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Amjad et al. | “Bend the truth”: Benchmark dataset for fake news detection in Urdu language and its evaluation | |
US7269544B2 (en) | System and method for identifying special word usage in a document | |
Şeker et al. | Initial explorations on using CRFs for Turkish named entity recognition | |
AU2012327239B2 (en) | Method and apparatus for automatically summarizing the contents of electronic documents | |
TWI536181B (en) | Language identification in multilingual text | |
CA2774278C (en) | Methods and systems for extracting keyphrases from natural text for search engine indexing | |
Saloot et al. | An architecture for Malay Tweet normalization | |
JP2005267638A (en) | System and method for improved spell checking | |
US10606903B2 (en) | Multi-dimensional query based extraction of polarity-aware content | |
Albogamy et al. | POS tagging for Arabic tweets | |
Bhattacharjee et al. | Sentiment analysis using cosine similarity measure | |
Selamat et al. | Word-length algorithm for language identification of under-resourced languages | |
US8296319B2 (en) | Information retrieving apparatus, information retrieving method, information retrieving program, and recording medium on which information retrieving program is recorded | |
JP2014219872A (en) | Utterance selecting device, method and program, and dialog device and method | |
JP5339628B2 (en) | Sentence classification program, method, and sentence analysis server for classifying sentences containing unknown words | |
JP5495425B2 (en) | Sentence correction program, method, and sentence analysis server for correcting sentences containing unknown words | |
JP5448744B2 (en) | Sentence correction program, method, and sentence analysis server for correcting sentences containing unknown words | |
JP2008077252A (en) | Document ranking method, document retrieval method, document ranking device, document retrieval device, and recording medium | |
JP5499546B2 (en) | Important word extraction method, apparatus, program, recording medium | |
CN111753540B (en) | Method and system for collecting text data to perform Natural Language Processing (NLP) | |
Ogrodniczuk et al. | Lexical correction of polish twitter political data | |
JP2011113097A6 (en) | Sentence correction program, method, and sentence analysis server for correcting sentences containing unknown words | |
TWI534640B (en) | Chinese network information monitoring and analysis system and its method | |
JP5574526B2 (en) | Hidden character correction program, method, and sentence analysis server for correcting a sentence including a hidden character | |
Java et al. | Blogvox: Separating blog wheat from blog chaff |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111025 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120904 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130827 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130906 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140228 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140303 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5495425 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |