JP5495425B2 - 未知語を含む文章を修正するための文章修正プログラム、方法及び文章解析サーバ - Google Patents
未知語を含む文章を修正するための文章修正プログラム、方法及び文章解析サーバ Download PDFInfo
- Publication number
- JP5495425B2 JP5495425B2 JP2009265784A JP2009265784A JP5495425B2 JP 5495425 B2 JP5495425 B2 JP 5495425B2 JP 2009265784 A JP2009265784 A JP 2009265784A JP 2009265784 A JP2009265784 A JP 2009265784A JP 5495425 B2 JP5495425 B2 JP 5495425B2
- Authority
- JP
- Japan
- Prior art keywords
- sentence
- information
- correction
- analysis target
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 20
- 238000012937 correction Methods 0.000 claims description 160
- 230000006870 function Effects 0.000 claims description 37
- 230000000877 morphologic effect Effects 0.000 claims description 32
- 239000000203 mixture Substances 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 8
- 238000012552 review Methods 0.000 claims description 3
- 230000014509 gene expression Effects 0.000 description 25
- 238000000605 extraction Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 241000700605 Viruses Species 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
(1)「うっそー」「すごーい」のような会話における発音の変化傾向に併せた表記
(2)「カッコイイ」のように本来ひらがなで表記される語を意図的にカタカナにした表記
(3)「ヵゎぃぃ」(「かわいい」と読む)、「ゎたUゎ」(「わたしは」と読む)のような特有の表記
修正基準文章情報の集合を記憶した基準文章記憶手段と、
解析対象文章情報を形態素に分割し、未知語を抽出する未知語抽出手段と、
未知語に対応するワイルドカードと、当該未知語に対する前方及び後方の少なくとも一方の隣接形態素とからなる検索キーを生成する検索キー生成手段と、
基準文章記憶手段を用いて、解析対象文章情報の内容に類似する1つ以上の修正基準文章情報を検索する基準文章検索手段と、
修正基準文章情報の中から、検索キーを用いて、ワイルドカードで検索された1つ以上の修正ルールを検索する修正ルール検索手段と、
修正ルールの中から、文章構成指標に基づいて1つの修正ルールを選択する修正ルール選択手段と
してコンピュータを機能させることを特徴とする。
基準文章記憶手段は、複数の修正基準文章情報を、その内容に基づいて複数のカテゴリに分類しており、
基準文章検索手段は、解析対象文章情報の内容に最も類似するカテゴリを検索し、当該カテゴリに含まれる修正基準文章情報を出力するようにコンピュータを機能させることも好ましい。
基準文章検索手段は、解析対象文章情報に記述された日時情報、又は、解析対象文章情報が作成された日時情報に最も近いカテゴリを検索し、当該カテゴリに含まれる修正基準文章情報を出力するようにコンピュータを機能させることも好ましい。
解析対象文章情報は、ネットワークを介して公開されているブログ、掲示板及び/又はクチコミコメントにおける不特定多数のユーザによって記述された文章情報であり、
解析対象文章情報がブログである場合、日時情報は、当該ブログのURL(Uniform Resource Locator)アドレスに含まれたものであるようにコンピュータを機能させることも好ましい。
基準文章記憶手段は、日時情報に基づいて分類されたカテゴリ毎に、更に、修正基準文章情報の内容に基づいて複数のカテゴリに分類しており、
基準文章検索手段は、日時情報によって検索されたカテゴリの中から、解析対象文章情報の内容に最も類似するカテゴリを検索し、当該カテゴリに含まれる修正基準文章情報を出力するようにコンピュータを機能させることも好ましい。
修正基準文章情報の集合を、基準文章記憶部に記憶しており、
解析対象文章情報を形態素に分割し、未知語を抽出する第1のステップと、
未知語に対応するワイルドカードと、当該未知語に対する前方及び後方の少なくとも一方の隣接形態素とからなる検索キーを生成する第2のステップと、
基準文章記憶部を用いて、解析対象文章情報の内容に類似する1つ以上の修正基準文章情報を検索する第3のステップと、
修正基準文章情報の中から、検索キーを用いて、ワイルドカードで検索された1つ以上の修正ルールを検索する第4のステップと、
修正ルールの中から、文章構成指標に基づいて1つの修正ルールを選択する第5のステップと
を有することを特徴とする。
修正基準文章情報の集合を記憶した基準文章記憶手段と、
解析対象文章情報を形態素に分割し、未知語を抽出する未知語抽出手段と、
未知語に対応するワイルドカードと、当該未知語に対する前方及び後方の少なくとも一方の隣接形態素とからなる検索キーを生成する検索キー生成手段と、
基準文章記憶手段を用いて、解析対象文章情報の内容に類似する1つ以上の修正基準文章情報を検索する基準文章検索手段と、
修正基準文章情報の中から、検索キーを用いて、ワイルドカードで検索された1つ以上の修正ルールを検索する修正ルール検索手段と、
修正ルールの中から、文章構成指標に基づいて1つの修正ルールを選択する修正ルール選択手段と
を有することを特徴とする。
解析対象文章 :できるかどうヵゎ分かりません
形態素解析結果:できる/か/どう/ヵゎ(未知語)/分かり/ませ/ん
くだけた表現は、形態素解析辞書に登録されていない場合が多い。そこで、形態素解析辞書に登録されていない表現「ヵゎ」は、未知語として処理される。
(1)解析対象文章情報の内容に最も類似するカテゴリに対応した修正基準文章情報を検索する。
(2)解析対象文章情報における特徴語を抽出し、その特徴語をキーとして修正基準文章情報を検索する。
(3)解析対象文章情報に記述された日時情報、又は、解析対象文章情報が作成された日時情報に最も近い修正基準文章情報を検索する。
そして、基準文章検索部12は、1つ以上の修正基準文章情報を、修正ルール検索部15へ出力する。
入力文字列 :どう/ヵゎ(未知語)/分かり
検索キー :どう*分かり(ここで、「*」は、1以上の任意文字列を示す。)
検索キー :どう*分かり(ここで、「*」は、1以上の任意文字列を示す。)
修正候補文字列:これはどう/かは/分かりません
よくあるかどう/か/分かりません
どう/したらいいのか/分かりません
この先どう/かは/分かりません
本当かどう/か/分かりませんが
使うかどう/かは/分かりませんけどね
あるかどう/かは/分かりません
どう/なっているか/分かりませんよ
修正ルール :ヵゎ⇒かは
ヵゎ⇒か
ヵゎ⇒したらいいのか
ヵゎ⇒なっているか
修正ルール :ヵゎ⇒かは
ヵゎ⇒か
ヵゎ⇒したらいいのか
ヵゎ⇒なっているか
修正ルールにおける出現頻度は、検索された修正ルールに該当する検索結果文字列が出現した頻度をいう。以下の表では、検索結果文字列の出現頻度に基づくスコアリングの例を表す。
編集距離とは、二つの文字列がどの程度異なっているかを表す指標であり、一方の文字列を他方の文字列に変換するために必要な挿入、削除、置換の最小回数として与えられる。修正ルールに基づく修正形態素は、未知語に対して少数文字の挿入や削除、置換を実行したものであることが多い。例えば、「フォーラム」から「ファーム」への編集は、「ォ」を「ァ」に置換し、「ラ」を削除する方法が、最小の編集回数である2回となるため、編集距離は2である。以下の表は、編集距離に基づくスコアリングの例を表す。
形態素解析コスト値とは、複数ある単語区切りの中で、その単語区切りがどのくらい確からしいかを表す指標である。形態素解析コスト値は、例えば、単語単体での出現確率(生起コスト)や複数単語が連続して出現する確率(連接コスト)から算出される。形態素解析コスト値は、修正ルールの文脈における適応度を評価する指標として用いられる。
score=α・freq+β・dist+γ・cost
ここで、α、β、γは、重み付け関数であり、修正ルールの適用と学習により、最適値を算出することができる。また、修正ルールは、適用する閾値を設定することができる。閾値を低く設定した場合、適用される修正ルールは増加するが、その中に含まれる修正ルールの誤適用も増加する。一方、閾値を高く設定した場合、適用される修正ルールは減少するが、その中に含まれる修正ルールの誤適用も減少させることができる。
例えば、「着信履歴」「通話」といった語が、他の語と比較して多く出現する文章は、「携帯電話」のカテゴリに分類する。
また、「ウィルス」「スパイウェア」「ファイアウォール」といった語が、他の語と比較して多く出現する文章は、「情報セキュリティ」のカテゴリに分類する。
w(t,d)=tf(t,d)・idf(t)
tfは、その単語が一つの文章中に出現する頻度である。tf(d,t)は、文書dにおける単語tが現れる頻度を、文書内の形態素数で割った値である。tfは、文章中で出現頻度が高い単語は、その文章において重要であると判断する指標である。
idf(t)=log(N/df(t))+1
(S62)投稿者用端末4は、解析対象文章であるブログテキストをWebサーバBへ投稿する。
(S63)文章解析サーバ2は、WebサーバBから解析対象文章(「えーゆーはかっこいい」)を受信する。その解析対象文章は、文章修正機能部23へ出力される。
(S64)文章修正機能部23は、解析対象文章情報を形態素に分割する。
(S65)文章修正機能部23は、形態素に未知語が含まれていた場合、未知語を抽出する。また、文章修正機能部23は、未知語が検出された解析対象文章情報を、基準文章検索部12へ出力する。
(S66)基準文章検索部12は、解析対象文章から、文章のカテゴリ、特徴語又は日時情報を抽出する。基準文章検索部12は、解析対象文章情報の内容に類似する1つ以上の修正基準文章情報を基準文章記憶部11から検索する。基準文章検索部12は、文章修正機能部23へ、修正基準文章情報を出力する。
(S67)文章修正機能部23は、S65で抽出した未知語と、その未知語に対する前方及び後方の少なくとも一方の隣接形態素とからなる検索キーを生成する。
(S68)文章修正機能部23は、修正基準文章情報の中から、検索キーを用いて、未知語に近似する1つ以上の修正ルールを検索する。
(S69)文章修正機能部23は、S68で検索した修正ルールの中から、文章構成指標に基づいて1つの修正ルールを選択する。文章修正機能部23は、選択した修正ルールを解析対象文章に適用し、修正後文章(「auはかっこいい」)を出力する。
11 基準文章記憶部
12 基準文章検索部
13 未知語抽出部
14 検索キー生成部
15 修正ルール検索部
16 修正ルール選択部
17 修正ルール適用部
2 文章解析サーバ
20 通信インタフェース部
21 基準文章入力部
22 解析対象文章入力部
23 文章修正機能部
3 Webサーバ
4 投稿用端末
Claims (11)
- 未知語を含む解析対象文章情報に対して、該未知語を修正するようにコンピュータを機能させる文章修正プログラムであって、
修正基準文章情報の集合を記憶した基準文章記憶手段と、
前記解析対象文章情報を形態素に分割し、未知語を抽出する未知語抽出手段と、
前記未知語に対応するワイルドカードと、当該未知語に対する前方及び後方の少なくとも一方の隣接形態素とからなる検索キーを生成する検索キー生成手段と、
前記基準文章記憶手段を用いて、前記解析対象文章情報の内容に類似する1つ以上の修正基準文章情報を検索する基準文章検索手段と、
前記修正基準文章情報の中から、前記検索キーを用いて、前記ワイルドカードで検索された1つ以上の修正ルールを検索する修正ルール検索手段と、
前記修正ルールの中から、文章構成指標に基づいて1つの修正ルールを選択する修正ルール選択手段と
してコンピュータを機能させることを特徴とする文章修正プログラム。 - 前記基準文章記憶手段は、複数の修正基準文章情報を、その内容に基づいて複数のカテゴリに分類しており、
前記基準文章検索手段は、前記解析対象文章情報の内容に最も類似する前記カテゴリを検索し、当該カテゴリに含まれる前記修正基準文章情報を出力する
ようにコンピュータを機能させることを特徴とする請求項1に記載の文章修正プログラム。 - 前記基準文章検索手段は、前記解析対象文章情報における特徴語を抽出し、該特徴語をキーとして1つ以上の修正基準文章情報を検索するようにコンピュータを機能させることを特徴とする請求項1に記載の文章修正プログラム。
- 前記解析対象文章情報は、ネットワークを介して公開されているブログ(Weblog)、掲示板及び/又はクチコミコメントにおける不特定多数のユーザによって記述された文章情報であるようにコンピュータを機能させることを特徴とする請求項2又は3に記載の文章修正プログラム。
- 前記基準文章記憶手段は、複数の修正基準文章情報を、その日時情報に基づいて複数のカテゴリに分類しており、
前記基準文章検索手段は、前記解析対象文章情報に記述された日時情報、又は、前記解析対象文章情報が作成された日時情報に最も近い前記カテゴリを検索し、当該カテゴリに含まれる前記修正基準文章情報を出力する
ようにコンピュータを機能させることを特徴とする請求項1に記載の文章修正プログラム。 - 前記解析対象文章情報は、ネットワークを介して公開されているブログ、掲示板及び/又はクチコミコメントにおける不特定多数のユーザによって記述された文章情報であり、
前記解析対象文章情報が前記ブログである場合、前記日時情報は、当該ブログのURL(Uniform Resource Locator)アドレスに含まれたものである
ようにコンピュータを機能させることを特徴とする請求項5に記載の文章修正プログラム。 - 前記基準文章記憶手段は、日時情報に基づいて分類された前記カテゴリ毎に、更に、修正基準文章情報の内容に基づいて複数のカテゴリに分類しており、
前記基準文章検索手段は、日時情報によって検索された前記カテゴリの中から、前記解析対象文章情報の内容に最も類似する前記カテゴリを検索し、当該カテゴリに含まれる前記修正基準文章情報を出力する
ようにコンピュータを機能させることを特徴とする請求項5又は6に記載の文章修正プログラム。 - 前記基準文章検索手段は、日時情報によって検索された前記カテゴリの中から、前記解析対象文章情報における特徴語を抽出し、該特徴語をキーとして1つ以上の修正基準文章情報を検索するようにコンピュータを機能させることを特徴とする請求項5又は6に記載の文章修正プログラム。
- 前記修正ルール選択手段は、前記文章構成指標として、(1)当該修正ルールにおける出現頻度、(2)前記未知語と前記修正ルールに基づく修正形態素との間の編集距離、及び/又は、(3)修正前と修正後との形態素解析コスト値の差分、に基づいて1つの修正ルールを選択するようにコンピュータを機能させることを特徴とする請求項1から8のいずれか1項に記載の文章修正プログラム。
- 未知語を含む解析対象文章情報に対して、該未知語を修正する装置の文章修正方法であって、
修正基準文章情報の集合を、基準文章記憶部に記憶しており、
前記解析対象文章情報を形態素に分割し、未知語を抽出する第1のステップと、
前記未知語に対応するワイルドカードと、当該未知語に対する前方及び後方の少なくとも一方の隣接形態素とからなる検索キーを生成する第2のステップと、
前記基準文章記憶部を用いて、前記解析対象文章情報の内容に類似する1つ以上の修正基準文章情報を検索する第3のステップと、
前記修正基準文章情報の中から、前記検索キーを用いて、前記ワイルドカードで検索された1つ以上の修正ルールを検索する第4のステップと、
前記修正ルールの中から、文章構成指標に基づいて1つの修正ルールを選択する第5のステップと
を有することを特徴とする装置の文章修正方法。 - 未知語を含む解析対象文章情報を他の公開サーバからネットワークを介して取得し、該未知語を修正する文章解析サーバであって、
修正基準文章情報の集合を記憶した基準文章記憶手段と、
前記解析対象文章情報を形態素に分割し、未知語を抽出する未知語抽出手段と、
前記未知語に対応するワイルドカードと、当該未知語に対する前方及び後方の少なくとも一方の隣接形態素とからなる検索キーを生成する検索キー生成手段と、
前記基準文章記憶手段を用いて、前記解析対象文章情報の内容に類似する1つ以上の修正基準文章情報を検索する基準文章検索手段と、
前記修正基準文章情報の中から、前記検索キーを用いて、前記ワイルドカードで検索された1つ以上の修正ルールを検索する修正ルール検索手段と、
前記修正ルールの中から、文章構成指標に基づいて1つの修正ルールを選択する修正ルール選択手段と
を有することを特徴とする文章解析サーバ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009265784A JP5495425B2 (ja) | 2009-11-21 | 2009-11-21 | 未知語を含む文章を修正するための文章修正プログラム、方法及び文章解析サーバ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009265784A JP5495425B2 (ja) | 2009-11-21 | 2009-11-21 | 未知語を含む文章を修正するための文章修正プログラム、方法及び文章解析サーバ |
Publications (4)
Publication Number | Publication Date |
---|---|
JP2011113097A JP2011113097A (ja) | 2011-06-09 |
JP2011113097A5 JP2011113097A5 (ja) | 2011-12-08 |
JP2011113097A6 JP2011113097A6 (ja) | 2012-01-12 |
JP5495425B2 true JP5495425B2 (ja) | 2014-05-21 |
Family
ID=44235414
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009265784A Expired - Fee Related JP5495425B2 (ja) | 2009-11-21 | 2009-11-21 | 未知語を含む文章を修正するための文章修正プログラム、方法及び文章解析サーバ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5495425B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108197086B (zh) * | 2017-12-29 | 2022-02-01 | 国信优易数据股份有限公司 | 一种被动元件参数解析的方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3553984B2 (ja) * | 1992-06-03 | 2004-08-11 | 富士通株式会社 | 文字列置換規則の生成装置及び方法 |
JPH09153034A (ja) * | 1995-11-29 | 1997-06-10 | Toshiba Corp | 文書作成装置及び文書作成方法 |
-
2009
- 2009-11-21 JP JP2009265784A patent/JP5495425B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011113097A (ja) | 2011-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Amjad et al. | “Bend the truth”: Benchmark dataset for fake news detection in Urdu language and its evaluation | |
US7269544B2 (en) | System and method for identifying special word usage in a document | |
Şeker et al. | Initial explorations on using CRFs for Turkish named entity recognition | |
AU2012327239B2 (en) | Method and apparatus for automatically summarizing the contents of electronic documents | |
TWI536181B (zh) | 在多語文本中的語言識別 | |
CA2774278C (en) | Methods and systems for extracting keyphrases from natural text for search engine indexing | |
Saloot et al. | An architecture for Malay Tweet normalization | |
JP2005267638A (ja) | 改善されたスペルチェックのためのシステムおよび方法 | |
US10606903B2 (en) | Multi-dimensional query based extraction of polarity-aware content | |
Albogamy et al. | POS tagging for Arabic tweets | |
Bhattacharjee et al. | Sentiment analysis using cosine similarity measure | |
Selamat et al. | Word-length algorithm for language identification of under-resourced languages | |
US8296319B2 (en) | Information retrieving apparatus, information retrieving method, information retrieving program, and recording medium on which information retrieving program is recorded | |
JP2014219872A (ja) | 発話選択装置、方法、及びプログラム、対話装置及び方法 | |
JP5339628B2 (ja) | 未知語を含む文章を分類するための文章分類プログラム、方法及び文章解析サーバ | |
JP5495425B2 (ja) | 未知語を含む文章を修正するための文章修正プログラム、方法及び文章解析サーバ | |
JP5448744B2 (ja) | 未知語を含む文章を修正するための文章修正プログラム、方法及び文章解析サーバ | |
JP2008077252A (ja) | 文書ランキング方法、文書検索方法、文書ランキング装置、文書検索装置、及び記録媒体 | |
JP5499546B2 (ja) | 重要語抽出方法、装置、プログラム、記録媒体 | |
CN111753540B (zh) | 一种对于文本数据进行收集以进行自然语言处理nlp的方法及*** | |
Ogrodniczuk et al. | Lexical correction of polish twitter political data | |
JP2011113097A6 (ja) | 未知語を含む文章を修正するための文章修正プログラム、方法及び文章解析サーバ | |
TWI534640B (zh) | Chinese network information monitoring and analysis system and its method | |
JP5574526B2 (ja) | 伏せ字を含む文章を修正するための伏せ字修正プログラム、方法及び文章解析サーバ | |
Java et al. | Blogvox: Separating blog wheat from blog chaff |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111025 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120904 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130827 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130906 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140228 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140303 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5495425 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |