JP5623380B2 - 誤り文修正装置、誤り文修正方法およびプログラム - Google Patents
誤り文修正装置、誤り文修正方法およびプログラム Download PDFInfo
- Publication number
- JP5623380B2 JP5623380B2 JP2011286889A JP2011286889A JP5623380B2 JP 5623380 B2 JP5623380 B2 JP 5623380B2 JP 2011286889 A JP2011286889 A JP 2011286889A JP 2011286889 A JP2011286889 A JP 2011286889A JP 5623380 B2 JP5623380 B2 JP 5623380B2
- Authority
- JP
- Japan
- Prior art keywords
- word
- correction
- sentence
- correction candidate
- dictionary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G06F17/21—
Landscapes
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
Description
・辞書登録語で構成される誤りは、予め設定する規則により修正候補を導出する。
・カタカナ未知語の誤りは、別途用意する揺らぎ照合により単語辞書にある表記を修正候補として導出する。
・以上の2つの処理を独立に実行し、それぞれの修正候補で単語ラティスを生成した上で、言語モデルに基づく単語連接確率を計算し、最尤単語列を最終出力とする。
1.キーワード辞書からトライ辞書を構築する際、各キーワード毎に、キーワードそのものと、当該キーワードの全ての文字位置pkから連続するwk字(1≦wk≦N)を削除した文字列の集合とからなる削除キーワードを生成し、トライ構造を作成する。これをスキップ辞書と呼ぶ。
2.スキップ辞書の値には、各削除キーワード毎に、削除文字位置pk、削除文字数wkおよび当該削除キーワードの元となったキーワード(元キーワード)を保持しておく。
3.入力文字列とスキップ辞書とを照合する際、入力文字列そのものとスキップ辞書との照合だけでなく、当該入力文字列の全ての位置から連続するwi字(1≦wi≦N)スキップした入力文字列(以下、スキップ入力と呼ぶ。)の集合とスキップ辞書との照合も行う。
4.得られた削除キーワードの削除文字位置pk、削除文字数wk、入力文字列のキーワード上での相対スキップ位置pi、スキップ幅wiを比較してその削除キーワードを、次の4種類に分類する。
(1)wi、wkが共に0(wi=wi=0)ならば、キーワードは完全一致としてキーワードを出力する。
(2)wiが0で、wkが1以上(wi=0,wk>0)であれば、入力文字列のスキップ位置にwi字の削除文字が存在するものとしてキーワードを出力する。
(3)wiが1以上で、wkが0(wi>0,wk=0)であれば、入力文字列のスキップ位置にwi字の挿入文字が存在するものとしてキーワードを出力する。
(4)wiが1以上で、piとpkが等しく、wiとwk(wi>0,pi=pk,wi=wk)が等しければ、入力文字列のスキップ位置にwi=wk字の置換文字が存在するものとしてキーワードを出力する。
12 形態素解析処理部
14 修正候補導出処理部
14a 候補導出処理部
14b 候補導出処理部
16 単語ラティス生成処理部
18 最尤単語列探索処理部
22 CPU
24 RAM
26 ROM
28 HDD
30 キーボード
34 ディスプレイ
Claims (5)
- 修正対象とする文から形態素解析によって得られた単語の各々毎に当該単語を示す表記および品詞を有する単語列データにおける単語について、単語辞書にない単語に対し前記単語辞書から検索した文字列として近い表記の単語を第2修正候補として導出した後、前記単語列データにおける単語辞書にない単語を、導出された前記第2修正候補に置き換えた前記単語列データにおける単語について、助詞を別の助詞に置き換える規則、形容詞の直後に出現する助詞を消去する規則、及び数量名詞と名詞との間に助詞「の」を挿入する規則の少なくとも1つの規則に応じた修正候補である第1修正候補を導出する修正候補導出手段と、
前記修正候補導出手段によって導出された第1修正候補および第2修正候補を用いて単語ラティスを生成する単語ラティス生成手段と、
前記単語ラティス生成手段によって生成された単語ラティスに対して、最尤となる単語列を探索することにより前記修正対象とする文に対する修正文を生成する修正文生成手段と、
を備えた誤り文修正装置。 - 前記修正候補導出手段は、前記単語列データにおける単語について、前記単語辞書に含まれる単語から、前記単語列データにおける単語と単語全体において一致する文字数に基づく一致度が、予め定められた閾値以上である単語を、前記第2修正候補として導出する請求項1記載の誤り文修正装置。
- 予め定められた複数種類の単語の各々毎の表記および品詞を含む単語辞書、および正規表現とされた前記規則を予め記憶した記憶手段をさらに備え、
前記修正候補導出手段は、前記記憶手段に記憶された前記単語辞書および前記規則を用いて前記第1修正候補および前記第2修正候補を導出する
請求項1又は請求項2記載の誤り文修正装置。 - 修正対象とする文から形態素解析によって得られた単語の各々毎に当該単語を示す表記および品詞を有する単語列データにおける単語について、単語辞書にない単語に対し前記単語辞書から検索した文字列として近い表記の単語を第2修正候補として導出した後、前記単語列データにおける単語辞書にない単語を、導出された前記第2修正候補に置き換えた前記単語列データにおける単語について、助詞を別の助詞に置き換える規則、形容詞の直後に出現する助詞を消去する規則、及び数量名詞と名詞との間に助詞「の」を挿入する規則の少なくとも1つの規則に応じた修正候補である第1修正候補を導出する修正候補導出ステップと、
前記修正候補導出ステップによって導出された第1修正候補および第2修正候補を用いて単語ラティスを生成する単語ラティス生成ステップと、
前記単語ラティス生成ステップによって生成された単語ラティスに対して、最尤となる単語列を探索することにより前記修正対象とする文に対する修正文を生成する修正文生成ステップと、
を含む誤り文修正方法。 - コンピュータを、請求項1から請求項3の何れか1項に記載の誤り文修正装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011286889A JP5623380B2 (ja) | 2011-12-27 | 2011-12-27 | 誤り文修正装置、誤り文修正方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011286889A JP5623380B2 (ja) | 2011-12-27 | 2011-12-27 | 誤り文修正装置、誤り文修正方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013134753A JP2013134753A (ja) | 2013-07-08 |
JP5623380B2 true JP5623380B2 (ja) | 2014-11-12 |
Family
ID=48911367
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011286889A Active JP5623380B2 (ja) | 2011-12-27 | 2011-12-27 | 誤り文修正装置、誤り文修正方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5623380B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108664201B (zh) * | 2017-03-29 | 2021-12-28 | 北京搜狗科技发展有限公司 | 一种文本编辑方法、装置及电子设备 |
JP7098463B2 (ja) * | 2018-07-23 | 2022-07-11 | 株式会社デンソーアイティーラボラトリ | 単語列修正装置、単語列修正方法及びプログラム |
JP7192356B2 (ja) * | 2018-09-27 | 2022-12-20 | 大日本印刷株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP7371057B2 (ja) * | 2021-04-28 | 2023-10-30 | デロイトトーマツファイナンシャルアドバイザリー合同会社 | 情報処理装置、情報処理方法、端末プログラム、サーバプログラム及び契約書修正支援システム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05233619A (ja) * | 1992-02-18 | 1993-09-10 | Matsushita Electric Ind Co Ltd | 日本語文章誤り訂正方法およびその装置 |
JP4047895B2 (ja) * | 1996-04-05 | 2008-02-13 | 富士通株式会社 | 文書校正装置およびプログラム記憶媒体 |
JP5482236B2 (ja) * | 2010-01-28 | 2014-05-07 | 富士ゼロックス株式会社 | プログラムおよび情報処理装置 |
-
2011
- 2011-12-27 JP JP2011286889A patent/JP5623380B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013134753A (ja) | 2013-07-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6493866B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
KR102268875B1 (ko) | 전자 장치에 텍스트를 입력하는 시스템 및 방법 | |
JP6175900B2 (ja) | 翻訳装置、方法、及びプログラム | |
JP5071373B2 (ja) | 言語処理装置、言語処理方法および言語処理用プログラム | |
JPWO2007097176A1 (ja) | 音声認識辞書作成支援システム、音声認識辞書作成支援方法及び音声認識辞書作成支援用プログラム | |
KR20120006489A (ko) | 입력 방법 편집기 | |
Nicolai et al. | Leveraging Inflection Tables for Stemming and Lemmatization. | |
Arisoy et al. | Discriminative language modeling with linguistic and statistically derived features | |
JP5623380B2 (ja) | 誤り文修正装置、誤り文修正方法およびプログラム | |
JP7511381B2 (ja) | 文生成装置、文生成方法および文生成プログラム | |
KR20120045906A (ko) | 코퍼스 오류 교정 장치 및 그 방법 | |
JP5203324B2 (ja) | 誤字脱字対応テキスト解析装置及び方法及びプログラム | |
Mekki et al. | COTA 2.0: An automatic corrector of Tunisian Arabic social media texts | |
Kuo et al. | Syntactic features for Arabic speech recognition | |
JP4478042B2 (ja) | 頻度情報付き単語集合生成方法、プログラムおよびプログラム記憶媒体、ならびに、頻度情報付き単語集合生成装置、テキスト索引語作成装置、全文検索装置およびテキスト分類装置 | |
KR20040018008A (ko) | 품사 태깅 장치 및 태깅 방법 | |
Nabende | Applying dynamic Bayesian Networks in transliteration detection and generation | |
JP2009176148A (ja) | 未知語判定システム、方法及びプログラム | |
Heintz | Arabic language modeling with stem-derived morphemes for automatic speech recognition | |
L’haire | FipsOrtho: A spell checker for learners of French | |
Hara et al. | Exploring difficulties in parsing imperatives and questions | |
El-Kahlout et al. | Initial explorations in two-phase Turkish dependency parsing by incorporating constituents | |
Jose et al. | Lexical normalization model for noisy SMS text | |
Zalmout | Morphological Tagging and Disambiguation in Dialectal Arabic Using Deep Learning Architectures | |
Bhowmik et al. | Development of A Word Based Spell Checker for Bangla Language |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131031 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131105 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140527 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140725 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140826 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140924 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5623380 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |