KR100887726B1 - 자동 띄어쓰기 방법 및 그 시스템 - Google Patents
자동 띄어쓰기 방법 및 그 시스템 Download PDFInfo
- Publication number
- KR100887726B1 KR100887726B1 KR1020070051391A KR20070051391A KR100887726B1 KR 100887726 B1 KR100887726 B1 KR 100887726B1 KR 1020070051391 A KR1020070051391 A KR 1020070051391A KR 20070051391 A KR20070051391 A KR 20070051391A KR 100887726 B1 KR100887726 B1 KR 100887726B1
- Authority
- KR
- South Korea
- Prior art keywords
- spacing
- sentence
- tag
- input
- probability value
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/163—Handling of whitespace
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/232—Orthographic correction, e.g. spell checking or vowelisation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Document Processing Apparatus (AREA)
Abstract
Description
Claims (18)
- 사용자로부터 입력되는 문장의 띄어쓰기 확률값에 상기 입력문장의 띄어쓰기에 대한 신뢰도를 반영하여 상기 입력문장의 띄어쓰기 확률값을 수정하는 단계;상기 입력문장에 대해 띄어쓰기가 수행된 교정문장의 띄어쓰기 확률값과 상기 수정된 입력문장의 띄어쓰기 확률값의 크기를 비교하는 단계;상기 입력문장과 교정문장 중 더 큰 띄어쓰기 확률값을 가지는 문장의 띄어쓰기 상태를 출력문장의 띄어쓰기 상태로 결정하는 단계; 및상기 출력문장의 띄어쓰기 상태를 이용하여 상기 출력문장을 생성하는 단계;를 포함하는 것을 특징으로 하는 자동 띄어쓰기 방법.
- 삭제
- 제1항에 있어서, 상기 신뢰도는 상기 입력문장과 상기 교정문장의 띄어쓰기에 대한 유사도를 이용하여 결정되는 것을 특징으로 하는 자동 띄어쓰기 방법.
- 제3항에 있어서, 상기 유사도는 상기 입력문장의 띄어쓰기 확률값과 상기 교정문장의 띄어쓰기 확률값의 기하 평균에 대한 로그비를 이용하여 산출되는 것을 특징으로 하는 자동 띄어쓰기 방법.
- 제1항에 있어서, 상기 신뢰도는 상기 입력문장의 평균 어절의 길이와 소정 말뭉치로부터 추출되는 전체 문장의 평균 어절의 길이의 차이를 이용해서 결정되는 것을 특징으로 하는 자동 띄어쓰기 방법.
- 제1항에 있어서, 상기 신뢰도는 상기 입력문장과 교정문장의 유사도 및 상기 입력문장의 평균 어절길이와 소정 말뭉치로부터 추출되는 전체 문장의 평균 어절 길이의 차이에 의해 결정되는 것을 특징으로 하는 자동 띄어쓰기 방법.
- 제1항에 있어서, 상기 교정문장은 은닉 마르코프 모형(Hidden Markov Model: HMM)을 이용하여 생성되는 것을 특징으로 하는 자동 띄어쓰기 방법.
- 제1항에 있어서, 상기 교정문장의 생성은상기 입력문장의 띄어쓰기를 제거하여 상기 입력문장을 재배열하는 단계;상기 재배열된 입력문장의 띄어쓰기 태그열을 산출하는 단계; 및상기 띄어쓰기 태그열을 이용하여 교정문장을 산출하는 단계;를 포함하는 것을 특징으로 하는 자동 띄어쓰기 방법.
- 제8항에 있어서, 상기 띄어쓰기 태그열 산출단계에서, 상기 띄어쓰기 태그열은 비터비(Viterbi) 알고리즘을 이용하여 결정되는 것을 특징으로 하는 자동 띄어 쓰기 방법.
- 제1항에 있어서, 상기 띄어쓰기 확률값은 해당 문장에 포함된 소정음절의 발생확률과 상기 음절에 대한 띄어쓰기 태그의 발생확률의 결합확률로 정의되는 것을 특징으로 하는 자동 띄어쓰기 방법.
- 제 1항에 있어서, 상기 자동 띄어쓰기 방법은,상기 입력문장에 포함된 각 음절에 대한 입력문장의 띄어쓰기 태그와 교정문장의 띄어쓰기 태그를 비교하는 단계를 더 포함하고,상기 띄어쓰기 태그가 상이한 경우, 상기 띄어쓰기 태그가 상이한 상기 각각의 음절에 대해 상기 입력문장의 띄어쓰기 확률값 수정 단계 내지 상기 출력문장의 띄어쓰기 상태 결정 단계를 반복함으로써 상기 출력문장을 생성하는 것을 특징으로 하는 자동 띄어쓰기 방법.
- 제11항에 있어서, 상기 띄어쓰기 태그 비교단계에서, 상기 띄어쓰기 태그가 동일한 경우에는 해당 음절에 대한 입력문장과 교정문장의 띄어쓰기 태그값 중 어느 하나를 상기 음절에 대한 띄어쓰기 태그값으로 결정하는 것을 특징으로 하는 자동 띄어쓰기 방법.
- 제1항 및 제3항 내지 제12항 중 어느 하나의 항에 기재된 방법을 수행하기 위한 컴퓨터로 판독 가능한 프로그램이 기록된 기록매체.
- 입력문장과 상기 입력문장에 대해 띄어쓰기가 수행된 교정문장의 소정 음절에 대한 띄어쓰기 태그를 비교하는 태그 비교부;상기 음절에 대한 띄어쓰기 태그가 상이한 경우 상기 상이한 태그를 포함하는 상기 입력문장의 띄어쓰기 확률값인 제1확률값에 상기 입력문장의 띄어쓰기에 대한 신뢰도를 반영하여 상기 제1 확률값을 수정하는 연산부;상기 상이한 태그를 포함하는 상기 교정문장의 띄어쓰기 확률값인 제2 확률값과 상기 수정된 제1확률값을 비교하여 더 큰 확률값을 가지는 문장의 띄어쓰기 태그값을 상기 음절의 태그값으로 결정하는 태그값 결정부; 및상기 태그값 결정부에 의해 결정되는 태그들의 태그값을 이용하여 출력문장을 생성하는 출력문장 생성부;를 포함하는 것을 특징으로 하는 자동 띄어쓰기 시스템.
- 제14항에 있어서, 상기 연산부는상기 제1확률값과 상기 제2 확률값을 산출하는 확률값 산출부;상기 입력문장의 띄어쓰기에 대한 신뢰도를 산출하는 신뢰도 산출부; 및상기 신뢰도 산출부에 의해 산출된 신뢰도를 상기 제1 확률값에 반영하는 신뢰도 반영부;를 포함하는 것을 특징으로 하는 자동 띄어쓰기 시스템.
- 제15항에 있어서, 상기 신뢰도 산출부는 상기 입력문장과 상기 교정문장과의 유사도 및 상기 입력문장의 평균 어절길이와 소정 말뭉치로부터 추출되는 전체 문장의 평균 어절 길이의 차를 이용하여 상기 신뢰도를 산출하는 것을 특징으로 하는 자동 띄어쓰기 시스템.
- 제14항에 있어서, 상기 입력문장에 대해 띄어쓰기를 수행하여 교정문장을 생성하는 교정문장 생성부를 더 포함하는 것을 특징으로 하는 자동 띄어쓰기 시스템.
- 제17항에 있어서, 교정문장 생성부는 은닉 마르코프 모델을 이용하여 상기 교정문장을 생성하는 것을 특징으로 하는 자동 띄어쓰기 시스템.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070051391A KR100887726B1 (ko) | 2007-05-28 | 2007-05-28 | 자동 띄어쓰기 방법 및 그 시스템 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070051391A KR100887726B1 (ko) | 2007-05-28 | 2007-05-28 | 자동 띄어쓰기 방법 및 그 시스템 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20080104517A KR20080104517A (ko) | 2008-12-03 |
KR100887726B1 true KR100887726B1 (ko) | 2009-03-12 |
Family
ID=40366123
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020070051391A KR100887726B1 (ko) | 2007-05-28 | 2007-05-28 | 자동 띄어쓰기 방법 및 그 시스템 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100887726B1 (ko) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100992858B1 (ko) * | 2008-12-30 | 2010-11-09 | 엔에이치엔(주) | Ocr 결과를 보정하기 위한 방법, 시스템 및 컴퓨터 판독가능한 기록 매체 |
KR102540293B1 (ko) * | 2020-11-16 | 2023-06-07 | 주식회사 솔트룩스 | 딥 러닝 언어 모델 기반의 한국어 교정 시스템 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR970006402B1 (ko) * | 1988-02-05 | 1997-04-28 | 아메리칸 텔리폰 앤드 텔리그라프 캄파니 | 품사결정과 이용방법 |
KR20010000673A (ko) * | 2000-10-12 | 2001-01-05 | 강승식 | 음절 바이그램 특성을 이용한 한글 문서의 오류 인식 및교정 방법 |
KR20010063799A (ko) * | 1999-12-24 | 2001-07-09 | 오길록 | 음절단위 조건확률을 이용한 한국어 자동 띄어쓰기 방법 |
-
2007
- 2007-05-28 KR KR1020070051391A patent/KR100887726B1/ko active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR970006402B1 (ko) * | 1988-02-05 | 1997-04-28 | 아메리칸 텔리폰 앤드 텔리그라프 캄파니 | 품사결정과 이용방법 |
KR20010063799A (ko) * | 1999-12-24 | 2001-07-09 | 오길록 | 음절단위 조건확률을 이용한 한국어 자동 띄어쓰기 방법 |
KR20010000673A (ko) * | 2000-10-12 | 2001-01-05 | 강승식 | 음절 바이그램 특성을 이용한 한글 문서의 오류 인식 및교정 방법 |
Also Published As
Publication number | Publication date |
---|---|
KR20080104517A (ko) | 2008-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8881005B2 (en) | Methods and systems for large-scale statistical misspelling correction | |
CN111401084B (zh) | 一种机器翻译的方法、设备以及计算机可读存储介质 | |
US9069753B2 (en) | Determining proximity measurements indicating respective intended inputs | |
JP5377889B2 (ja) | 言語処理装置およびプログラム | |
US20090271195A1 (en) | Speech recognition apparatus, speech recognition method, and speech recognition program | |
CN101271450B (zh) | 裁剪语言模型的方法及装置 | |
Alkanhal et al. | Automatic stochastic arabic spelling correction with emphasis on space insertions and deletions | |
JP5809381B1 (ja) | 自然言語処理システム、自然言語処理方法、および自然言語処理プログラム | |
US11423237B2 (en) | Sequence transduction neural networks | |
Toselli et al. | Two methods to improve confidence scores for lexicon-free word spotting in handwritten text | |
CN115293138A (zh) | 一种文本纠错方法及计算机设备 | |
JP5441937B2 (ja) | 言語モデル学習装置、言語モデル学習方法、言語解析装置、及びプログラム | |
CN111814479A (zh) | 一种企业简称生成及其模型的训练方法及装置 | |
US9460086B2 (en) | Method and apparatus for performing bilingual word alignment | |
CN117709355B (zh) | 一种提高大语言模型训练效果的方法、装置及介质 | |
JP5319141B2 (ja) | 言語モデルの枝刈り方法及び装置 | |
CN114239589A (zh) | 语义理解模型的鲁棒性评估方法、装置及计算机设备 | |
JP5097802B2 (ja) | ローマ字変換を用いる日本語自動推薦システムおよび方法 | |
KR100887726B1 (ko) | 자동 띄어쓰기 방법 및 그 시스템 | |
CN102955770A (zh) | 一种拼音自动识别方法及*** | |
US20240232245A1 (en) | Method, device, and medium for consistency detection of a document and an abstract | |
CN114580391A (zh) | 中文错误检测模型训练方法、装置、设备及存储介质 | |
JP4976789B2 (ja) | トークン列中の境界検出方法、装置、プログラム、記録媒体 | |
CN111859963B (zh) | 命名实体识别方法、设备、装置和计算机可读存储介质 | |
JP2018077677A (ja) | 文字列変換装置、モデル学習装置、方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20120130 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20131231 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20141230 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20151223 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20170117 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20180102 Year of fee payment: 10 |
|
FPAY | Annual fee payment |
Payment date: 20190102 Year of fee payment: 11 |
|
FPAY | Annual fee payment |
Payment date: 20200102 Year of fee payment: 12 |