KR101636902B1

KR101636902B1 - 문법의 오류 검출 방법 및 이를 위한 장치

Info

Publication number: KR101636902B1
Application number: KR1020120092088A
Authority: KR
Inventors: 김승환
Original assignee: 에스케이텔레콤 주식회사
Priority date: 2012-08-23
Filing date: 2012-08-23
Publication date: 2016-07-06
Also published as: US20150161096A1; KR20140026703A; US9600469B2; WO2014030834A1

Abstract

본 발명은 문법의 오류 검출 방법 및 이를 위한 장치에 관한 것으로서, 작문 문장에 대한 순방향 형태소열 및 역방향 형태소열과 동일한 형태소열의 출현 빈도수를 확인하고, 높은 출현 빈도수에 근거하여 오류를 검출할 수 있다. 자연어 처리 분야에서 예제 기반 기술은 기존에 기계번역에서 사용되던 기술로서, 수많은 원문, 번역문 쌍을 예제로 하여 번역 지식을 추출해 내고, 이에 기반하여 자동 번역을 수행하는 방법이 적용된다. 따라서, 기계 번역에서 적용되는 예제 기반 방식은 대용량의 용례를 사용하기 때문에, 고품질의 번역기능으로 활용이 가능한 장점이 있다. 특히, 언어는 규칙이라기 보다는 시간 및 장소에 따라 자연히 변하는 것이므로, 복잡한 규칙을 지속적으로 생성하지 않고도 사람들이 주로 사용하는 패턴을 쉽게 적용할 수 있다.

Description

문법의 오류 검출 방법 및 이를 위한 장치 {Method for detecting a grammatical error and apparatus thereof}

본 발명은 문법의 오류 검출 방법 및 이를 위한 장치에 관한 것으로서, 더욱 상세하게는 작문 문장에 대한 순방향 형태소열 및 역방향 형태소열과 동일한 형태소열의 출현 빈도수를 확인하고, 높은 출현 빈도수에 근거하여 오류를 검출하는 문법의 오류 검출 방법 및 이를 위한 장치에 관한 것이다.

최근 대학 입시 시험 및 국내 대기업들이 성적 위주의 평가에서 말하기/쓰기 위주의 실제 영어 능력 평가로 변화하고 있다. 즉, 영어 의사소통 능력 신장을 위해 교육과학 기술부가 NEAT(National English Ability Test, 인터넷을 기반으로 한 듣기, 독해, 말하기, 쓰기 평가)를 개발하여 시범 시행하고 있으며, 향후 공무원 시험이나 수능 영어 시험 등을 대체할 계획이다. 이러한 영어 능력 평가에서 쓰기 능력을 평가하기 위해 작문 평가 시스템을 도입하고 있다.

기존의 작문 평가 시스템은 이미 작문한 문장을 문법적으로 분석하여 문법에 맞게 제대로 작성되었는지 오류 검출을 통해 평가한다. 이때, 작문한 문장을 분석하는 과정에는 문장에 대한 형태소를 분석하고 품사를 태깅하는 과정이 필수적으로 요구되는데, 종래의 형태소 분석 및 품사 태깅 장치는 주변 단어들의 어휘, 품사, 의미 및 문맥적인 공기 관계가 복합적으로 고려되지 않고 단순히 품사열 정보에만 의존하기 때문에 그 정확성이 크게 떨어지는 문제점이 있다.

이러한 문제점을 해결하기 위해서, 주변 어휘 규칙과 어휘 문맥 정보를 구축한 어휘 사전, 언어 모델 등을 이용하여 어휘의 규칙 정보와 통계 정보를 상호 보완적으로 적용함으로써 오류 검출 방법을 제안하고 있다.

특히, 언어 모델은 문법적인 통계 정보에 근거하여 단어간의 연결 관계를 확률로 표현한 것으로, 주어진 영역의 많은 텍스트 문장으로부터 쉽게 추출이 가능하고 오류 검출의 정확성이 높다. 그러나 실제 언어는 정형화된 규칙이라기 보다는 시간 및 장소에 따라 자연히 변하는 것으로 문법적인 통계 정보에 어긋나는 경우가 많다. 예를 들어, 함축어, 인터넷 용어, 새로 신설되는 현대어 등은 문법에 위배되지만 실제 생활에 많이 쓰이는 어휘로서, 문법적인 통계 정보에 근거하여 정확한 문법 오류를 검출할 수 있는 방안이 필요하다.

한국공개특허 10-2003-0085740 A, 2003년 11월 07일 공개 (명칭: 학습자의 오류 문장에 대해 자동 첨삭 및 해설을 제공하는 영어 학습 방법 및 장치)

이와 같은 문제점을 해결하기 위하여, 본 발명의 목적은 인터넷이나 다른 언어 전달 매체를 통해 다양한 문체를 포함하는 용례문을 수집하여 예제 기반 데이터베이스를 구축하고, 작문 문장에 대한 순방향 형태소열과 역방향 형태소열의 출현 빈도수를 확인하고, 높은 출현 빈도수에 근거하여 오류를 검출할 수 있는 문법의 오류 검출 방법 및 이를 위한 장치를 제공하고자 한다.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 오류검출장치는 입력된 문장을 형태소 단위로 분리하는 문장분석기와, 용례문을 형태소 단위로 분리하여 예제 기반의 색인 데이터베이스로 구축하는 용례구축기 및 상기 입력된 문장으로부터 분리된 형태소들을 기준으로 순방향 및 역방향에 위치한 형태소들을 임의의 윈도우(N-window) 사이즈로 묶은 순방향 형태소열 및 역방향 형태소열을 생성하고, 상기 예제 기반의 색인 데이터베이스를 검색하여, 상기 순방향 형태소열 및 역방향 형태소열의 출현 빈도수를 각각 추출하고, 상기 추출한 출현 빈도수들을 근거로 적합성을 계산하고, 적합성 계산을 통해 산출된 점수가 임계치보다 낮거나 또는 상기 적합성 점수가 일정수치 이상으로 떨어지는지를 판단하여 상기 문장의 오류를 검출하는 오류검출기를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 오류검출장치에 있어서, 오류 검출기는, 상기 순방향 형태소열, 역방향 형태소열에 대하여 각각 적합성을 계산하고, 상기 순방향 형태소열의 적합성과 역방향 형태소열의 적합성을 통합하여 통합 적합성을 계산하고, 상기 통합 적합성을 기준으로 오류를 검출하는 것을 특징으로 한다.
또한, 본 발명에 따른 오류검출장치에 있어서, 오류 검출기는, 해당 형태소열의 윈도우 수에 따라서, 상기 추출한 출현 빈도수들에 가중치를 다르게 적용하여 적합성을 계산하는 것을 특징으로 한다.
또한, 본 발명에 따른 오류검출장치에 있어서, 오류검출기는, 상기 순방향 형태소열과 역방향 형태소열의 출현 빈도수들 중 높은 출현 빈도수를 추출하고, 상기 높은 출현 빈도수에 근거하여 상기 적합성을 계산하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 문법의 오류 검출 방법은 입력되는 문장을 형태소 단위로 분리하는 단계와, 상기 분리된 형태소를 기준으로 순방향에 위치한 형태소들을 임의의 윈도우 사이즈로 묶은 순방향 형태소열, 역방향에 위치한 형태소들을 임의의 윈도우 사이즈로 묶은 역방향 형태소열을 생성하는 단계, 상기 생성된 순방향 형태소열 및 역방향 형태소열을 기준으로 예제 기반의 색인 데이터베이스을 검색하여, 순방향 형태소열 및 역방향 형태소열 각각의 출현 빈도수를 추출하는 단계, 상기 추출한 출현 빈도수들을 근거로 상기 순방향 형태소열 및 역방향 형태소열의 적합성을 계산하는 단계 및 계산한 적합성 점수가 임계치보다 낮거나 또는 상기 적합성 점수가 일정수치 이상으로 떨어지는지를 판단하여 상기 문장의 오류를 검출하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 문법 오류 검출 방법에 있어서, 적합성을 계산하는 단계는 상기 순방향 형태소열 및 역방향 형태소열의 출현 빈도수들을 근거로 각각의 적합성을 계산하며, 상기 순방향 형태소열의 적합성과 역방향 형태소열의 적합성을 통합하여 통합 적합성을 계산하고, 오류를 검출하는 단계는 상기 통합 적합성을 기준으로 오류를 검출하는 것을 특징으로 한다.
또한, 본 발명에 따른 문법 오류 검출 방법에 있어서, 적합성을 계산하는 단계는 상기 순방향 형태소열 및 역방향 형태소열의 출현 빈도수들을 근거로 각각의 적합성을 계산하며, 상기 순방향 형태소열의 적합성과 역방향 형태소열의 적합성을 통합하여 통합 적합성을 계산하는 것을 특징으로 한다.
또한, 본 발명에 따른 문법 오류 검출 방법에 있어서, 적합성을 계산하는 단계는 상기 순방향 형태소열과 역방향 형태소열의 출현 빈도수 중 높은 출현 빈도수를 추출하고, 상기 높은 출현 빈도수에 근거하여 상기 적합성을 계산하는 것을 특징으로 한다.
본 발명의 과제 해결을 위한 또 다른 수단으로서, 문법의 오류 검출 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체를 제공한다.

삭제

본 발명에 따르면, 언어의 정형적인 규칙을 기반으로 한 것이 아니라 자연스러운 표현에 의한 문장(용례문)을 수집하여 구축하고, 이를 기반으로 입력 문장을 분석하여 오류를 검출하며 필요에 따라서는 그 오류에 대한 수정안을 제시해 줌으로써 작문 평가의 성능을 향상시킬 수 있다.

또한, 자연어 처리 분야에서 예제 기반 기술은 기존에 기계번역에서 사용되던 기술로서, 수많은 원문, 번역문 쌍을 예제로 하여 번역 지식을 추출해 내고, 이에 기반하여 자동 번역을 수행하는 방법이 적용된다. 따라서, 기계 번역에서 적용되는 예제 기반 방식은 대용량의 용례를 사용하기 때문에, 고품질의 번역기능으로 활용이 가능한 장점이 있다. 특히, 언어는 규칙이라기 보다는 시간 및 장소에 따라 자연히 변하는 것이므로, 복잡한 규칙을 지속적으로 생성하지 않고도 사람들이 주로 사용하는 패턴을 쉽게 적용할 수 있다.

도 1은 본 발명의 실시 예에 따른 문법의 오류 검출을 위한 오류검출장치의 구성을 나타내는 도면이다.
도 2는 본 발명의 실시 예에 따른 문장분석기의 구성을 나타내는 도면이다.
도 3은 본 발명의 실시 예에 따른 오류검출기의 구성을 나타낸 도면이다.
도 4는 도 3의 각 구성요소에서 수행하는 기능을 설명하기 위한 예시도 이다.
도 5는 도 3에서 수행한 결과 값을 보여주는 예시도 이다.
도 6은 본 발명의 실시 예에 따른 용례구축기의 구성을 나타내는 도면이다.
도 7은 본 발명의 실시 예에 따른 문법의 오류 검출을 위해 예제 기반의 데이터베이스를 구축하는 방법을 나타낸 흐름도이다.
도 8은 본 발명의 실시 예에 따른 문법의 오류를 검출하는 방법을 설명하기 위한 흐름도이다.
도 9은 도 8의 오류 검출 과정에 대한 상세도이다.

이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.

이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

설명에 앞서, 본 발명에서 언급하는 용례(用例, example)는 사전적 의미로 '쓰고 있는 예'를 말하는 것으로, 언어학적 분야에서는 특정 단어가 사용되는 예문을 말한다. 특히, 본 발명에서 언급하는 용례는 정형적인 문법구조에 맞추어 문장이 구성된 코퍼스(corpus)가 아니라, 정형적인 규칙에 벗어나는 문장으로서 실생활에서 사용되고 있는 문장, 다양한 문체를 포함한 문장 등을 모두 포함한다.

도 1은 본 발명의 실시 예에 따른 문법의 오류 검출을 위한 오류검출장치의 구성을 나타내는 도면이다.

도 1을 참조하면, 본 발명에 따른 문법 오류 검출을 위한 오류검출장치(10)는 문장분석기(100), 오류검출기(200) 및 용례구축기(300)로 구성된다.

문장분석기(100)는 작문한 입력 문장을 데이터로 입력 받는다. 이때, 문장분석기(100)는 입력 받은 작문(이하, 입력 문장)을 형태소 단위로 분리하고, 분리된 형태소들에 대하여 해당 품사를 태깅한다. 그리고, 문장분석기(100)는 태깅된 품사에 기초하여 각 문장의 구문(syntax) 구조를 분석하고, 그 분석한 결과로서 구문 트리를 추출한다. 이때, 문장분석기(100)는 구문 분석의 오류를 최소화하기 위해 품사를 태깅한 문장을 오류검출기(200)로 전달한다.

오류검출기(200)는 문장분석기(100)로부터 전달받은 문장에 대하여 엔-그램(N-gram)을 이용하여 품사열을 생성하고, 생성한 품사열에 대하여 단순 문법 규칙을 토대로 분석함과 동시에 서로 인접하는 품사간 연결 관계에 따라 정의한 문법 규칙을 기반으로 분석함으로써 단순 영작 오류뿐 아니라 인접한 품사간의 연결 관계에 대한 구문 분석의 오류를 검출한다. 특히, 오류검출기(200)는 태깅된 품사에 엔-그램을 이용하여 품사열을 생성하고, 문법 규칙을 기반으로 생성된 품사열을 분석하여 오류를 검출한다. 즉, 오류검출기(200)는 분리된 형태소들을 임의의 윈도우(N-window) 사이즈로 묶은 형태소열을 생성한다.

그리고, 오류검출기(200)는 예제 기반의 색인 데이터베이스를 검색하여 생성된 형태소열에 대한 순방향 형태소열 및 역방향 형태소열과 동일한 형태소열의 출현 빈도수들을 확인한다. 순방향 형태소열과 역방향 형태소열의 출현 빈도수가 다른 경우, 오류검출기(200)는 높은 출현 빈도수에 근거하여 오류를 검출한다. 특히, 오류 검출기(200)는 높은 출현 빈도수를 이용해서 적합성 점수를 계산하고, 적합성 점수가 임계치보다 낮거나 또는 일정 이상 낮은지 판단하여 오류 구간을 검출한다.

용례구축기(300)는 언어 전달 매체로부터 노출되는 다수의 문장들로부터 용례문을 수집하여 오류 검출에 활용할 대용량의 색인 데이터베이스(DB)를 구축한다. 특히, 용례구축기(300)는 언어 전달 매체로부터 노출되는 다수의 문장셋(sentence set)으로부터 용례문을 수집하여 오류 검출에 활용할 대용량의 색인 데이터베이스를 구축한다. 이렇게 구축된 색인 데이터베이스는 다양한 예제를 기반으로 한 통계적 정보가 저장된다.

이러한 오류검출장치(10)는 예제 기반의 통계적 정보를 기반으로 입력 문장에 존재하는 오류를 검출한다. 또한, 오류검출장치(10)는 오류 검출 시 입력 문장을 통째로 검색하지 않고, 임의의 윈도우 단위로 구간을 묶어 구간 단위로 통계적 정보를 비교 및 검색하는 N-그램 검색 방식을 이용한다.

일반적으로 N-그램 검색 방식은 두 개의 윈도우 단위로 구간을 분류하는 바이그램(Bigram), 세 개의 윈도우 단위로 구간을 분류하는 트라이그램(Trigram) 등이 있으며, 이들은 윈도우 사이즈에 따라 한 개 또는 두 개의 이전 문맥에 대한 발생 출현 빈도수를 고려한다.

도 2는 본 발명의 실시 예에 따른 문장분석기의 구성을 나타내는 도면이다.

도 2를 참조하면, 본 발명에 따른 문장 오류 검출에 대한 구성은 오류검출기(200)와 문장분석기(100)를 독립적으로 구성한 예를 도시하였으나, 이에 한정되지 않고 문장분석기(100)에 오류검출기(200)가 포함되어 하나의 장치로도 구현될 수 있다.

문장분석기(100)는 작문한 문장을 데이터로 입력 받고, 입력받은 작문을 평가하기 위한 구성으로서 입력문장 분리부(110), 품사 태깅부(120) 및 품사사전(130)을 포함한다. 특히, 문장분석기(100)는 입력된 문장을 형태소 단위로 분리하고, 분리된 형태소들에 대하여 품사를 태깅하고, 태깅된 품사에 기초하여 문장의 구문 구조를 분석한다.

입력문장 분리부(110)는 입력 받은 작문을 형태소 단위로 분리한다. 여기서, 문장 분리는 여러 문장에서 마침표나 물음표, 느낌표 등의 마침 기호를 통해 문장 단위로 분리하는 것을 의미한다. 또한, 형태소 분리는 언어 특성상 조사가 단어 옆에 정렬되지 않기 때문에 의미 있는 최소 단위인 형태소는 곧 단어가 될 수 있다.

품사 태깅부(120)는 입력문장 분리부(110)에서 분리한 형태소들에 대하여 해당 품사를 태깅한다. 여기서, 품사 태깅은 기 저장된 품사 사전(130)의 지식을 참조하여 수행할 수 있다. 예컨대, 품사의 종류는 명사, 동사, 전치사, 형용사, 부사, 관사, 감탄사 등이 있다. 예를 들어, 입력문장이 "I would like to live in the city."가 입력되면 입력문장 분리부(110)는 I, would, like, to, live, in, the, city, .으로 분리하고, 품사 태깅부(120)는 분리된 형태소들에 대하여 차례대로 명사(I), 동사(would), 동사(like), 전치사(to), 동사(live), 전치사(in), 관사(the), 명사(city) 등의 품사를 태깅한다.

도 3은 본 발명의 실시 예에 따른 오류검출기의 구성을 나타낸 도면이고, 도 4는 도 3의 각 구성요소에서 수행하는 기능을 설명하기 위한 예시도 이고, 도 5는 도 3에서 수행한 결과 값을 보여주는 예시도 이다.

도 3을 참조하면, 본 발명의 실시 예에 따른 오류검출기(200)는 N-그램 생성부(210), 검색부(220), 적합성 계산부(230) 및 오류 판단부(240)를 포함한다.

N-그램 생성부(210)는 순방향 또는 역방향 중 하나 이상의 방향으로, 형태소들을 임의의 윈도우 사이즈로 묶어 형태소열을 생성한다. 특히, 본 발명에 따른 N-그램 생성부(210)는 형태소들을 기준으로 순방향으로 위치한 형태소들을 임의의 윈도우 사이즈로 묶은 순방향 또는 역방향 중 하나 이상의 방향으로 위치한 형태소들을 임의의 윈도우 사이즈로 묶은 역방향 형태소열을 각각 생성할 수 있다.

예를 들면, 도 4의 (d)에 나타난 바와 같이 형태소 'live'를 기준으로 역방향으로 위치한 형태소(I, would, like, to)에 대하여 임의의 윈도우 사이즈로 묶은 형태소열을 생성할 수 있다. 이때, 2-윈도우 단위로 묶은 역방향 형태소열은 'to live', 3-윈도우 단위로 묶은 역방향 형태소열은 'like to live', 4-윈도우 단위로 묶은 역방향 형태소열은 'would like to live', 5-윈도우 단위로 묶은 역방향 형태소열은 'I would like to live'로 생성할 수 있다.

반대로 (e)에 나타난 바와 같이 형태소 'live'를 기준으로 순 방향으로 위치한 형태소(live, in, the, city, .)에 대하여 임의의 윈도우 사이즈로 묶은 형태소열을 생성할 수 있다. 이때, 2-윈도우 단위로 묶은 순방향 형태소열은 'live in', 3-윈도우 단위로 묶은 역방향 형태소열은 'live in the', 4-윈도우 단위로 묶은 역방향 형태소열은 'live in the city', 5-윈도우 단위로 묶은 역방향 형태소열은 'live in the city.'로 생성할 수 있다.

이때, N-그램 생성부(210)는 미리 윈도우 사이즈를 설정해 두고, 설정한 윈도우 사이즈에 해당하는 형태소열을 생성하여 오류 검출에 활용할 수 있다. 세밀한 검출을 하기 위해서는 바이그램, 트라이그램과 같이 윈도우 사이즈를 가변하여 각각의 형태소열을 생성하고 분석하는 것이 좋지만, 이럴 경우 색인 데이터베이스(250)에 저장되는 형태소열에 대한 용량도 크게 증가하게 되고 분석 또한 복잡해 질 수 있으므로, 하나의 윈도우 사이즈만 고려한 형태소열을 생성하여 분석하는 것도 가능하다.

검색부(220)는 N-그램 생성부(210)에서 생성된 형태소열과 동일한 형태소열이 다수의 용례문으로 구축된 예제 기반의 색인 데이터베이스(250)에 존재하는지 입력 문장에 포함되어 있는 각 형태소별로 검색한다.

적합성 계산부(230)는 생성된 형태소열과 동일한 형태소열의 출현 빈도수를 추출하고, 추출한 출현 빈도수를 근거로 적합성을 계산한다. 적합성 계산은 형태소들에 대한 형태소열의 출현 빈도수를 나타낸 점수(score)이다. 이때, 적합성 계산부(230)는 N-그램 생성부(210)에서 생성한 형태소열이 순방향, 역방향에 대하여 모두 존재할 경우 하나의 형태소에 대하여 순방향 또는 역방향 중 하나 이상의 방향으로 형태소열에 대한 적합성을 각각 계산하고, 각각의 적합성을 통합한 통합 적합성을 계산할 수 있다.

또한, 적합성 계산부(230)는 순방향 형태소열, 역방향 형태소열에 대한 적합성을 계산할 때 각 형태소에 대한 형태소열이 동일하게 정렬되는 출현 빈도수에 가중치를 다르게 적용할 수 있다. 예를 들어, 역방향 형태소열에서 2-윈도우 단위로 묶은 형태소열 'live in'과, 3-윈도우 단위로 묶은 형태소열 'live in the', 4-윈도우 단위로 묶은 형태소열 'live in the city' 등이 존재할 경우 윈도우 수가 많은 형태소열에 더 높은 가중치를 부여함으로써 많은 정보를 참고하여 적합성을 결정하도록 한다. 즉, 적합성 계산부(230)는 형태소열의 윈도우 수의 많고 적음에 따라 다르게 설정된 가중치를 추출한 출현 빈도수에 적용하여 적합성 점수를 계산하고, 적합성 점수가 임계치보다 낮거나 또는 일정 이상 낮은지 판단하여 오류 구간을 검출한다.

오류 판단부(240)는 적합성 점수가 임계치보다 낮거나 또는 일정 이상으로 급격히 떨어지는 구간이 있는지를 판단하여 오류 구간을 검출한다. 이때, 오류 판단부(240)는 순방향에 대한 적합성, 역방향에 대한 적합성, 통합 적합성으로 구분하여 각각의 그래프를 산출할 수 있다. 또한, 오류 판단부(240)는 예제 기반의 색인 데이터베이스(250)를 검색하여 생성된 형태소열에 대한 순방향 형태소열과 역방향 형태소열의 각각의 출현 빈도수를 확인하고, 출현 빈도수가 다른 경우, 높은 출현 빈도수에 근거하여 오류를 검출한다.

도 6은 본 발명의 실시 예에 따른 용례구축기의 구성을 나타내는 도면이다.

도 6을 참조하면, 용례구축기(300)는 용례 수집부(310), 용례 분리부(320), N-그램 생성부(330), 구축부(340)를 포함한다.

용례 수집부(310)는 인터넷이나 뉴스, 신문 기사 등의 언어 전달 매체를 통해 노출되는 방대한 문장셋으로부터 용례문을 수집한다. 이때, 용례문은 실생활에서 사용되고 있는 문장, 다양한 문체를 포함한 문장 등을 모두 포함함을 전제로 한다. 뉴스나 신문 기사는 문장의 오류가 다른 매체에 비해 적으므로 이를 활용한다.

이러한 용례 수집부(310)는 수집하고자 원하는 키워드들을 미리 입력해 두고 해당 언어 전달 매체를 통해 노출되는 문장셋을 모니터링하면서, 입력해 둔 키워드가 적용된 용례문이 존재하면 이를 자동 수집할 수 있다.

용례 분리부(320)는 용례 수집부(310)를 통해 수집한 용례문을 형태소 단위로 분리한다. 여기서, 문장 분리는 여러 문장을 갖는 용례문을 마침표 또는 물음표, 느낌표 등의 마침 기호를 통해 문장 단위로 분리한다. 또한, 형태소 분리는 문장 단위로 분리한 각 용례문을 형태소 단위로 분리하는 것을 의미한다.

N-그램 생성부(330)는 용례 분리부(320)를 통해 분리한 각 형태소에 대하여 임의의 윈도우 사이즈로 묶은 형태소열을 생성한다. 이때, 형태소열은 각 형태소를 기준으로 순방향 또는 역방향 중 하나 이상의 방향으로 형태소들을 임의의 윈도우 사이즈로 묶어 생성한다. 예를 들어, "I want to go to school." 용례문으로부터 3-윈도우 사이즈를 이용하여 생성한 형태소열은 형태소 I에 대하여 "I want to", 형태소 want에 대하여 "want to go", " (null) I want", 형태소 to에 대하여 "to go to", "I want to"와 같이 생성할 수 있다. 이는 색인 데이터베이스(250)에 구축시 용례문을 문장 전체뿐만 아니라 형태소열 단위로 저장하기 위함이다.

구축부(340)는 N-그램 생성부(330)에서 생성한 형태소열과 해당 용례문을 매칭하여 색인 데이터베이스(250)에 저장한다.

도 7은 본 발명의 실시 예에 따른 문법의 오류 검출을 위해 예제 기반의 데이터베이스를 구축하는 방법을 나타낸 흐름도이다.

도 7을 참조하면, 본 발명의 실시 예에 따른 용례구축기(300)는 S11 단계에서 용례 수집부(310)에서 인터넷이나 뉴스, 신문 기사 등의 언어 전달 매체를 통해 노출되는 방대한 문장셋으로부터 원하는 용례문을 수집한다. 이때, 원하는 용례문을 수집하기 위해 사전에 수집하고자 원하는 키워드들을 미리 입력해 두면 해당 언어 전달 매체를 통해 노출되는 문장셋을 모니터링하면서 입력해 둔 키워드가 적용된 용례문이 존재하면 이를 자동 수집할 수 있다.

이후, 용례구축기(300)는 S13 단계에서 용례 분리부(320)가 용례 수집부(310)를 통해 수집한 각 용례문을 형태소로 분리한다. 그리고, 용례구축기(300)는 S15 단계에서 N-그램 생성부(330)가 각 형태소에 대하여 임의의 윈도우 사이즈로 묶은 형태소열을 생성한다.

용례구축기(300)는 S17 단계에서 구축부(340)가 이전 단계에서 생성한 형태소열과 해당 용례문을 매칭하여 색인 데이터베이스(250)에 저장한다.

도 8은 본 발명의 실시 예에 따른 문법의 오류를 검출하는 방법을 설명하기 위한 흐름도이다.

도 8을 참조하면, 본 발명의 실시 예에 따른 오류검출장치(10)는 S21 단계에서 입력 문장을 입력받고, 입력받은 문장을 복수의 형태소 단위로 분리한다. 여기서, 오류검출장치(10)는 입력된 문장으로부터 분리된 형태소들을 임의의 윈도우(N-window) 사이즈로 묶은 형태소열을 생성한다. 또한, 오류검출장치(10)는 품사 사전(130)을 기반으로 형태소들에 해당 품사를 태깅한다.

그리고 나서, 오류검출장치(10)는 S23 단계에서 태깅된 품사에 기초하여 분리한 문장에 대하여 구문 분석을 수행하고, 그 분석 결과로서 구문 트리를 추출한다. 여기서, 오류검출장치(10)는 구문 분석의 오류를 최소화하기 위해 품사를 태깅한 문장을 오류검출기(200)로 전달한다.

오류검출장치(10)는 S25 단계에서 용례구축기(300)를 통해 구축된 예제 기반의 색인 데이터베이스(250)를 활용하여 문장분석기(100)에서 입력되는 입력 문장에 대한 오류를 검출한다. 특히, 오류검출장치(10)는 예제 기반의 색인 데이터베이스(250)를 검색하여 생성된 형태소열에 대한 순방향 형태소열 및 역방향 형태소열과 동일한 형태소열의 출현 빈도수들을 확인한다. 여기서, 오류검출장치(10)는 높은 출현 빈도수를 이용해서 적합성 점수를 계산하고, 적합성 점수가 임계치보다 낮거나 또는 일정 이상 낮은지 판단하여 오류를 검출한다. 그리고 나서, 출현 빈도수가 다른 경우, 오류검출장치(10)는 높은 출현 빈도수에 근거하여 오류를 검출한다.

도 9은 도 8의 오류 검출 과정에 대한 상세도이다.

도 9를 참조하면, 오류검출기(200)를 이용한 오류 검출 단계(S25)는 구체적으로, 오류검출기(200)가 S251 단계에서 입력 받은 문장의 각 형태소에 대하여 임의의 윈도우 사이즈로 묶은 형태소열을 생성한다. 여기서, 형태소열은 앞서 설명한 바와 같이 형태소들을 기준으로 순방향으로 묶은 순방향 형태소열 또는 역방향으로 묶은 역방향 형태소열 중 하나 이상의 방향으로 구분하여 각각 생성할 수 있다. 이후, 오류검출기(200)는 S253 단계에서 생성한 형태소열이 예제 기반의 색인 데이터베이스(250)에 존재하는지 각 형태소별로 검색한다.

오류검출기(200)는 S255 단계에서 생성된 형태소열과 동일한 형태소열의 출현 빈도수를 추출한다. 그리고, 오류검출기(200)는 S257 단계에서 추출한 출현 빈도수를 근거로 적합성을 계산한다. 이때, 적합성은 각 형태소가 해당 형태소열과 정렬되는 것이 적합한지에 대한 정도를 점수로 환산하여 나타낸 것으로, 이와 관련되는 계산 방법은 앞에서 설명한 바와 동일하다.

이후, 오류검출기(200)는 S259 단계에서 계산한 적합성 점수를 그래프로 산출하고, 산출한 그래프를 활용하여 오류를 검출할 수 있다. 즉, 적합성 점수가 임계치보다 낮거나 또는 일정 이상으로 급격히 떨어지는지를 판단하여 오류 구간을 검출한다. 특히, 오류검출장치(200)는 높은 출현 빈도수를 이용해서 적합성 점수를 계산하고, 적합성 점수가 임계치보다 낮거나 또는 일정 이상 낮은지 판단하여 오류를 검출한다. 한편, 출현 빈도수가 다른 경우, 오류검출기(200)는 높은 출현 빈도수에 근거하여 오류를 검출한다.

본 발명에 따른 문법 오류 검출 방법은 다양한 컴퓨터 수단을 통하여 판독 가능한 소프트웨어 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM, Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.

본 발명은 작문 문장에 대한 순방향 형태소열 및 역방향 형태소열과 동일한 형태소열의 출현 빈도수를 확인하고, 높은 출현 빈도수에 근거하여 오류를 검출한다. 즉, 인터넷이나 다른 매체를 통해 사용되고 있는 용례문을 수집하여 예제 기반 데이터베이스를 구축하고, 작문한 입력 문장이 입력되면 입력 문장을 형태소 단위로 분리하고 분리한 형태소로부터 일정 윈도우 사이즈로 묶은 형태소열을 생성한 다음 각 형태소열을 예제 기반 데이터베이스에서 나타나는 형태소열의 출현 빈도수를 분석함으로써 각 형태소에 대한 오류를 검출하여 작문에 대한 자동 평가의 성능을 향상시킬 수 있다. 이러한 점에서 본 발명은 단순히 평가 알고리즘으로 적용하는 것이 아닌, 향후 대학 입시 시험이나 국내 대기업 등이 수행하는 영어 능력 평가, 주관식 평가 등에 적용하여 자동 평가가 가능하도록 함으로써 산업상 이용 가능성이 있다. 이는 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있다.

10: 오류검출장치 100: 문장분석기 200: 오류검출기
300: 용례구축기 110: 입력문장 분리부 120: 품사 태깅부
130: 품사사전 210: N-그램 생성부 220: 검색부
230: 적합성 계산부 240: 오류 판단부 250: 색인 DB
310: 용례 수집부 320: 용례 분리부 330: N-그램 생성부
340: 구축부

Claims

입력된 문장을 형태소 단위로 분리하는 문장분석기;
용례문을 형태소 단위로 분리하여 예제 기반의 색인 데이터베이스로 구축하는 용례구축기; 및
상기 입력된 문장으로부터 분리된 형태소들을 기준으로 순방향 및 역방향에 위치한 형태소들을 임의의 윈도우(N-window) 사이즈로 묶은 순방향 형태소열 및 역방향 형태소열을 생성하고, 상기 예제 기반의 색인 데이터베이스를 검색하여, 상기 순방향 형태소열 및 역방향 형태소열의 출현 빈도수를 각각 추출하고, 상기 추출한 출현 빈도수들을 근거로 적합성을 계산하고, 적합성 계산을 통해 산출된 점수가 임계치보다 낮거나 또는 상기 적합성 점수가 일정수치 이상으로 떨어지는지를 판단하여 상기 문장의 오류를 검출하는 오류검출기;
를 포함하는 오류검출장치.
삭제
제1항에 있어서,
상기 오류 검출기는,
상기 순방향 형태소열, 역방향 형태소열에 대하여 각각 적합성을 계산하고, 상기 순방향 형태소열의 적합성과 역방향 형태소열의 적합성을 통합하여 통합 적합성을 계산하고, 상기 통합 적합성을 기준으로 오류를 검출하는 오류검출장치.
제1항에 있어서,
상기 오류 검출기는,
상기 형태소열의 윈도우 수에 따라서, 상기 추출한 출현 빈도수들에 대한 가중치를 다르게 적용하여 적합성을 계산하는 것을 오류검출장치.
제1항에 있어서,
상기 오류검출기는,
상기 순방향 형태소열과 역방향 형태소열의 출현 빈도수 중 높은 출현 빈도수를 추출하고, 높은 출현 빈도수에 근거하여 상기 적합성을 계산하는 오류검출장치.
삭제
입력되는 문장을 형태소 단위로 분리하는 단계;
상기 분리된 형태소들을 기준으로 순방향에 위치한 형태소들을 임의의 윈도우 사이즈로 묶은 순방향 형태소열, 역방향에 위치한 형태소들을 임의의 윈도우 사이즈로 묶은 역방향 형태소열을 형태소열을 생성하는 단계;
상기 생성된 순방향 형태소열 및 역방향 형태소열을 기준으로 예제 기반의 색인 데이터베이스를 검색하여, 순방향 형태소열 및 역방향 형태소열 각각의 출현 빈도수를 추출하는 단계;
상기 추출한 출현 빈도수들을 근거로 상기 순방향 형태소열 및 역방향 형태소열의 적합성을 계산하는 단계; 및
계산한 적합성 점수가 임계치보다 낮거나 또는 상기 적합성 점수가 일정수치 이상으로 떨어지는지를 판단하여 상기 문장의 오류를 검출하는 단계;
를 포함하는 문법의 오류 검출 방법.
삭제
삭제
제7항에 있어서,
상기 적합성을 계산하는 단계는
상기 순방향 형태소열 및 역방향 형태소열의 출현 빈도수들을 근거로 각각의 적합성을 계산하며, 상기 순방향 형태소열의 적합성과 역방향 형태소열의 적합성을 통합하여 통합 적합성을 계산하고,
상기 오류를 검출하는 단계는,
상기 통합 적합성을 기준으로 오류를 검출하는 문법의 오류 검출 방법.
제7항에 있어서,
상기 적합성을 계산하는 단계는
상기 형태소열의 윈도우 수에 따라서, 상기 추출한 출현 빈도수들에 대한 가중치를 다르게 적용하여 적합성을 계산하는 문법의 오류 검출 방법.
제7항에 있어서,
상기 적합성을 계산하는 단계는
상기 순방향 형태소열과 역방향 형태소열의 출현 빈도수 중 높은 출현 빈도수를 추출하고, 상기 높은 출현 빈도수에 근거하여 상기 적합성을 계산하는 문법의 오류 검출 방법.
삭제
제7항, 제10항 내지 제12항 중 적어도 하나의 항에 기재된 문법의 오류 검출 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.