KR0151902B1 - 회귀적방법을 이용한 형태소 분석장치 및 그 방법 - Google Patents

Abstract

본 발명은 효율적으로 한국어 형태소를 분석하기 위한 회귀적(Recursive) 방법을 이용한 형태소 분석 장치 및 그 방법에 관한 것으로, 한국어 형태소를 분석함에 있어서 자연어 처리 등에 요구되는 가능한 모든 형태소의 조합을 찾으면서도 기존의 알고리즘보다 적은 메모리공간과 단순한 절차 그리고, 빠른 처리속도로 처리하는 회귀적 방법을 이용한 형태소 분석장치 및 그 방법을 제공하기 위하여, 행태소 분석의 대상인 문장을 입력받고, 형태소 분석 결과를 출력하기 위한 입/출력 수단; 형태소를 저장하기 위한 저장 수단; 상기 입/출력 수단으로부터 입력된 문장을 어절 단위로 분절하기 위한 분절 수단; 상기 분절 수단으로부터 분절된 어절을 입력받아 회귀함수를 이용하여 상기 저장 수단을 검사하여 가능한 형태소의 조합으로 분석하기 위한 형태소 분석 수단; 및 상기 형태소 분석 수단으로부터 분석된 결과를 입력받아 상기 입/출력 수단으로 출력하기 위한 출력 수단을 포함하여 형태소 분석 장치를 구성하므로서, 형태소 분석을 적은 메모리 공간으로 빠르게 처리할 수 있는 효과가 있다.

Description

회귀적 방법을 이용한 형태소 분석장치 및 그 방법

제1도는 종래의 씨와이케이(CYK) 방법의 알고리즘 예시도.

제2도는 종래의 씨와이케이(CYK) 방법을 적용한 형태소 분석 방법의 예시도.

제3도는 본 발명에 따른 회귀적 방법을 이용한 형태소 분석 장치의 일실시예 구성도.

제4도는 본 발명에 따른 중앙 처리 장치의 상세 구성도.

제5도는 본 발명에 따른 회귀적 방법을 이용한 형태소 분석 방법에 대한 일실시예 흐름도.

제6도는 본 발명에 따른 회귀적 방법을 적용한 형태소 분석 방법의 예시도.

본 발명은 효율적으로 한국어 형태소를 분석하기 위한 회귀적(Recursive) 방법을 이용한 형태소 분석 장치 및 그 방법에 관한 것이다.

특히, 이러한 한국어 형태소 분석 장치는 그 자체만으로도 상품화가 가능하지만, 앞으로 상용 패키지의 수요가 늘어날 한국어 정보검색 시스템, 한국어 자연어 인터페이스 시스템, 기계 번역 시스템, 철자 교정기 등에 핵심 부품으로 사용될 것이다.

종래의 형태소 분석 방법으로는 최장일치법, 최단일치법, 씨와이케이 알고리즘이 있다. 이중 최장일치법 및 최단일치법은 가능한 모든 형태소의 조합을 찾아주지 못하므로, 모든 형태소의 조합이 필요한 자연어 처리 등에는 적합하지 않다.

제1도는 종래의 씨와이케이(CYK) 방법의 알고리즘 예시도이다.

한국어 형태소 분석은 크게 전처리 단계와 분석 단계로 구분된다.

전처리 단계는 한국어 불규칙 변형을 찾는 단계로서, 불규칙 변경 어절은 분석된 형태소의 조합이 어절과 다른 형태를 갖는 경우이며, 예를 들어 사랑하다와 같은 어절은 사랑(명사)+하다(동사)로 규칙 변형이지만 도와와 같은 어절은 돕다(동사)+아(어미)로 불규칙 변형이다. 불규칙 변형은 한국어 어절의 예외적인 경우이며, 어절의 대부분은 규칙 변형으로 분석 단계에서 처리된다.

한 어절 내에서 모든 가능한 형태소의 조합을 찾는 분석 단계에서 씨와이케이 알고리즘은 어절의 길이(자소의 수)가 n일 때 n×n의 삼각 배열(Triangular Matrix)과 n개의 소형 큐(queue)를 사용한다. 삼각 배열은 어절로부터 가능한 모든 부분의 문자열을 기록하여 형태소 가능성을 체크하는데 사용되며, 큐는 처리중 형태소 조합의 중간 결과를 기록하는데 사용된다.

씨와이케이 알고리즘의 처리 순서는 다음에 설명하는 바와 같다.

-삼각 배열을 초기화한다. 배열의 1번째 행(row) j번째 열(column)의 칸(cell)에는 어절의 i번째 자소부터 길이가 j개인 문자열(string)을 넣는다. 그리고, 모든 큐를 비운다.

-마지막 행에서부터 첫번째 행으로, 행 내에서는 첫번째 열에서부터 마지막 열로 차례대로 배열의 칸을 하나씩 다음과 같이 처리한다.

:칸의 문자열 이후의 나머지 문자열이 형태소 분석이 가능한 경우인지를 검사하여 가능하지 않은 경우에는 다음 칸으로 스킵(skip)한다. 형태소 분석이 가능한 경우란 현재의 칸이 해당 행의 마지막 열이거나 j+1번째 행의 큐가 비어있지 않는 경우이다.

:그 칸에 초기화된 문자열이 형태소 사전에 있는지를 검사한다. 사전에 없으면 다음 칸으로 스킵(skip)한다. 사전에 있으면 j가 행의 마지막인 경우에는 문자열은 i번째 큐에 저장하고, 그렇지 않으면 j+1번째 큐의 각 항에 저장된 형태소 조합들에서 첫번째 형태소와 문자열의 형태소가 결합이 가능한지를 검사하여 가능한 경우에 j+1번째 큐의 형태소 조합 앞에 문자열과 사전에서 찾은 품사 정보를 붙여 i번째 행의 큐에 저장한다.

-마지막 칸인 1번째 행 n번째 열의 칸을 처리하고 나면 그 행의 큐에는 가능한 모든 형태소의 조합이 저장된다.

제2도는 종래의 씨와이케이(CYK) 방법을 적용한 형태소 분석 방법의 예시도로서, 국민교육헌장을 예로 씨와이케이 알고리즘을 설명한 것이다.

제2도에서는 편의상 자소 대신 음절을 최소 단위로 보고 설명하였다. 알고리즘 6번째 행 1번째 열에서 시작하여 화살표 방향으로 이동한다. 알고리즘이 끝나면 계산 결과는 큐1(Q1)에 저장된다. 이 경우 처리되는 총 단계(step)의 수는 21회, 사전 검색은 총 12회를 수행한다.

상기와 같은 종래의 씨와이케이 알고리즘은 모든 형태소 조합을 찾을 수 있지만 삼각 배열과 여러 개의 큐를 준비하여야 하고, 초기화하는데 많은 시간이 소요되는 문제점이 있고, 특히 어절의 길이를 미리 알 수 없으므로 충분한 크기의 배열과 큐를 준비하여야 하므로 많은 메모리를 소모하고, 또한 아무일도 하지않는 단계의 수가 많고, 알고리즘이 복잡한 문제점이 있었다.

상기 문제점을 해결하기 위하여 안출된 본 발명은 한국어 형태소를 분석함에 있어서 자연어 처리 등에 요구되는 가능한 모든 형태소의 조합을 찾으면서도 기존의 알고리즘보다 적은 메모리공간과 단순한 절차 그리고, 빠른 처리속도로 처리하는 회귀적 방법을 이용한 형태소 분석장치 및 그 방법을 제공하는데 그 목적이 있다.

상기 목적을 달성하기 위한 본 발명의 장치는 형태소를 분석하기 위한 형태소 분석 장치에 있어서, 형태소 분석의 대상인 문장을 입력받고, 형태소 분석 결과를 출력하기 위한 입/출력 수단; 형태소를 저장하기 위한 저장 수단; 상기 입/출력 수단으로부터 입력된 문장을 어절 단위로 분절하기 위한 분절 수단; 상기 분절 수단으로부터 분절된 어절을 입력받아 회귀함수를 이용하여 상기 저장 수단을 검사하여 가능한 형태소의 조합으로 분석하기 위한 형태소 분석 수단; 및 상기 형태소 분석 수단으로부터 분석된 결과를 입력받아 상기 입/출력 수단으로 출력하기 위한 출력 수단을 포함하여 것을 특징으로 한다.

상기 목적을 달성하기 위한 본 발명의 방법은 형태소를 분석하기 위한 형태소 분석 장치에 적용되는 형태소 분석 방법에 있어서, 변수 j(임의의 자연수)의 값을 1부터 n(임의의 자연수)까지 한번 수행될 때마다 1씩 증가시키는 제1단계; 어절의 처음부터 n번째 문자열까지 중에서 마지막 j개의 문자열이 형태소 사전에 있는지를 검사하여 없으면 상기 제1단계부터 반복 수행하고, 있으면 해당 형태소의 품사정보를 읽는 제2단계; 상기 형태소 사전에서 읽은 형태소 품사정보와 포인터(P)가 가리키는 형태소 노드에 기록된 형태소 품사정보가 접속 가능한지를 검사하여 가능하지 않으면 상기 제1단계부터 반복 수행하고, 형태소간의 접속이 가능하면 새로운 형태소 노드(H)를 만들어 새로 발견한 형태소와 접속정보를 기록하고 이 노드의 포인터를 노드(P)로 연결한 후에 상기 새로 발견한 형태소가 어절의 맨 첫부분인지를 검사하는 제3단계; 상기 제3단계의 검사 결과, 상기 새로 발견한 형태소가 어절의 맨 첫부분이면 새 노드(H)가 새로 분석된 형태소 조합의 첫 형태소이므로 새 노드(H)를 저장하는 제4단계; 및 상기 제3단계의 검사 결과, 발견한 형태소가 어절의 맨 첫부분이 아니면 n-j와 새 노드(H)의 번지를 인자로 하여 회귀함수(Recur)를 다시 호출한 후에 상기 제1단계부터 반복 수행하는 제5단계를 포함하는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 일실시예를 상세히 설명한다.

제3도는 본 발명에 따른 회귀적 방법을 이용한 형태소 분석 장치의 일실시예 구성도로서, 31은 입/출력 단말기, 32는 중앙 처리 장치, 33은 형태소 사전, 34는 보조 기억 장치를 각각 나타낸다.

입/출력 단말기(31)는 형태소 분석의 대상인 한국어 문장을 입력받고 분석한 결과를 출력한다. 보조 기억 장치(32)는 보조 기억 장치(32)에서 보조적으로 사용하는 메모리이다.

중앙 처리 장치(32)는 회귀함수를 사용하여 형태소 분석을 하고, 형태소 사전(33)은 상기 보조 기억 장치(32)의 형태소 분석시에 정상적인 형태소인지를 검사하기 위하여 사용된다.

제4도는 본 발명에 따른 중앙 처리 장치의 상세 구성도로서, 41은 입력부, 42는 형태소 분석부, 43은 출력부를 각각 나타낸다.

입력부(41)는 사용자의 입/출력 단말기(31)로부터 입력된 한국어 문장을 어절 단위로 분절하여 형태소 분석부(42)로 출력한다.

형태소 분석부(42)는 상기 입력부(41)로부터 출력되는 분절된 어절을 형태소 사전(33)을 이용하여 가능한 모든 형태소의 조합으로 분석하여 출력부(43)로 출력한다.

출력부(43)는 분석된 결과를 입/출력 단말기(31)를 통하여 사용자에게 출력한다.

제5도는 본 발명에 따른 회귀적 방법을 이용한 형태소 분석 방법에 대한 일실시예 흐름도이다.

본 발명의 개념을 설명하면 아래와 같다.

길이가 n인 문자열을 형태소 분석하는 함수를 F(n)이라 할 때 다음과 같이 표현될 수 있다.

F(n)+{F(b)+형태소_b+1∼n}

={F(a)+형태소_a+1∼b+형태소_b+1∼n}

={형태소_1∼a+형태소_a+∼b+형태소+_b+1∼n}

F(n)은 F(b)와 b+1부터 n까지의 문자열로 이루어진 형태소 b+1∼n의 합과 같다. 따라서, 이 식을 반복 적용하면 형태소 분석함수 F(n)은 마지막 형태소만 찾으면 되고, 나머지는 함수를 다시 적용하여 분석할 수 있다.

또한, 본 발명은 연결리스트(linked-list)와 하나의 큐를 사용하여 연결리스트의 노드에는 형태소와 형태소 품사 정보를 큐에는 형태소 분석의 결과로서 연결 리스트의 포인터를 저장한다.

본 발명의 개념적인 처리순서를 다음에 설명하는 바와 같다.

함수 R(번호n, 포인터p)

{

어절에서 n번째 자소로 끝나는 어절의 부분 문자열 각각에 대해 그 부분 문자열이 형태소 사전에 있고, p가 가리키는 형태소와 접속가능하거나 P가 널(NULL)이면,

-문자열을 형태소로 하는 노드, P를 생성

-노드의 우측 포인터를 P로 세트(Set)

-문자열이 어절의 첫부분부터 시작하면 P를 큐에 저장

-아니면 문자열의 길이가 n1이라 할 때 R(n-n1,P)를 호출

길이가 n인 어절을 형태소 분석할 때, R(n, NULL) 함수를 호출하면 실행 후 분석된 모든 결과가 큐에 넣어지게 된다. 여기서, 널(NULL)은 아무것도 가리키지 않는 포인터값이다.

상기 회귀함수(Recur)의 흐름을 상세히 설명하면 아래와 같다.

이 함수는 정수 n과 연결리스트 노드의 포인터 P를 인자(Parameter)로 한다.

먼저, 변수 j의 값이 n이 될 때까지 하기의 과정을 반복 수행하기 위하여 변수 j의 값을 1에서 n까지 j씩 증가시킨다(51).

다음으로 어절의 처음부터 n번째 문자열까지 중에서 마지막 j개의 문자열이 형태소 사전(33)에 있는지를 검사하여 없으면 하위 과정을 생략하고 상기 변수 j의 값을 1증가시키는 과정(51)부터 반복 수행하고, 있으면 그 형태의 품사 정보를 읽는다(52).

형태소의 품사 정보를 읽은 후에 형태소 사전에서 읽은 형태소 품사 정보와 포인터 P가 가리키는 형태소 노드에 기록된 형태소 품사 정보를 이용하여 두 형태소가 접속 가능한지를 검사하여 가능하지 않으면 하위 과정을 생략하고 상기 변수 j의 값을 1증가시키는 과정(51)부터 반복 수행한다. 이때, 형태소간에 접속가능한지를 검사하는 방법은 기존의 방법을 사용한다(53).

형태소간의 접속이 가능하면 새로운 형태소 노드 H를 만들어 새로 발견한 형태소와 접속정보를 기록하고 이 노드의 포인터를 노드 P로 연결한 후에(54) 변수j와 n이 같은지를 검사한다(55). 이는 새로 발견한 형태소가 어절의 맨 첫부분인지를 검사하는 것과 같은 의미이다.

발견한 형태소가 어절의 맨 첫부분이면 새 노드 H가 새로 분석된 형태소 조합의 첫 형태소이므로 H를 결과 큐에 넣어 보관하거나 인쇄한다. 형태소의 조합은 노드 H를 시작점으로 하는 연결리스트로 각 노드가 형태소 조합의 형태소가 된다(56).

발견한 형태소가 어절의 맨 첫부분이 아니면 n-j와 노드 H의 번지를 인자로 하여 회귀함수(Recur)를 다시 호출한다(57).

상기와 같은 과정을 변수 j가 n이 될 때까지 반복 수행한 후에 종료한다.

제6도는 본 발명에 따른 회귀적 방법을 적용한 형태소 분석 방법의 예시도로서, 편의상 어절의 최소 단위를 자소 대신 음절로 보고 설명하였다.

이 어절의 길이가 6이므로 R(6, NULL)을 호출하면 형태소 분석이 진행된다. 국민교육헌장에서 '장'으로 끝나는 모든 문자열 각각의 형태소 사전에 있는지를 검사하여 헌장이 발견되면 이 형태소를 노드 P1에 넣고 헌장의 길이가 2이므로 R(6-2, p1)을 호출한다. 함수R(4, p1)에서는 어절에서 앞의 4개의 문자열, 국민교육에서 '육'으로 끝나는 모든 문자열 각각을 사전에 있는지 검사하여 교육과 국민교육이 발견되었다. 이중 국민교육은 어절의 첫부분이므로 형태소 노드 p3를 만들어 넣고 큐에 저장하고 교육은 형태소 노드 p2를 만들어 넣고 교육의 길이가 2이므로 R(4-2, p2)를 호출한다. 같은 방법으로 함수 R(2, p2)를 처리한다. 이 형태소 분석 결과로서 큐에 p4(국민+교육+헌장)와 p3(국민교육+헌장)가 저장된다.

이 경우에 처리되는 총 단계의 수는 12회, 형태소 사전 검색 역시 12회를 실시한다. 씨와이케이 알고리즘과 비교하였을 때 메모리도 적게 소요됨은 물론 알고리즘이 단순하고, 반복실행 횟수가 적은 것을 알 수 있다.

상기와 같은 본 발명은 형태소 분석을 적은 메모리 공간으로 빠르게 처리할 수 있는 효과가 있다.

Claims (5)

1. 형태소를 분석하기 위한 형태소 분석 장치에 있어서, 형태소 분석의 대상인 문장을 입력받고, 형태소 분석 결과를 출력하기 위한 입/출력 수단; 형태소를 저장하기 위한 저장 수단; 상기 입/출력 수단으로부터 입력된 문장을 어절 단위로 분절하기 위한 분절 수단; 상기 분절 수단으로부터 분절된 어절을 입력받아 회귀함수를 이용하여 상기 저장 수단을 검사하여 가능한 형태소의 조합으로 분석하기 위한 형태소 분석 수단; 및 상기 형태소 분석 수단으로부터 분석된 결과를 입력받아 상기 입/출력 수단으로 출력하기 위한 출력 수단을 포함하는 회귀적(Recursive) 방법을 이용한 형태소 분석 장치.
2. 제1항에 있어서, 상기 형태소 분석 수단은 어절의 일부가 형태소인지를 검사하는 단순한 함수를 회귀적(recursive)으로 반복 적용하여 어절을 뒤에서 앞으로 우좌 검색하여 가능한 모든 형태소 조합을 분석하는 것을 특징으로 하는 회귀적(Recursive) 방법을 이용한 형태소 분석 장치.
3. 형태소를 분석하기 우한 형태소 분석 장치에 적용되는 형태소 분석 방법에 있어서, 변수 j(임의의 자연수)의 값을 1분터 n(임의의 자연수)까지 한번 수행될 때마다 1씩 증가시키는 제1단계; 어절의 처음부터 n번째 문자열까지 중에서 마지막 j개의 문자열이 형태소 사전에 있는지를 검사하여 없으면 상기 제1단계부터 반복 수행하고, 있으면 해당 형태소의 품사정보를 읽는 제2단계; 상기 형태소 사전에서 읽은 형태소 품사정보와 포인터(P)가 가리키는 형태소 노드에 기록된 형태소 품사정보가 접속 가능한지를 검사하여 가능하지 않으면 상기 제1단계부터 반복 수행하고, 형태소간의 접속이 가능하면 새로운 형태소 노드(H)를 만들어 새로 발견한 형태소와 접속정보를 기록하고 이 노드의 포인터를 노드(P)로 연결한 후에 상기 새로 발견한 형태소가 어절의 맨 첫부분인지를 검사하는 제3단계; 상기 제3단계의 검사 결과, 상기 새로 발견한 형태소가 어절의 맨 첫부분이면 새 노드(H)가 새로 분석된 형태소 조합의 첫 형태소이므로 새 노드(H)를 저장하는 제4단계; 및 상기 제3단계의 검사 결과, 발견한 형태소가 어절의 맨 첫부분이 아니면 n-j와 새 노드(H)의 번지를 인자로 하여 회귀함수(Recur)를 다시 호출한 후에 상기 제1단계부터 반복 수행하는 제5단계를 포함하는 회귀적(Recursive) 방법을 이용한 형태소 분석 방법.
4. 제3항에 있어서, 상기 제4단계의 저장 과정은 결과 큐에 저장하는 것을 특징으로 하는 회귀적(Recursive) 방법을 이용한 형태소 분석 방법.
5. 제3항에 있어서, 상기 제4단계는 상기 새로 발견한 형태소가 어절의 맨 첫부분이면 새 노드(H)가 새로 분석된 형태소 조합의 첫 형태소이므로 새 노드(H)를 인쇄한 후에 종료하는 것을 특징으로 하는 회귀적(Recursive) 방법을 이용한 형태소 분석 방법.