KR100619715B1 - 이동 통신 단말기를 이용한 문서 영상 촬영 방법 및 그문서 영상에서의 단어 추출방법 - Google Patents

Abstract

본 발명은 카메라가 내장된 이동 통신 단말기에서 전자사전 어플리케이션을 구동할 경우, 그 전자사전에 입력할 검색 단어를 카메라로 촬영한 문서 영상에서 추출하여 자동으로 입력할 수 있도록 하는 이동 통신 단말기를 이용한 문서 영상 촬영 방법 및 그 문서 영상에서의 단어 추출방법에 관한 것으로, 단말기의 카메라를 구동하여 화면에 문서 영상을 디스플레이 시키는 단계와; 상기 화면에 추출하고자 하는 단어를 지시하기 위한 지지선을 출력하여 문서 영상에 오버레이 시키는 단계와; 사용자를 통해 상기 지지선의 중앙 상단에 추출하고자 하는 단어를 위치시킨 후 촬영을 수행하는 단계를 포함하여 이루어짐으로써 달성할 수 있다.

또한, 본 발명은 소정의 지시 수단을 이용해 추출하고자 하는 단어를 지시하여 촬영한 문서 영상에 있어서, 상기 문서 영상을 그레이스케일 이미지로 변환하는 단계와; 상기 그레이스케일 이미지에서 추출하고자 하는 단어가 포함된 문자열 이미지를 분할하는 단계와; 상기 문자열 이미지에서 추출하고자 하는 단어 이미지를 분할하는 단계와; 상기 단어 이미지에서 각 문자 이미지를 분할하여 문자인식 하는 단계를 포함하여 이루어짐으로써 달성할 수 있다.

Description

이동 통신 단말기를 이용한 문서 영상 촬영 방법 및 그 문서 영상에서의 단어 추출방법{DOCUMENT IMAGE PHOTOGRAPH METHOD FOR MOBILE COMMUNICATION DEVICE AND WORD EXTRACTION METHOD FROM THE DOCUMENT IMAGE}

도 1은 일반적인 문서 영상으로부터 문자를 인식하는 과정을 보인 순서도.

도 2는 본 발명에 따라 카메라로 촬영한 문서 영상으로부터 문자영역의 인식을 통해 원하는 단어를 추출하는 과정을 보인 순서도.

도 3은 본 발명에 따라 이동 통신 단말기의 카메라를 통해 문서 영상을 촬영한 화면의 예시도.

도 4는 상기 도3에서 촬영한 문서 이미지에서 지지선 윗 부분만을 처리 영역으로 하여 전처리한 그레이스케일 이미지의 예시도.

도 5는 상기 도4에서 전처리된 그레이스케일 이미지의 각 라인에 대한 P_j값을 그래프로 보인 예시도.

도 6은 상기 도5에 도시된 그레이스케일 이미지의 각 라인에 대한 그레이 값의 그래프를 확대하여 보인 예시도.

도 7은 상기 도5에 도시된 그레이스케일 이미지에서 추출할 단어가 들어있는 문자열의 세로 길이(Height)에 해당하는 영역의 분할 화면을 보인 예시도.

도 8은 상기 도7에서 분할된 문자열 이미지를 확대하여 보인 예시도.

도 9는 상기 도8에 도시된 그레이스케일 이미지의 각 문자에 대한 P_i값을 그래프로 보인 예시도.

도 10은 상기 도9에서 분할된 단어 이미지에서 각 문자에 대한 그레이스케일 이미지를 확대하여 보인 예시도.

도 11은 상기 도10에 표시된 문자간 국부 최소값을 바탕으로 각 문자간 영역을 분할하여 보인 예시도.

도 12는 상기 도11에서 분할된 각 문자 이미지를 문자인식하기 위해 이진화를 수행한 화면의 예시도.

*도면의 주요 부분에 대한 부호의 설명*

101 : 지지선 102 : 중심 표시자

본 발명은 이동 통신 단말기의 카메라를 이용한 문서 영상 촬영 방법에 관한 것으로, 특히 카메라가 내장된 이동 통신 단말기에서 전자사전 어플리케이션을 구동할 경우, 그 전자사전에 입력할 검색 단어를 카메라로 촬영한 문서 영상에서 추출하여 자동으로 입력할 수 있도록 하는 이동 통신 단말기를 이용한 문서 영상 촬영 방법 및 그 문서 영상에서의 단어 추출방법에 관한 것이다.

최근 이동 통신 단말기는 하드웨어의 성능이 향상되면서 다양한 기능을 부가하고 있으며, 특히, 멀티미디어 기능이 강화되고, 고화소 카메라를 탑재하고 동영상의 녹화 및 재생이 가능해짐에 따라, 단말기 내의 메모리 용량의 증가와 외부 메모리의 사용이 가능하게 구현되고 있다.

상기와 같이 메모리 용량이 증가하고 운영 시스템(OS : Operating System)을 기반으로 단말기를 구동함에 따라, 전자사전과 같은 어플리케이션도 단말기에서 구현 가능한 프로그램이 되었다.

그러나, 상기 전자사전 프로그램을 단말기에서 구동할 경우, 단말기의 키패드를 통해 검색 단어를 입력해야 하기 때문에, 키패드 사용에 익숙하지 않은 사용자들은 검색어 입력이 어렵고, 그에 따라 사전 검색에 많은 시간이 소요되는 문제점이 있다.

따라서, 본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 창출한 것으로, 카메라가 내장된 이동 통신 단말기에서 전자사전 어플리케이션을 구동할 경우, 그 전자사전에 입력할 검색어의 검출을 위해 검색어가 포함된 문서를 카메라로 촬영한 후, 그 촬영한 영역에서 검색어로 입력할 단어를 다른 단어들로부터 정확히 구분하여 검출할 수 있도록 하는 이동 통신 단말기를 이용한 문서 영상 촬영 방법 및 그 문서 영상에서의 단어 추출방법을 제공함에 그 목적이 있다.

본 발명은 이동 통신 단말기에 구현된 전자사전에 입력할 검색어를 간단히 입력하여 사용자의 편의성을 향상시키기 위한 것으로, 키패드 대신 단말기에 내장 된 카메라를 이용하여 검색어가 포함된 문서를 카메라로 촬영한 후, 실시간 문자인식을 통해 상기 촬영한 영역에서 검색어로 입력할 단어를 정확히 검출하여 입력할 수 있도록 하는 방법의 제공을 목적으로 한다.

이와 같은 목적을 달성하기 위한 본 발명은, 단말기의 카메라를 구동하여 화면에 문서 영상을 디스플레이 시키는 단계와; 상기 화면에 추출하고자 하는 단어를 지시하기 위한 지지선을 출력하여 문서 영상에 오버레이 시키는 단계와; 사용자를 통해 상기 지지선의 중앙 상단에 추출하고자 하는 단어를 위치시킨 후 촬영을 수행하는 단계를 포함하여 이루어진 것을 특징으로 한다.

또한, 본 발명은 소정의 지시 수단을 이용해 추출하고자 하는 단어를 지시하여 촬영한 문서 영상에 있어서, 상기 문서 영상을 그레이스케일 이미지로 변환하는 단계와; 상기 그레이스케일 이미지에서 추출하고자 하는 단어가 포함된 문자열 이미지를 분할하는 단계와; 상기 문자열 이미지에서 추출하고자 하는 단어 이미지를 분할하는 단계와; 상기 단어 이미지에서 각 문자 이미지를 분할하여 문자인식 하는 단계를 포함하여 이루어진 것을 특징으로 한다.

일반적으로, 문서 영상으로부터 문자를 인식하는 과정은, 도1과 같이 전처리 과정, 문자영역 추출과정, 문자 인식과정의 3과정으로 이루어진다.

여기서, 상기 전처리 과정은 문자 영역 추출 과정 및 문자 인식 과정에 용이하도록 영상을 처리하는 과정으로서, 에지 영역 강화기법이나 이진화 기법이 사용되고, 상기 문자영역 추출과정은 입력된 영상에서 문자 영역을 자(字)별로 추출해 내는 과정으로서, 클러스터링(Clusterng) 기법이 사용되며 전 과정 중 가장 많은 연산량이 사용된다.

다음, 상기 문자 인식과정은 상기 문자영역 추출과정에서 추출된 문자를 인식하는 과정으로서, 체인 코드(Chain code)를 이용한 특징 추출기법과 의사결정(Decision Making)을 위한 신경망(Neural network) 등이 사용되며, 문자인식 표준화 알고리즘을 사용하여 99% 이상의 인식 성공률을 보이고 있는데, 이때, 문자인식 실패 원인의 대부분은 문자영역 추출 과정에서의 오류 때문이다.

따라서, 본 발명에서는 단말기의 카메라 모듈을 통해 취득되는 영상의 특징을 이용하여, 문자(검색어로 입력할 단어)영역 추출과정을 최적화 함으로써, 적은 연산량으로 실시간 문자영역 추출이 가능하도록 하는 방법을 제공하고자 하는 것이다.

이하, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명하기로 한다.

도2는 본 발명에 따라 카메라로 촬영한 문서 영상으로부터 문자영역의 인식을 통해 원하는 단어를 추출하는 과정을 보인 순서도로서, 최종적으로 추출된 단어를 인식하여 전자사전에 검색어로 자동 입력되도록 한다.

도2를 참조하면, 본 발명은 영상취득, 전처리, 문자영역 추출, 영상인식, 전자사전 연동의 5단계로 이루어진다.

여기서, 영상취득 단계(S101)는 카메라를 통해 문서 영상을 취득하는 단계로서, 도3에 도시된 바와 같이 단말기의 카메라를 구동하여 화면에 영상이 디스플레 이 되면, 그 화면에 단어 추출을 위한 지지선(101)을 출력하여 오버레이 시킨다.

다음, 사용자는 카메라 방향 및 각도를 조정하여 상기 지지선의 중앙 상단에 추출하고자 하는 단어를 위치시킨 후 촬영 버튼(미도시)을 눌러 촬영한다.

이때, 상기 지지선(101)에는 중심을 나타내는 중심 표시자(102)가 있으며, 사용자는 카메라 방향과 각도를 조정하여 그 중심 표시자(102)를 추출하고자 하는 단어의 영역 내에 위치할 수 있도록 한다. 즉, 상기 중심 표시자(102)를 반드시 추출하고자 하는 단어의 중심에 위치시킬 필요는 없으나, 두 글자 또는 세 글자 등으로 이루어진 짧은 단어의 경우, 가능한 그 단어의 중심에 맞추는 것이 문자인식 오류를 줄일 수 있음은 자명할 것이다.

상기와 같이 본 발명에서의 영상취득 과정은 단순히 문서를 카메라로 촬영하는 동작이 아니고, 촬영된 영상에서 원하는 단어만을 자동으로 쉽게 추출할 수 있도록 촬영하는 것으로, 기존의 일반적인 문서 영상을 촬영하는 것과는 많은 차이가 있다.

즉, 본 발명의 영상취득 단계에서는 원하는 단어의 추출을 용이하게 하기 위하여 지지선(101)을 이용하고 있는 것이다. 이때, 상기 지지선은 단말기에 따라서 박스(box)나 타원, 포인트 등의 다른 방식이나 형태의 지시수단을 사용하여 원하는 단어를 지시할 수 있음은 자명하다.

한편, 상기와 같이 촬영된 영상(예 : YUV 4:2:2)은 전처리 과정(S102)을 통해 명암 정보만을 가지고 있는 휘도(Y) 성분을 추출하여, 도4에 도시된 바와 같이 그레이스케일(Grayscale) 이미지로 변환시킨다. 참고로, 그레이스케일은 백(白)에 서 흑(黑)까지의 명도를 10단계로 나눈 무채색 색표이다.

이에 따라, 상기 지지선(101) 윗 부분만을 처리 영역으로 하는 새로운 그레이스케일 이미지 I(i,j)를 얻는다.

수학식1을 통해 상기 전처리된 그레이스케일 이미지의 가로축 그레이(Gray) 값의 합을 구한다.

여기서, P_j는 세로 좌표 j에서 그레이스케일 이미지 I(i,j)의 가로축 그레이스케일 값의 총합을 의미한다.

도5는 상기 수학식1을 이용하여 구한 그레이스케일 이미지 I(i,j)의 각 라인에 대한 P_j값(가로축 그레이스케일 값의 총합)을 그래프로 보인 예시도로서, 각 문자열의 세로 길이(Height)를 구하기 위해 사용하는데, 상기 이미지 I(i,j)는 전처리 과정을 통해 지지선(101) 윗 부분만을 처리 영역으로 하는 그레이스케일 이미지 I(i,j)이므로, 첫 번째 라인의 P_j값이 지지선의 바로 위에 위치한 문자열의 P_j값을 의미한다.

도6은 상기 도5에 도시된 그레이스케일 이미지의 각 라인에 대한 그레이 값의 그래프를 확대하여 보인 예시도로서, 보다 구체적으로는 상기 도5에 세로로 도시되어 있는 그레이스케일 이미지의 각 라인에 대한 그레이 값의 그래프를 가로로 변환하여 확대한 것으로, 가장 우측에 있는 P_j값이 지지선 바로 위에 위치한 문자열의 P_j값이 된다.

즉, 지지선으로부터 시작하여 첫 번째 국부 최소값(P_j=0인 구간≒각 라인의 문자가 없는 구간)까지의 길이가 문자열 영역의 세로 길이(Height)가 되는 것이다.

상기와 같이 지지선의 바로 위에 위치한 문자열(추출할 단어가 들어있는 문자열)의 세로 길이(Height)가 구해지면, 도7에 도시된 바와 같이 그 세로 길이(Height)에 해당하는 영역을 분할한다(S103). 이는 추출할 단어가 포함된 문자열을 분할하는 것을 의미한다.

도8은 상기 도7에서 분할된 문자열 이미지를 확대하여 보인 예시도로서, 이 문자열 이미지를 J(i,j)라고 할 때, 그 문자열의 가로 영역 분할을 통해 원하는 단어를 추출한다(S104). 여기서, 가로 영역이란 문자열 이미지 J(i,j)에서 추출할 단어의 가로 길이(Width)를 의미한다.

즉, 다음 수학식2를 통해 이미지 J(i,j)에 대한 세로축 그레이(Gray) 값의 합을 구한다.

여기서, P_i는 가로 좌표 i에서 그레이스케일 이미지 J(i,j)의 세로축 그레이스케일 값의 총합을 의미한다.

도9는 상기 수학식2를 이용하여 구한 그레이스케일 이미지 J(i,j)의 각 문자에 대한 P_i값을 그래프로 보인 예시도로서, 각 문자 사이의 간격을 통해 추출하고자 하는 단어의 가로 길이(Width)를 구하기 위해 사용한다.

즉, 문자열을 구성하는 각 단어간 간격이 한 단어를 구성하는 문자들 사이의 간격보다 넓은 것을 이용해 다른 단어들과 구분하여 원하는 단어만 추출할 수 있도록 하는 것이다.

이때, 단어 추출을 위한 기준이 되는 것은 지지선의 중심 표시자로부터 그 표시자가 위치한 단어의 양쪽으로 첫 번째 국부 최소값(Local Minimum)을 갖는 P_i값 까지의 거리가 가로 길이(Width)가 된다. 즉, 추출할 단어가 위치하는 영역의 가로 길이가 되는 것이다.

상기 단어를 구분하기 위한 국부 최소값은 P_i=0 인 구간의 길이가 '세로 길이(Height)/10' 보다 큰 부분으로서, 상기와 같이 추출하고자 하는 단어의 가로 길이(Width)가 구해지면, 그 가로 길이에 해당하는 영역을 분할한다. 이는 지지선의 중심 표시자의 위에 위치한 단어(추출하고자 하는 단어)가 분할되는 것을 의미한다.

상기와 같이 카메라를 통해 촬영한 문서 영상으로부터 추출할 단어가 포함된 문자열을 분할하고, 그 문자열에서 원하는 단어를 다른 단어로부터 분리함으로써, 전자사전의 검색어로 입력할 단어의 추출이 완료되었다.

그러나, 상기 추출된 단어는 아직까지 입력 가능한 문자가 아니고 단지 단어 이미지일 뿐으로써, 그 단어 이미지에서 각 문자들을 추출하여 문자로 인식 해주는 과정이 필요하다. 즉, 도9에서 추출한 단어 이미지에서 문자간 영역을 추출하여 분할한 다음 각 문자들을 인식해야 하는 것이다.

도10은 상기 도9에서 분할된 단어 이미지에서 각 문자에 대한 그레이스케일 이미지를 확대하여 보인 예시도로서, 상기 도9에서는 'P_i=0 인 구간(국부 최소값)'의 길이가 '세로 길이(Height)/10' 보다 큰 부분만을 검출하였으나, 도10에서는 문자간 국부 최소값(Local Minimum)으로 'P_i=0 인 구간'을 모두 검출함으로써 각 문자들의 영역을 구분한다(S105).

도11은 상기 도10에 표시된 문자간 국부 최소값을 바탕으로 각 문자간 영역을 분할하여 보인 예시도로서, 이제 분할된 각 영역에 있는 문자를 인식하기 위하여 이진화를 수행한다(S106). 상기 이진화를 수행한 결과는 도12에 도시된 바와 같다.

상기 도12에 도시된 바와 같이 이진화된 문자 분할 영상을 문자 인식기(미도시)에 입력함으로써, 상기 추출된 단어를 구성하는 문자들을 인식하게 되고(S107), 그 인식 결과를 전자사전의 검색어로 입력할 수 있게 된다(S108).

상기 문자 인식기는 기존의 99% 이상의 인식 성공률을 보이고 있는 문자인식 표준화 알고리즘을 사용하여 쉽게 구현할 수 있으며, 그 문자인식 자체에 관한 기술은 본 발명의 범주를 벗어나므로 그에 대한 구체적인 설명은 생략한다.

이상, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조로 설명하였다. 여 기서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

이상에서 설명한 바와 같이 본 발명 이동 통신 단말기를 이용한 문서 영상 촬영 방법 및 그 문서 영상에서의 단어 추출방법은 단말기에 내장된 카메라를 이용해 문서 촬영 시 추출하고자 하는 단어를 지시해 줌으로써, 문자영역 추출 알고리즘을 단순화 시켜 단말기의 하드웨어 연산량을 줄이고 실시간 구현이 가능하도록 하는 효과가 있다.

또한, 본 발명은 이동 통신 단말기에 전자사전 프로그램을 부가할 경우, 그 전자사전 프로그램과 연동하여 검색어로 입력할 단어를 카메라로 촬영한 문서에서 추출하여 자동으로 입력되도록 함으로써, 종래 키패드 입력 방식에 비하여 전자사전을 이용하는 사용자의 편의성을 향상시키는 효과가 있다.

또한, 본 발명은 기존의 문자인식 실패 원인의 대부분을 차지하는 문자영역 추출을 보다 정확히 수행할 수 있도록 함으로써, 문자인식 성공 확률을 더욱 향상시킬 수 있도록 하는 효과가 있다.

Claims (10)

1. 단말기의 카메라를 구동하여 화면에 문서 영상을 디스플레이 시키는 단계와;

   상기 화면에 추출하고자 하는 단어를 지시하기 위한 지지선을 출력하여 문서 영상에 오버레이 시키는 단계와;

   사용자를 통해 상기 지지선의 중앙 상단에 추출하고자 하는 단어를 위치시킨 후 촬영을 수행하는 단계를 포함하여 이루어진 것을 특징으로 하는 이동 통신 단말기를 이용한 문서 영상 촬영 방법.
2. 제1항에 있어서, 상기 지지선에는 중심을 나타내는 중심 표시자를 부가하여 그 중심 표시자를 통해 추출하고자 하는 단어를 지시하도록 이루어진 것을 특징으로 하는 이동 통신 단말기를 이용한 문서 영상 촬영 방법.
3. 제2항에 있어서, 상기 중심 표시자는 추출하고자 하는 단어의 가로 영역(Width) 내에 위치시켜 촬영하도록 이루어진 것을 특징으로 하는 이동 통신 단말기를 이용한 문서 영상 촬영 방법.
4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 지지선은 표시 방식이나 형태를 변형하여 박스, 타원, 포인트 등으로 표시할 수 있도록 이루어진 것을 특징으로 하는 이동 통신 단말기를 이용한 문서 영상 촬영 방법.
5. 소정의 지시 수단을 이용해 추출하고자 하는 단어를 지시하여 촬영한 문서 영상에 있어서,

   상기 문서 영상을 그레이스케일 이미지로 변환하는 단계와;

   상기 그레이스케일 이미지에서 추출하고자 하는 단어가 포함된 문자열 이미지를 분할하는 단계와;

   상기 문자열 이미지에서 추출하고자 하는 단어 이미지를 분할하는 단계와;

   상기 단어 이미지에서 각 문자 이미지를 분할하여 문자인식 하는 단계를 포함하여 이루어진 것을 특징으로 하는 문서 영상에서의 단어 추출방법.
6. 제5항에 있어서, 상기 그레이스케일 이미지는 상기 추출 단어의 지시 수단으로 지지선을 이용할 경우, 그 지지선의 윗 부분만을 처리 영역으로 전처리하여 그레이스케일 변환한 이미지인 것을 특징으로 하는 문서 영상에서의 단어 추출방법.
7. 제5항에 있어서, 상기 문자열 이미지의 분할은,

   상기 전처리된 그레이스케일 이미지의 각 가로축 그레이(Gray) 값의 합(P_j)을 구하는 단계와;

   상기 가로축 그레이 값의 합(P_j)이 0인 구간 중 아래에서 첫 번째 구간을 세로 길이(Height)로 하는 영역을 검출하여 분할하는 단계로 이루어진 것을 특징으로 하는 문서 영상에서의 단어 추출방법.
8. 제5항에 있어서, 상기 단어 이미지의 분할은,

   문자열 이미지의 각 세로축 그레이 값의 합(P_i)을 구하는 단계와;

   상기 세로축 그레이 값의 합(P_i)이 0인 부분 중 '세로 길이(Height)/10' 보다 큰 부분을 대상으로, 지지선의 중심으로부터 양쪽으로 첫 번째 구간을 가로 길이(Width)로 하는 영역을 검출하여 분할하는 단계로 이루어진 것을 특징으로 하는 문서 영상에서의 단어 추출방법.
9. 제8항에 있어서, 상기 분할된 단어 이미지에서 세로축 그레이 값의 합(P_i)이 0인 구간을 문자 이미지로 분할하는 것을 특징으로 하는 문서 영상에서의 단어 추출방법.
10. 제5항에 있어서, 상기 문자 이미지는 문자 인식을 위해 분할된 각 문자 이미지에 대한 이진화 과정을 수행하도록 이루어진 것을 특징으로 하는 문서 영상에서의 단어 추출방법.

Images