KR100619715B1 - Document image photograph method for mobile communication device and word extraction method from the document image - Google Patents

Abstract

본 발명은 카메라가 내장된 이동 통신 단말기에서 전자사전 어플리케이션을 구동할 경우, 그 전자사전에 입력할 검색 단어를 카메라로 촬영한 문서 영상에서 추출하여 자동으로 입력할 수 있도록 하는 이동 통신 단말기를 이용한 문서 영상 촬영 방법 및 그 문서 영상에서의 단어 추출방법에 관한 것으로, 단말기의 카메라를 구동하여 화면에 문서 영상을 디스플레이 시키는 단계와; 상기 화면에 추출하고자 하는 단어를 지시하기 위한 지지선을 출력하여 문서 영상에 오버레이 시키는 단계와; 사용자를 통해 상기 지지선의 중앙 상단에 추출하고자 하는 단어를 위치시킨 후 촬영을 수행하는 단계를 포함하여 이루어짐으로써 달성할 수 있다.According to the present invention, when the electronic dictionary application is driven in a mobile communication terminal having a built-in camera, a document using a mobile communication terminal which extracts a search word to be input into the electronic dictionary from a document image taken by the camera and automatically inputs the document. An image capturing method and a method of extracting words from a document image, the method comprising: displaying a document image on a screen by driving a camera of a terminal; Outputting a support line for indicating a word to be extracted on the screen and overlaying it on a document image; It can be achieved by including a step of performing a photographing after positioning the word to be extracted on the upper center of the support line through the user.

또한, 본 발명은 소정의 지시 수단을 이용해 추출하고자 하는 단어를 지시하여 촬영한 문서 영상에 있어서, 상기 문서 영상을 그레이스케일 이미지로 변환하는 단계와; 상기 그레이스케일 이미지에서 추출하고자 하는 단어가 포함된 문자열 이미지를 분할하는 단계와; 상기 문자열 이미지에서 추출하고자 하는 단어 이미지를 분할하는 단계와; 상기 단어 이미지에서 각 문자 이미지를 분할하여 문자인식 하는 단계를 포함하여 이루어짐으로써 달성할 수 있다.In addition, the present invention provides a document image photographed by indicating a word to be extracted using a predetermined indicating means, the method comprising: converting the document image to a grayscale image; Dividing a string image including a word to be extracted from the grayscale image; Dividing a word image to be extracted from the string image; It can be achieved by including the step of character recognition by dividing each character image from the word image.

Description

이동 통신 단말기를 이용한 문서 영상 촬영 방법 및 그 문서 영상에서의 단어 추출방법{DOCUMENT IMAGE PHOTOGRAPH METHOD FOR MOBILE COMMUNICATION DEVICE AND WORD EXTRACTION METHOD FROM THE DOCUMENT IMAGE}TECHNICAL IMAGE PHOTOGRAPH METHOD FOR MOBILE COMMUNICATION DEVICE AND WORD EXTRACTION METHOD FROM THE DOCUMENT IMAGE}

도 1은 일반적인 문서 영상으로부터 문자를 인식하는 과정을 보인 순서도.1 is a flowchart illustrating a process of recognizing a character from a general document image.

도 2는 본 발명에 따라 카메라로 촬영한 문서 영상으로부터 문자영역의 인식을 통해 원하는 단어를 추출하는 과정을 보인 순서도.2 is a flowchart illustrating a process of extracting a desired word through recognition of a text area from a document image photographed by a camera according to the present invention.

도 3은 본 발명에 따라 이동 통신 단말기의 카메라를 통해 문서 영상을 촬영한 화면의 예시도.3 is an exemplary view of a screen photographing a document image through a camera of a mobile communication terminal according to the present invention.

도 4는 상기 도3에서 촬영한 문서 이미지에서 지지선 윗 부분만을 처리 영역으로 하여 전처리한 그레이스케일 이미지의 예시도.4 is an exemplary diagram of a grayscale image preprocessed using only the upper portion of the support line as a processing area in the document image photographed in FIG.

도 5는 상기 도4에서 전처리된 그레이스케일 이미지의 각 라인에 대한 P_j값을 그래프로 보인 예시도.5 is an exemplary diagram showing P _j values for each line of the grayscale image preprocessed in FIG. 4.

도 6은 상기 도5에 도시된 그레이스케일 이미지의 각 라인에 대한 그레이 값의 그래프를 확대하여 보인 예시도.6 is an enlarged view illustrating a graph of gray values for each line of the grayscale image illustrated in FIG. 5.

도 7은 상기 도5에 도시된 그레이스케일 이미지에서 추출할 단어가 들어있는 문자열의 세로 길이(Height)에 해당하는 영역의 분할 화면을 보인 예시도.FIG. 7 is an exemplary diagram illustrating a split screen of an area corresponding to a height of a string of a string including a word to be extracted from the grayscale image illustrated in FIG.

도 8은 상기 도7에서 분할된 문자열 이미지를 확대하여 보인 예시도.FIG. 8 is an enlarged view illustrating an image of a character string divided in FIG. 7; FIG.

도 9는 상기 도8에 도시된 그레이스케일 이미지의 각 문자에 대한 P_i값을 그래프로 보인 예시도.FIG. 9 is an exemplary diagram showing P _i values for respective characters of the grayscale image shown in FIG. 8 in a graph. FIG.

도 10은 상기 도9에서 분할된 단어 이미지에서 각 문자에 대한 그레이스케일 이미지를 확대하여 보인 예시도.FIG. 10 is an enlarged view illustrating a grayscale image of each letter in the word image divided in FIG. 9; FIG.

도 11은 상기 도10에 표시된 문자간 국부 최소값을 바탕으로 각 문자간 영역을 분할하여 보인 예시도.FIG. 11 is an exemplary view showing divisions between respective characters based on local minimum values between characters shown in FIG. 10; FIG.

도 12는 상기 도11에서 분할된 각 문자 이미지를 문자인식하기 위해 이진화를 수행한 화면의 예시도.FIG. 12 is an exemplary diagram of a screen on which binarization is performed to characterize each character image divided in FIG. 11; FIG.

*도면의 주요 부분에 대한 부호의 설명** Description of the symbols for the main parts of the drawings *

101 : 지지선 102 : 중심 표시자101: support line 102: center marker

본 발명은 이동 통신 단말기의 카메라를 이용한 문서 영상 촬영 방법에 관한 것으로, 특히 카메라가 내장된 이동 통신 단말기에서 전자사전 어플리케이션을 구동할 경우, 그 전자사전에 입력할 검색 단어를 카메라로 촬영한 문서 영상에서 추출하여 자동으로 입력할 수 있도록 하는 이동 통신 단말기를 이용한 문서 영상 촬영 방법 및 그 문서 영상에서의 단어 추출방법에 관한 것이다.The present invention relates to a document image capturing method using a camera of a mobile communication terminal. In particular, when driving an electronic dictionary application in a mobile communication terminal with a built-in camera, a document image photographing a search word to be input into the electronic dictionary with a camera. The present invention relates to a document image capturing method using a mobile communication terminal and to extract a word from the document image.

최근 이동 통신 단말기는 하드웨어의 성능이 향상되면서 다양한 기능을 부가하고 있으며, 특히, 멀티미디어 기능이 강화되고, 고화소 카메라를 탑재하고 동영상의 녹화 및 재생이 가능해짐에 따라, 단말기 내의 메모리 용량의 증가와 외부 메모리의 사용이 가능하게 구현되고 있다.Recently, the mobile communication terminal has added various functions as the hardware performance is improved. In particular, as the multimedia function is enhanced, the high-resolution camera is mounted, and video recording and playback are possible, the memory capacity of the mobile terminal is increased and the external capacity is increased. The use of memory is implemented.

상기와 같이 메모리 용량이 증가하고 운영 시스템(OS : Operating System)을 기반으로 단말기를 구동함에 따라, 전자사전과 같은 어플리케이션도 단말기에서 구현 가능한 프로그램이 되었다.As the memory capacity increases and the terminal is driven based on an operating system (OS), applications such as an electronic dictionary have become programs that can be implemented in the terminal.

그러나, 상기 전자사전 프로그램을 단말기에서 구동할 경우, 단말기의 키패드를 통해 검색 단어를 입력해야 하기 때문에, 키패드 사용에 익숙하지 않은 사용자들은 검색어 입력이 어렵고, 그에 따라 사전 검색에 많은 시간이 소요되는 문제점이 있다.However, when the electronic dictionary program is driven in the terminal, since a search word must be input through the keypad of the terminal, users who are not familiar with using the keypad are difficult to input a search word, and thus a long time is required for dictionary search. There is this.

따라서, 본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 창출한 것으로, 카메라가 내장된 이동 통신 단말기에서 전자사전 어플리케이션을 구동할 경우, 그 전자사전에 입력할 검색어의 검출을 위해 검색어가 포함된 문서를 카메라로 촬영한 후, 그 촬영한 영역에서 검색어로 입력할 단어를 다른 단어들로부터 정확히 구분하여 검출할 수 있도록 하는 이동 통신 단말기를 이용한 문서 영상 촬영 방법 및 그 문서 영상에서의 단어 추출방법을 제공함에 그 목적이 있다.Accordingly, the present invention was created to solve the above-mentioned conventional problems. When the electronic dictionary application is driven in a mobile communication terminal in which a camera is embedded, a search word is included to detect a search word to be input in the electronic dictionary. After photographing a document with a camera, a document image capturing method using a mobile communication terminal and a method of extracting a word from the document image can be used to accurately detect a word to be entered as a search word from other words in the photographed area. The purpose is to provide.

본 발명은 이동 통신 단말기에 구현된 전자사전에 입력할 검색어를 간단히 입력하여 사용자의 편의성을 향상시키기 위한 것으로, 키패드 대신 단말기에 내장 된 카메라를 이용하여 검색어가 포함된 문서를 카메라로 촬영한 후, 실시간 문자인식을 통해 상기 촬영한 영역에서 검색어로 입력할 단어를 정확히 검출하여 입력할 수 있도록 하는 방법의 제공을 목적으로 한다.The present invention is to improve the user's convenience by simply entering a search word to be entered in the electronic dictionary implemented in the mobile communication terminal, after taking a document containing the search word with a camera using a camera built in the terminal, An object of the present invention is to provide a method for accurately detecting and inputting a word to be entered as a search word in the photographed area through real-time character recognition.

이와 같은 목적을 달성하기 위한 본 발명은, 단말기의 카메라를 구동하여 화면에 문서 영상을 디스플레이 시키는 단계와; 상기 화면에 추출하고자 하는 단어를 지시하기 위한 지지선을 출력하여 문서 영상에 오버레이 시키는 단계와; 사용자를 통해 상기 지지선의 중앙 상단에 추출하고자 하는 단어를 위치시킨 후 촬영을 수행하는 단계를 포함하여 이루어진 것을 특징으로 한다.The present invention for achieving the above object comprises the steps of displaying a document image on the screen by driving the camera of the terminal; Outputting a support line for indicating a word to be extracted on the screen and overlaying it on a document image; Positioning the word to be extracted on the upper center of the support line through the user characterized in that it comprises the step of performing the shooting.

또한, 본 발명은 소정의 지시 수단을 이용해 추출하고자 하는 단어를 지시하여 촬영한 문서 영상에 있어서, 상기 문서 영상을 그레이스케일 이미지로 변환하는 단계와; 상기 그레이스케일 이미지에서 추출하고자 하는 단어가 포함된 문자열 이미지를 분할하는 단계와; 상기 문자열 이미지에서 추출하고자 하는 단어 이미지를 분할하는 단계와; 상기 단어 이미지에서 각 문자 이미지를 분할하여 문자인식 하는 단계를 포함하여 이루어진 것을 특징으로 한다.In addition, the present invention provides a document image photographed by indicating a word to be extracted using a predetermined indicating means, the method comprising: converting the document image to a grayscale image; Dividing a string image including a word to be extracted from the grayscale image; Dividing a word image to be extracted from the string image; Characterized by the step of splitting each character image in the word image character recognition.

일반적으로, 문서 영상으로부터 문자를 인식하는 과정은, 도1과 같이 전처리 과정, 문자영역 추출과정, 문자 인식과정의 3과정으로 이루어진다. In general, a process of recognizing a character from a document image includes three processes, a preprocessing process, a text area extraction process, and a character recognition process, as shown in FIG.

여기서, 상기 전처리 과정은 문자 영역 추출 과정 및 문자 인식 과정에 용이하도록 영상을 처리하는 과정으로서, 에지 영역 강화기법이나 이진화 기법이 사용되고, 상기 문자영역 추출과정은 입력된 영상에서 문자 영역을 자(字)별로 추출해 내는 과정으로서, 클러스터링(Clusterng) 기법이 사용되며 전 과정 중 가장 많은 연산량이 사용된다.Here, the preprocessing process is an image processing process to facilitate the text area extraction process and the text recognition process. An edge region reinforcement technique or a binarization technique is used, and the text region extraction process uses a character region in the input image. As a process of extracting by), the clustering technique is used and the largest amount of computation is used during the entire process.

다음, 상기 문자 인식과정은 상기 문자영역 추출과정에서 추출된 문자를 인식하는 과정으로서, 체인 코드(Chain code)를 이용한 특징 추출기법과 의사결정(Decision Making)을 위한 신경망(Neural network) 등이 사용되며, 문자인식 표준화 알고리즘을 사용하여 99% 이상의 인식 성공률을 보이고 있는데, 이때, 문자인식 실패 원인의 대부분은 문자영역 추출 과정에서의 오류 때문이다. Next, the character recognition process is a process of recognizing the characters extracted in the character region extraction process, which is used by a feature extraction technique using a chain code and a neural network for decision making. In addition, using the character recognition standardization algorithm, the recognition success rate is more than 99%, and most of the causes of the character recognition failure are due to an error in the process of extracting the text area.

따라서, 본 발명에서는 단말기의 카메라 모듈을 통해 취득되는 영상의 특징을 이용하여, 문자(검색어로 입력할 단어)영역 추출과정을 최적화 함으로써, 적은 연산량으로 실시간 문자영역 추출이 가능하도록 하는 방법을 제공하고자 하는 것이다.Accordingly, the present invention is to provide a method for real-time character area extraction with a small amount of calculation by optimizing the character (word to be entered as a search word) area extraction process using the characteristics of the image acquired through the camera module of the terminal. It is.

이하, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도2는 본 발명에 따라 카메라로 촬영한 문서 영상으로부터 문자영역의 인식을 통해 원하는 단어를 추출하는 과정을 보인 순서도로서, 최종적으로 추출된 단어를 인식하여 전자사전에 검색어로 자동 입력되도록 한다.FIG. 2 is a flowchart illustrating a process of extracting a desired word through recognition of a text area from a document image photographed by a camera according to the present invention. Finally, the extracted word is recognized and automatically entered as a search word in an electronic dictionary.

도2를 참조하면, 본 발명은 영상취득, 전처리, 문자영역 추출, 영상인식, 전자사전 연동의 5단계로 이루어진다.2, the present invention is composed of five steps of image acquisition, preprocessing, character region extraction, image recognition, and electronic dictionary linkage.

여기서, 영상취득 단계(S101)는 카메라를 통해 문서 영상을 취득하는 단계로서, 도3에 도시된 바와 같이 단말기의 카메라를 구동하여 화면에 영상이 디스플레 이 되면, 그 화면에 단어 추출을 위한 지지선(101)을 출력하여 오버레이 시킨다.Here, the image acquisition step (S101) is a step of acquiring a document image through a camera. As shown in FIG. 3, when an image is displayed on the screen by driving the camera of the terminal, a support line for extracting words on the screen ( 101) to print and overlay.

다음, 사용자는 카메라 방향 및 각도를 조정하여 상기 지지선의 중앙 상단에 추출하고자 하는 단어를 위치시킨 후 촬영 버튼(미도시)을 눌러 촬영한다.Next, the user adjusts the camera direction and angle to place the word to be extracted on the upper center of the support line, and then presses the photographing button (not shown) to photograph.

이때, 상기 지지선(101)에는 중심을 나타내는 중심 표시자(102)가 있으며, 사용자는 카메라 방향과 각도를 조정하여 그 중심 표시자(102)를 추출하고자 하는 단어의 영역 내에 위치할 수 있도록 한다. 즉, 상기 중심 표시자(102)를 반드시 추출하고자 하는 단어의 중심에 위치시킬 필요는 없으나, 두 글자 또는 세 글자 등으로 이루어진 짧은 단어의 경우, 가능한 그 단어의 중심에 맞추는 것이 문자인식 오류를 줄일 수 있음은 자명할 것이다.In this case, the support line 101 has a center indicator 102 indicating the center, and the user adjusts the camera direction and angle so that the center indicator 102 can be located within the area of the word to be extracted. That is, it is not necessary to place the center marker 102 in the center of the word to be extracted, but in the case of a short word composed of two letters or three letters, centering the word as much as possible reduces the character recognition error. It will be obvious.

상기와 같이 본 발명에서의 영상취득 과정은 단순히 문서를 카메라로 촬영하는 동작이 아니고, 촬영된 영상에서 원하는 단어만을 자동으로 쉽게 추출할 수 있도록 촬영하는 것으로, 기존의 일반적인 문서 영상을 촬영하는 것과는 많은 차이가 있다.As described above, the image acquisition process according to the present invention is not simply an operation of photographing a document by a camera, but a photographing process so as to automatically extract only a desired word from the photographed image. There is a difference.

즉, 본 발명의 영상취득 단계에서는 원하는 단어의 추출을 용이하게 하기 위하여 지지선(101)을 이용하고 있는 것이다. 이때, 상기 지지선은 단말기에 따라서 박스(box)나 타원, 포인트 등의 다른 방식이나 형태의 지시수단을 사용하여 원하는 단어를 지시할 수 있음은 자명하다.That is, in the image acquisition step of the present invention, the support line 101 is used to facilitate the extraction of the desired word. At this time, it is apparent that the support line may indicate a desired word using other means or forms of indicating means such as a box, an ellipse, and a point depending on the terminal.

한편, 상기와 같이 촬영된 영상(예 : YUV 4:2:2)은 전처리 과정(S102)을 통해 명암 정보만을 가지고 있는 휘도(Y) 성분을 추출하여, 도4에 도시된 바와 같이 그레이스케일(Grayscale) 이미지로 변환시킨다. 참고로, 그레이스케일은 백(白)에 서 흑(黑)까지의 명도를 10단계로 나눈 무채색 색표이다.Meanwhile, the image captured as described above (eg, YUV 4: 2: 2) extracts a luminance Y component having only contrast information through a preprocessing process S102, and as shown in FIG. Grayscale) to the image. For reference, grayscale is an achromatic color table divided by 10 levels of brightness from white to black.

이에 따라, 상기 지지선(101) 윗 부분만을 처리 영역으로 하는 새로운 그레이스케일 이미지 I(i,j)를 얻는다.As a result, a new grayscale image I (i, j) having only the upper portion of the support line 101 as the processing area is obtained.

수학식1을 통해 상기 전처리된 그레이스케일 이미지의 가로축 그레이(Gray) 값의 합을 구한다.The sum of horizontal gray values of the preprocessed grayscale image is obtained through Equation 1.

여기서, P_j는 세로 좌표 j에서 그레이스케일 이미지 I(i,j)의 가로축 그레이스케일 값의 총합을 의미한다.Here, P _j is the sum of the horizontal axis grayscale values of the grayscale image I (i, j) at the vertical coordinate j.

도5는 상기 수학식1을 이용하여 구한 그레이스케일 이미지 I(i,j)의 각 라인에 대한 P_j값(가로축 그레이스케일 값의 총합)을 그래프로 보인 예시도로서, 각 문자열의 세로 길이(Height)를 구하기 위해 사용하는데, 상기 이미지 I(i,j)는 전처리 과정을 통해 지지선(101) 윗 부분만을 처리 영역으로 하는 그레이스케일 이미지 I(i,j)이므로, 첫 번째 라인의 P_j값이 지지선의 바로 위에 위치한 문자열의 P_j값을 의미한다. FIG. 5 is a graph showing P _j values (sum of horizontal axis gray scale values) for each line of the grayscale image I (i, j) obtained by using Equation 1 as a graph. Height). The image I (i, j) is a grayscale image I (i, j) having only the upper portion of the support line 101 as the processing area through the preprocessing, so the value of P _j of the first line P _j value of the string located just above this support line.

도6은 상기 도5에 도시된 그레이스케일 이미지의 각 라인에 대한 그레이 값의 그래프를 확대하여 보인 예시도로서, 보다 구체적으로는 상기 도5에 세로로 도시되어 있는 그레이스케일 이미지의 각 라인에 대한 그레이 값의 그래프를 가로로 변환하여 확대한 것으로, 가장 우측에 있는 P_j값이 지지선 바로 위에 위치한 문자열의 P_j값이 된다.FIG. 6 is an enlarged view showing a graph of gray values for each line of the grayscale image shown in FIG. 5, and more specifically, for each line of the grayscale image shown vertically in FIG. that converts the enlarged graph of the gray value to the horizontal, the value of P _j at the far right of the P _j is the value of the string located just above the support line.

즉, 지지선으로부터 시작하여 첫 번째 국부 최소값(P_j=0인 구간≒각 라인의 문자가 없는 구간)까지의 길이가 문자열 영역의 세로 길이(Height)가 되는 것이다.In other words, the length from the support line to the first local minimum value (section where P _j = 0 without section of each line) becomes the height of the string region.

상기와 같이 지지선의 바로 위에 위치한 문자열(추출할 단어가 들어있는 문자열)의 세로 길이(Height)가 구해지면, 도7에 도시된 바와 같이 그 세로 길이(Height)에 해당하는 영역을 분할한다(S103). 이는 추출할 단어가 포함된 문자열을 분할하는 것을 의미한다.As described above, when the height of the string (the string containing the word to be extracted) located directly on the support line is obtained, an area corresponding to the height of the string is divided as shown in FIG. 7 (S103). ). This means splitting the string containing the words to be extracted.

도8은 상기 도7에서 분할된 문자열 이미지를 확대하여 보인 예시도로서, 이 문자열 이미지를 J(i,j)라고 할 때, 그 문자열의 가로 영역 분할을 통해 원하는 단어를 추출한다(S104). 여기서, 가로 영역이란 문자열 이미지 J(i,j)에서 추출할 단어의 가로 길이(Width)를 의미한다.FIG. 8 is an enlarged view of the character string image divided in FIG. 7. When the character string image is J (i, j), a desired word is extracted through horizontal region division of the character string (S104). Here, the horizontal area means the width of the word to be extracted from the string image J (i, j).

즉, 다음 수학식2를 통해 이미지 J(i,j)에 대한 세로축 그레이(Gray) 값의 합을 구한다.That is, the sum of vertical gray values for the image J (i, j) is obtained through Equation 2 below.

여기서, P_i는 가로 좌표 i에서 그레이스케일 이미지 J(i,j)의 세로축 그레이스케일 값의 총합을 의미한다.Here, P _i means the sum of the vertical grayscale values of the grayscale image J (i, j) at the horizontal coordinate i.

도9는 상기 수학식2를 이용하여 구한 그레이스케일 이미지 J(i,j)의 각 문자에 대한 P_i값을 그래프로 보인 예시도로서, 각 문자 사이의 간격을 통해 추출하고자 하는 단어의 가로 길이(Width)를 구하기 위해 사용한다.FIG. 9 is an exemplary diagram showing P _i values for each letter of a grayscale image J (i, j) obtained by using Equation 2 as a graph, and a horizontal length of a word to be extracted through an interval between each letter. Use to get the width.

즉, 문자열을 구성하는 각 단어간 간격이 한 단어를 구성하는 문자들 사이의 간격보다 넓은 것을 이용해 다른 단어들과 구분하여 원하는 단어만 추출할 수 있도록 하는 것이다.That is, the interval between each word constituting the string is wider than the interval between the letters constituting a word so that only the desired word can be extracted from the other words.

이때, 단어 추출을 위한 기준이 되는 것은 지지선의 중심 표시자로부터 그 표시자가 위치한 단어의 양쪽으로 첫 번째 국부 최소값(Local Minimum)을 갖는 P_i값 까지의 거리가 가로 길이(Width)가 된다. 즉, 추출할 단어가 위치하는 영역의 가로 길이가 되는 것이다.In this case, the reference for the word extraction is the distance from the center marker of the support line to the P _i value having the first local minimum on both sides of the word where the marker is located. That is, the width of the area where the word to be extracted is located.

상기 단어를 구분하기 위한 국부 최소값은 P_i=0 인 구간의 길이가 '세로 길이(Height)/10' 보다 큰 부분으로서, 상기와 같이 추출하고자 하는 단어의 가로 길이(Width)가 구해지면, 그 가로 길이에 해당하는 영역을 분할한다. 이는 지지선의 중심 표시자의 위에 위치한 단어(추출하고자 하는 단어)가 분할되는 것을 의미한다.The local minimum value for distinguishing the word is a portion having a length of P _i = 0 that is greater than 'Height / 10' and when the width of the word to be extracted is obtained, Divides the area corresponding to the horizontal length. This means that the word (word to be extracted) located above the center marker of the support line is divided.

상기와 같이 카메라를 통해 촬영한 문서 영상으로부터 추출할 단어가 포함된 문자열을 분할하고, 그 문자열에서 원하는 단어를 다른 단어로부터 분리함으로써, 전자사전의 검색어로 입력할 단어의 추출이 완료되었다.As described above, a string including a word to be extracted from a document image photographed by a camera is divided, and a desired word is separated from another word in the string, thereby extracting a word to be input as a search word of an electronic dictionary.

그러나, 상기 추출된 단어는 아직까지 입력 가능한 문자가 아니고 단지 단어 이미지일 뿐으로써, 그 단어 이미지에서 각 문자들을 추출하여 문자로 인식 해주는 과정이 필요하다. 즉, 도9에서 추출한 단어 이미지에서 문자간 영역을 추출하여 분할한 다음 각 문자들을 인식해야 하는 것이다.However, since the extracted word is not yet an inputable letter but merely a word image, a process of extracting each letter from the word image and recognizing it as a letter is necessary. That is, after extracting and dividing an area between characters in the word image extracted in FIG. 9, each character must be recognized.

도10은 상기 도9에서 분할된 단어 이미지에서 각 문자에 대한 그레이스케일 이미지를 확대하여 보인 예시도로서, 상기 도9에서는 'P_i=0 인 구간(국부 최소값)'의 길이가 '세로 길이(Height)/10' 보다 큰 부분만을 검출하였으나, 도10에서는 문자간 국부 최소값(Local Minimum)으로 'P_i=0 인 구간'을 모두 검출함으로써 각 문자들의 영역을 구분한다(S105).FIG. 10 is an enlarged view illustrating a grayscale image of each letter in the word image divided in FIG. 9. In FIG. 9, the length of the section (local minimum value) where _Pi = 0 is equal to the vertical length ( Although only a portion larger than Height) / 10 'is detected, in FIG. 10, the area of each character is distinguished by detecting all of the' P _i = 0 'intervals as the local minimum between characters (S105).

도11은 상기 도10에 표시된 문자간 국부 최소값을 바탕으로 각 문자간 영역을 분할하여 보인 예시도로서, 이제 분할된 각 영역에 있는 문자를 인식하기 위하여 이진화를 수행한다(S106). 상기 이진화를 수행한 결과는 도12에 도시된 바와 같다.FIG. 11 is an exemplary view showing divisions between respective characters based on local minimum values between characters shown in FIG. 10, and now binarization is performed to recognize characters in each divided region (S106). The result of performing the binarization is as shown in FIG.

상기 도12에 도시된 바와 같이 이진화된 문자 분할 영상을 문자 인식기(미도시)에 입력함으로써, 상기 추출된 단어를 구성하는 문자들을 인식하게 되고(S107), 그 인식 결과를 전자사전의 검색어로 입력할 수 있게 된다(S108).As shown in FIG. 12, the binary character split image is input to a character recognizer (not shown), thereby recognizing characters constituting the extracted word (S107), and inputting the recognition result as a search word of an electronic dictionary. It becomes possible (S108).

상기 문자 인식기는 기존의 99% 이상의 인식 성공률을 보이고 있는 문자인식 표준화 알고리즘을 사용하여 쉽게 구현할 수 있으며, 그 문자인식 자체에 관한 기술은 본 발명의 범주를 벗어나므로 그에 대한 구체적인 설명은 생략한다.The character recognizer can be easily implemented using a conventional character recognition standardization algorithm showing a success rate of 99% or more, and the description on the character recognition itself is omitted from the scope of the present invention.

이상, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조로 설명하였다. 여 기서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. In the above, preferred embodiments of the present invention have been described with reference to the accompanying drawings. Here, the terms or words used in the present specification and claims should not be construed as being limited to ordinary or dictionary meanings, but should be construed as meanings and concepts corresponding to the technical spirit of the present invention.

따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Therefore, the embodiments described in the specification and the drawings shown in the drawings are only the most preferred embodiment of the present invention, and do not represent all of the technical idea of the present invention, which can be replaced at the time of the present application It should be understood that there may be various equivalents and variations.

이상에서 설명한 바와 같이 본 발명 이동 통신 단말기를 이용한 문서 영상 촬영 방법 및 그 문서 영상에서의 단어 추출방법은 단말기에 내장된 카메라를 이용해 문서 촬영 시 추출하고자 하는 단어를 지시해 줌으로써, 문자영역 추출 알고리즘을 단순화 시켜 단말기의 하드웨어 연산량을 줄이고 실시간 구현이 가능하도록 하는 효과가 있다.As described above, the document image capturing method and the word extracting method of the document image using the mobile communication terminal of the present invention indicate a word to be extracted during document capturing using a camera built in the terminal, thereby extracting a text area extraction algorithm. Simplification reduces the hardware computation of the terminal and has the effect of enabling real-time implementation.

또한, 본 발명은 이동 통신 단말기에 전자사전 프로그램을 부가할 경우, 그 전자사전 프로그램과 연동하여 검색어로 입력할 단어를 카메라로 촬영한 문서에서 추출하여 자동으로 입력되도록 함으로써, 종래 키패드 입력 방식에 비하여 전자사전을 이용하는 사용자의 편의성을 향상시키는 효과가 있다.In addition, when the electronic dictionary program is added to a mobile communication terminal, the present invention extracts a word to be entered as a search word from a document photographed by a camera in conjunction with the electronic dictionary program, and automatically inputs it, compared to the conventional keypad input method. There is an effect of improving the convenience of the user using the electronic dictionary.

또한, 본 발명은 기존의 문자인식 실패 원인의 대부분을 차지하는 문자영역 추출을 보다 정확히 수행할 수 있도록 함으로써, 문자인식 성공 확률을 더욱 향상시킬 수 있도록 하는 효과가 있다.In addition, the present invention has the effect that it is possible to more accurately perform the character area extraction, which occupies most of the existing causes of character recognition failure, further improving the probability of character recognition success.

Claims (10)

단말기의 카메라를 구동하여 화면에 문서 영상을 디스플레이 시키는 단계와;Displaying a document image on a screen by driving a camera of the terminal; 상기 화면에 추출하고자 하는 단어를 지시하기 위한 지지선을 출력하여 문서 영상에 오버레이 시키는 단계와;Outputting a support line for indicating a word to be extracted on the screen and overlaying it on a document image; 사용자를 통해 상기 지지선의 중앙 상단에 추출하고자 하는 단어를 위치시킨 후 촬영을 수행하는 단계를 포함하여 이루어진 것을 특징으로 하는 이동 통신 단말기를 이용한 문서 영상 촬영 방법.A method of photographing a document using a mobile communication terminal, characterized in that the step of placing a word to be extracted on the upper end of the support line through a user and performing a photographing. 제1항에 있어서, 상기 지지선에는 중심을 나타내는 중심 표시자를 부가하여 그 중심 표시자를 통해 추출하고자 하는 단어를 지시하도록 이루어진 것을 특징으로 하는 이동 통신 단말기를 이용한 문서 영상 촬영 방법.The method of claim 1, wherein a center indicator indicating a center is added to the support line to indicate a word to be extracted through the center indicator. 제2항에 있어서, 상기 중심 표시자는 추출하고자 하는 단어의 가로 영역(Width) 내에 위치시켜 촬영하도록 이루어진 것을 특징으로 하는 이동 통신 단말기를 이용한 문서 영상 촬영 방법.The method of claim 2, wherein the center indicator is positioned in the horizontal area of the word to be extracted and photographed. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 지지선은 표시 방식이나 형태를 변형하여 박스, 타원, 포인트 등으로 표시할 수 있도록 이루어진 것을 특징으로 하는 이동 통신 단말기를 이용한 문서 영상 촬영 방법.The method according to any one of claims 1 to 3, wherein the support line is configured to display a box, an ellipse, a point, or the like by modifying a display method or shape. 소정의 지시 수단을 이용해 추출하고자 하는 단어를 지시하여 촬영한 문서 영상에 있어서, In the document image photographed by indicating a word to be extracted using a predetermined indicating means, 상기 문서 영상을 그레이스케일 이미지로 변환하는 단계와;Converting the document image into a grayscale image; 상기 그레이스케일 이미지에서 추출하고자 하는 단어가 포함된 문자열 이미지를 분할하는 단계와;Dividing a string image including a word to be extracted from the grayscale image; 상기 문자열 이미지에서 추출하고자 하는 단어 이미지를 분할하는 단계와;Dividing a word image to be extracted from the string image; 상기 단어 이미지에서 각 문자 이미지를 분할하여 문자인식 하는 단계를 포함하여 이루어진 것을 특징으로 하는 문서 영상에서의 단어 추출방법.And recognizing a character by dividing each character image from the word image. 제5항에 있어서, 상기 그레이스케일 이미지는 상기 추출 단어의 지시 수단으로 지지선을 이용할 경우, 그 지지선의 윗 부분만을 처리 영역으로 전처리하여 그레이스케일 변환한 이미지인 것을 특징으로 하는 문서 영상에서의 단어 추출방법.The word extraction method according to claim 5, wherein the grayscale image is an image obtained by preprocessing only the upper portion of the support line into a processing area when the support line is used as an indication means of the extracted word. Way. 제5항에 있어서, 상기 문자열 이미지의 분할은,The method of claim 5, wherein the division of the character string image, 상기 전처리된 그레이스케일 이미지의 각 가로축 그레이(Gray) 값의 합(P_j)을 구하는 단계와;Obtaining a sum P _j of each horizontal gray value of the pre-processed grayscale image; 상기 가로축 그레이 값의 합(P_j)이 0인 구간 중 아래에서 첫 번째 구간을 세로 길이(Height)로 하는 영역을 검출하여 분할하는 단계로 이루어진 것을 특징으로 하는 문서 영상에서의 단어 추출방법.And detecting and dividing a region having a first length as a height from a bottom of a section in which the sum P _j of the horizontal axis gray values is 0. 4. 제5항에 있어서, 상기 단어 이미지의 분할은,The method of claim 5, wherein the division of the word image, 문자열 이미지의 각 세로축 그레이 값의 합(P_i)을 구하는 단계와;Obtaining a sum P _i of each vertical gray value of the string image; 상기 세로축 그레이 값의 합(P_i)이 0인 부분 중 '세로 길이(Height)/10' 보다 큰 부분을 대상으로, 지지선의 중심으로부터 양쪽으로 첫 번째 구간을 가로 길이(Width)로 하는 영역을 검출하여 분할하는 단계로 이루어진 것을 특징으로 하는 문서 영상에서의 단어 추출방법.An area where the first section is defined as the width from both sides of the center of the support line to a portion larger than 'Height / 10' among the portions where the sum of the vertical gray values _Pi is 0. And a step of detecting and dividing the word. 제8항에 있어서, 상기 분할된 단어 이미지에서 세로축 그레이 값의 합(P_i)이 0인 구간을 문자 이미지로 분할하는 것을 특징으로 하는 문서 영상에서의 단어 추출방법.The method of claim 8, wherein a section in which the sum P _i of the vertical gray values in the divided word image is 0 is divided into a character image. 제5항에 있어서, 상기 문자 이미지는 문자 인식을 위해 분할된 각 문자 이미지에 대한 이진화 과정을 수행하도록 이루어진 것을 특징으로 하는 문서 영상에서의 단어 추출방법.The method of claim 5, wherein the character image is configured to perform a binarization process on each of the character images divided for character recognition. 7.

Images