KR20190088627A

KR20190088627A - Method for correcting distortion of shade and apparatus using the same

Info

Publication number: KR20190088627A
Application number: KR1020180006913A
Authority: KR
Inventors: 김창익; 정승준; 이혁재
Original assignee: 주식회사 한글과컴퓨터; 한국과학기술원
Priority date: 2018-01-19
Filing date: 2018-01-19
Publication date: 2019-07-29
Also published as: KR102014217B1

Abstract

Disclosed is a method of correcting distortion of a shade, which is configured to correct distortion of a shade distributed in an image representing a document including characters and/or images through modeling of a valley model according to a method of comparing the distortion of a shade distributed in the image with a scene filled with water displayed based on a method of filling a puddle distributed in the valley with water. According to the present invention, the distortion of a shade corresponding to a noise can be effectively corrected without affecting characters and/or images included in an original document.

Description

음영의 왜곡 보정방법 및 이를 이용하는 장치{METHOD FOR CORRECTING DISTORTION OF SHADE AND APPARATUS USING THE SAME}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a distortion correction method,

본 발명은 음영의 왜곡을 보정하는 방법 및 이를 이용하는 장치에 관한 것으로, 더욱 상세하게는 스캔된 영상 또는 카메라로 촬영된 영상에 포함된 음영의 왜곡을 새로운 알고리즘을 이용하여 제거 내지는 보정하는 방법 및 이를 이용하는 장치에 관한 것이다.The present invention relates to a method of correcting distortion of a shadow and an apparatus using the same, and more particularly, to a method of correcting distortion of a shadow included in an image captured by a scanned image or a camera using a new algorithm, And to an apparatus using the same.

광학 문자 인식(optical character recognition, OCR)은 사람이 쓰거나 기계로 인쇄한 문자의 영상을 이미지 스캐너로 획득하여 기계가 읽을 수 있는 문자로 변환하는 것이다. 이미지 스캔으로 얻을 수 있는 문서의 활자 영상을 컴퓨터가 편집 가능한 문자코드 등의 형식으로 변환하는 소프트웨어를 일반적으로 OCR이라고 하며, OCR은 인공지능이나 기계 시각(machine vision)의 연구분야로 시작되었다. 거울이나 렌즈 등의 광학 기술을 이용한 광학 문자 인식과 스캐너 및 알고리즘에 의한 디지털 문자 인식은 다른 영역으로 생각되었으나 이제는 광학 문자 인식이라는 말이 디지털 문자 인식을 포함하는 것으로 간주된다.Optical character recognition (OCR) is an image scanner that acquires images of human-printed or machine-printed characters and converts them into machine-readable text. OCR is a software that converts textual images of a document that can be obtained by image scanning into a format such as a computer-executable character code, and OCR has started as a research field of artificial intelligence or machine vision. Optical character recognition using optical technologies such as mirrors and lenses and digital character recognition by scanners and algorithms have been thought of as different areas, but now the term optical character recognition is considered to include digital character recognition.

모바일 단말의 출하량이 PC와 노트북의 출하량을 넘어서면서 기존에 데스크탑이나 노트북을 이용하여 수행되었던, 예를 들어 게임, 온라인 대금 결제, 정보 검색, 이메일 송수신과 같은 다양한 작업의 수행이 모바일 네트워크 및 하드웨어 성능의 발전으로 인해 모바일 단말 환경으로 빠르게 이전되고 있다. 광학 문자 인식 분야도 그 중의 한 작업에 해당된다. 특히 명함을 주고 받는 문화가 대중화된 우리 사회에서 명함인식기술은 모바일 단말 시장에서 다양한 앱으로 유통되고 있으며 이에 따라 명함인식기술의 수요는 점차 증가하고 있다.As the shipment of mobile terminals exceeds the shipment volume of PCs and notebooks, various tasks such as games, online payment, information retrieval, and e-mail transmission / reception performed using a desktop or notebook have been performed on mobile network and hardware performance Has been rapidly shifting to mobile terminal environments. Optical character recognition is one of them. Especially, in our society, where business cards are popularized, business card recognition technology is being distributed to various apps in the mobile terminal market. Therefore, demand for business card recognition technology is increasing.

모바일 환경에서 효과적인 명함인식 성능을 얻기 위해서는 하드웨어 자원의 한계성으로 인한 경량 인식엔진의 탑재와 문서 스캔 방식이 아닌 촬영으로 얻어진 이미지에서의 음영 왜곡이 처리되어야 한다.In order to obtain effective business card recognition performance in a mobile environment, it is necessary to deal with shading distortion in an image obtained by photographing rather than mounting a light recognition engine and document scanning due to the limitation of hardware resources.

종래의 기술에 따르면 그림이나 문자 부분이 이미지 내에서 먼저 탐색되고, 선형 보간법 등을 통해 해당 영역의 음영이 추정하거나, 주변 영역의 평균값을 통해 해당 영역의 음영이 추정되었다. 그 밖의 다른 접근 방법이 제시되었으나, 음영이 넓게 분포하거나 문서 내에 그림 영역이 존재하는 경우에는, 음역의 왜곡을 추정하는 인식률이 현저히 떨어지고, 문서 내의 그림을 음영으로 잘못 인식함으로써 예상 밖의 인식 결과가 나타나곤 하였다.According to the conventional technique, the picture or character part is first searched in the image, and the shadow of the corresponding area is estimated through linear interpolation or the like, or the shadow of the corresponding area is estimated through the average value of the surrounding area. However, if the shading is widely distributed or the picture area exists in the document, the recognition rate for estimating the distortion of the translucent area is considerably lowered, and the picture in the document is mistakenly recognized as the shadow, resulting in unexpected recognition results .

본 발명의 구상은 종래의 기술에서 나타나는, 스캔된 영상, 특히 카메라로 촬영된 영상에서 나타나는 조명의 영향에 의한 음영의 왜곡을 보정하는 기술에 관한 문제점을 해결하기 위한 방안에서 고려된 것이다.The idea of the present invention is contemplated in a solution to the problems associated with techniques for correcting distortion of shadows due to the influence of illumination in scanned images, particularly images taken with a camera, which is present in the prior art.

도 1a는 카메라에 의해 촬영된 문서의 원본 이미지를 나타내는 예시도이고, 도 1b는 상기 영상에 대해 음영의 왜곡을 보정한 결과를 나타내는 예시도이다.FIG. 1A is an exemplary view showing an original image of a document photographed by a camera, and FIG. 1B is an exemplary view showing a result of correcting distortion of a shadow with respect to the image.

도 1b를 참조하면, (a) 영상에서는 음영의 왜곡이 여전히 남아 있는 것을 볼 수 있다. (b) 영상에서는 문서에 포함된 그림을 음영의 왜곡으로 간추하여 그림의 형태가 변형되어 있는 것을 볼 수 있다. 또한, (c) 영상과 (d) 영상에서도 마찬가지로 문서에 포함된 그림이 음영의 왜곡으로 인식된 결과를 볼 수 있다. 상기와 같이 종래의 기술에 따르면 카메라 촬영시의 조명에 의한 음영의 왜곡이 제대로 인식되지 못하거나, 문서에 포함된 그림이 음영의 왜곡으로 잘못 인식되고 있다. Referring to FIG. 1B, it can be seen that (a) the distortion of the shadow still remains in the image. (b) In the image, we can see that the shape of the figure is deformed by referring to the image included in the document as the distortion of the shade. Also, in the image (c) and the image (d), the image included in the document is recognized as the distortion of the shadow. As described above, according to the conventional art, the distortion of the shade caused by illumination at the time of shooting a camera is not recognized correctly, or the picture included in the document is mistakenly recognized as distortion of shade.

이러한 종래 기술에 따른 문제점을 개선하기 위하여, 본 발명에서는 새로운 알고리즘을 이용하여, 문서에 본래 포함된 문자 및/또는 그림에는 영향을 미치지 않으면서 음영의 왜곡을 효과적으로 인식하고 보정할 수 있는 음영의 왜곡 보정방법 및 이를 이용하는 보정장치를 개시하려 한다.In order to solve the problem according to the related art, in the present invention, a new algorithm is used, and distortion of shade that can effectively recognize and correct shading distortion without affecting characters and / A correction method and a correction apparatus using the same.

본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 본 발명이 해결하려는 과제는 새로운 알고리즘을 이용하여 음영의 왜곡을 효과적으로 보정할 수 있는 음영의 왜곡 보정장치 및 이를 이용하는 보정방법을 제공하는 것이다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and it is an object of the present invention to provide a shading distortion correction apparatus capable of effectively correcting shading distortion using a new algorithm and a correction method using the same .

본 발명이 추가적으로 해결하려는 과제는, 스캔, 특히 카메라로 촬영된 영상에서 조명의 영향으로 발생하는 음영의 왜곡의 인식률이 높은 음영의 왜곡 보정방법 및 이를 이용하는 보정장치를 제공하는 것이다.A further object of the present invention is to provide a method for correcting distortion of a shadow having a high recognition rate of distortion of shadow occurring due to the influence of illumination in an image taken by scanning, particularly a camera, and a correction device using the same.

본 발명이 추가적으로 해결하려는 과제는, 본래 문서에 포함된 문자 및/또는 그림에는 영향을 미치지 않고 노이즈에 해당하는 음영의 왜곡을 효과적으로 보정할 수 있는 음영의 왜곡 보정방법 및 이를 이용하는 보정장치를 제공하는 것이다.A further object of the present invention is to provide a shading distortion correction method capable of effectively correcting distortion of a shade corresponding to noise without affecting characters and / or pictures inherently included in the document and a correction apparatus using the same will be.

본 발명의 일 실시 예에 따른 음영의 왜곡 보정방법은, 계곡에 분포하는 웅덩이에 물을 채우는 방식에 따라 나타나는 물이 채워지는 현장을 영상에 분포하는 음영의 왜곡에 비유하는 방식에 따라, 계곡 모형의 모델링을 통해 문자 및/또는 그림이 포함된 문서를 나타내는 영상에 분포하는 음영의 왜곡을 보정하는 것을 특징으로 한다.According to one embodiment of the present invention, there is provided a method of correcting distortion of a shade according to a method of comparing a site filled with water, which is represented by a method of filling a puddle distributed in a valley, with a distortion of shadow distributed in the image, The distortion of the shade distributed in the image representing the document including the character and / or the picture is corrected.

여기서, 상기 음영의 왜곡 보정방법은, 문자 및/또는 그림의 밝기가 주변에 비하여 낮게 나타나는 현상에 기초하는 것을 특징으로 한다.Here, the shading distortion correction method is characterized in that the brightness of a character and / or a picture is lower than a surrounding area.

여기서, 상기 음영의 왜곡 보정방법은, 음영의 왜곡이 문서를 나타내는 영상의 경계면까지 길게 연결되어 분포하는 현상에 기초하는 것을 특징으로 한다.Here, the shading distortion correction method is characterized in that the shading distortion is based on a phenomenon that the distortion of the shading is distributed in a long connection to the boundary surface of the image representing the document.

여기서, 상기 음영의 왜곡 보정방법은, 문서를 나타내는 영상의 특징이 투영된 계곡 모형을 모델링하는 단계를 포함하고, 문자 및/또는 그림은 물이 고이는 웅덩이로 표현되고, 음영의 왜곡은 물이 고이지 않는 계곡면으로 표현되는 것을 특징으로 한다.Here, the shading distortion correction method includes a step of modeling a valley model in which a feature of an image representing a document is projected, the character and / or the drawing being expressed by a puddle in which water is poured, And is represented by a valley surface.

여기서, 상기 음영의 왜곡 보정방법은 스케닝 또는 켑처링 과정을 통해 문서를 나타내는 영상을 입력받는 단계; 만수 주입 알고리즘(flood filling algorithm)을 이용하여 상기 영상으로부터 대략적인 음영의 왜곡을 추출하는 단계; 점차적 주입 알고리즘(incremental filling algorithm)을 이용하여 상기 영상으로부터 미세한 음영의 왜곡을 추출하는 단계; 상기 대략적인 음영의 왜곡 및 미세한 음영의 왜곡을 합하여 전체 음영의 왜곡을 생성하는 단계; 및 상기 영상에서 상기 전체 음영의 왜곡이 보정된 목표 영상을 획득하는 단계를 더 포함하는 것을 특징으로 한다.Here, the shading correction method may include receiving an image representing a document through a scanning process or a filtering process; Extracting approximate shadow distortion from the image using a flood filling algorithm; Extracting a fine shadow distortion from the image using an incremental filling algorithm; Generating distortion of the overall shade by summing the approximate shade distortion and the fine shadow distortion; And obtaining a target image in which distortion of the entire shade is corrected in the image.

여기서, 상기 대략적인 음영의 왜곡을 추출하는 단계는, 계곡 모형에서 골에 물을 만수 후 배수 함으로써 채우는 방법을 표현하는 만수 확산 방정식(flood diffusion equation)을 이용하고; 상기 미세한 음영의 왜곡을 추출하는 단계는, 계곡 모형에서 물을 골에 직접 채우는 방법을 표현하는 점차적 확산 방정식(incremental diffusion equation)을 이용하는 것을 특징으로 한다.Here, the step of extracting the approximate shading distortion may be performed by using a flood diffusion equation expressing a method of filling the valley by filling the water in the valley in the valley model and then draining the water. The step of extracting the fine shadow distortion is characterized by the use of an incremental diffusion equation expressing a method of directly filling water in the valley in the valley model.

여기서, 상기 대략적인 음영의 왜곡을 추출하는 단계는, 영상의 밝기 값을 이용하는 것을 특징으로 하는 한다.Here, the step of extracting the approximate shade distortion uses the brightness value of the image.

여기서, 상기 미세한 음영의 왜곡을 추출하는 단계는, 상기 대략적인 음영의 왜곡을 이용하는 것을 특징으로 한다.Here, the step of extracting the fine shadow distortion is characterized by using the approximate distortion of the shadow.

여기서, 상기 대략적인 음영의 왜곡을 추출하는 단계는, 영상의 밝기 값을 다운샘플(downsample)하는 단계; 다운샘플된 밝기 값에 급수 주입 알고리즘을 적용하는 단계; 알고리즘 적용 결과를 평준화하는 단계; 및 평준화된 밝기 값을 다시 업스케일(upscale)하는 단계를 포함하는 것을 특징으로 한다.Here, the step of extracting the approximate shadow distortion may include: downsampling the brightness value of the image; Applying a water injection algorithm to the downsampled brightness value; Leveling the algorithm application result; And upscaling the normalized brightness value again.

여기서, 상기 목표 영상을 획득하는 단계는, 램버시안 표면 모델(lambertian surface model)을 이용하여 상기 영상에서 전체 음영의 왜곡을 제거하는 단계를 포함하는 것을 특징으로 한다.Here, the obtaining of the target image may include removing a distortion of the entire shade in the image using a lambertian surface model.

본 발명의 일 실시 예에 따른 음영의 왜곡 보정장치는, 문자 및/또는 그림이 포함된 문서를 나타내는 영상의 특징이 투영된 계곡 모형을 모델링하는 모델링 모듈; 입력된 영상의 포맷을 변환하는 영상변환 모듈; 상기 영상으로부터 만수 확산 방정식을 이용하여 대략적인 음영의 왜곡을 추출하고, 점차적 확산 방정식을 이용하여 미세한 음영의 왜곡을 추출하는 음영추출 모듈; 및 다운셈플링 및 업스케일링을 포함하는 이미지 프로세싱에 관한 연산을 수행하는 연산 모듈을 포함하는 장치로서, 계곡 모형에서 물을 골에 직접 채우는 방법을 표현하는 점차적 주임 알고리즘; 및 계곡 모형에서 골에 물을 만수 후 배수의 방법으로 채우는 방법을 표현하는 만수 주입 알고리즘에 따라, 영상의 특징이 투영된 계곡 모형의 모델링을 통해 문자 및/또는 그림을 포함하는 문서를 나타내는 영상에 분포하는 음영의 왜곡을 보정하는 것을 특징으로 한다.According to an embodiment of the present invention, there is provided an apparatus for correcting distortion of a shade, the apparatus comprising: a modeling module for modeling a valley model in which features of an image representing a document including characters and / or pictures are projected; An image conversion module for converting a format of an input image; A shade extracting module for extracting approximate shade distortion from the image by using a full water diffusion equation and extracting a fine shade distortion using a gradual diffusion equation; And an operation module for performing operations on image processing including down-sampling and up-scaling, the method comprising: a gradual pre-cursor algorithm expressing a method of populating water directly in a valley model; And a method of filling a valley model with water and a method of filling the valley with water in accordance with a high water injection algorithm, And correct distortion of distributed shadows.

본 발명에 의하면, 새로운 알고리즘을 이용하여 음영의 왜곡을 효과적으로 보정할 수 있는 음영의 왜곡 보정방법 및 이를 이용하는 보정장치를 제공하는 것이다.According to the present invention, there is provided a shading distortion correction method capable of effectively correcting shading distortion using a new algorithm and a correction apparatus using the same.

도 1a는 카메라에 의해 촬영된 문서의 원본 영상을 나타내는 예시도이다.
도 1b 종래의 기술에 따라 상기 원본 영상에 대해 음영의 왜곡을 보정한 결과를 나타내는 예시도이다.
도 2는 본 발명의 일 실시 예에 따른 영상의 왜곡 보정장치를 포함하는 시스템 환경(1)의 예시도이다.
도 3은 본 발명의 일 실시 예에 따른 영상의 왜곡 보정장치(100)의 블록도이다.
도 4는 도 3의 제어부의 블록도이다.
도 5는 본 발명의 일 실시 예에 따른 컴퓨팅 장치(500)에 해당하는 음영의 왜곡 보정장치(100)의 블록도이다.
도 6은 본 발명의 일 실시 예에 따른 영상의 왜곡 보정방법의 흐름도이다.
도 7은 본 발명의 일 실시 예에 따른 만수 주입 방식에 대한 개략적인 묘사도이다.
도 8은 본 발명의 일 실시 예에 따른 확산 방정식의 모델링을 위한 단위 분석도이다.
도 9는 본 발명의 일 실시 예에 따른 점차적 주입 방식에 대한 개략적인 묘사도이다.
도 10은 본 발명의 일 실시 예에 따라 램버시안 표면 모델을 이용한 처리 과정에 관한 도식적인 예시도이다.
도 11은 본 발명의 일 실시 예에 따른 음영의 왜곡 보정방법에 관한 알고리즘을 나타낸다.
도 12는 도 1a의 원본 영상에 대해 본 발명의 일 실시 예에 따른 영상의 왜곡 보정방법에 의해 음영의 왜곡을 보정한 결과를 나타내는 예시도이다.
도 13a는 스캐너로 스캔된 문서의 원본 영상을 나타내는 예시도이다.
도 13b 및 도 13c는 종래의 기술에 따라 상기 원본 영상에 대해 음영의 왜곡을 보정한 결과를 나타내는 예시도이다.
도 13d는 도 13a의 원본 영상에 대해 본 발명의 일 실시 예에 따른 영상의 왜곡 보정방법에 의해 음영의 왜곡을 보정한 결과를 나타내는 예시도이다.
도 14는 본 발명의 실시 예에 따른 음영의 왜곡 보정방법에 관한 OCR 정확도를 나타내는 표이다.1A is an exemplary view showing an original image of a document photographed by a camera.
FIG. 1B is a diagram illustrating a result of correcting distortion of a shade with respect to the original image according to a conventional technique. FIG.
2 is an exemplary diagram of a system environment 1 including an image distortion correction apparatus according to an embodiment of the present invention.
3 is a block diagram of an image distortion correction apparatus 100 according to an embodiment of the present invention.
4 is a block diagram of the control unit of Fig.
5 is a block diagram of a shading distortion correction apparatus 100 corresponding to a computing device 500 according to an embodiment of the present invention.
6 is a flowchart illustrating a method of correcting distortion of an image according to an exemplary embodiment of the present invention.
FIG. 7 is a schematic depiction of a full water injection system according to an embodiment of the present invention.
8 is a unit analysis diagram for modeling diffusion equations according to an embodiment of the present invention.
Figure 9 is a schematic depiction of a progressive injection method in accordance with an embodiment of the present invention.
10 is a diagrammatic illustration of a process using a Lambertian surface model according to an embodiment of the present invention.
11 illustrates an algorithm for a method of correcting distortion of a shadow according to an embodiment of the present invention.
FIG. 12 is an exemplary view showing a result of correcting distortion of a shadow of an original image of FIG. 1A according to an image distortion correction method according to an embodiment of the present invention.
13A is an exemplary view showing an original image of a document scanned by a scanner.
FIGS. 13B and 13C are diagrams illustrating the result of correcting distortion of the original image according to a conventional technique. FIG.
FIG. 13D is an exemplary view showing a result of correcting distortion of a shadow of an original image of FIG. 13A by an image distortion correction method according to an embodiment of the present invention. FIG.
FIG. 14 is a table showing OCR accuracy with respect to a method of correcting distortion of a shadow according to an embodiment of the present invention.

이하, 첨부한 도면을 참조하여 본 발명의 음영의 왜곡 보정방법 및 이를 이용하는 보정장치에 대한 바람직한 실시 예를 상세히 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to the preferred embodiments of the present invention, examples of which are illustrated in the accompanying drawings.

각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다. Like reference symbols in the drawings denote like elements. Furthermore, specific structural and functional descriptions for embodiments of the present invention are presented for the purpose of describing an embodiment of the present invention only, and, unless otherwise defined, all terms used herein, including technical or scientific terms Have the same meaning as commonly understood by those of ordinary skill in the art to which the present invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as ideal or overly formal in the sense of the art unless explicitly defined herein .

이하 본 발명의 일 실시 예에 따른 음영의 왜곡 보정방법을 이용하는 보정장치에 대해 설명하기로 한다.Hereinafter, a correction apparatus using a shading distortion correction method according to an embodiment of the present invention will be described.

도 2는 본 발명의 일 실시 예에 따른 영상의 왜곡 보정장치를 포함하는 시스템 환경(1)의 예시도이다.2 is an exemplary diagram of a system environment 1 including an image distortion correction apparatus according to an embodiment of the present invention.

도 2를 참조하면, 상기 시스템 환경(1)은 음영의 왜곡 보정장치(100)에 해당하는 사용자 단말(100), 서버(300) 및 네트워크(400)를 포함한다.Referring to FIG. 2, the system environment 1 includes a user terminal 100, a server 300, and a network 400 corresponding to the apparatus 100 for correcting distortion of a shadow.

사용자 단말(100)은 영상에 포함된 음영의 왜곡을 보정할 수 있는 장치로서, 영상, 예를 들면 스캔 또는 광학 렌즈를 통한 광노출을 이용하여 수집된 영상으로서 문자 및/또는 그림을 포함하는 문서를 나타내는 영상에 포함된 음영의 왜곡을 보정할 수 있는 전용의 장치, 또는 음영의 왜곡 보정 이외에 컴퓨팅 동작을 통해 이미지 프로세싱을 수행하는 범용의 컴퓨팅 장치로서 음영의 왜곡 보정방법에 관한 음영보정 애플리케이션 모듈에 포함된 각종 컴퓨터 명령어 셋을 실행하는 워크스테이션, 데스크탑 PC, 노트북 컴퓨터, 태블릿을 포함하는 유선/무선 단말기(terminal) 및 모바일 통신용 단말을 포함한다.The user terminal 100 is a device capable of correcting the distortion of shadows contained in an image, and is an image obtained by using light, for example, a scan or optical lens, , Or a general purpose computing device that performs image processing through a computing operation in addition to distortion correction of shading, as a shading correction application module for shading distortion correction method Includes a wired / wireless terminal including a workstation, a desktop PC, a notebook computer, a tablet, and a mobile communication terminal for executing various computer instruction sets included therein.

상기 사용자 단말(100)의 다양한 실시 예들은 셀룰러 전화기, 무선 통신 기능을 가지는 스마트 폰, 무선 통신 기능을 가지는 개인 휴대용 단말기(PDA), 무선 모뎀, 무선 통신 기능을 가지는 휴대용 컴퓨터, 무선 통신 기능을 가지는 디지털 카메라와 같은 촬영장치, 무선 통신 기능을 가지는 게이밍(gaming) 장치, 무선 통신 기능을 가지는 음악저장 및 재생 가전제품, 무선 인터넷 접속 및 브라우징이 가능한 인터넷 가전제품뿐만 아니라 그러한 기능들의 조합들을 통합하고 있는 휴대형 유닛 또는 단말기들을 포함하되, 이에 한정되는 것은 아니다.Various embodiments of the user terminal 100 may be implemented in a cellular telephone, a smartphone having wireless communication capability, a personal digital assistant (PDA) having wireless communication capability, a wireless modem, a portable computer having wireless communication capability, Gaming devices with wireless communication, music storage and playback appliances with wireless communication capabilities, Internet appliances capable of wireless Internet access and browsing, as well as combinations of such functions But are not limited to, portable units or terminals.

서버(300)는 파일 서버, 업데이트 서버, FTP 서버 및 웹 서버를 포함할 수 있으나 이에 한정되는 것은 아니고, 사용자 단말(100)에 저장된 음영보정 애플리케이션 모듈의 업데이트를 위해 필요한 각종 파일, 예를 들어 새로운 패치, 확장 프로그램 및 서비스 팩을 저장하고, 사용자 단말(100)의 접속을 허용하여 파일 다운로딩에 의한 애플리케이션 업데이트를 제공한다.The server 300 may include, but is not limited to, a file server, an update server, an FTP server, and a web server, and may include various files necessary for updating the shading correction application module stored in the user terminal 100, Patches, extensions, and service packs, and allows access to the user terminal 100 to provide application updates by file downloading.

네트워크(400)는 LAN, WAN 형태의 유선 네트워크, WiFi, 블루투스, 지그비 등의 근거리 무선 네트워크 및 다양한 종류의 셀룰러 무선통신망을 포함하되, 이에 한정되는 것은 아니다.The network 400 includes, but is not limited to, a LAN, a wired network in the form of a WAN, a short-range wireless network such as WiFi, Bluetooth, ZigBee, and various types of cellular wireless communication networks.

사용자 단말(100)에 해당하는 본 발명의 실시 예에 따른 음영의 왜곡 보정장치(100)는 본 발명의 실시 예에 따른 음영의 왜곡 보정방법을 수행하기 위해 구성된 컴퓨터 명령어 셋이 포함된 음영보정 애플리케이션 모듈을 인스톨된 형태로 저장한다.A shading correction apparatus 100 according to an embodiment of the present invention corresponding to the user terminal 100 includes a shading correction application 100 including a computer instruction set configured to perform a shading distortion correction method according to an embodiment of the present invention, Save the module as installed.

음영의 왜곡 보정장치(100)는 인스톨되지 않은 상기 음영보정 애플리케이션 모듈이 저장된 미디어를 읽고, 이를 인스톨하여 보정장치(100) 내에 설치할 수 있다. 상기 미디어는 광학 저장 미디어, 예를 들어 CD-ROM 및 DVD-ROM을 포함한다. 또한, 음영보정 애플리케이션 모듈은 서버(300)로부터 내려 받은(downloaded) 바이너리 파일 형태로 제공될 수도 있다. 음영의 왜곡 보정장치(100)는 네트워크(400)를 통해서 서버(300)로부터 각종 파일을 내려 받아 상기 애플리케이션 모듈을 업데이트할 수 있다. 상기 음영의 왜곡 보정장치(100)에 대해 상세히 설명하기로 한다.The shading distortion correction apparatus 100 can read the media in which the shading correction application module that has not been installed, install it, and install it in the correction apparatus 100. The media includes optical storage media, such as CD-ROM and DVD-ROM. In addition, the shading correction application module may be provided in the form of a downloaded binary file from the server 300. [ The shading correction apparatus 100 can download various files from the server 300 via the network 400 and update the application module. The shading distortion correction apparatus 100 will now be described in detail.

도 3은 본 발명의 일 실시 예에 따른 영상의 왜곡 보정장치(100)의 블록도이다.3 is a block diagram of an image distortion correction apparatus 100 according to an embodiment of the present invention.

도 3을 참조하면, 영상의 왜곡 보정장치(100)는 입력 디바이스(input device)(110), 디스플레이 디바이스(display device)(120), 출력 디바이스(output device)(130), 저장 장치(storage device)(140), 통신 장치(communication device)(150), 전원 장치(power device)(160) 및 제어부(control unit)(170)를 포함한다.3, the image distortion correction apparatus 100 includes an input device 110, a display device 120, an output device 130, a storage device 130, A communication device 150, a power device 160 and a control unit 170. The control unit 170 controls the operation of the control unit 170,

입력 디바이스(110)는 음영의 왜곡 보정에 필요한 데이터 및 사용자 작업 환경의 각종 파라미터 설정을 위한 정보 및 명령 입력을 수행하는 키보드, 터치스크린, 마우스 및 전자펜을 포함하되, 이에 한정되는 것은 아니다.The input device 110 includes, but is not limited to, a keyboard, a touch screen, a mouse, and an electronic pen for performing data input and command input for setting various parameters of the user's work environment and data necessary for distortion correction of shadows.

디스플레이 디바이스(120)는 음영의 왜곡 보정을 위한 이미지 프로세싱 과정을 담은 화면의 프레임 출력을 수행하는 브라운관(cathode-ray tube, CRT), 액정 디스플레이(liquid crystal display, LCD), 플라즈마 디스플레이 패널(plasma display panel, PDP), 발광다이오드 (light emitting diode, LED) 디스플레이, 유기 발광다이오드(organic light emitting diode, OLED) 디스플레이를 포함하되, 이에 한정되는 것은 아니다.The display device 120 includes a cathode-ray tube (CRT), a liquid crystal display (LCD), a plasma display panel (PDP), and a plasma display panel (PDP), a light emitting diode (LED) display, an organic light emitting diode (OLED) display, and the like.

출력 디바이스(130)는 프린터, 플로터, 빔프로젝터, 텍스트 음성 변환(text to sound, TTS) 장치와 스피커 및 이어폰을 포함하되, 이에 한정되는 것은 아니다.The output device 130 includes, but is not limited to, a printer, a plotter, a beam projector, a text to sound (TTS) device, a speaker and an earphone.

저장 장치(140)는 데이터 표시 및 입력 장치(100)로부터 분리가 가능/불가능한 모든 형태로서, 자기테이프, 자기드럼, 플로피 디스크, ZIP 드라이브 및 하드 디스크 드라이브(hard disk drive, HDD)와 같은 자기 방식의 저장장치, SD 카드, USB 메모리 및 솔리드 스테이트 드라이브(solid state drive, SSD)와 같은 플래시 메모리를 이용하는 전기 방식의 저장장치 및 CD-ROM 드라이브, DVD-ROM 드라이브, 블루레이 디스크(blu-ray disc) 드라이브와 같은 광학 방식의 저장장치를 포함하되, 이에 한정되는 것은 아니다. The storage device 140 may be any type of removable / non-removable from the data display and input device 100 and may be of any type such as magnetic tape, magnetic drum, floppy disk, ZIP drive, and hard disk drive An electronic storage device and a CD-ROM drive using a flash memory such as an SD card, a USB memory and a solid state drive (SSD), a DVD-ROM drive, a blu-ray disc ) Drives. &Lt; / RTI >

통신 장치(150)는 네트워크(400)의 각종 통신망에 대응하는 통신 모듈, 예를 들어 블루투스 모듈, WiFi 모듈, 이더넷 인터페이스 카드, USB 모듈, 셀룰러 무선통신 모듈, 모뎀 및 무선 공유기를 포함하되, 이에 한정되는 것은 아니다.The communication device 150 includes a communication module corresponding to various communication networks of the network 400, for example, a Bluetooth module, a WiFi module, an Ethernet interface card, a USB module, a cellular wireless communication module, a modem and a wireless router. It is not.

전원 장치(160)는 AC를 DC로 변환하는 파워 서플라이, 어댑터, SMPS와 리튬이온 전지, 납축전지, 연료 전지 및 바이오에탄올 전지와 같은 2차 전지와 1차 전지를 포함하되, 이에 한정되는 것은 아니다. 이하 제어부(170)에 대해 구체적으로 설명하기로 한다.The power supply 160 may include, but is not limited to, a power supply that converts AC to DC, an adapter, a secondary battery such as a SMPS and a lithium ion battery, a lead acid battery, a fuel cell, and a bioethanol battery, and a primary battery . Hereinafter, the control unit 170 will be described in detail.

도 4는 도 3의 제어부의 블록도이다.4 is a block diagram of the control unit of Fig.

도 4를 참조하면, 제어부(170)는 프로세서(central processing unit, CPU)와, 운영체제(operating system) 및 음영보정 애플리케이션 모듈(170-5)이 로드된 메모리(170-4)를 포함한다. 제어부(170)는 메모리(170-4) 영역에서, 운영체제 및 본 발명의 실시 예에 따른 음영의 왜곡 보정방법에 관한 컴퓨터 명령어 셋으로 구성되는 통합 모듈(170-5)을 포함한다. 통합 모듈은(170-5) 모델링 모듈(171) 및 영상처리 모듈(172)을 포함하고, 다시 영상처리 모듈(172)은 영상변환 모듈(172-1), 음영추출 모듈(172-2) 및 이미지 프로세싱에 관한 연산을 수행하는 연산 모듈(172-3)을 포함한다. 전체적으로 제어부(170)는 본 발명의 실시 예에 따른 음영의 왜곡 보정방법이 구현되도록 음영의 왜곡 보정장치(100) 내의 각 구성요소를 제어한다.Referring to FIG. 4, the control unit 170 includes a central processing unit (CPU) and a memory 170-4 loaded with an operating system and a shadow correction application module 170-5. The control unit 170 includes an integration module 170-5 in the area of the memory 170-4, which is composed of an operating system and a computer instruction set related to a method of correcting distortion of shadows according to an embodiment of the present invention. The integration module includes a modeling module 171 and an image processing module 172. The image processing module 172 includes an image conversion module 172-1, a shade extraction module 172-2, And an operation module 172-3 that performs operations related to image processing. The control unit 170 controls each component in the shading correction apparatus 100 such that the shading distortion correction method according to the embodiment of the present invention is implemented.

전체적으로 제어부(170)는 음영의 왜곡 보정장치(100)가 입력 디바이스(110)를 통해 사용자 입력을 받아 본 발명의 실시 예에 따른 음영의 왜곡 보정방법에 따른 이미지 프로세싱 프로세스, 작업에 필용한 영상 및 사용자 인터페이스를 나타내는 디스플레이(120)를 통한 화면 프레임의 출력 프로세스, 출력 디바이스(130)를 통해 영상을 종이 또는 직물 위에 출력하는 프로세스, 처리된 영상 또는 작업에 필요한 데이터를 저장 장치(140)에 저장하는 프로세스, 작업에 필요한 각종 데이터를 수신하거나 처리된 영상을 통신 장치(150)를 이용하여 네트워크(400)를 통해 서버(300) 또는 외부 단말에 전송하는 프로세스 및 전원 장치(160)를 통한 파워 공급 프로세스를, 제어부(170) 내에 구성된 프로세서(CPU), 운영체제(OS) 및 본 발명의 실시 예에 따른 음영의 왜곡 보정방법에 관한 컴퓨터 명령어 셋이 포함된 음영보정 애플리케이션 모듈이 로드된 메모리를 이용하여 제어한다. 각 구성요소의 기능은 본 발명의 일 실시 예에 따른 음영의 왜곡 보정방법과 함께 설명될 것이다.In general, the control unit 170 receives user input through the input device 110 by the shading distortion correction apparatus 100, and performs an image processing process according to the shading distortion correction method according to an embodiment of the present invention, A process of outputting the screen frame through the display 120 representing the user interface, a process of outputting the image onto the paper or the fabric via the output device 130, a process of storing the processed image or data necessary for the operation in the storage device 140 A process of receiving various data necessary for a process or a job or transmitting a processed image to a server 300 or an external terminal through a network 400 using the communication device 150 and a process of receiving a power supply process A processor (CPU), an operating system (OS) configured in the control unit 170, and a distortion correction method of shadow according to an embodiment of the present invention The computer instructions of the application module shading correction set contains controls by using the load memory. The function of each component will be described in conjunction with a method for correcting distortion of a shadow according to an embodiment of the present invention.

컴퓨팅 장치에 해당하는 본 발명의 실시 예에 따른 음영의 왜곡 보정장치(100)는 다른 실시 예를 통해 보다 구체적으로 설명될 수 있다.The apparatus 100 for correcting distortion of shadows according to an embodiment of the present invention corresponding to a computing apparatus can be described more specifically with reference to another embodiment.

도 5는 본 발명의 일 실시 예에 따른 컴퓨팅 장치(500)에 해당하는 음영의 왜곡 보정장치(100)의 블록도이다.5 is a block diagram of a shading distortion correction apparatus 100 corresponding to a computing device 500 according to an embodiment of the present invention.

도 5를 참조하면, 컴퓨팅 장치(500)에 해당하는 음영의 왜곡 보정장치(100)는 입력 인터페이스 장치(510), 출력 인터페이스 장치(520), 메모리(531), 저장장치(532), 전원 장치(540), 프로세서(550), 네트워크 인터페이스 장치(560), 무선통신 장치(570) 및 버스(580)를 포함한다.5, the shading correction apparatus 100 corresponding to the computing apparatus 500 includes an input interface apparatus 510, an output interface apparatus 520, a memory 531, a storage apparatus 532, A processor 540, a processor 550, a network interface device 560, a wireless communication device 570, and a bus 580.

입력 인터페이스 장치(510)는 사용자의 입력에 따라 이미지 프로세싱에 필요한 동작 및 키입력 값을 입력한다. 입력 인터페이스 장치(510)는 키보드(keyboard), 터치스크린(touch screen), 마우스(mouse), 전자펜(stylus pen) 및 펜 태블릿(pen tablet)을 포함하되, 이에 한정되는 것은 아니다.The input interface device 510 inputs an operation and a key input value required for image processing according to a user's input. The input interface device 510 includes, but is not limited to, a keyboard, a touch screen, a mouse, a stylus pen, and a pen tablet.

출력 인터페이스 장치(520)는 영상을 표시하는 디스플레이(display) 및 영상을 프린팅 출력하는 프린터(printer)를 포함한다.The output interface device 520 includes a display for displaying an image and a printer for outputting an image.

프로세서(550)는 메모리(531) 및/또는 저장 장치(532)에 저장된 본 발명의 실시 예에 따른 음영의 왜곡 보정방법에 관한 음영보정 애플리케이션 모듈이 포함하고 있는 컴퓨터 명령어 셋을 실행할 수 있다. 프로세서(550)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU) 또는 본 발명에 따른 음영의 왜곡 보정방법이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(531)와 저장 장치(532)는 휘발성 저장 매체 및/또는 비휘발성 저장 매체로 구성될 수 있다. 예를 들어, 메모리(531)는 읽기 전용 메모리(read only memory, ROM) 및/또는 랜덤 액세스 메모리(random access memory, RAM)로 구성될 수 있다.The processor 550 may execute a set of computer instructions contained in the memory 531 and / or the shading correction application module relating to the shading distortion correction method according to an embodiment of the present invention stored in the storage device 532. [ The processor 550 may refer to a central processing unit (CPU), a graphics processing unit (GPU), or a dedicated processor on which the shadow correction method of the present invention is performed. The memory 531 and the storage device 532 may be composed of a volatile storage medium and / or a non-volatile storage medium. For example, the memory 531 may be comprised of read only memory (ROM) and / or random access memory (RAM).

무선통신 장치(570)는 근거리 무선통신, 무선 데이터 통신 및 무선 음성 통신을 위한 장치를 포함한다.The wireless communication device 570 includes devices for short-range wireless communication, wireless data communication, and wireless voice communication.

컴퓨팅 장치(500)에 포함된 각각의 구성 요소들은 버스(580)에 의해 연결되어 서로 통신을 수행한다.Each component included in computing device 500 is connected by bus 580 to communicate with each other.

이하 상기 설명한 음영의 왜곡 보정장치(100)가 데이터 표시 및 입력 애플리케이션 모듈에 포함된 컴퓨터 명령어 셋의 실행을 통해 수행되는 본 발명의 실시 예에 따른 음영의 왜곡 보정방법을 도 4 및 도 6 내지 도 12를 참조하여 설명하기로 한다.A method for correcting distortion of a shadow according to an embodiment of the present invention in which the shading distortion correction apparatus 100 described above is performed through execution of a computer instruction set included in a data display and input application module will be described with reference to FIGS. 12 will be described.

도 6은 본 발명의 일 실시 예에 따른 영상의 왜곡 보정방법의 흐름도이다.6 is a flowchart illustrating a method of correcting distortion of an image according to an exemplary embodiment of the present invention.

도 6을 참조하면, 본 발명의 일 실시 예에 따른 음영의 왜곡 보정방법(S100)은, S110 내지 S161 단계를 포함한다.Referring to FIG. 6, a distortion correction method (S100) according to an exemplary embodiment of the present invention includes steps S110 to S161.

먼저, 모델링 모듈(171)은 문서를 나타내는 영상, 즉 원본 영상의 특징이 투영된 계곡 모형을 모델링한다(S110). 이하 모델링 모듈(171)이 수행하는 계곡 모형의 모델링 단계에 대해 설명하기로 한다.First, the modeling module 171 models an image representing a document, that is, a valley model on which features of the original image are projected (S110). Hereinafter, the modeling step of the valley model performed by the modeling module 171 will be described.

도 7은 본 발명의 일 실시 예에 따른 만수 주입 방식에 대한 개략적인 묘사도이다.FIG. 7 is a schematic depiction of a full water injection system according to an embodiment of the present invention.

도 7을 참조하면, 만수 주입 방식, 즉 물을 가득 채우고 빼기 방식은 물을 큰 웅덩이에 빠르게 채울 때에 사용된다. 이 방식은 웅덩이를 대략적으로 메꾸기 위하여 사용된다. 이 현상을 구현하기 위하여 만수 확산 방정식들, 즉 물을 가득 채우는 방적식과 물이 빠져나가는 확산 방정식이 모델링되어 사용되었다.Referring to FIG. 7, a full water injection mode, i.e., filling and draining the water, is used to rapidly fill the water into a large puddle. This method is used to roughly fill the puddle. In order to realize this phenomenon, the full water diffusion equations, ie, the water-filling equation and the water-diffusion equation, are modeled and used.

물의 조건은 수학식 1과 같이, 해수면(w)의 높이는 항상 음수가 될 수 없고, 수학식 2와 같이, 영상의 경계면에서 물은 빠져 나가게 설계된다. 위의 수학식 1 및 수학식 2에서 t는 시간을, x는 위치 좌표를 나타내는 변수이고, D _I 는 영상 전체의 도메인,

는 영상 도메인의 경계면을 의미한다.The condition of water is such that the height of the sea surface w can not always be negative, as shown in Equation 1, and water is designed to escape from the boundary of the image as shown in Equation (2). In the above equations (1) and (2), t represents a time, x represents a variable representing a position coordinate, D _I represents a domain of the entire image,

Is the boundary of the image domain.

도 8은 본 발명의 일 실시 예에 따른 확산 방정식의 모델링을 위한 단위 분석도이다.8 is a unit analysis diagram for modeling diffusion equations according to an embodiment of the present invention.

도 8을 참조하면, 물을 가득 채우고 빼기 방정식의 설계를 위하여 수학식 3과 같이, 2가지의 수학식, 즉 물을 가득 채우는 수학식과 물이 빠져나가는 수학식이 독립적으로 설계된 후에 혼합되었다.Referring to FIG. 8, two mathematical expressions, that is, a mathematical expression that fills the water and a mathematical expression that expresses the water, are independently designed and designed for designing the water filling and subtraction equations, as shown in equation (3).

수학식 3은 더 자세히 풀어서 수학식 4와 같이 물 가득 채우고 빼기 방식의 확산 방정식으로 모델링된다. 위의 수학식 4에서 h _peak 는 전체 조도 영상에서 가장 높은 밝기 값에 해당한다.Equation (3) is solved in more detail and is modeled as a diffusion equation of water filling and subtraction method as shown in Equation (4). In Equation (4), h _peak corresponds to the highest brightness value in the entire illuminance image.

도 9는 본 발명의 일 실시 예에 따른 점차적 주입 방식에 대한 개략적인 묘사도이다.Figure 9 is a schematic depiction of a progressive injection method in accordance with an embodiment of the present invention.

도 9를 참조하면, 점차적 주입 방식, 즉 점차적 물 채우기 방식은 물을 작은 웅덩이에 빠르게 채울 때에 사용된다. 이 방식은 웅덩이를 섬세하게 메꾸기 위하여 사용된다. 점차적 물 채우기 방식을 수학적으로 표현하기 위해여 물이 차오르는 것을 표현하는 만조 확산 방정식(incremental diffusion equation)이 모델링되어 사용된다.Referring to Fig. 9, a gradual infusion system, i.e., a gradual water filling system, is used to quickly fill water into a small puddle. This method is used to delicately fill the puddle. An incremental diffusion equation is used to model the gradual filling of water to express mathematically.

도 8을 다시 참조하면, h가 조도 영상에서의 밝기 값이고, w가 순수한 물의 높이인 경우, 점차적 물 채우기의 점차적 확산 방정식은 수학식 5, 수학식 6 및 수학식 7과 같이 모델링 된다.Referring back to FIG. 8, if h is the brightness value in the illuminance image and w is the height of pure water, the gradual diffusion equation of gradual water fill is modeled as shown in equations (5), (6) and (7).

수학식 5는 해당 위치 x_o 에서의 해수면의 총 높이이고, 수학식 6은 x_o에서의 해수면의 시간에 따른 변화량이다.Equation (5) is the total height of the sea surface at the position x _o , and Equation (6) is the amount of change of the sea surface over time at x _o .

도 8을 다시 참조하면, 일정 순간에 해당 위치의 해수면의 변화는 해당 위치에서 빠져나가는 물의 양 Jw(x_o, t)와 해당 위치로 유입하는 물의 양 Jw(x_o-Δ,t)의 차이로 구해진다. x_o에서의 물의 유출양의 확산 방정식은 수학식 8과 같이 정리된다.Referring to FIG. 8 again, the change of the sea level at the corresponding position at a certain moment is the difference between the amount of water Jw (x _o , t) exiting the position and the amount of water Jw (x _o -Δ, t) . The diffusion equation of the amount of water outflow at x _o is summarized as Equation (8).

상기와 같이 마련된 계곡 모형의 모델링을 이용하여 영상에 포함된 음영의 왜곡을 보정하기 위한 다음의 각 단계가 보정장치(100)에 의해 수행된다.Each of the following steps for correcting the distortion of the shadow included in the image is performed by the correction apparatus 100 using the modeling of the valley model thus prepared.

도 6을 계속해서 참조하면, 보정장치(100)는 스캐닝 또는 캡처링 과정을 통해 문서를 나타내는 영상을 입력받는다(S120). 여기서, 문서를 나타내는 영상을 원본 영상이라 칭한다. 이하 단계에서 영상은 기본적으로 원본 영상을 의미하거나, 더 구체적으로는 이전 단계의 결과로서 얻어진 영상을 의미한다.6, the correction apparatus 100 receives an image representing a document through a scanning or capturing process (S120). Here, an image representing a document is referred to as an original image. In the following steps, an image basically means an original image, or more specifically, an image obtained as a result of a previous step.

원본 영상은 외부장치, 예를 들어 광원과 광센서를 구비하는 스캐너 또는 광학 렌즈와 이미지 센서를 구비하는 카메라에 의한 스캐닝 또는 캡처링에 의해 생성될 수 있다. 원본 영상은 문자, 기호, 숫자 등의 텍스트를 포함 및/또는 그림, 예를 들어 차트, 그래프, 사진 그 밖의 OLE 개체를 포함할 수 있다. The original image may be generated by scanning or capturing by an external device, for example a camera equipped with a light source and an optical sensor, or a camera equipped with an optical lens and an image sensor. The original image may include text, such as letters, symbols, numbers, and / or graphics, including charts, graphs, photographs, and other OLE objects.

다음으로 보정장치(100)는 만수 주입 알고리즘(flood filling algorithm), 즉 물 가득 채우고 빼기 방식에 관한 알고리즘을 이용하여 상기 원본 영상으로부터 대략적인 음영의 왜곡을 추출한다(S130).Next, the correction apparatus 100 extracts approximate shading distortion from the original image using an algorithm related to a flood filling algorithm, i.e., a water filling and subtraction method (S130).

여기서, 대략적인 음영의 왜곡이란 전체 음영의 왜곡의 일부분으로서 음영의 왜곡이 아닌 부분과의 경계가 뚜렷한 영역에 분포하는 영역을 말한다. 이러한 영역에 분포하는 대략적인 음영의 왜곡은 계곡 모형에서 웅덩이에 물을 채우는 경우에 일시에 물을 가득 채웠다가, 배수하는 방법으로 웅덩이에 물이 고이는 현상에 비유될 수 있다. S130단계는 내부에 다음의 일련의 단계들을 포함한다.Here, the approximate distortion of the shadow refers to a region that is a part of the distortion of the entire shade, and is distributed in a region where the boundary with the portion is not distinct from the distortion of the shadow. The approximate shading distortion in these areas can be compared to the phenomenon of water filling in puddles in a valley pattern, and the phenomenon of water being poured in a puddle by filling it with water once and then draining it. Step S130 includes the following series of steps.

보정장치(100)는 영상의 밝기 값을 다운샘플(downsample)한다(S131). 영상의 밝기 값은 조도 영상을 통해 획득될 수 있다. 따라서 S131 단계 이전에 영상변환 모듈(172-1)은 영상의 색상모델을 RGB에서 YCbCr 형태로 변환할 수 있다. 상기 변환에 따라 휘도(Y) 성분이 획득된다. 휘도 성분은 영상 전체에 분포하는 음영의 왜곡에 관한 정보를 포함한다. 휘도 성분은 샘플링 레이트(sampling rate)의 조정에 따라 연산 모듈(172-3)에 의해 다운샘플된다. 다운샘플링의 결과로서 축소된 휘도 값(

)이 출력된다.The correction apparatus 100 downsamples the brightness value of the image (S131). The brightness value of the image can be obtained through the illumination image. Accordingly, before step S131, the image conversion module 172-1 may convert the color model of the image from RGB to YCbCr. The luminance ( Y ) component is obtained in accordance with the conversion. The luminance component includes information about the distortion of the shade distributed in the entire image. The luminance component is downsampled by the operation module 172-3 in accordance with the adjustment of the sampling rate. The reduced luminance value (< RTI ID = 0.0 >

Is output.

다음으로 보정장치(100)는 다운샘플된 밝기 값(

)에 급수 주입 알고리즘(flood filling algorithm), 즉 물 가득 채우고 빼기 방식의 알고리즘을 적용한다(S132). 구체적으로 음영추출 모듈(172-2)은 수학식 4의 방정식을 이용하여 대략의 음영의 왜곡에 관한 밝기 값(

)을 추출한다.The correction device 100 then calculates the downsampled brightness value (

A flood filling algorithm, that is, a water filling and subtracting algorithm, is applied to the water (S132). Specifically, the shade extracting module 172-2 uses the equation of Equation (4) to calculate a brightness value

.

다음으로 보정장치(100)는 알고리즘 적용 결과를 평준화한다(S133). 평준화에는 다운샘플된 밝기 값이 사용될 수 있다. 구체적으로 연산 모듈(172-3)은 대략의 음영의 왜곡에 관한 밝기 값(

)과 다운샘플된 밝기 값(

)을 합산하여 평준화된 밝기 값(

)을 출력한다.Next, the correction apparatus 100 normalizes the algorithm application result (S133). A downsampled brightness value may be used for leveling. Specifically, the calculation module 172-3 calculates the brightness value

) And a downsampled brightness value (

) To obtain a normalized brightness value (

).

다음으로 보정장치(100)는 평준화된 영상의 밝기 값(

)을 다시 업스케일(upscale) 한다(S134). 이 경우 바이큐빅 보간법(bicubic interpolation)이 사용될 수 있고 샘플링 레이드(k _s )도 함께 조정될 수 있다. 연산 모듈(172-3)은 대략적인 음영의 왜곡을 추출하는 단계의 최종 결과로서 업스케일된 밝기 값(G)을 출력한다.Next, the correction apparatus 100 corrects the brightness value of the leveled image (

) Is upscaled again (S134). In this case, bicubic interpolation may be used and the sampling raid ( k _s ) may be adjusted together. The calculation module 172-3 outputs the upscaled brightness value G as the final result of the step of extracting the approximate shade distortion.

다음으로 보정장치(100)는 점차적 주입 알고리즘(incremental filling algorithm), 즉 점차적 물 채우기 방식의 알고리즘을 이용하여 상기 영상으로부터 미세한 음영의 왜곡(w)을 추출한다(S140). 본 단계의 기초 값으로 상기 출력된 업스케일된 밝기 값(G)이 사용될 수 있다. 구체적으로 음영추출 모듈(172-2)은 업스케일된 밝기 값(G)을 수학식 8에 적용하여 미세한 음영의 왜곡이 갖는 밝기 값(w)을 출력한다.Next, the correction apparatus 100 extracts fine distortion ( w ) from the image using an incremental filling algorithm, that is, a gradual water filling algorithm (S140). The output upscaled brightness value G may be used as a base value of this step. Specifically, the shade extracting module 172-2 applies the upscaled brightness value G to Equation (8) to output the brightness value w of the fine shadow distortion.

다음으로 보정장치(100)는 상기 대략적인 음영의 왜곡(G) 및 미세한 음영의 왜곡(w)을 합하여 전체 음영의 왜곡(새로운 G)을 생성한다(S150). 여기서, 전체 음영의 왜곡은 최종 배경(final background)에 해당한다.Next, the correction apparatus 100 generates distortion of the overall shade (new G ) by summing the approximate shade distortion ( G ) and the fine shadow distortion ( w ) (S150). Here, the distortion of the entire shade corresponds to the final background.

마지막으로 보정장치(100)는 원본 영상에서 전체 음영의 왜곡이 보정된 목표 영상을 획득한다(S160). 구체적으로 S160 단계는 내부에 S161 단계를 포함할 수 있다.Finally, the correction apparatus 100 acquires a target image whose distortion of the entire shade is corrected in the original image (S160). Specifically, step S160 may include step S161.

즉 연산 모듈(172-3)은 램버시안 표면 모델(lambertian surface model)을 이용하여 원본 영상에서 전체 음영의 왜곡(새로운 G)을 제거한다(S161).That is, the calculation module 172-3 removes the distortion (new G ) of the entire shade from the original image using a lambertian surface model (S161).

도 10은 본 발명의 일 실시 예에 따라 램버시안 표면 모델을 이용한 처리 과정에 관한 도식적인 예시도이다.10 is a diagrammatic illustration of a process using a Lambertian surface model according to an embodiment of the present invention.

도 10을 참조하면, 연산 모듈(172-3)은 원본 영상의 휘도 성분인 Y를 최종 배경(새로운 G)으로 나누고 파라미터인 휘도 팩터(brightness factor)를 조정한다.Referring to FIG. 10, the operation module 172-3 divides Y, which is a luminance component of an original image, into a final background (new G ) and adjusts a brightness factor, which is a parameter.

S161 단계의 결과로서 새로운 휘도 값 Y가 획득되고, 영상변환 모듈(172-1)은 새로운 Y를 이용하여 영상모델을 다시 YCbCr에서 RGB로 변환하여 최종 목표 영상(Img _c )을 출력한다. As a result of step S161, a new luminance value Y is obtained, and the image conversion module 172-1 converts the image model again from YCbCr to RGB using the new Y and outputs the final target image Img _c .

도 11은 본 발명의 일 실시 예에 따른 음영의 왜곡 보정방법에 관한 알고리즘을 나타낸다.11 illustrates an algorithm for a method of correcting distortion of a shadow according to an embodiment of the present invention.

도 11을 참조하면, 상기 예를 들어 설명된 본 발명에 따른 음영의 왜곡 보정방법에 관한 세부적인 프로세스가 순차적으로 나타나 있다.Referring to FIG. 11, the detailed processes of the shading correction method according to the present invention described above are sequentially shown.

이처럼, 본 발명의 실시 예에 따르면, 새로운 알고리즘을 이용하여 음영의 왜곡이 효과적으로 보정될 수 있다.As described above, according to the embodiment of the present invention, distortion of shading can be effectively corrected using a new algorithm.

또한, 스캔, 특히 카메라로 촬영된 영상에서 조명의 영향으로 발생하는 음영의 왜곡의 인식률이 높아질 수 있다.In addition, the recognition rate of the distortion of the shadow occurring due to the influence of the illumination in the scan, especially the image taken by the camera, can be increased.

또한, 본래 문서에 포함된 문자 및/또는 그림에는 영향을 미치지 않고 노이즈에 해당하는 음영의 왜곡이 효과적으로 보정될 수 있다.In addition, distortion of the shade corresponding to the noise can be effectively corrected without affecting the characters and / or pictures inherently included in the document.

도 12는 도 1a의 원본 영상에 대해 본 발명의 일 실시 예에 따른 영상의 왜곡 보정방법에 의해 음영의 왜곡을 보정한 결과를 나타내는 예시도이다.FIG. 12 is an exemplary view showing a result of correcting distortion of a shadow of an original image of FIG. 1A according to an image distortion correction method according to an embodiment of the present invention.

도 12를 참조하면, 도 1b에 나타낸 종래의 기술에 따른 결과와 비교하여 문자 및/그림에 관한 인식률이 월등히 높아지고 영상 전반에 분포하던 음영의 왜곡도 대부분 제거된 것이 확인될 수 있다.Referring to FIG. 12, it can be seen that the recognition rate of characters and / or pictures is significantly higher than that of the conventional art shown in FIG. 1B, and most of the distortion of the shadow distributed throughout the image is also largely eliminated.

도 13a는 스캐너로 스캔된 문서의 원본 영상을 나타내는 예시도이다.13A is an exemplary view showing an original image of a document scanned by a scanner.

도 13b 및 도 13c는 종래의 기술에 따라 상기 원본 영상에 대해 음영의 왜곡을 보정한 결과를 나타내는 예시도이다.FIGS. 13B and 13C are diagrams illustrating the result of correcting distortion of the original image according to a conventional technique. FIG.

도 13b 및 도 13c를 참조하면, 종래의 기술에 따라 출력된 결과에서는 문서에 본래 포함된 그림의 음영이 과도하게 제거되거나(a, b), 스캔 과정에서 생긴 노이즈가 여전히 영상 내에 분포되어 있는 것(c, d)이 확인될 수 있다.13B and 13C, in the output result according to the conventional technique, the shadows of the original image included in the document are excessively removed (a, b), or the noise generated in the scanning process is still distributed in the image (c, d) can be confirmed.

도 13d는 도 13a의 원본 영상에 대해 본 발명의 일 실시 예에 따른 영상의 왜곡 보정방법에 의해 음영의 왜곡을 보정한 결과를 나타내는 예시도이다.FIG. 13D is an exemplary view showing a result of correcting distortion of a shadow of an original image of FIG. 13A by an image distortion correction method according to an embodiment of the present invention. FIG.

도 13d를 참조하면, 상기 종래의 기술에 따른 결과와 비교하여 스캔 과정에서 생긴 노이즈에 해당하는 음영의 왜곡이 제거되면서도 본래의 문자에는 영향을 미치지 않았고, 본래의 그림이 형성하는 음영도 원본에 가깝게 유지되고 있음이 확인될 수 있다.13D, the distortion of the shadow corresponding to the noise generated in the scanning process is eliminated, but the original character is not affected, and the shadow formed by the original image is also close to the original It can be confirmed that it is maintained.

도 14는 본 발명의 실시 예에 따른 음영의 왜곡 보정방법에 관한 OCR 정확도를 나타내는 표이다.FIG. 14 is a table showing OCR accuracy with respect to a method of correcting distortion of a shadow according to an embodiment of the present invention.

도 14를 참조하면, 종래의 기술, 예를 들어 Inpainting, ImageJ 및 Tableau와 비교하여 OCR 정확도가 최소 3.65%에서 최대 40.72% 가량 향상된 것이 확인될 수 있다.Referring to FIG. 14, it can be confirmed that the OCR accuracy is improved by at least 3.65% and up to 40.72% compared to conventional techniques such as Inpainting, ImageJ, and Tableau.

본 발명에 따른 방법들은 다양한 컴퓨팅 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.The methods according to the present invention may be implemented in the form of program instructions that can be executed through various computing means and recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the computer readable medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software.

컴퓨터 판독 가능 매체의 예에는 롬(ROM), 램(RAM), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치인 음영의 왜곡 보정장치(100)는 본 발명의 동작을 수행하기 위해 상기 하드웨어와 결합되어 음영의 왜곡 보정방법을 수행하는 적어도 하나의 소프트웨어 애플리케이션 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of computer readable media include hardware devices that are specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those generated by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The shading distortion correction apparatus 100, which is the above-described hardware apparatus, may be configured to operate with at least one software application module that performs shading distortion correction in combination with the hardware to perform the operations of the present invention, The reverse is also true.

이상으로 본 발명은 도면에 도시된 실시 예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 청구범위에 의해서 판단되어야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, I will understand the point. Accordingly, the technical scope of the present invention should be determined by the following claims.

100: 음영의 왜곡 보정장치
110: 입력 디바이스
120: 디스플레이 디바이스
130: 출력 디바이스
140: 저장 장치
150: 통신 장치
160: 전원 장치
170: 제어부
171: 모델링 모듈
172: 영상처리 모듈
172-1: 영상변환 모듈
172-2: 음영추출 모듈
172-3: 연산 모듈
170-4: 운영체제 및 음영보정 애플리케이션 모듈이 로드된 메모리
170-5: 음영보정 애플리케이션 모듈
300: 서버
400: 네트워크
500: 컴퓨팅 장치
510: 입력 인터페이스 장치
520: 출력 인터페이스 장치
531: 메모리
532: 저장장치
540: 전원 장치
550: 프로세서
560: 네트워크 인터페이스 장치
570: 무선통신 장치
580: 버스100: Shadow distortion correction device
110: input device
120: Display device
130: output device
140: Storage device
150: Communication device
160: Power supply
170:
171: Modeling module
172: image processing module
172-1: Image conversion module
172-2: Shading module
172-3: Operation module
170-4: Memory loaded with operating system and shadow correction application module
170-5: Shading correction application module
300: server
400: Network
500: computing device
510: input interface device
520: output interface device
531: Memory
532: Storage device
540: Power supply unit
550: Processor
560: Network interface device
570: Wireless communication device
580: Bus

Claims

계곡에 분포하는 웅덩이에 물을 채우는 방식에 따라 나타나는 물이 채워지는 현장을 영상에 분포하는 음영의 왜곡에 비유하는 방식에 따라, 계곡 모형의 모델링을 통해 문자 및/또는 그림이 포함된 문서를 나타내는 영상에 분포하는 음영의 왜곡을 보정하는 것을 특징으로 하는, 음영의 왜곡 보정방법.The modeling of the valley model is used to represent a document containing text and / or pictures, in a manner analogous to the distortion of shadows distributed in the image, such as the filling of the water filled in the puddle in the valley And correcting the distortion of the shadow distributed in the image.

청구항 1에 있어서,
상기 음영의 왜곡 보정방법은,
문자 및/또는 그림의 밝기가 주변에 비하여 낮게 나타나는 현상에 기초하는 것을 특징으로 하는, 음영의 왜곡 보정방법.The method according to claim 1,
The shading distortion correction method includes:
Characterized in that the brightness of the character and / or the picture is lower than that of the surrounding area.

청구항 1에 있어서,
상기 음영의 왜곡 보정방법은,
음영의 왜곡이 문서를 나타내는 영상의 경계면까지 길게 연결되어 분포하는 현상에 기초하는 것을 특징으로 하는, 음영의 왜곡 보정방법.The method according to claim 1,
The shading distortion correction method includes:
Characterized in that the distortion of the shade is based on a phenomenon in which the distortion of the shade is connected to the boundary of the image representing the document in a long connection.

청구항 1에 있어서,
상기 음영의 왜곡 보정방법은,
문서를 나타내는 영상의 특징이 투영된 계곡 모형을 모델링하는 단계를 포함하고,
문자 및/또는 그림은 물이 고이는 웅덩이로 표현되고, 음영의 왜곡은 물이 고이지 않는 계곡면으로 표현되는 것을 특징으로 하는, 음영의 왜곡 보정방법.The method according to claim 1,
The shading distortion correction method includes:
Modeling a projected valley model of features of the image representing the document,
Characterized in that the character and / or figure is represented by a puddle in which the water is poured, and the distortion of the shade is expressed by a valley surface in which water does not float.

청구항 4에 있어서,
스캐닝 또는 캡처링 과정을 통해 문서를 나타내는 영상을 입력받는 단계;
만수 주입 알고리즘(flood filling algorithm)을 이용하여 상기 영상으로부터 대략적인 음영의 왜곡을 추출하는 단계;
점차적 주입 알고리즘(incremental filling algorithm)을 이용하여 상기 영상으로부터 미세한 음영의 왜곡을 추출하는 단계;
상기 대략적인 음영의 왜곡 및 미세한 음영의 왜곡을 합하여 전체 음영의 왜곡을 생성하는 단계; 및
상기 영상에서 상기 전체 음영의 왜곡이 보정된 목표 영상을 획득하는 단계를 더 포함하는 것을 특징으로 하는, 음영의 왜곡 보정방법.The method of claim 4,
Receiving an image representing a document through a scanning or capturing process;
Extracting approximate shadow distortion from the image using a flood filling algorithm;
Extracting a fine shadow distortion from the image using an incremental filling algorithm;
Generating distortion of the overall shade by summing the approximate shade distortion and the fine shadow distortion; And
Further comprising the step of obtaining a target image in which the distortion of the entire shade is corrected in the image.

청구항 5에 있어서,
상기 대략적인 음영의 왜곡을 추출하는 단계는,
계곡 모형에서 골에 물을 만수 후 배수 함으로써 채우는 방법을 표현하는 만수 확산 방정식(flood diffusion equation)을 이용하고;
상기 미세한 음영의 왜곡을 추출하는 단계는,
계곡 모형에서 물을 골에 직접 채우는 방법을 표현하는 점차적 확산 방정식(incremental diffusion equation)을 이용하는 것을 특징으로 하는, 음영의 왜곡 보정방법.The method of claim 5,
Wherein the step of extracting the approximate shade distortion comprises:
Using the flood diffusion equation to express the filling method by draining the water to the bone in the valley model;
The step of extracting the distortion of the fine shadow may include:
A method of correcting distortion of a shadow, characterized by using a gradual diffusion equation expressing a method of filling water directly into the valley in a valley model.

청구항 5에 있어서,
상기 대략적인 음영의 왜곡을 추출하는 단계는,
영상의 밝기 값을 이용하는 것을 특징으로 하는, 음영의 왜곡 보정방법.The method of claim 5,
Wherein the step of extracting the approximate shade distortion comprises:
Wherein a brightness value of the image is used.

청구항 5에 있어서,
상기 미세한 음영의 왜곡을 추출하는 단계는,
상기 대략적인 음영의 왜곡을 이용하는 것을 특징으로 하는, 음영의 왜곡 보정방법.The method of claim 5,
The step of extracting the distortion of the fine shadow may include:
And the approximate distortion of the shadow is used.

청구항 7에 있어서,
상기 대략적인 음영의 왜곡을 추출하는 단계는,
영상의 밝기 값을 다운샘플(downsample)하는 단계;
다운샘플된 밝기 값에 급수 주입 알고리즘을 적용하는 단계;
알고리즘 적용 결과를 평준화하는 단계; 및
평준화된 밝기 값을 다시 업스케일(upscale)하는 단계를 포함하는 것을 특징으로 하는, 음영의 왜곡 보정방법.The method of claim 7,
Wherein the step of extracting the approximate shade distortion comprises:
Downsample the brightness value of the image;
Applying a water injection algorithm to the downsampled brightness value;
Leveling the algorithm application result; And
And upscaling the leveled brightness value again. &Lt; Desc / Clms Page number 20 >

청구항 5에 있어서,
상기 목표 영상을 획득하는 단계는,
램버시안 표면 모델(lambertian surface model)을 이용하여 상기 영상에서 전체 음영의 왜곡을 제거하는 단계를 포함하는 것을 특징으로 하는, 음영의 왜곡 보정방법.The method of claim 5,
Wherein the step of acquiring the target image comprises:
And removing the distortion of the entire shade in the image by using a lambertian surface model.

문자 및/또는 그림이 포함된 문서를 나타내는 영상의 특징이 투영된 계곡 모형을 모델링하는 모델링 모듈;
입력된 영상의 포맷을 변환하는 영상변환 모듈;
상기 영상으로부터 만수 확산 방정식을 이용하여 대략적인 음영의 왜곡을 추출하고, 점차적 확산 방정식을 이용하여 미세한 음영의 왜곡을 추출하는 음영추출 모듈; 및
다운샘플링 및 업스케일링을 포함하는 이미지 프로세싱에 관한 연산을 수행하는 연산 모듈을 포함하는 장치로서,
계곡 모형에서 물을 골에 직접 채우는 방법을 표현하는 점차적 주임 알고리즘; 및
계곡 모형에서 골에 물을 만수 후 배수의 방법으로 채우는 방법을 표현하는 만수 주입 알고리즘에 따라, 영상의 특징이 투영된 계곡 모형의 모델링을 통해 문자 및/또는 그림을 포함하는 문서를 나타내는 영상에 분포하는 음영의 왜곡을 보정하는 것을 특징으로 하는, 음영의 왜곡 보정장치.A modeling module for modeling a valley model projected with a characteristic of an image representing a document including a character and / or a figure;
An image conversion module for converting a format of an input image;
A shade extracting module for extracting approximate shade distortion from the image by using a full water diffusion equation and extracting a fine shade distortion using a gradual diffusion equation; And
9. An apparatus comprising an operation module for performing operations relating to image processing, including downsampling and upscaling,
A gradual primitive algorithm expressing how to fill water directly into the valley in a valley model; And
In a valley model, the model is modeled with projected valleys according to the high-water injection algorithm, which expresses the method of filling the valleys with water and filling them with the method of multiples. And corrects the distortion of the shadow to be corrected.