KR101384784B1 - Methods for detecting optimal position for mobile device - Google Patents

Methods for detecting optimal position for mobile device Download PDF

Info

Publication number
KR101384784B1
KR101384784B1 KR1020120158369A KR20120158369A KR101384784B1 KR 101384784 B1 KR101384784 B1 KR 101384784B1 KR 1020120158369 A KR1020120158369 A KR 1020120158369A KR 20120158369 A KR20120158369 A KR 20120158369A KR 101384784 B1 KR101384784 B1 KR 101384784B1
Authority
KR
South Korea
Prior art keywords
object image
image
pixels
camera
mobile device
Prior art date
Application number
KR1020120158369A
Other languages
Korean (ko)
Inventor
차정원
서가은
Original Assignee
창원대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 창원대학교 산학협력단 filed Critical 창원대학교 산학협력단
Priority to KR1020120158369A priority Critical patent/KR101384784B1/en
Application granted granted Critical
Publication of KR101384784B1 publication Critical patent/KR101384784B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a method for determining the position of an object in a camera screen of a mobile device. The object position determining method of the present invention includes the following steps of: extracting an object image in the shape of a rectangle such as a name card and a receipt from a camera and reducing the size of the object image; detecting an outline along the edge of the extracted object image; and determining a position by using color information on the outline of the object within four areas after extracting the four areas from the object image. The four areas of the object image include each edge area of the object image and are searched in the order of an upper left end area, a lower right end area, a lower left end area, and an upper right end area. According to the present invention, it is possible to quickly determine, in a mobile device such as a smartphone, if an object image, which is a photographed object, is appropriately positioned. [Reference numerals] (AA) Start; (BB) End; (S102) Photograph an object image; (S104) Obtain the object image; (S106) Reduce the size of the object image; (S108) Detect an outline; (S112) Calculate the starting point of a search area; (S114) Read color information on each area; (S116) Determine color information per pixel; (S118) Compare a count value with a maximum value; (S120) Determine whether the object image is appropriately positioned or not; (S122) Determine whether a photographing is possible or not

Description

모바일 기기 카메라 화면의 사물 위치 판단 방법{Methods for detecting optimal position for mobile device}Method for determining the position of an object on the camera screen of a mobile device {Methods for detecting optimal position for mobile device}

본 발명은 모바일 기기 카메라 화면의 사물 위치 판단방법에 관한 것으로, 더욱 상세하게는 카메라를 통해 문자 등이 인쇄된 사물 이미지를 인식하고자 하는 경우 카메라의 화면상에 그 사물 이미지가 적절한 위치에 위치하고 있는지를 판단하는 모바일 기기 카메라 화면의 사물 위치 판단 방법에 관한 것이다. The present invention relates to a method for determining a location of an object on a camera screen of a mobile device, and more particularly, to recognize an object image on which a character or the like is printed through a camera. The present invention relates to a method for determining a location of an object on a camera screen of a mobile device.

모바일 기기의 지속적인 발전에 따라, 카메라 기능을 제공하는 모바일 기기는 보편화된 기술이 되었으며, 모바일 기기의 카메라를 활용하는 경우가 점점 증가하고 있다. 최근에는 모바일 기기 카메라를 사물을 찍는 용도뿐만 아니라, QR 코드, OCR(Optical character Recognition)과 같은 이미지를 인식하여 원하는 정보를 제공하도록 하는 서비스를 제공하는 용도로도 사용하고 있다. With the continuous development of mobile devices, mobile devices that provide camera functions have become a popular technology, and the use of cameras of mobile devices is increasing. Recently, the mobile device camera is used not only for photographing objects but also for providing a service for recognizing images such as QR codes and optical character recognition (OCR) to provide desired information.

이를 위해, 모바일 기기에는 카메라를 이용하여 이미지를 인식할 수 있도록 일련의 어플리케이션이 설치된다. 이러한 어플리케이션은 카메라의 화면상에 촬영 대상 객체로서 사물 이미지의 위치를 표시하는 기능을 제공한다. 이는 사용자가 화면상에 표시된 마크를 기준으로 하여 카메라와 사물의 위치, 크기 및 방향을 최적 조건으로 조절할 수 있도록 하는 기능을 보조한다. 결국, 촬영 대상 객체인 사물 이미지의 문자를 선명하게 해줌으로써, 사물의 이미지 인식 능력을 향상시키는 것이라 할 수 있다. To this end, a series of applications are installed in the mobile device to recognize an image using a camera. Such an application provides a function of displaying a location of an object image as a photographing target object on a screen of a camera. This assists the user in adjusting the position, size and direction of the camera and the object to the optimum condition based on the mark displayed on the screen. As a result, the image recognition ability of the object may be improved by sharpening a character of the object image, which is a photographing object.

하지만, 사용자가 모바일 기기의 카메라 화면상에 표시된 영역으로 사물의 이미지를 맞추더라도 모바일 기기가 이를 인식하지 못하는 경우가 있다. 예컨대, 사물 이미지가 촬영을 위한 정해진 범위에서 이탈된 경우가 해당된다. 이 경우 모바일 기기는 사물 이미지의 인식을 위한 부가적인 장치가 필요하였다. 이에 다라 장치의 복잡성에 의해 사물에 대한 이미지가 올바르게 위치하였는지 판단하는 과정에서 많은 시간이 소요된다. However, the mobile device may not recognize the image even when the user fits the image of the object into the area displayed on the camera screen of the mobile device. For example, the case where the image of the object deviates from a predetermined range for photographing. In this case, the mobile device needed an additional device for recognizing the object image. Accordingly, it takes a lot of time in the process of determining whether the image of the object is correctly located by the complexity of the device.

예컨대, 카메라의 화면상에 위치한 촬영 대상 객체의 예를 보인 도 1을 보면, 도 1a는 화면상에 문자 인식이 가능한 정도로서 사물 이미지가 촬영된 예를 보이고 있다. 이를 보면, 직사각형의 사물 이미지(20)에 대해 위치, 크기 및 방향이 모바일 기기가 사물 이미지(20)를 쉽게 인식할 수 있도록 촬영된 것이다. 반면, 도 1b는 카메라 화면상에 촬영되는 사물 이미지(20)가 기울어진 상태임을 알 수 있다. 이처럼 사물 이미지(20)가 촬영을 위한 적정 위치에 위치되지 않은 경우 사물 이미지920)를 촬영하였더라도 그 사물 이미지의 문자를 인식하기는 쉽지 않을 것이다. 여기서, 도면부호 10은 배경 이미지를 말한다.For example, referring to FIG. 1, which shows an example of an object to be photographed located on a screen of a camera, FIG. 1A illustrates an example in which an object image is photographed as much as text recognition is possible on the screen. In this regard, the position, size, and direction of the rectangular object image 20 are photographed so that the mobile device can easily recognize the object image 20. In contrast, FIG. 1B shows that the object image 20 photographed on the camera screen is in an inclined state. As such, when the object image 20 is not positioned at the proper position for photographing, even if the object image 920 is photographed, it may not be easy to recognize the character of the object image. Here, reference numeral 10 denotes a background image.

따라서, 모바일 기기의 경우 카메라가 촬영한 사물 이미지(20)를 인식하기 위해서는 도 1a와 같이 촬영 대상 객체인 사물 이미지(20)가 적정 위치에 존재하여야 한다. 이를 위해서는 사물 이미지(20)를 촬영하기 전에 때 카메라의 화면상에 촬영 대상 객체가 적절한 위치에 있는지는 빠르게 판단하여 사물 인식의 활용성을 증대시킬 필요성이 있다. Accordingly, in the case of a mobile device, in order to recognize the object image 20 photographed by the camera, the object image 20, which is the object to be photographed, must be present at an appropriate position as shown in FIG. 1A. To this end, before capturing the object image 20, it is necessary to quickly determine whether the object to be photographed is on an appropriate position on the screen of the camera to increase the usability of object recognition.

한국 등록 특허 KR 0,440,387Korean Registered Patent KR 0,440,387

따라서 본 발명의 목적은 상기한 문제점을 해결하기 위한 것으로, 촬영하고자 하는 객체인 사물 이미지가 카메라 화면상의 적정 위치에 위치하고 있는지를 정확하고 신속하게 파악할 수 있도록 하는 것이다. Accordingly, an object of the present invention is to solve the above problems, and to accurately and quickly determine whether an object image, which is an object to be photographed, is located at an appropriate position on a camera screen.

본 발명의 일 측면에 따른 모바일 기기 카메라 화면의 사물 위치 판단 방법은, 카메라로부터 실시간으로 영상 내의 사물 이미지를 추출하는 단계; 상기 추출된 사물 이미지의 모서리에 따라 윤곽선을 검출하는 단계; 상기 사물 이미지에서 4개 영역을 추출하는 단계; 및 상기 4개 영역 내 상기 사물의 윤곽선의 색상 정보로 위치를 판단하는 단계;를 포함한다.According to an aspect of the present invention, there is provided a method for determining a location of an object on a camera screen of a mobile device, comprising: extracting an object image in an image from a camera in real time; Detecting an outline along an edge of the extracted object image; Extracting four regions from the object image; And determining a position based on color information of an outline of the object in the four areas.

이때, 상기 윤곽선을 검출하는 단계는, 상기 실시간 영상 이미지에 윤곽선 검출 필터를 마스킹하여 상기 윤곽선을 검출할 수 있다.In the detecting of the contour, the contour may be detected by masking an contour detection filter on the real-time video image.

또한, 상기 4개 영역을 추출하는 단계는, 좌측 상단을 기준으로, 좌측 하단, 우측 상단, 및 우측 하단을 윤곽선이 검출된 영상의 가로 및 세로의 비율에 따라 일정 크기로 추출할 수 있다.In the extracting of the four regions, the lower left, upper right, and lower right sides of the four regions may be extracted at a predetermined size according to the ratio of the horizontal and vertical of the image where the contour is detected.

또한, 상기 위치를 판단하는 단계는, 상기 4개 영역 내의 모든 픽셀에 대해서, 각 픽셀의 색상 값을 획득하는 단계; 상기 색상 값을 기준값과 비교하는 단계; 기준값보다 작은 픽셀 수를 카운트하는 단계; 및 상기 카운트 된 픽셀 수를 각 영역의 픽셀 높이 최대값과 비교하는 단계를 포함한다.The determining of the position may include obtaining color values of each pixel for all pixels in the four regions; Comparing the color value with a reference value; Counting the number of pixels smaller than a reference value; And comparing the counted number of pixels with a pixel height maximum of each region.

이때, 상기 픽셀 수를 카운트 하는 단계는 상기 영역 내의 세로의 위치가 같고, 가로의 위치가 다른 픽셀에 대해서는 한번만 카운트될 수 있다.In this case, the counting of the number of pixels may be counted only once for pixels having the same vertical position in the area and different horizontal positions.

또한, 상기 픽셀 수를 각 영역의 높이 최대값과 비교하는 단계는, 높이 최대값과 픽셀 수가 동일한 경우만 적정 위치로 판단하며, 상기 4개 영역이 모두 상기 적정 위치로 판단되는 경우 사물의 위치가 바르게 들어왔음을 판단할 수 있다.The step of comparing the number of pixels with the maximum height of each region may be determined as a proper position only when the maximum height and the number of pixels are the same, and when the four regions are determined to be the proper positions, You can judge that you have entered correctly.

이와 같이 구성된 본 발명의 모바일 기기 카메라 화면의 사물 위치 판단 방법에 따르면, 촬영 대상 객체인 사각형 모양의 사물 이미지에 대한 각 모서리 영역의 위치를 판단하는 알고리즘을 적용함으로써, 사물 이미지가 적정 위치에 있는지를 빠르게 판단할 수 있는 효과가 있다. According to the object position determining method of the mobile device camera screen of the present invention configured as described above, by applying an algorithm for determining the position of each corner region with respect to the rectangular object image of the object to be photographed, it is determined whether the object image is in the proper position. You can quickly judge the effect.

이를 통해 카메라나 카메라가 부가된 각종 모바일 기기의 장치의 복잡도를 최소화할 수 있어 제조 비용 등을 절감할 수 있는 효과도 기대할 수 있다. Through this, the complexity of the device of the camera or various mobile devices to which the camera is added can be minimized, and thus the manufacturing cost can be reduced.

도 1은 일반적으로 카메라의 화면상에 위치하는 촬영 대상 객체의 예를 보인 도면
도 2는 본 발명을 설명하기 위해 제안되는 모바일 기기의 구성도
도 3은 본 발명의 바람직한 실시 예에 따른 모바일 기기 카메라 화면의 사물 위치 판단 방법을 보인 흐름도
도 4 및 도 5는 도 3의 사물 위치 판단방법을 설명하기 위해 보인 실시 예 도면1 is a diagram illustrating an example of a photographing target object generally located on a screen of a camera;
2 is a block diagram of a mobile device proposed to explain the present invention.
3 is a flowchart illustrating a method of determining a location of an object on a screen of a mobile device according to an exemplary embodiment of the present invention.
4 and 5 are exemplary embodiments shown to explain the object position determining method of FIG.

이하 본 발명에 의한 모바일 기기 카메라 화면의 사물 위치 판단 방법의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다. Hereinafter, an embodiment of a method for determining a location of an object on a camera screen of a mobile device according to the present invention will be described in detail with reference to the accompanying drawings.

본 실시 예는 셀룰러 폰이나 스마트 폰과 같은 모바일 기기에 채용된 카메라를 이용하여 문자가 인쇄된 사물 이미지를 촬영할 경우, 촬영 가능 여부를 미리 알 수 있도록 하기 위하여 촬영 대상 객체인 사물 이미지가 적정 위치에 위치하는지를 판단하는 것이다. According to the present embodiment, when photographing an object image with a character printed using a camera adopted in a mobile device such as a cellular phone or a smart phone, the object image, which is the object to be photographed, is positioned at an appropriate position so as to know in advance whether or not the object can be photographed. To determine if it is located.

도 2는 본 발명을 설명하기 위해 제안되는 모바일 기기의 구성도이다. 실시 예에서 모바일 기기는 스마트 폰을 예를 들어 설명할 것이다. 이때 촬영 객체인 사물 이미지 및 배경 이미지의 도면부호는 도 1a 및 도 1b에 부여된 도면 부호를 그대로 사용할 것이다. 2 is a block diagram of a mobile device proposed to explain the present invention. In an embodiment, the mobile device will be described using a smartphone as an example. In this case, reference numerals given to FIGS. 1A and 1B will be used as reference numerals of the object image and the background image.

도 2를 보면 스마트 폰(100)에는 사물 이미지를 촬영하기 위한 카메라(110)가 구성된다. 그리고 카메라(110)가 위치한 스마트 폰(100)의 일 면에는 사물 이미지(20)의 촬영시 사물 이미지(20)와 배경 이미지(10)의 색상 차이가 충분하도록 일정 밝기를 제공하는 조명(120)이 함께 구성된다. 2, the smartphone 100 includes a camera 110 for photographing an object image. In addition, one surface of the smart phone 100 in which the camera 110 is located, the lighting 120 provides a predetermined brightness so that a difference in color between the object image 20 and the background image 10 is sufficient when the object image 20 is taken. It is composed together.

카메라(110) 및 조명(120)에 의해 사물 이미지(20)의 영상 정보를 획득하는 영상 획득부(130)가 구성된다. 실질적으로 영상 획득부(130)에 의해 획득되는 정보는 카메라(110)의 화면에 표시되는 정보가 된다. An image acquisition unit 130 is configured to acquire image information of the object image 20 by the camera 110 and the illumination 120. The information acquired by the image acquisition unit 130 substantially becomes information displayed on the screen of the camera 110.

영상 획득부(130)에 의해 획득된 사물 이미지(20)를 충분히 작은 크기로 축소하는 사물 이미지 축소부(140)가 구성된다. 사물 이미지 축소부(140)는 획득된 사물 이미지(20)를 판독할 수 있을 만큼의 크기로 축소하는 역할을 한다. 사물 이미지(20)의 크기를 축소함으로써 스마트 폰(100)의 메모리 등에서 차지하는 저장 용량을 줄이고 아울러 아래에서 설명하는 위치 판단 방법의 처리 시간 등도 단축시킬 수 있을 것이다. The object image reduction unit 140 is configured to reduce the object image 20 acquired by the image acquisition unit 130 to a sufficiently small size. The object image reduction unit 140 serves to reduce the acquired object image 20 to a size that can be read. By reducing the size of the object image 20, the storage capacity occupied by the memory of the smart phone 100 may be reduced, and the processing time of the location determination method described below may be shortened.

사물 이미지 축소부(140)에 의해 축소된 사물 이미지(20)의 윤곽선을 검출하는 윤곽선 검출부(150)가 구성된다. 윤곽선 검출부(150)는 배경 이미지(10)와 사물 이미지(20)를 구분할 수 있게 한다. The outline detection unit 150 is configured to detect the outline of the object image 20 reduced by the object image reduction unit 140. The contour detector 150 may distinguish the background image 10 from the object image 20.

사물 이미지(20)에 대한 윤곽선이 검출되면, 윤곽선의 좌측상단/좌측하단/우측상단/우측하단 영역의 픽셀당 색상 정보를 검색하는 영역별 검색부(160)가 구성된다. When the contour line of the object image 20 is detected, an area-specific searching unit 160 is configured to search for color information per pixel of the upper left, lower left, upper right and lower right regions of the contour.

영역별 검색부(160)의 검색 값을 전달받고 사물 이미지(20)가 카메라(110) 화면상의 적정 위치에 위치하고 있는지를 판단하는 판단부(170)가 구성된다. 판단부(170)는 상기 좌측상단/좌측하단/우측상단/우측하단의 4개 영역이 모두 올바르게 위치하는 경우에만 카메라(110) 화면상의 적정 위치에 사물 이미지(20)가 위치하고 있는 것으로 판단한다. The determination unit 170 is configured to receive the search value of the area-specific search unit 160 and determine whether the object image 20 is located at a proper position on the screen of the camera 110. The determination unit 170 determines that the object image 20 is located at an appropriate position on the screen of the camera 110 only when all four regions of the upper left / lower left / right upper / lower right end are correctly positioned.

이어 상기의 구성을 가지는 스마트 폰을 이용하여 촬영하고자 하는 사물 이미지가 적정 위치에 놓여져 있는지를 판단하는 방법을 도 3 및 관련 도면을 참조하여 설명한다. 도 3은 본 발명의 바람직한 실시 예에 따른 모바일 기기 카메라 화면의 사물 위치 판단 방법을 보인 흐름도이다. Next, a method of determining whether an object image to be photographed by using a smart phone having the above configuration is placed at an appropriate position will be described with reference to FIG. 3 and related drawings. 3 is a flowchart illustrating a method for determining a location of an object on a camera screen of a mobile device according to an exemplary embodiment of the present invention.

도 3에 도시한 바와 같이 스마트 폰(100)의 카메라(110)를 통해 촬영하고자 하는 사물 이미지(20)가 촬영된다(s102). 이때 사물 이미지(20)의 촬영은 조명(120)이 함께 동작하여 배경 이미지(10)와 사물 이미지(20) 상호 간의 색상 정보가 차이가 있도록 촬영되어야 한다. 촬영된 예는 상술한 바 있는 도 1a를 참조하면 된다. 도 1a를 보면 배경 이미지(10)와 사물 이미지(20)의 색상이 확연히 차이가 있음을 알 수 있다. 여기서 카메라(110)에 의해 촬영되는 사물 이미지(20)는 대략 사각형상의 객체를 말하고, 그 객체에는 일반적으로 텍스트(text) 및 그림 정보 등이 인쇄되어 있다.As shown in FIG. 3, the object image 20 to be captured is photographed through the camera 110 of the smart phone 100 (S102). In this case, the photographing of the object image 20 should be taken so that the color information between the background image 10 and the object image 20 is different because the illumination 120 operates together. For a photographed example, refer to FIG. 1A described above. 1A, it can be seen that the colors of the background image 10 and the object image 20 are significantly different. Here, the object image 20 photographed by the camera 110 refers to an approximately rectangular object, and the object is generally printed with text and picture information.

촬영된 사물 이미지(20)는 배경 이미지(10)와 함께 영상 획득부(130)가 획득하게 된다(s104). 영상 획득부(130)가 획득한 사물 이미지(20)도 도 1a와 같다. The photographed object image 20 is obtained by the image acquirer 130 together with the background image 10 (S104). The object image 20 acquired by the image acquirer 130 is also the same as that of FIG. 1A.

영상 획득부(130)가 사물 이미지(20)를 획득하면, 사물 이미지 축소부(140)는 그 획득된 사물 이미지(20)의 크기를 축소한다(s106). 사물 이미지(20)의 크기 축소는 그 사물 이미지를 판독할 수 있을 정도의 사이즈로 축소되게 수행되며, 실시 예에는 원 사물 이미지의 크기 대비 대략 12 배 작은 크기로 축소된다. 물론, 사물 이미지(20)의 원본 크기에 따라 축소되는 비율은 달라질 수 있는 것은 당연할 것이고, 획득된 사물 이미지(20)의 크기가 충분히 작은 크기인 경우에는 상기의 사물 이미지(20)의 크기를 축소하는 과정은 생략될 수 있을 것이다. 즉 사물 이미지(20)를 더 축소할 경우 사물 이미지(20)를 판별할 수 없는 크기를 가지는 사물 이미지인 경우에는 상기의 사물 이미지 축소부(140)에 의해 수행되는 축소 과정은 생략 가능하다. When the image acquisition unit 130 acquires the object image 20, the object image reduction unit 140 reduces the size of the acquired object image 20 (S106). The size reduction of the object image 20 is performed to reduce the size of the object image to a size that can be read. In the embodiment, the size of the object image 20 is reduced to about 12 times smaller than the size of the original object image. Of course, the ratio of the reduction in size according to the original size of the thing image 20 will be obvious. If the size of the acquired thing image 20 is small enough, the size of the thing image 20 The reduction process may be omitted. That is, when the object image 20 is further reduced, in the case of the object image having a size that cannot be determined, the reduction process performed by the object image reduction unit 140 may be omitted.

이와 같이 사물 이미지(20)가 획득된 다음에는, 윤곽선 검출부(150)는 상기 사물 이미지(20)의 윤곽선(Line Edge Detection)(21)을 검출한다(s108). 실시 예에서 윤곽선 검출은 소벨 필터(Sobel Filter)를 이용한다. 상기 'Sobel Filter'는 비선형 연산자로서, 사용하는 마스크 윈도우 영역에서 양 끝단에 속한 화소들 사이의 합의 차이를 구한 후, 이를 수평과 수직 방향에 대하여 평균 크기를 구하는 방법을 사용한다. 이렇게 하면 사물 이미지(20)의 경계 부위를 강조할 수 있어, 윤곽선(21)을 정확하게 검출할 수 있다. 윤곽선 검출부(150)에 의해 사물 이미지(20)의 윤곽선(21)이 검출된 상태의 사물 이미지의 예는 도 4에 도시되어 있다. 도 4를 보면, 사물 이미지(40)의 가장자리 부분은 흰색으로 표시되고 나머지 부분은 검은색으로 표시되게 된다. After the object image 20 is obtained as described above, the contour detector 150 detects a line edge detection 21 of the object image 20 (S108). In the embodiment, the contour detection uses a Sobel filter. The 'Sobel Filter' is a nonlinear operator. The 'Sobel Filter' is a nonlinear operator. The difference is calculated between pixels belonging to both ends in the mask window area to be used, and then the average size is calculated in the horizontal and vertical directions. In this way, the boundary portion of the object image 20 can be emphasized, so that the outline 21 can be detected accurately. An example of the object image in a state where the outline 21 of the object image 20 is detected by the contour detector 150 is illustrated in FIG. 4. Referring to FIG. 4, the edge portion of the object image 40 is displayed in white and the remaining portions are displayed in black.

이처럼 사물 이미지(20)의 윤곽선(21)이 검출되면, 영역별 검색부(160)는 사물 이미지(20)의 각 모서리에 해당하는 4개의 영역을 검색하는 제 110단계를 수행하여 사물 이미지(20)의 위치의 적정 여부를 판단하는 값을 도출하게 된다. 여기서 4개 영역은 사물 이미지(20)의 모서리 부분을 포함하는 좌측 상단 영역(22), 좌측 하단 영역(26), 우측 상단 영역(28) 및 우측 하단 영역(24)이 된다. 그리고 검색 순서는 좌측 상단 영역(22)- 우측 하단 영역(24) - 좌측 하단 영역(26) - 우측 상단 영역(28)의 순서로 검색한다. 검색 순서에 따른 실시 예 도면은 도 5의 a 내지 d에 도시하고 있다. 여기서 상기 4개 영역(22)(24)(26)(28)은 상기 좌측 상단 영역(22)의 좌측 끝 및 상단 끝에 위치하는 픽셀을 기준으로 하여 상기 사물 이미지(20)의 가로 세로 비율을 유지하면서, 일정한 크기로 상기 4개 영역(22)(24)(26)(28)을 동일한 크기로 선택할 수 있다. 본 발명의 실시 예에서는 상기 영역(22)(24)(26)(28)의 크기는 사물 이미지(20)의 가로 세로 비율을 유지하면서 임의의 값으로 변경될 수 있으며, 상기 4개 영역(22)(24)(26)(28)의 크기의 합이 상기 사물 이미지(20)의 크기보다 크지 않도록 하는 것이 바람직하다. When the outline 21 of the object image 20 is detected as described above, the area search unit 160 performs the 110 operation of searching for four areas corresponding to each corner of the object image 20 to perform the object image 20. A value for determining whether or not the position of) is appropriate is derived. The four regions are the upper left region 22, the lower left region 26, the upper right region 28, and the lower right region 24 including the corner portions of the object image 20. The search order is searched in the order of the upper left area 22-the lower right area 24-the lower left area 26-the upper right area 28. Embodiment drawings according to the search order are shown in FIGS. The four regions 22, 24, 26, and 28 maintain the aspect ratio of the object image 20 based on pixels located at the left and top ends of the upper left region 22. In the meantime, the four regions 22, 24, 26, and 28 may be selected to have the same size. According to an embodiment of the present invention, the sizes of the areas 22, 24, 26, and 28 may be changed to arbitrary values while maintaining the aspect ratio of the object image 20, and the four areas 22 may be changed. It is desirable that the sum of the sizes of 24, 26, 28 is not greater than the size of the object image 20.

상기의 영역별 검색부(160)에 따른 검색 과정(s110)을 상세하게 설명한다. The search process s110 according to the area-specific search unit 160 will be described in detail.

우선 검색 영역의 시작점을 계산한다(s112). 상기 검색 영역의 시작점 계산은 상기와 같이 좌측 상단 영역(22), 우측 하단 영역(24), 좌측 하단 영역(26), 우측 상단 영역(28)과 같이 4개가 존재하는바, 각 영역(22)(24)(26)(28)에 대한 시작점을 계산하여야 한다. First, the starting point of the search area is calculated (s112). The starting point calculation of the search area includes four areas such as the upper left area 22, the lower right area 24, the lower left area 26, and the upper right area 28 as described above. The starting point for (24) (26) (28) shall be calculated.

좌측 상단 영역(22)은 그 좌측 상단영역(22)의 좌측 끝 및 상단 끝의 픽셀을 기준점으로 하여 시작점을 정한다. 정해진 시작점은 '0'으로 지정된다. 그리고 우측 하단(24)의 시작점은 다음 [식 1]에 의하여 지정된다. The upper left region 22 defines a starting point based on the pixels at the left and upper ends of the upper left region 22 as a reference point. The set start point is designated as '0'. And the starting point of the lower right side 24 is designated by the following [Equation 1].

[식 1][Formula 1]

'W*(H*(HD-1)/HD) + H*(W*(WD-1)/WD)''W * (H * (HD-1) / HD) + H * (W * (WD-1) / WD)'

여기서, W는 윤곽선 검출된 사물 이미지(20)의 가로 크기이고, H는 윤곽선 검출된 사물 이미지(20)의 세로 크기이다. 그리고, WD 및 HD는 윤곽선 검출된 사물 이미지(20)의 가로/세로를 분할하는 임의의 값을 나타낸다. 실시 예에서 WD 및 HD는 각각 12와 4로 지정된다. Here, W is the horizontal size of the contour-detected object image 20, H is the vertical size of the contour-detected object image 20. WD and HD represent arbitrary values for dividing the horizontal / vertical of the contour-detected object image 20. In the embodiment, WD and HD are designated 12 and 4, respectively.

상기 좌측 상단 영역(22) 및 우측 하단 영역(24)의 시작점이 지정되면, 상기 좌측 상단 영역(22)의 가로/세로 위치 및 상기 우측 하단 영역(24)의 가로/세로 위치를 기준으로 나머지 좌측 하단 영역(26) 및 우측 상단 영역(28)의 시작점도 계산된다. If a starting point of the upper left region 22 and the lower right region 24 is designated, the remaining left side is based on the horizontal / vertical position of the upper left region 22 and the horizontal / vertical position of the lower right region 24. The starting points of the lower region 26 and the upper right region 28 are also calculated.

이렇게 사물 이미지(20)의 4개 영역(22)(24)(26)(28)에 대한 시작점이 결정되면 상기 영역별 검색 순서에 따라 각 영역(22)(24)(26)(28)의 색상정보를 리드(read)하고(s114), 픽셀당 색상 정보를 판단하는 과정이 수행된다(s116). When the starting points for the four areas 22, 24, 26, and 28 of the object image 20 are determined in this way, each of the areas 22, 24, 26, 28 of the object image 20 is determined according to the search order for each area. A process of reading color information (s114) and determining color information per pixel is performed (s116).

이하에서는 영역별 검색부(160)가 좌측 상단 영역(22)의 색상 정보를 리드(read)하고 픽셀 당 색상 정보를 판단하는 과정만을 설명하기로 한다. Hereinafter, only the process of reading the color information of the upper left area 22 and determining the color information per pixel by the area searching unit 160 will be described.

즉, 상기 좌측 상단 영역(22)의 색상 정보를 RGB 형태로 리드한 후, 픽셀의 색상이 '0xFF0000<=CELL'인 경우에는 상기 픽셀의 색상을 흰색으로 인식하여 상기 픽셀 수를 카운트한다. 반면, 상기 픽셀의 색상이 '0xFF0000>CELL'인 경우에는 상기 픽셀의 색상을 검은색으로 인식하여 상기 픽셀 수는 카운트하지 않고 다음 픽셀의 색상정보를 판단한다.That is, after reading the color information of the upper left area 22 in RGB form, when the color of the pixel is '0xFF0000 <= CELL', the color of the pixel is recognized as white and the number of pixels is counted. On the other hand, when the color of the pixel is '0xFF0000> CELL', the color of the pixel is recognized as black to determine the color information of the next pixel without counting the number of pixels.

그래서, 제 118 단계에서는 상기 흰색으로 인식하여 카운트 된 흰색의 픽셀 수를 최대값과 비교하여 그 카운트된 값과 최대값이 같을 때 사물이미지(20)의 좌측 상단 영역(22)은 올바르게 위치하고 있는 것으로 판단한다. 여기서, 상기 최대값은 1개 영역 내의 픽셀들의 높이 값을 의미하고 전술한 바와 같이 사물의 위치를 판단하는 정보로 활용된다. Therefore, in step 118, the upper left area 22 of the object image 20 is correctly positioned when the counted value and the maximum value are the same as those of the white pixel counted as recognized by the white color. To judge. Here, the maximum value means a height value of pixels in one region and is used as information for determining the position of the object as described above.

예컨대, 상기 도 1a처럼 사물의 이미지가 화면상에 올바르게 위치하고 있으면 상기 영역(110) 내의 흰색으로 카운트 되는 픽셀 수가 최대값과 같아지게 되어 사물의 위치가 올바르게 위치하였는지를 판단할 수 있다. 이때, 상기 영역(110) 내의 픽셀을 카운트하는 경우에 있어서, 세로가 같고 가로가 다른 픽셀에 대해서는 흰색으로 판단되더라도 한번만 카운트하도록 하며, 이는 상기 영역(110) 내의 상기 픽셀의 높이 값만을 비교하는바, 중첩되는 부분에 대해서는 카운트하지 않기 위함이다. For example, if the image of the object is correctly positioned on the screen as shown in FIG. 1A, the number of pixels counted as white in the area 110 is equal to the maximum value, thereby determining whether the object is correctly positioned. In this case, in the case of counting pixels in the region 110, the pixel counts only once even if it is determined to be white for pixels having the same length and different widths, and compares only height values of the pixels in the region 110. This is to not count the overlapping parts.

이와 같이 좌측 상단 영역(22)에 대한 픽셀 당 색상 정보 판단과정이 완료되면, 우측 하단 영역(24), 좌측 하단 영역(26) 및 우측 상단 영역(28)에 대하여 전술한 색상 정보의 리드 및 픽셀당 색상정보 판단, 그리고 카운트된 값과 최대값을 비교하는 과정이 동일하게 수행된다.When the process of determining the color information per pixel for the upper left region 22 is completed as described above, leads and pixels of the color information described above for the lower right region 24, the lower left region 26, and the upper right region 28 are completed. The process of determining the color information of the sugar and comparing the counted value with the maximum value are performed in the same manner.

상기 좌측 상단 영역(22), 우측 하단 영역(24), 좌측 하단 영역(26), 우측 상단 영역(28)에 대한 영역별 검색 값은 판단부(170)로 전달된다. 이에 판단부(170)는 상기 4개 영역(22)(24)(26)(28)에 대한 결과값을 모두 전달받은 상태에서 상기 4개 영역 모두에서 카운트된 픽셀 수와 높이 최대값이 모두 일치하는 경우(22)(24)(26)(28)에 카메라(110) 화면상에 사물 이미지(20)가 올바르게 위치한 경우로 판단한다(s120). The area-specific search values for the upper left region 22, lower right region 24, lower left region 26, and upper right region 28 are transmitted to the determination unit 170. In response to this, the determination unit 170 receives all of the result values for the four areas 22, 24, 26, and 28, and the number of pixels counted in all four areas and the maximum height of the four areas coincide with each other. In this case, it is determined that the object image 20 is correctly positioned on the screen of the camera 110 in the 22, 24, 26, and 28 (s120).

판단부(170)의 판단 결과는 스마트 폰(100)의 동작을 제어하는 제어부 등으로 전달되어, 정보를 표시하는 디스플레이부나 알람 등을 통해 사용자가 촬영 가능 여부를 인지할 수 있도록 한다(s122). The determination result of the determination unit 170 is transmitted to the control unit for controlling the operation of the smart phone 100, so that the user can recognize whether or not photographing is possible through a display unit or an alarm for displaying the information (s122).

즉, 도 1a와 같은 경우 사물 이미지(20)의 촬영이 가능하다. 그러나, 도 1b와 같이 사물 이미지(20)가 기울어져 있는 경우에는, 사물 이미지(20)를 촬영하더라도 사물 이미지(20) 내의 정보를 인식할 수 없다는 정보를 통보하여 사용자가 인지하도록 한다. 예컨대 사물 이미지(20)가 기울어진 경우에는 상기 영역(22) 내의 흰색으로 표시된 윤곽선 부분이 영역의 크기에 맞게 포함되지 않아 윤곽선 중 일부만 상기 영역(22) 내에 포함되기 때문에 상기 윤곽선 중 일부만 카운트 되어 상기 카운트되는 픽셀 수가 최대값보다 작아지게 된다. 따라서 촬영이 비정상적임을 통보하게 된다. That is, in the case of FIG. 1A, the object image 20 may be photographed. However, when the object image 20 is inclined as shown in FIG. 1B, the user is notified by notifying that the information in the object image 20 cannot be recognized even when the object image 20 is photographed. For example, when the object image 20 is inclined, only a part of the outline is counted because only a part of the outline is included in the area 22 because the outline part indicated by white in the area 22 is not included according to the size of the area. The number of pixels counted becomes smaller than the maximum value. Therefore, the notification is abnormal.

이상과 같이 본 발명의 도시된 실시 예를 참고하여 설명하고 있으나, 이는 예시적인 것들에 불과하며, 본 발명이 속하는 기술 분야의 통상의 지식을 가진자라면 본 발명의 요지 및 범위에 벗어나지 않으면서도 다양한 변형, 변경 및 균등한 타 실시 예들이 가능하다는 것을 명백하게 알 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적인 사상에 의해 정해져야 할 것이다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It will be apparent that modifications, variations and equivalents of other embodiments are possible. Therefore, the true scope of the present invention should be determined by the technical idea of the appended claims.

즉 상기 실시 예는 영상 획득부, 사물이미지 축소부, 윤곽선 검출부, 영역별 검색부, 판단부 등과 같이 일련의 구성을 스마트 폰에 포함시켜 사물 이미지의 위치를 판단하는 장치로 기재하고 있으나, 상기 구성들은 하나의 프로그램이나 소프트웨어로 제공되어 상기 사물 이미지의 위치가 적정 위치에 있는지를 수행할 수 있는 것이다. That is, the above embodiment is described as an apparatus for determining the location of an object image by including a series of components such as an image acquisition unit, an object image reduction unit, an outline detection unit, an area search unit, and a determination unit in a smart phone. They can be provided as a program or software to determine whether the position of the object image is in a proper position.

100 : 스마트 폰 110 : 카메라
120 : 조명 130 : 영상 획득부
140 : 사물 이미지 축소부 150 : 윤곽선 검출부
160 : 영역별 검색부 170 : 판단부100: smartphone 110: camera
120: lighting 130: image acquisition unit
140: object image reduction unit 150: contour detection unit
160: search unit by area 170: determination unit

Claims (6)

카메라로부터 실시간으로 영상 내의 사물 이미지를 추출하여 축소하는 단계;
상기 추출된 사물 이미지의 모서리에 따라 윤곽선을 검출하는 단계;
상기 사물 이미지에서 4개 영역을 추출하는 단계; 및
상기 4개 영역 내 상기 사물의 윤곽선의 색상 정보로 위치를 판단하는 단계;를 포함하는 모바일 기기 카메라 화면의 사물 위치 판단 방법.Extracting and reducing an object image in an image from a camera in real time;
Detecting an outline along an edge of the extracted object image;
Extracting four regions from the object image; And
And determining a location by using color information of an outline of the thing in the four areas. 상기 제 1항에 있어서,
상기 윤곽선을 검출하는 단계는,
상기 실시간 영상 이미지에 윤곽선 검출 필터를 마스킹하여 상기 윤곽선을 검출하는 단계인 것을 특징으로 하는 모바일 기기 카메라 화면의 사물 위치 판단 방법.The method of claim 1,
Detecting the contour,
And detecting the contour by masking an contour detection filter on the real-time video image. 상기 제1항에 있어서,
상기 4개 영역을 추출하는 단계는, 좌측 상단을 기준으로, 좌측 하단, 우측 상단, 및 우측 하단을 윤곽선이 검출된 영상의 가로 및 세로의 비율에 따라 일정 크기로 추출하는 단계인 것을 특징으로 하는 모바일 기기 카메라 화면의 사물 위치 판단 방법.The method of claim 1,
The extracting of the four regions may include extracting a lower left, an upper right, and a lower right with a predetermined size according to the ratio of the horizontal and vertical of the image of which the contour is detected, based on the upper left. How to determine the object location on the camera screen of the mobile device. 상기 제1항에 있어서,
상기 위치를 판단하는 단계는,
상기 4개 영역 내의 모든 픽셀에 대해서 각 픽셀의 색상 값를 획득하는 단계;
상기 색상 값을 기준값과 비교하는 단계;
상기 기준값보다 작은 픽셀 수를 카운트하는 단계; 및
상기 카운트 된 픽셀 수를 각 영역의 픽셀 높이 최대 값과 비교하는 단계를 포함하는 모바일 기기 카메라 화면의 사물 위치 판단 방법.The method of claim 1,
Determining the position,
Obtaining a color value of each pixel for every pixel in the four regions;
Comparing the color value with a reference value;
Counting the number of pixels smaller than the reference value; And
And comparing the counted number of pixels with a pixel height maximum value of each region. 제 4항에 있어서,
상기 픽셀 수를 카운트 하는 단계는, 상기 영역 내의 세로의 위치가 같고, 가로의 위치가 다른 픽셀에 대해서는 한번만 카운트되는 단계인 것을 특징으로 하는 모바일 기기 카메라 화면의 사물 위치 판단 방법.5. The method of claim 4,
The counting of the number of pixels may include counting only once for pixels having the same vertical position in the area and having different horizontal positions. 제 4항에 있어서,
상기 픽셀 수를 각 영역의 높이 최대 값과 비교하는 단계는, 높이 최대 값과 픽셀 수가 동일한 경우만 적정 위치로 판단하며, 상기 4개 영역이 모두 상기 적정 위치로 판단되는 경우 사물의 위치가 바르게 들어왔음을 판단하는 모바일 기기 카메라 화면의 사물 위치 판단 방법.5. The method of claim 4,
The step of comparing the number of pixels with the maximum height value of each region may be determined as a proper position only when the maximum height value and the number of pixels are the same, and when the four regions are determined to be the proper positions, the position of the object is correctly entered. How to determine the object location on the camera screen of the mobile device to determine that you have come.
KR1020120158369A 2012-12-31 2012-12-31 Methods for detecting optimal position for mobile device KR101384784B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120158369A KR101384784B1 (en) 2012-12-31 2012-12-31 Methods for detecting optimal position for mobile device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120158369A KR101384784B1 (en) 2012-12-31 2012-12-31 Methods for detecting optimal position for mobile device

Publications (1)

Publication Number Publication Date
KR101384784B1 true KR101384784B1 (en) 2014-04-21

Family

ID=50657552

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120158369A KR101384784B1 (en) 2012-12-31 2012-12-31 Methods for detecting optimal position for mobile device

Country Status (1)

Country Link
KR (1) KR101384784B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170098091A (en) * 2016-02-19 2017-08-29 대전대학교 산학협력단 Business card recognition apparatus and method
KR102054747B1 (en) * 2018-06-14 2019-12-11 연세대학교 산학협력단 Method and Apparatus for Recognizing Oblique Quadrilateral Area in Image
KR102488809B1 (en) * 2022-07-27 2023-01-18 주식회사 제이에스모바일 Method and apparatus for providing mobile business card service

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101053464B1 (en) * 2010-05-27 2011-08-03 (주) 에투시스템 Device for obtaining optical information, device for correcting wide angle image of wide angle camera and method therefor
KR20120074702A (en) * 2010-12-28 2012-07-06 (주)동아엘텍 Diagonal scan method for fast edge detection
KR20120074356A (en) * 2010-12-28 2012-07-06 한국과학기술연구원 A method and apparatus for contour-based object category recognition robust to viewpoint changes
KR20120121627A (en) * 2011-04-27 2012-11-06 경북대학교 산학협력단 Object detection and tracking apparatus and method thereof, and intelligent surveillance vision system using the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101053464B1 (en) * 2010-05-27 2011-08-03 (주) 에투시스템 Device for obtaining optical information, device for correcting wide angle image of wide angle camera and method therefor
KR20120074702A (en) * 2010-12-28 2012-07-06 (주)동아엘텍 Diagonal scan method for fast edge detection
KR20120074356A (en) * 2010-12-28 2012-07-06 한국과학기술연구원 A method and apparatus for contour-based object category recognition robust to viewpoint changes
KR20120121627A (en) * 2011-04-27 2012-11-06 경북대학교 산학협력단 Object detection and tracking apparatus and method thereof, and intelligent surveillance vision system using the same

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170098091A (en) * 2016-02-19 2017-08-29 대전대학교 산학협력단 Business card recognition apparatus and method
KR102054747B1 (en) * 2018-06-14 2019-12-11 연세대학교 산학협력단 Method and Apparatus for Recognizing Oblique Quadrilateral Area in Image
KR102488809B1 (en) * 2022-07-27 2023-01-18 주식회사 제이에스모바일 Method and apparatus for providing mobile business card service

Similar Documents

Publication Publication Date Title
US7916893B2 (en) Image processing apparatus, image processing method, and program
CA2867365C (en) Method, system and computer storage medium for face detection
JP6401873B2 (en) Region recognition method and apparatus
US10956715B2 (en) Decreasing lighting-induced false facial recognition
WO2017071061A1 (en) Region identification method and device
CN101599175B (en) Detection method for determining alteration of shooting background and image processing device
US9001219B2 (en) Image processing apparatus configured to detect object included in image and method therefor
KR101441786B1 (en) Subject determination apparatus, subject determination method and recording medium storing program thereof
US20070172123A1 (en) Image processing apparatus, image processing method and computer readable medium
WO2016101524A1 (en) Method and apparatus for correcting inclined shooting of object being shot, mobile terminal, and storage medium
CN111368819B (en) Light spot detection method and device
CN103500337A (en) Quadrangular side frame identifying method and device applied to intelligent wireless communication terminal
KR101384784B1 (en) Methods for detecting optimal position for mobile device
CN112507767B (en) Face recognition method and related computer system
KR102386982B1 (en) Method and apparatus for camera calibration using image analysis
US20130287249A1 (en) System and method for detecting moving objects using video capturing device
EP3175609B1 (en) Processing data representing an image
JP6175583B1 (en) Image processing apparatus, actual dimension display method, and actual dimension display processing program
CN106415528B (en) Translation device
KR20100081099A (en) Apparatus and method for out-focasing
CN107113380B (en) Computing system, method and machine-readable non-transitory storage medium
KR102501461B1 (en) Method and Apparatus for distinguishing forgery of identification card
WO2017208368A1 (en) Image processing device, image processing method, and program
KR20130086493A (en) Apparatus and method for controlling camera for locating scene text to proper position and size
CN112711961B (en) Information verification method, apparatus, electronic device and machine-readable storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170403

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190402

Year of fee payment: 6