KR100968244B1

KR100968244B1 - System for recognizing a specific subject in image and Method thereof

Info

Publication number: KR100968244B1
Application number: KR1020080008756A
Authority: KR
Inventors: 장동식; 유헌우; 강선도; 신영근
Original assignee: 고려대학교 산학협력단
Priority date: 2008-01-28
Filing date: 2008-01-28
Publication date: 2010-07-06
Also published as: KR20090082798A

Abstract

본 발명은 영상에서 특정 피사체를 인식하는 시스템 및 방법에 관한 것으로, 보다 상세하게는 여러 피사체가 표현된 영상에서 특정 피사체만을 인식할 수 있는 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for recognizing a specific subject in an image, and more particularly, to a system and a method for recognizing only a specific subject in an image in which several subjects are expressed.

본 명세서에서 개시하는 특정 피사체를 인식하는 시스템은 원 영상에 표현된 인식 대상 피사체를 다른 피사체로부터 분리하기 위해 상기 원 영상을 영상 정보의 특징이 동질인 영상으로 분할하는 원 영상 분할부; 상기 분할된 각 영상 중에서 상기 인식 대상 피사체가 차지하는 영역을 추출하기 위한 후보 영상을 선별하는 후보 영상 선별부; 및 상기 선별된 후보 영상으로부터 상기 인식 대상 피사체가 차지하는 영역을 추출하고, 상기 추출된 영역에 상기 인식 대상 피사체의 상기 원 영상에서의 색상을 결합하여 상기 인식 대상 피사체의 인식 영상을 도출하는 인식 영상 도출부를 포함하여 본 발명의 과제를 해결한다.The system for recognizing a specific subject disclosed herein includes: an original image divider for dividing the original image into an image having the same characteristics as the image information in order to separate the recognition target subject represented in the original image from another subject; A candidate image selecting unit which selects a candidate image for extracting an area occupied by the subject to be recognized from each of the divided images; And extracting a region occupied by the subject to be recognized from the selected candidate image and deriving a recognized image of the subject to be recognized by combining colors of the original image of the subject to be recognized with the extracted region. The problem of the present invention is solved including a part.

Description

영상에서 특정 피사체를 인식하는 시스템 및 방법{System for recognizing a specific subject in image and Method thereof}System for recognizing a specific subject in image and method

영상에서 주요 객체(Object of Interesting)를 추출하는 것은 영상처리 분야의 주요 관심사 중 하나이다. 주요 객체란 영상이 내포하고 있는 색상, 질감, 위치 등의 특징(Features)들 중에서 동질적인 영역(Homogeneous Region)을 기준으로 집합들로 나누어서 가장 중심이 될 수 있는 집합이라고 할 수 있다. 추출된 주요 객체는 내용기반 영상검색(Image Retrieval System based Contents), 영상압축, 의료영상해석(Visual medical analysis), 군사부분(military equipment development) 등 다양한 응용분야에 이용된다.Extracting the main object (Object of Interesting) from the image is one of the major concerns in the image processing field. The main object is a set that can be the most central by dividing into sets based on the homogeneous region among the features such as color, texture, and position of the image. The extracted main objects are used in various applications such as image retrieval system based contents, image compression, visual medical analysis, military equipment development.

일반적으로 객체를 추출하기 위해서는 영상분할(Image Segmentation) 작업이 선행 되어야 한다. 영상분할 방법 중 영역기반 방법(Region based Method)이 있는데, 이는 동일 영역은 색상, 질감 등이 유사하다라는 영상의 특성을 이용하였고, 에지(Edge) 기반 방법이 있는데 객체 사이의 에지에서 화소의 변화가 심하다는 가정을 이용하였다.In general, image segmentation must be performed to extract an object. Among the image segmentation methods, there is a region based method, which uses the characteristics of the image that the same area is similar in color, texture, etc., and there is an edge based method. The hypothesis was used.

한편 영상에서 주요객체를 자동으로 추출하는 방법이 있는데, 이는 영상을 다수 구역의 영역으로 분할하고 객체를 추출하기 위하여 색상, 질감, 형태 등에 따라 병합 과정을 수행하여 객체를 추출하는 방법이다.On the other hand, there is a method of automatically extracting the main object from the image, which is a method of extracting the object by merging the image according to the color, texture, shape, etc. in order to divide the image into a plurality of areas and to extract the object.

영상에서 주요 객체를 추출하는 것은 난이한 작업으로 모든 영상에 적용 가능한 알고리즘을 구현한다는 것은 많은 어려움이 따른다. 왜냐하면 영상에 포함된 객체는 유사한 색상으로 구성되는 경우도 있지만 다양한 색상, 형태와 질감으로 구성되는 경우도 많으며 다수의 객체가 존재하거나 특별히 나타낼 수 없는 영상도 있기 때문이다. 또한 가장 어려운 점으로 객체의 정의가 사람마다 다름을 들 수 있다.Extracting the main object from the image is a difficult task, and it is difficult to implement an algorithm applicable to all images. This is because an object included in an image may be composed of similar colors, but may be composed of various colors, shapes, and textures, and there may be a plurality of objects or images that cannot be represented in particular. The most difficult part is that the definition of an object varies from person to person.

사람마다 다른 인지적 요소로 인하여 발생하는 객체에 정의를 보완하기 위하여 인위적인 요소가 추가된 반자동(Semi-Automatic) 객체추출 방법이 있는데, 이에 의하면 주요 객체를 추출하는 과정에서 사용자가 임의로 의미있는 주요객체를 지정해주는 작업이 수행된다. 객체 추출 정확도는 높으나 자동을 요구하는 내용기반 영상 검색이나 빠른 결과를 요구하는 작업에서는 비효율적인 요소로 작용한다. 결국 대용량의 영상 데이터베이스에서 객체를 추출하기 위해서는 반자동 객체추출 방법보다는 자동화된 객체 추출 방법이 필요하다.There is a semi-automatic object extraction method in which artificial elements are added to supplement the definition caused by different cognitive elements for each person. The operation that specifies is performed. Although the accuracy of object extraction is high, it is inefficient for content-based image retrieval that requires automatic or fast result. As a result, in order to extract objects from a large image database, an automated object extraction method is required rather than a semi-automatic object extraction method.

본 발명은 상기한 배경하에 창안된 것으로 본 발명이 해결하고자하는 과제는 영상에서 특정 피사체를 그 피사체의 종류를 불문하고 자동적으로 인식(추출)할 수 있는 시스템 및 방법을 제공하는 것에 있다.SUMMARY OF THE INVENTION The present invention has been made under the above-described background, and an object of the present invention is to provide a system and method for automatically recognizing (extracting) a specific subject regardless of the type of the subject in an image.

상기와 같은 과제를 해결하기 위해 본 명세서에서 개시하는 특정 피사체를 인식하는 방법은In order to solve the above problems, a method of recognizing a specific subject disclosed herein

(a)원 영상에 표현된 인식 대상 피사체를 다른 피사체로부터 분리하기 위해 상기 원 영상을 영상 정보의 특징이 동질인 영상으로 분할하는 단계; (b)상기 분할된 각 영상 중에서 상기 인식 대상 피사체가 차지하는 영역을 추출하기 위한 후보 영상을 선별하는 단계; 및 (c)상기 선별된 후보 영상으로부터 상기 인식 대상 피사체가 차지하는 영역을 추출하고, 상기 추출된 영역에 상기 인식 대상 피사체의 상기 원 영상에서의 색상을 결합하여 상기 인식 대상 피사체의 인식 영상을 도출하는 단계를 포함하여 본 발명의 과제를 해결한다.(a) dividing the original image into an image having the same characteristics as the image information in order to separate the recognition target subject represented in the original image from another subject; (b) selecting a candidate image for extracting an area occupied by the subject to be recognized from each of the divided images; And (c) extracting an area occupied by the subject to be recognized from the selected candidate image and deriving a recognized image of the subject to be recognized by combining the extracted area with the color of the original image of the subject to be recognized. It includes the steps to solve the problem of the present invention.

상기와 같은 과제를 해결하기 위해 본 명세서에서 개시하는 특정 피사체를 인식하는 또 다른 방법은Another method for recognizing a specific subject disclosed herein to solve the above problems is

(a)원 영상에 표현된 인식 대상 피사체를 다른 피사체로부터 분리하기 위해 상기 원 영상을 영상 정보의 특징이 동질인 영상으로 분할하는 단계; (b)상기 분할된 각 영상 중에서 상기 인식 대상 피사체가 차지하는 영역을 추출하기 위한 후보 영상을 선별하는 단계; (c)상기 선별된 후보 영상에서 상기 차지하는 영역의 개수가 다수인지를 판단하는 단계; 및 (d)상기 개수가 다수인 경우, 그 중 하나의 영역 을 추출하고, 상기 추출된 하나의 영역에 상기 인식 대상 피사체의 상기 원 영상에서의 색상을 결합하여 상기 인식 대상 피사체의 인식 영상을 도출하는 단계를 포함하여 본 발명의 과제를 해결한다.(a) dividing the original image into an image having the same characteristics as the image information in order to separate the recognition target subject represented in the original image from another subject; (b) selecting a candidate image for extracting an area occupied by the subject to be recognized from each of the divided images; (c) determining whether the number of regions occupied by the selected candidate image is a large number; And (d) when the number is large, extracts one region from the image, and combines the color of the original image of the subject to be recognized into the extracted region to derive the recognition image of the subject to be recognized. Including the steps to solve the problem of the present invention.

상기와 같은 과제를 해결하기 위해 본 명세서에서 개시하는 특정 피사체를 인식하는 시스템은In order to solve the above problems, a system for recognizing a specific subject disclosed herein

원 영상에 표현된 인식 대상 피사체를 다른 피사체로부터 분리하기 위해 상기 원 영상을 영상 정보의 특징이 동질인 영상으로 분할하는 원 영상 분할부; 상기 분할된 각 영상 중에서 상기 인식 대상 피사체가 차지하는 영역을 추출하기 위한 후보 영상을 선별하는 후보 영상 선별부; 및 상기 선별된 후보 영상으로부터 상기 인식 대상 피사체가 차지하는 영역을 추출하고, 상기 추출된 영역에 상기 인식 대상 피사체의 상기 원 영상에서의 색상을 결합하여 상기 인식 대상 피사체의 인식 영상을 도출하는 인식 영상 도출부를 포함하여 본 발명의 과제를 해결한다.An original image dividing unit for dividing the original image into an image having the same characteristics as the image information in order to separate the recognition target subject represented in the original image from another subject; A candidate image selecting unit which selects a candidate image for extracting an area occupied by the subject to be recognized from each of the divided images; And extracting a region occupied by the subject to be recognized from the selected candidate image and deriving a recognized image of the subject to be recognized by combining colors of the original image of the subject to be recognized with the extracted region. The problem of the present invention is solved including a part.

상기와 같은 과제를 해결하기 위해 본 명세서에서 개시하는 특정 피사체를 인식하는 또 다른 시스템은Another system for recognizing a specific subject disclosed herein to solve the above problems is

원 영상에 표현된 인식 대상 피사체를 다른 피사체로부터 분리하기 위해 상기 원 영상을 영상 정보의 특징이 동질인 영상으로 분할하는 원 영상 분할부; 상기 분할된 각 영상 중에서 상기 인식 대상 피사체가 차지하는 영역을 추출하기 위한 후보 영상을 선별하는 후보 영상 선별부; 상기 선별된 후보 영상에서 상기 차지하는 영역의 개수가 다수인지를 판단하는 영역 개수 판단부; 및 상기 개수가 다수인 경우, 그 중 하나의 영역을 추출하고, 상기 추출된 하나의 영역에 상기 인식 대상 피사체의 상기 원 영상에서의 색상을 결합하여 상기 인식 대상 피사체의 인식 영상을 도출하는 인식 영상 도출부를 포함하여 본 발명의 과제를 해결한다.An original image dividing unit for dividing the original image into an image having the same characteristics as the image information in order to separate the recognition target subject represented in the original image from another subject; A candidate image selecting unit which selects a candidate image for extracting an area occupied by the subject to be recognized from each of the divided images; An area number determination unit that determines whether the number of areas occupied by the selected candidate image is large; And a recognition image for extracting one region from among the plurality of regions and combining the color of the original image of the subject to be recognized with the extracted one region to derive the recognition image of the subject to be recognized. Solving the problem of the present invention including a derivation unit.

본 발명을 이용하면 영상에 제시된 어떠한 피사체에 대해서도 추출을 행할 수 있기 때문에 영상 인식 기능의 범용성을 확보할 수 있다.According to the present invention, since any object presented in the image can be extracted, the versatility of the image recognition function can be ensured.

이하, 본 발명의 기술적 과제의 해결 방안을 명확화하기 위한 발명의 구성을 본 발명의 바람직한 실시예에 근거하여 첨부 도면을 참조하여 상세히 설명하되, 도면의 구성요소들에 참조번호를 부여함에 있어서 동일 구성요소에 대해서는 비록 다른 도면상에 있더라도 동일 참조번호를 부여하였으며 당해 도면에 대한 설명시 필요한 경우 다른 도면의 구성요소를 인용할 수 있음을 미리 밝혀둔다.Hereinafter, the configuration of the invention for clarifying the solution of the technical problem of the present invention will be described in detail with reference to the accompanying drawings based on the preferred embodiment of the present invention, the same configuration in the reference numerals to the components of the drawings The elements have been given the same reference numerals even though they are in different drawings, and it is noted that in the description of the drawings, components of other drawings may be cited if necessary.

도 1a는 본 시스템 발명의 바람직한 실시예의 구성을 제시한 도면이고, 도 1b는 본 방법 발명의 바람직한 흐름을 제시한 도면이다.Figure 1a is a diagram showing the configuration of a preferred embodiment of the present invention, Figure 1b is a diagram showing a preferred flow of the present invention.

본 발명에 의한 특정 피사체(특정 객체)를 인식(추출)하기 위해서는 피사체가 촬상된 영상(이하 '원 영상')을 영상 정보(휘도 신호, 색 신호 등)의 특징이 동질(homogeneous)인 각 영상으로 분할하는 것을 전제한다. 이를 소위 'image segmentation'이라 하며, 원 영상에서 관심 영역(region of interest, 주요 객체)을 추출하여 특정 객체와 배경을 분리해내는 것이다.In order to recognize (extract) a specific subject (specific object) according to the present invention, each image having a homogeneous characteristic of the image information (luminance signal, color signal, etc.) of the image of the subject (hereinafter, referred to as the "original image") Suppose you divide by. This is called 'image segmentation', and it extracts a region of interest (main object) from the original image to separate a specific object and a background.

이를 위해, 원 영상 분할부(11)의 단위 영상 도출부(111)는 원 영상에 표현된 인식 대상 피사체(주요 객체)를 다른 피사체(배경)로부터 분리하기 위해 원 영 상으로부터 영상 정보의 특징이 동질인 각 단위 영상을 도출하는데(S111), 도출을 행하는 여러 알고리즘이 있으나(예를 들어 Watershed algorithm, K-means algorithm, EM algorithm 등), 하드웨어와 소프트웨어의 부하(load) 측면을 고려할 때, K-means algorithm을 채용하는 것이 바람직하다. 이 알고리즘에 관한 자세한 사항은 이미 공지되어 있으므로 그 자세한 설명은 생략한다.To this end, the unit image deriving unit 111 of the original image dividing unit 11 has characteristics of image information from the original image in order to separate the recognition target subject (the main object) expressed in the original image from another subject (background). There are several algorithms for deriving each unit image that is homogeneous (S111) (e.g., Watershed algorithm, K-means algorithm, EM algorithm, etc.), but considering the load side of hardware and software, K It is preferable to employ the -means algorithm. Details of this algorithm are already known, so a detailed description thereof will be omitted.

도 2a 내지 도 2d에 원 영상과 그 원 영상이 K-means 알고리즘을 이용하여 분할된 각 단위 영상의 예가 제시되어 있다. 본 예에 의하면 원 영상이 3개의 단위 영상으로 분할됨을 알 수 있는데, 도 2a가 원 영상이며 도 2b 내지 도 2d는 원 영상으로부터 분할된 각 단위 영상으로 각각 제1 구역 영상(도 2b), 제2 구역 영상(도 2c), 제3 구역 영상(도 2d)이다. 3구역으로 분할한 이유는 인간은 3 내지 4개의 주요 색상(major color)으로 영상(객체)을 인식하는 경향이 있으며, 원 영상을 과도하게 분할시에 주요 객체 즉, 인식 대상 객체가 분산되는 결과를 초래할 수 있기 때문이다.2A to 2D show an example of each unit image in which the original image and the original image are divided using the K-means algorithm. According to this example, it can be seen that the original image is divided into three unit images. FIG. 2A is an original image, and FIGS. 2B to 2D are respective unit images divided from the original image, respectively. 2 zone image (FIG. 2C), 3 zone image (FIG. 2D). The reason for the division into three zones is that humans tend to recognize images (objects) with three to four major colors, and when the original image is excessively divided, the main object, that is, the object to be recognized is distributed. Because it can cause.

한편, 원 영상을 각 단위 영상으로 분할함에 있어, 인식 대상 피사체는 원 영상의 어느 한 구역에 집중되는 것이 아니라 여러 구역에 흩어진 경우가 다반사이다. 이 경우 단지 상기한 알고리즘만을 이용하여 원 영상에 대한 분할 절차를 종결시킨다면 단위 영상의 개수가 무한히 많아질 수 있으므로 차후에 인식 대상 피사체에 대한 인식(추출)의 정확성이 결여될 수 있다.On the other hand, in dividing the original image into each unit image, the subject to be recognized is not normally concentrated in one region of the original image but is scattered in several regions. In this case, if the segmentation procedure for the original image is terminated using only the above algorithm, the number of unit images may be infinitely large, and thus the accuracy of recognition (extraction) of the object to be recognized may be lacking.

따라서 본 발명에서는 이러한 인식(추출)의 정확성의 결여를 불식시키고자 상기 도출된 각 단위 영상을 병합시키는 조작을 행한다.Therefore, in the present invention, an operation of merging the derived unit images is performed to eliminate such a lack of accuracy of extraction (extraction).

이를 위해 히스토그램 유사도 판단부(112)는 상기 도출된 각 단위 영상의 영상 정보의 히스토그램 사이의 유사 여부를 판단한다(S112). 단위 영상간 히스토그램의 유사도가 1에 가까울수록 영상 특징이 더욱더 비슷한 것이다.To this end, the histogram similarity determination unit 112 determines whether the histograms of the image information of the derived unit image are similar (S112). The closer the histogram between unit images is to 1, the more similar the image features will be.

단위 영상 결정부(113)는 상기 판단된 유사도가 특정 임계값 이상을 갖는지 판단하여 히스토그램이 상호 유사한 단위 영상을 병합하여 하나의 단위 영상으로 결정하고, 특정 임계치 이하인 경우에는 단위 영상 도출부(111)에서 도출된 단위 영상을 그대로 하나의 단위 영상으로 결정한다(S113).The unit image determiner 113 determines whether the determined similarity has a specific threshold value or more and merges the unit images whose histograms are similar to each other, and determines the unit image as one unit image. The unit image derived from is determined as one unit image as it is (S113).

도 2b 내지 도 2d에 제시된 예시 영상들에는 유사도의 특정 임계값을 0.86으로 하여 이 임계값 이상을 갖는 각 단위 영상을 병합한다. 도 2b의 단위 영상과 도 2d의 단위 영상의 히스토그램 유사도가 0.96을 갖고 나머지 단위 영상간 유사도는 0.86 이하이므로 도 2b의 단위 영상과 도 2d의 단위 영상을 병합하여 하나의 단위 영상으로서 결정한다. 그 병합된 영상의 예가 도 3b에 해당된다. 도 3a는 히스토그램이 다른 단위 영상과 유사하지 아니하므로 그대로 독립적인 단위 영상으로서 결정된 영상으로 도 2c에 해당하는 영상이다.In the example images shown in FIGS. 2B to 2D, the unit image having the threshold value equal to or greater than 0.86 is merged. Since the histogram similarity between the unit image of FIG. 2B and the unit image of FIG. 2D has 0.96 and the similarity between the remaining unit images is 0.86 or less, the unit image of FIG. 2B and the unit image of FIG. 2D are merged to determine one unit image. An example of the merged image corresponds to FIG. 3B. 3A is an image corresponding to FIG. 2C as an image determined as an independent unit image since the histogram is not similar to other unit images.

원 영상이 각 단위 영상으로 최종 분할되고 나면, 후보 영상 선별부(12)는 인식 대상 피사체가 차지하는 영역을 추출하기 위해 원 영상 분할부(11)에 의해 분할된 단위 영상 중에서 후보 영상을 선별한다(S12).After the original image is finally divided into each unit image, the candidate image selector 12 selects the candidate image from among the unit images divided by the original image divider 11 to extract an area occupied by the subject to be recognized ( S12).

후보 영상의 선별은 단위 영상에 포함된 인식 대상 피사체의 영상구도를 그 기반으로 하여 이루어지는데, 단위 영상의 중앙 근처에 일정 영역을 차지하고 있는 관심 영역을 인식 대상 피사체가 차지하는 영역으로 한다.The selection of the candidate image is performed based on the image composition of the object to be recognized included in the unit image, and the region of interest occupying a certain area near the center of the unit image is an area occupied by the object to be recognized.

인식 대상 피사체의 위치를 영상구도 측면에서 살펴보면 가장 일반적인 구도는 영상 중앙에 위치시키는 원형구도(도 4a), 화면의 상하좌우를 나누어 대칭되는 효과를 주는 대칭구도(도 4b), 영상 아래쪽에 무게를 두어 안정감이 느껴지는 삼각형구도(도 4c), S자형구도(도 4d), 수평 및 수직 구도(도 4e와 도 4f) 등이 있다.Looking at the position of the object to be recognized in terms of the image composition, the most common composition is a circular composition (FIG. 4A) positioned at the center of the image, a symmetrical composition (FIG. 4B) that divides the top, bottom, left, and right sides of the screen, and a weight at the bottom of the image. There is a triangular composition (FIG. 4C), an S-shaped composition (FIG. 4D), a horizontal and vertical composition (FIGS. 4E and 4F), and the like, which can feel stability.

후보 영상의 선별을 위해 단위 영상 이진화부(121)는 원 영상 분할부(11)에 의해 최종 분할된 각 단위 영상(본 실시예에서는 도 3a와 도 3b)을 이진화시킨다(S121). 이진화시키는 이유는 원 영상 분할부(11)에 의해 원 영상을 단위 영상으로 분할하였지만(본 실시예에서는 도 3a와 도 3b의 두 단위 영상으로 분할) 어느 영역이 관심 영역인지를 알 수가 없기 때문이다. 단위 영상의 이진화는 각 단위 영상의 휘도의 특정 임계치(예를 들어 0.09)를 기준으로 이루어진다. 도 3a와 도 3b에 제시된 단위 영상을 이 특정 임계치를 기준으로 각각 이진화시킨 이진 영상의 예가 도 5a와 도 5b에 각각 제시되어 있다.In order to select candidate images, the unit image binarizer 121 binarizes each unit image (FIG. 3A and FIG. 3B in the present embodiment) which is finally divided by the original image divider 11 (S121). The reason for binarization is that the original image is divided into unit images by the original image divider 11 (in this embodiment, divided into two unit images of FIGS. 3A and 3B), but it is not known which region is the region of interest. . The binarization of the unit image is performed based on a specific threshold (eg, 0.09) of the luminance of each unit image. Examples of binary images in which the unit images shown in FIGS. 3A and 3B are respectively binarized based on this particular threshold are shown in FIGS. 5A and 5B, respectively.

후보 영상 확정부(122)는 이진화된 각 단위 영상(본 실시예에서는 도 5a와 도 5b)에 가중치를 부여하여 그 중 가중치 적용의 결과값이 최대인 단위 영상을 후보 영상으로 확정한다(S122).The candidate image determiner 122 weights each of the binarized unit images (FIGS. 5A and 5B in the present embodiment) and determines the unit image having the maximum resultant value as the candidate image among them (S122). .

이때 가중치의 부여는 영상의 크기에 해당하는 가중치 마스크라는 수단을 통해서 이루어지며, 그 가중치 마스크의 일례가 도 6에 제시되어 있다. 가중치 마스크는 각 단위 영상으로부터 주요 객체를 분리해 내기 위해 도입되는 것이다.In this case, the weight is assigned through a means called a weight mask corresponding to the size of the image, and an example of the weight mask is shown in FIG. 6. The weight mask is introduced to separate the main object from each unit image.

단위 영상의 가로 크기가 m이고, 세로 크기가 n일 때, 영상의 주요 객체는, 상기 언급한 영상구도(사진구도)의 원리를 참작하면, 통상적으로 영상을 가로와 세 로 각 3등분(m/3, n/3)으로 나누는 수직선과 수평선이 교차하는 지점에 위치하는 것이 가장 일반적이며, 영상을 9등분했을 때 외곽과 접하게 위치하게 해서는 바람직하지 아니하다.When the horizontal size of the unit image is m and the vertical size is n, the main object of the image is generally divided into three horizontal (vertical and vertical) images by considering the principle of the above-described image composition (photo composition). It is most common to be located at the intersection of the vertical line and the horizontal line divided by / 3, n / 3), and it is not preferable to place the image in contact with the outside when the image is divided into nine equal parts.

따라서 사진촬영의 일반원리 및 삼각구도(도 4c)를 기반으로 단위 영상 내에 있는 인식 대상 피사체의 탐지를 위하여 각 이진화 영상의 외곽에는 마이너스 가중치(-3, -2), 중심 하단에는 플러스 가중치(+1), 외곽과 객체 사이에는 제로 가중치(0)를 설정한 도 6에 제시된 바와 같은 가중치 마스크가 가장 바람직한 가중치 마스크의 형태가 된다.Therefore, in order to detect the subject to be recognized in the unit image based on the general principle of photography and triangular composition (FIG. 4C), a negative weight (-3, -2) is shown at the outside of each binarized image and a positive weight (+) at the bottom of the center. 1), the weight mask as shown in FIG. 6 in which a zero weight (0) is set between the outer edge and the object is the most preferable weight mask.

즉, 마이너스 가중치가 부여된 부분은 주요 객체(인식 대상 피사체)가 위치해서는 바람직하지 아니한 곳이고, 플러스 가중치가 부여된 부분은 주요 객체가 위치하기에 가장 바람직한 곳이며, 제로 가중치가 부여된 부분은 마이너스 가중치가 부여된 부분에 비해서는 위치하기에 바람직하고 플러스 가중치가 부여된 부분에 비해서는 덜 바람직한 곳을 나타내는 것이다.That is, the negative weighted portion is not desirable where the main object (a subject to be recognized) is located, the positive weighted portion is the most preferable place for the main object, and the zero weighted portion is It is preferred to be located relative to the negatively weighted portion and less desirable than to the positively weighted portion.

이때 상단, 좌우, 중앙, 하단의 가중치를 다르게 부여한 이유는 사진촬영 원리와 삼각구도에 따른 결과이다. 삼각구도는 도 4a 내지 도 4f에 제시된 원형구도 및 타 구도와 일정부문 일치하는 경향이 있다. 또한 위치적으로 상단에 있는 객체 보다는 하단에 있는 객체를 주요객체로 판정할 가능성이 높다. 따라서 도 6에 제시된 가중치 마스크의 형태가 가장 바람직하다.In this case, the weights of the top, left, right, center, and bottom are different according to the photographing principle and the triangle composition. The triangular plot tends to coincide in part with the circular and other plots shown in FIGS. 4A-4F. It is also more likely to determine the object at the bottom as the primary object rather than the object at the top position. Therefore, the form of the weight mask shown in Figure 6 is most preferred.

다만, 위에서 언급한 사진 촬영 원리와 삼각구도를 굳이 따르지 아니하는 경우에는 가중치 마스크를 그에 맞게 부여할 수 있다. 예를 들어 영상의 외곽 부분에 위치한 피사체를 인식하기 위해서는 가중치 마스크의 외곽에 플러스 가중치를 부여하고 나머지 부분에는 제로 내지는 마이너스 가중치를 부여하는 것도 충분히 상정할 수 있다.However, the weight mask may be assigned accordingly if the above-mentioned photographing principle and the triangle sphere are not strictly followed. For example, in order to recognize a subject located at an outer portion of an image, it may be sufficient to give a positive weight to an outer portion of the weight mask and to give a zero or negative weight to the remaining portions.

본 발명에 따른 실시예에 의하면 도 5b에 제시된 이진화 영상이 도 5a에 제시된 이진화 영상보다 가중치 적용 결과값이 크므로 후보 영상으로 선별된다.According to an embodiment of the present invention, since the binarized image shown in FIG. 5B has a greater weighting result than the binarized image shown in FIG. 5A, the binarized image is selected as a candidate image.

후보 영상이 선별되면, 인식 영상 도출부(14)는 선별된 후보 영상으로부터 인식 대상 피사체(주요 객체)가 차지하는 영역을 추출하고, 추출된 영역에 인식 대상 피사체의 원 영상에서의 색상을 결합하여 인식 대상 피사체의 인식 영상을 도출한다(S14).When the candidate image is selected, the recognition image derivation unit 14 extracts an area occupied by a recognition subject (main object) from the selected candidate image, and recognizes the combined region by combining colors of the original image of the recognition target subject. A recognition image of the target subject is derived (S14).

한편, 인식 대상 피사체가 차지하는 영역을 추출함에 있어서 그 영역의 개수가 다수인지를 판단하는 과정이 선행되는 것이 바람직하다. 차지하는 영역이 선별된 후보 영상의 여러 곳에 흩어져서 분포하는 경우 그 중에서 화소수가 특히 많은 영역이 인식 대상 피사체의 주요 부분 즉, 주요 객체(관심 영역)라고 볼 수 있으며, 주요 객체를 인식하는 것이 결국 인식 대상 피사체를 배경으로부터 추출하는 것에 대한 관건이기 때문이다.On the other hand, in extracting the area occupied by the subject to be recognized, it is preferable that the process of determining whether the number of the areas is large is preceded. If the occupied area is scattered and distributed in several places of the selected candidate image, the area having a particularly large number of pixels may be regarded as the main part of the subject to be recognized, that is, the main object (area of interest). This is because it is the key to extracting the subject from the background.

따라서, 영역 개수 판단부(13)는 선별된 후보 영상에서 인식 대상 피사체가 차지하는 영역의 개수가 다수인지를 판단하고(S13), 다수인 경우 각 영역에 레이블을 부여한다.Accordingly, the area number determiner 13 determines whether the number of areas occupied by the object to be recognized in the selected candidate image is large (S13), and in case of a large number, the areas are labeled.

인식 영상 도출부(14)는 레이블이 부여된 다수의 각 영역에 가중치 마스크를 적용하여 그 결과값이 최대인 하나의 영역 즉, 주요 객체(관심 영역)를 추출하여 그 주요 객체에 인식 대상 피사체의 원 영상에서의 색상을 결합하여 인식 대상 피사체의 인식 영상(결과 영상)을 도출한다(S14).The recognition image derivation unit 14 applies a weight mask to each of the plurality of labeled regions, extracts one region having a maximum result value, that is, a main object (area of interest), and extracts the subject to be recognized into the main object. In operation S14, a recognition image (result image) of the object to be recognized is derived by combining the colors of the original image.

보다 자세히 말하면, 영역 개수 판단부(13)는 인식 대상 피사체가 차지하는 영역의 개수가 2개 이상인 경우 영역의 개수를 n이라고 했을 때, 도 7a에 제시된 바와 같이, 각각의 영역을 1번부터 n번까지의 레이블을 부여하여 구별한다.In more detail, when the number of areas occupied by the object to be recognized is two or more, when the number of areas is n, the area number determination unit 13 may refer to each area 1 to n times as shown in FIG. 7A. Distinguish by labeling.

인식 영상 도출부(14)는 레이블이 부여된 각 영역에 대해 가중치 마스크를 적용하되 도 6에 제시된 가중치 마스크의 음수(좌측외곽, 우측외곽, 상단) 가중치가 부여된 부분에 접하지 않는 영역으로서 가장 많은 화소수를 가지는 영역을 주요 객체(관심 영역)로 추출한다. 가장 많은 화소수를 가지는 영역이 가중치 마스크를 적용한 결과값이 가장 큰 영역이다.The recognition image derivation unit 14 applies a weight mask to each labeled area, but does not touch the negative weighted portion (left outer, right outer, upper) of the weight mask shown in FIG. 6. An area having a large number of pixels is extracted as a main object (area of interest). The region having the largest number of pixels is the region having the largest value resulting from applying the weight mask.

도 7a는 각 영역에 레이블을 부여한 일례를 제시한 것이다. 도 7b 내지 도 7f는 영역의 크기 순서별로 일부를 차례대로 제시한 것인데, 도 7c 내지 도 7e와 같이 음수(좌측외곽, 우측외곽, 상단) 가중치가 부여된 부분과 접하고 있는 영역은 관심 영역에서 제외시킨다. 그리고 나머지 각 영역 중 최대 화소 수를 가지는 4번 영역(도 7b)을 주요 객체(관심 영역)로 추출한다.7A shows an example of labeling each region. 7B to 7F show a part of the area in order of size, and the areas in contact with the negative weighted parts (left outside, right outside, top) as shown in FIGS. 7C to 7E are excluded from the region of interest. Let's do it. The region 4 (FIG. 7B) having the maximum number of pixels among the remaining regions is extracted as the main object (region of interest).

인식 영상 도출부(14)는 이렇게 추출된 주요 객체에 인식 대상 피사체의 원 영상에서의 색상을 결합하여 인식 대상 피사체의 인식 영상(결과 영상)을 도출하게 되는 것이다. 도 8에 결과 영상의 일례가 제시되어 있다.The recognition image derivation unit 14 derives the recognition image (result image) of the recognition target subject by combining the extracted main objects with the colors of the original image of the subject to be recognized. An example of the resulting image is shown in FIG. 8.

본 방법발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.The present invention can also be embodied as computer readable code on a computer readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored.

컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and may be implemented in the form of a carrier wave (for example, transmission via the Internet) . The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

이제까지 본 발명에 대하여 그 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다.The present invention has been described above with reference to preferred embodiments thereof. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention.

그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 균등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.Therefore, the disclosed embodiments should be considered in descriptive sense only and not for purposes of limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the equivalent scope will be construed as being included in the present invention.

도 1a는 본 시스템 발명의 바람직한 실시예의 구성을 제시한 도면이다.1A is a diagram showing the configuration of a preferred embodiment of the present invention.

도 1b는 본 방법 발명의 바람직한 흐름을 제시한 도면이다.1b shows a preferred flow of the method invention.

도 2는 원 영상과 원 영상으로부터 분할된 영상의 일례를 제시한 도면이다.2 is a diagram illustrating an example of an original image and an image divided from the original image.

도 3은 단위 영상으로 확정된 영상의 일례를 제시한 도면이다.3 is a diagram illustrating an example of an image determined as a unit image.

도 4a 내지 도 4f는 사진 구도를 설명하기 위한 예시 영상들을 제시한 도면이다.4A to 4F are diagrams showing exemplary images for explaining a picture composition.

도 5a와 도 5b는 단위 영상으로 선별된 영상에 대해 이진화시킨 영상의 일례이다.5A and 5B illustrate examples of binarized images of images selected as unit images.

도 6은 후보 영상의 도출을 위해 적용되는 가중치 마스크의 일례이다.6 is an example of a weight mask applied for deriving a candidate image.

도 7a 내지 도 7f는 인식 영상의 도출을 위해 필요한 절차를 설명하기 위한 예시 영상의 일례이다.7A to 7F are examples of exemplary images for explaining a procedure required for deriving a recognized image.

도 8은 본 발명에 의한 결과 영상의 일례이다.8 is an example of the resultant image according to the present invention.

Claims

(a)원 영상에 표현된 인식 대상 피사체를 다른 피사체로부터 분리하기 위해 상기 원 영상을 영상 정보의 특징이 동질인 영상으로 분할하는 단계;(a) dividing the original image into an image having the same characteristics as the image information in order to separate the recognition target subject represented in the original image from another subject;

(b)상기 분할된 각 영상 중에서 상기 인식 대상 피사체가 차지하는 영역을 추출하기 위한 후보 영상을 선별하는 단계; 및(b) selecting a candidate image for extracting an area occupied by the subject to be recognized from each of the divided images; And

(c)상기 선별된 후보 영상으로부터 상기 인식 대상 피사체가 차지하는 영역을 추출하고, 상기 추출된 영역에 상기 인식 대상 피사체의 상기 원 영상에서의 색상을 결합하여 상기 인식 대상 피사체의 인식 영상을 도출하는 단계를 포함하는 영상에서 특정 피사체를 인식하는 방법.(c) extracting an area occupied by the subject to be recognized from the selected candidate image, and deriving a recognized image of the subject to be recognized by combining the extracted area with colors of the original image of the subject to be recognized; Recognizing a specific subject in the image comprising a.

제 1 항에 있어서, 상기 (a)단계는The method of claim 1, wherein step (a)

(a1)K-means 알고리즘을 이용하여 상기 원 영상으로부터 상기 영상 정보의 특징이 동질인 각 단위 영상을 도출하는 단계;(a1) deriving each unit image having the same features of the image information from the original image using a K-means algorithm;

(a2)상기 도출된 각 단위 영상의 영상 정보의 히스토그램 사이의 유사도를 판단하는 단계; 및(a2) determining similarity between histograms of image information of each derived unit image; And

(a3)상기 유사도가 특정 임계치 이상인 경우에는 상기 히스토그램이 유사한 단위 영상끼리 병합하여 하나의 단위 영상으로 결정하고, 상기 특정 임계치 이하인 경우에는 상기 (a1)단계에서 도출된 단위 영상을 그대로 하나의 단위 영상으로 결정하는 단계를 포함하는 것을 특징으로 하는 영상에서 특정 피사체를 인식하는 방 법.(a3) If the similarity is greater than or equal to a certain threshold, the histogram is determined to be a unit image by merging similar unit images, and when it is less than or equal to the specific threshold, the unit image derived in step (a1) is one unit image as it is. And recognizing a specific subject in the image.

제 2 항에 있어서, 상기 (b)단계는The method of claim 2, wherein step (b)

(b1)상기 하나의 단위 영상으로 결정된 각 단위 영상을 이진화하는 단계; 및(b1) binarizing each unit image determined as the single unit image; And

(b2)상기 이진화된 각 단위 영상에 가중치를 부여하여 상기 가중치 부여의 결과값이 최대인 단위 영상을 상기 후보 영상으로 확정하는 단계를 포함하고,(b2) assigning a weight to each of the binarized unit images to determine a unit image having a maximum resultant value as the candidate image,

상기 가중치의 부여는 상기 이진화된 각 단위 영상의 크기와 동일한 크기의 가중치 마스크를 설정하고 상기 설정된 가중치 마스크를 상기 이진화된 각 단위 영상에 적용하여 이루어지며,The weighting is performed by setting a weight mask having the same size as that of each of the binarized unit images, and applying the set weight mask to each of the binarized unit images.

상기 가중치 마스크는 플러스 가중치 블록, 제로 가중치 블록, 마이너스 가중치 블록으로 이루어지는 것을 특징으로 하는 영상에서 특정 피사체를 인식하는 방법.And the weight mask comprises a positive weight block, a zero weight block, and a negative weight block.

(b)상기 분할된 각 영상 중에서 상기 인식 대상 피사체가 차지하는 영역을 추출하기 위한 후보 영상을 선별하는 단계;(b) selecting a candidate image for extracting an area occupied by the subject to be recognized from each of the divided images;

(c)상기 선별된 후보 영상에서 상기 차지하는 영역의 개수가 다수인지를 판단하는 단계; 및(c) determining whether the number of regions occupied by the selected candidate image is a large number; And

(d)상기 개수가 다수인 경우, 그 중 하나의 영역을 추출하고, 상기 추출된 하나의 영역에 상기 인식 대상 피사체의 상기 원 영상에서의 색상을 결합하여 상기 인식 대상 피사체의 인식 영상을 도출하는 단계를 포함하는 영상에서 특정 피사체를 인식하는 방법.(d) when the number is large, extracting one region from the image, and combining the color of the original image of the subject to be detected with the extracted one region to derive the recognition image of the subject to be recognized; A method of recognizing a specific subject in an image comprising the step.

제 4 항에 있어서, 상기 (a)단계는The method of claim 4, wherein step (a)

(a3)상기 유사도가 특정 임계치 이상인 경우에는 상기 히스토그램이 유사한 단위 영상끼리 병합하여 하나의 단위 영상으로 결정하고, 상기 특정 임계치 이하인 경우에는 상기 (a1)단계에서 도출된 단위 영상을 그대로 하나의 단위 영상으로 결정하는 단계를 포함하는 것을 특징으로 하는 영상에서 특정 피사체를 인식하는 방법.(a3) If the similarity is greater than or equal to a certain threshold, the histogram is determined to be a unit image by merging similar unit images, and when it is less than or equal to the specific threshold, the unit image derived in step (a1) is one unit image as it is. And determining a specific subject in the image.

제 5 항에 있어서, 상기 (b)단계는The method of claim 5, wherein step (b)

제 4 항 내지 제 6 항 중 어느 한 항에 있어서, 상기 (d)단계는The method according to any one of claims 4 to 6, wherein step (d)

상기 각 영역 중 가장 많은 화소를 가지는 영역을 상기 하나의 영역으로 추출하여 이루어지는 것을 특징으로 하는 영상에서 특정 피사체를 인식하는 방법.And extracting an area having the most pixels among the areas into the one area.

제 1 항 내지 제 6 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.A computer-readable recording medium having recorded thereon a program for executing the method of claim 1 on a computer.

원 영상에 표현된 인식 대상 피사체를 다른 피사체로부터 분리하기 위해 상기 원 영상을 영상 정보의 특징이 동질인 영상으로 분할하는 원 영상 분할부;An original image dividing unit for dividing the original image into an image having the same characteristics as the image information in order to separate the recognition target subject represented in the original image from another subject;

상기 분할된 각 영상 중에서 상기 인식 대상 피사체가 차지하는 영역을 추출하기 위한 후보 영상을 선별하는 후보 영상 선별부; 및A candidate image selecting unit which selects a candidate image for extracting an area occupied by the subject to be recognized from each of the divided images; And

상기 선별된 후보 영상으로부터 상기 인식 대상 피사체가 차지하는 영역을 추출하고, 상기 추출된 영역에 상기 인식 대상 피사체의 상기 원 영상에서의 색상을 결합하여 상기 인식 대상 피사체의 인식 영상을 도출하는 인식 영상 도출부를 포함하는 영상에서 특정 피사체를 인식하는 시스템.A recognition image derivation unit extracting an area occupied by the subject to be recognized from the selected candidate image and deriving a recognized image of the subject to be recognized by combining the extracted area with the color of the original image of the subject to be recognized A system for recognizing a specific subject in an included image.

제 9 항에 있어서, 상기 원 영상 분할부는10. The method of claim 9, wherein the original image divider

K-means 알고리즘을 이용하여 상기 원 영상으로부터 상기 영상 정보의 특징이 동질인 각 단위 영상을 도출하는 단위 영상 도출부;A unit image derivation unit for deriving each unit image having the same feature of the image information from the original image using a K-means algorithm;

상기 도출된 각 단위 영상의 영상 정보의 히스토그램 사이의 유사도를 판단하는 히스토그램 유사도 판단부; 및A histogram similarity determination unit that determines similarity between histograms of the image information of each unit image derived; And

상기 유사도가 특정 임계치 이상인 경우에는 상기 히스토그램이 유사한 단위 영상끼리 병합하여 하나의 단위 영상으로 결정하고, 상기 특정 임계치 이하인 경우에는 상기 단위 영상 도출부에서 도출된 단위 영상을 그대로 하나의 단위 영상으로 결정하는 단위 영상 결정부를 포함하는 것을 특징으로 하는 영상에서 특정 피사체를 인식하는 시스템.When the similarity is greater than or equal to a certain threshold, the histogram is determined to be a unit image by merging similar unit images, and when less than or equal to the specific threshold, the unit image derived by the unit image derivation unit is determined as a unit image as it is. A system for recognizing a specific subject in an image, comprising a unit image determining unit.

제 10 항에 있어서, 상기 후보 영상 선별부는The method of claim 10, wherein the candidate image selector

상기 하나의 단위 영상으로 결정된 각 단위 영상을 이진화하는 단위 영상 이진화부; 및A unit image binarization unit for binarizing each unit image determined as the unit image; And

상기 이진화된 각 단위 영상에 가중치를 부여하여 상기 가중치 부여의 결과값이 최대인 단위 영상을 상기 후보 영상으로 확정하는 후보 영상 확정부를 포함하고,And a candidate image determination unit which weights each of the binarized unit images to determine a unit image having a maximum resultant value as the candidate image.

상기 후보 영상 확정부는 상기 가중치의 부여를 위해 상기 이진화된 각 단위 영상의 크기와 동일한 크기의 가중치 마스크를 설정하여 상기 설정된 가중치 마스크를 상기 이진화된 각 단위 영상에 적용하며,The candidate image determiner sets a weight mask having the same size as that of each of the binarized unit images to apply the weight, and applies the set weight mask to each of the binarized unit images.

상기 가중치 마스크는 플러스 가중치 블록, 제로 가중치 블록, 마이너스 가중치 블록으로 이루어지는 것을 특징으로 하는 영상에서 특정 피사체를 인식하는 시스템.And the weight mask comprises a positive weight block, a zero weight block, and a negative weight block.

상기 분할된 각 영상 중에서 상기 인식 대상 피사체가 차지하는 영역을 추출하기 위한 후보 영상을 선별하는 후보 영상 선별부;A candidate image selecting unit which selects a candidate image for extracting an area occupied by the subject to be recognized from each of the divided images;

상기 선별된 후보 영상에서 상기 차지하는 영역의 개수가 다수인지를 판단하는 영역 개수 판단부; 및An area number determination unit that determines whether the number of areas occupied by the selected candidate image is large; And

상기 개수가 다수인 경우, 그 중 하나의 영역을 추출하고, 상기 추출된 하나의 영역에 상기 인식 대상 피사체의 상기 원 영상에서의 색상을 결합하여 상기 인식 대상 피사체의 인식 영상을 도출하는 인식 영상 도출부를 포함하는 영상에서 특정 피사체를 인식하는 시스템.In the case where the number is large, a recognition image is derived which extracts one region from among the extracted regions and derives the recognition image of the subject to be recognized by combining the extracted color with the color of the original image of the subject to be recognized. A system for recognizing a specific subject in an image including a part.

제 12 항에 있어서, 상기 원 영상 분할부는The method of claim 12, wherein the original image divider

제 13 항에 있어서, 상기 후보 영상 선별부는The method of claim 13, wherein the candidate image selector

제 12 항 내지 제 14 항 중 어느 한 항에 있어서, 상기 인식 영상 도출부는The method of claim 12, wherein the recognition image derivation unit

상기 각 영역 중 가장 많은 화소를 가지는 영역을 상기 하나의 영역으로 추출하는 것을 특징으로 하는 영상에서 특정 피사체를 인식하는 시스템.And extracting an area having the most pixels among the areas into the one area.