KR20140035660A - Method and apparatus for extracting object region segmentation - Google Patents
Method and apparatus for extracting object region segmentation Download PDFInfo
- Publication number
- KR20140035660A KR20140035660A KR1020120102186A KR20120102186A KR20140035660A KR 20140035660 A KR20140035660 A KR 20140035660A KR 1020120102186 A KR1020120102186 A KR 1020120102186A KR 20120102186 A KR20120102186 A KR 20120102186A KR 20140035660 A KR20140035660 A KR 20140035660A
- Authority
- KR
- South Korea
- Prior art keywords
- mask
- image
- region
- generated
- binarization
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 영상으로부터 객체 영역을 추출하는 기법에 관한 것으로, 더욱 상세하게는 객체(예컨대, 사람 등) 검출 기능을 이용하여 입력 영상으로부터 객체 ROI 영역을 검출하고, 검출된 객체 ROI 영역에서 객체 영역과 배경 영역을 세분화하여 분리함으로써 객체의 실루엣을 정확하게 추출하는 데 적합한 객체 영역 추출 방법 및 그 장치에 관한 것이다.
The present invention relates to a technique for extracting an object region from an image, and more particularly, to detect an object ROI region from an input image by using an object (eg, a person) detection function, and to detect the object ROI region from the detected object ROI region. The present invention relates to an object region extraction method and apparatus suitable for accurately extracting an object silhouette by subdividing and separating a background region.
종래의 객체 영역 추출 방법으로는, 예컨대 객체(사람 등)의 실루엣을 이용하여 입력 영상의 에지와 매칭하거나, 객체의 몸체의 일부분을 학습하여 영상 내에서 매칭한 후 통합하거나, 객체의 다양한 자세를 학습하여 입력 영상에서 추출한 객체와 일치하는지 매칭하는 등과 같은 다양한 방법들이 있다.In the conventional method of extracting an object region, for example, a silhouette of an object (a person, etc.) is used to match an edge of an input image, or a part of an object's body is learned and matched in an image and then integrated, or various postures of an object are adjusted. There are various methods such as learning and matching whether or not matching objects extracted from the input image.
그러나, 객체가 사람인 경우라고 가정할 때, 사람의 신체는 자유도가 높아서 학습을 이용하여 사람 영역을 추출하는 방법은 기술적으로 그리 용이하지 않다는 문제가 있다.However, assuming that the object is a human, the human body has a high degree of freedom, and thus a method of extracting a human region using learning is not technically easy.
또한, 전통적인 영상 세그먼테이션 방법을 이용하여 객체 영역을 추출할 수도 있다. 일반적인 영상 세그먼테이션 방법 중 그래프(Graph) 기반의 영상 분할 알고리즘은 영상 내 각 픽셀의 컬러 값 사이의 상관관계를 이용하여 객체를 세그먼테이션하는 방법으로 사용자가 사전에 알려준 배경과 전경 정보를 기반으로 하여 배경과 전경에 소속된 픽셀을 클러스터링 과정을 통하여 분리하는 것으로 그래프 컷(Graph Cut) 기반의 영상 분할 알고리즘이 대표적이다.In addition, the object region may be extracted using a conventional image segmentation method. Graph-based image segmentation algorithm is a method of segmenting an object using the correlation between color values of each pixel in the image. A pixel cut based image segmentation algorithm is used to separate pixels belonging to the foreground through a clustering process.
이러한 그래프 컷 기반의 영상 분할 알고리즘은 계산량이 상대적으로 많다는 단점을 갖는 반면에, 비교적 좋은 성능을 보인다. 최근에는 이를 개선한 그랩 컷(Grab Cut) 기반의 영상 분할 알고리즘이 개발되었으며 현재 다양한 분야에서 적용되고 있다.
The graph cut-based image segmentation algorithm has a relatively large amount of computation, but shows relatively good performance. Recently, an image segmentation algorithm based on grab cut has been developed and is currently applied in various fields.
그러나, 종래의 그래프 기반의 영상 분할 알고리즘은 사용자가 배경과 전경에 대한 사전 정보를 미리 알려주어야 세그먼테이션이 가능하다는 근본적인 문제를 가지고 있다. 즉, 입력 영상에 대해 자동으로 세그먼테이션하는 것이 어렵다는 문제가 있다.However, the conventional graph-based image segmentation algorithm has a fundamental problem that segmentation is possible only when the user informs advance information about the background and foreground. That is, there is a problem that it is difficult to automatically segment the input image.
물론, 사용자의 수동 설정을 대신하여 다양한 방법으로 사전 정보를 제공할 수 있다. 즉, 객체의 크기, 모양 및 위치가 비교적 일정하다면 그러한 정보를 사전에 미리 설정해 둘 수도 있으나, 이러한 사전 설정 방법은 객체의 크기, 모양 및 위치의 변화가 다양한 사람과 같은 객체에 대해서는 적용하기가 어렵다는 문제가 있다.
Of course, the dictionary information may be provided in various ways instead of the user's manual setting. That is, if the size, shape and position of the object is relatively constant, such information may be preset in advance. However, this preset method is difficult to apply to an object such as a person whose variations in the size, shape, and position of the object vary. there is a problem.
본 발명은, 일 관점에 따라, 입력 영상으로부터 객체 ROI 영역을 추출하는 과정과, 배경 모델링을 통해 상기 입력 영상에 대한 전경 정보를 생성하는 과정과, 생성된 상기 전경 정보를 이용하여 객체 마스크를 생성하는 과정과, 상기 객체 ROI 영역과 생성된 상기 객체 마스크를 매칭시켜 객체 영역을 분리하는 과정을 포함하는 객체 영역 추출 방법을 제공한다.According to an aspect of the present invention, a process of extracting an object ROI region from an input image, generating foreground information on the input image through background modeling, and generating an object mask using the generated foreground information And separating the object region by matching the object ROI region with the generated object mask.
본 발명은, 다른 관점에 따라, 입력 영상으로부터 객체 ROI 영역을 추출하는 ROI 영역 추출 블록과, 배경 모델링 기법을 적용하여 상기 입력 영상에 대한 전경 정보를 생성하는 전경 생성 블록과, 생성된 상기 전경 정보를 이용하여 추출된 상기 객체 ROI 영역에 대응하는 객체 마스크를 생성하는 객체 마스크 생성 블록과, 상기 객체 ROI 영역과 생성된 상기 객체 마스크를 매칭시켜 객체 영역을 분리하는 객체 영역 분리 블록을 포함하는 객체 영역 추출 장치를 제공한다.According to another aspect, the present invention provides a ROI region extraction block for extracting an object ROI region from an input image, a foreground generation block for generating foreground information on the input image by applying a background modeling technique, and the generated foreground information. An object region including an object mask generation block for generating an object mask corresponding to the object ROI region extracted by using and an object region separation block for separating the object region by matching the object ROI region with the generated object mask Provide an extraction device.
또한, 본 발명의 상기 객체 마스크 생성 블록은, 생성된 상기 전경 정보를 스케러튼(skeleton) 이미지로 재구성하는 이미지 재구성부와, 재구성된 상기 스케러튼 이미지를 이용하여 상기 객체 마스크를 생성하는 객체 마스크 생성부를 포함할 수 있다.In addition, the object mask generation block of the present invention, an image reconstruction unit for reconstructing the generated foreground information into a skeleton image, and an object mask generation for generating the object mask using the reconstructed skeleton image It may include wealth.
또한, 본 발명의 상기 객체 영역 분리 블록은, 상기 객체 ROI 영역과 상기 객체 마스크를 매칭시켜 이진화 영상을 생성하는 이진화 영상 생성부와, 생성된 상기 이진화 영상에 대응하는 객체 이진화 마스크를 생성하는 이진화 마스크 생성부와, 상기 이진화 영상과 생성된 상기 객체 이진화 마스크를 이용하여 상기 객체 영역을 분리하는 객체 영역 분리부를 포함할 수 있다.The object region separation block may further include a binarization image generator for generating a binarization image by matching the object ROI region with the object mask, and a binarization mask for generating an object binarization mask corresponding to the generated binarization image. It may include a generator and an object region separator for separating the object region by using the binarization image and the generated object binarization mask.
그리고, 또한, 본 발명의 상기 이진화 영상 생성부는 그래프 기반 영상 분할 알고리즘을 통해 상기 매칭을 실행할 수 있으며, 상기 ROI 영역 추출 블록은 상기 입력 영상 내에 존재하는 객체를 포함하는 사각형 영역의 시작점 좌표와 가로, 세로 길이를 이용하여 상기 객체 ROI 영역을 추출할 수 있다.In addition, the binarization image generating unit of the present invention may execute the matching through a graph-based image segmentation algorithm, wherein the ROI region extraction block includes the starting point coordinates of the rectangular region including the object existing in the input image and the horizontal, The object ROI region may be extracted using a vertical length.
또한, 본 발명의 상기 전경 생성 블록은 상기 배경 모델링 기법을 통해 생성된 전체 전경 정보 중 추출된 상기 객체 ROI 영역으로 제한된 전경 정보를 생성할 수 있다.
In addition, the foreground generation block of the present invention may generate foreground information limited to the object ROI region extracted from the entire foreground information generated through the background modeling technique.
본 발명은, 입력 영상으로부터 객체 ROI 영역을 추출하고, 입력 영상에 대한 전경 정보를 생성하며, 생성된 전경 정보를 이용하여 객체 마스크를 생성한 후 객체 ROI 영역과 객체 마스크를 매칭시켜 객체 영역을 분리함으로써, 영상으로부터 다양한 크기, 모양 및 위치 변화를 갖는 객체를 효과적으로 추출할 수 있다.
The present invention extracts an object ROI region from an input image, generates foreground information on the input image, generates an object mask using the generated foreground information, and then separates the object region by matching the object ROI region and the object mask. By doing so, it is possible to effectively extract objects having various sizes, shapes, and position changes from the image.
도 1은 본 발명에 따른 객체 영역 추출 장치의 블록구성도,
도 2는 본 발명에 따라 입력 영상으로부터 객체 영역을 추출하는 주요 과정을 도시한 순서도,
도 3은 본 발명의 실현을 위해 객체 영역 추출에 필요한 객체 ROI 추출 과정과 객체 ROI 영역 내의 전경 정보를 추출하는 과정을 설명하기 위한 화면 예시도,
도 4는 본 발명의 실현을 위해 객체 영역 추출에 필요한 객체 마스크 생성에 사용될 스케러튼 영상을 생성하는 과정을 설명하기 위한 예시도,
도 5a 내지 5c는 본 발명의 실현을 위해 객체 영역 추출에 필요한 객체 마스크를 생성하는 과정을 설명하기 위한 마스크 예시도.1 is a block diagram of an object region extraction apparatus according to the present invention;
2 is a flowchart illustrating a main process of extracting an object region from an input image according to the present invention;
3 is an exemplary screen illustrating a process of extracting an object ROI required to extract an object region and a process of extracting foreground information in an object ROI region for realizing the present invention;
4 is an exemplary diagram for explaining a process of generating a scarrton image to be used for generating an object mask required for extracting an object region for realizing the present invention;
5A to 5C are exemplary masks for explaining a process of generating an object mask required for extracting an object region in order to realize the present invention.
먼저, 본 발명의 장점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어지는 실시 예들을 참조하면 명확해질 것이다. 여기에서, 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 발명의 범주를 명확하게 이해할 수 있도록 하기 위해 예시적으로 제공되는 것이므로, 본 발명의 기술적 범위는 청구항들에 의해 정의되어야 할 것이다.First, the advantages and features of the present invention, and how to accomplish them, will be made clear with reference to the embodiments to be described in detail with reference to the accompanying drawings. While the present invention has been described with reference to exemplary embodiments, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims.
아울러, 아래의 본 발명을 설명함에 있어서 공지 기능 또는 구성 등에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들인 것으로, 이는 사용자, 운용자 등의 의도 또는 관례 등에 따라 달라질 수 있음은 물론이다. 그러므로, 그 정의는 본 명세서의 전반에 걸쳐 기술되는 기술사상을 토대로 이루어져야 할 것이다.In the following description of the present invention, detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In addition, terms to be described below are terms defined in consideration of functions in the present invention, which may be changed according to intention or custom of a user, an operator, or the like. Therefore, the definition should be based on the technical idea described throughout this specification.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대하여 상세하게 설명한다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
[실시 예][Example]
도 1은 본 발명에 따른 객체 영역 추출 장치의 블록구성도로서, ROI(region of interest) 영역 추출 블록(102), 전경 생성 블록(104), 객체 마스크 생성 블록(106) 및 객체 영역 분리 블록(108) 등을 포함할 수 있다. 여기에서, 객체 마스크 생성 블록(106)은 이미지 재구성부(1062)와 객체 마스크 생성부(1064) 등을 포함할 수 있으며, 객체 영역 분리 블록(108)은 이진화 영상 생성부(1082), 이진화 마스크 생성부(1084) 및 객체 영역 분리부(1086) 등을 포함할 수 있다.1 is a block diagram of an object region extraction apparatus according to the present invention, which includes a region of interest (ROI)
도 1을 참조하면, ROI 영역 추출 블록(102)은 입력 영상으로부터 객체 ROI 영역을 추출하는 등의 기능을 제공할 수 있는데, 여기에서 객체 ROI 영역은, 예컨대 사람 ROI 영역을 의미할 수 있다. 즉, 입력 영상 전체에서 객체 영역을 추출하는 것은 성능과 속도 측면에서 손실이 매우 크므로, 이를 해결하기 위해 본 발명에서는 객체 검출 기법을 이용하여 객체 ROI 영역을 추출함으로써, 객체 추출을 위한 처리 영역을 전체 입력 영상에서 객체 ROI 영역으로 제한하여 그 계산량을 줄여 속도를 개선할 수 있다.Referring to FIG. 1, the ROI
여기에서, 객체 ROI 영역은 입력 영상 내에 존재하는 너비와 높이를 나타내는 객체 ROI 좌표를 이용하여 추출될 수 있다. 즉, ROI 영역 추출 블록(102)은 입력 영상 내에 존재하는 객체를 포함하는 사각형 영역의 시작점 좌표와 가로, 세로 길이를 이용하여 객체 ROI 영역을 추출한다.Here, the object ROI region may be extracted using object ROI coordinates representing the width and height existing in the input image. That is, the ROI
그리고, 전경 생성 블록(104)은 배경 모델링 기법을 적용하여 입력 영상에 대한 전경 정보(foreground information)를 생성하는 등의 기능을 제공할 수 있는데, 여기에서 생성되는 전경 정보는 배경 모델링을 통해 생성된 전체 전경 정보 중 ROI 영역 추출 블록(102)을 통해 추출된 객체 ROI 영역으로 제한된 전경 정보일 수 있으며, 여기에서 생성되는 전경 정보는 객체 마스크를 생성하는데 이용될 수 있다.In addition, the
도 3은 본 발명의 실현을 위해 객체 영역 추출에 필요한 객체 ROI 추출 과정과 객체 ROI 영역 내의 전경 정보를 추출하는 과정을 설명하기 위한 화면 예시도이다.FIG. 3 is an exemplary view illustrating an object ROI extraction process required to extract an object region and a process of extracting foreground information in an object ROI region for implementing the present invention.
도 3을 참조하면, 상단 부분의 그림은 입력 영상에서 사람(객체) 추출 기능의 결과로서 획득한 사람 영역인 (x, y, w, h)값을 이용하여 사람 ROI 영역을 추출하는 방법을 보여준다. 여기에서 (x, y)값은 사람 ROI 영역의 시작점인 x좌표와 y좌표를 나타내고, (w, h)값은 사람 ROI 영역의 시작점으로부터 사람 ROI 영역의 크기인 너비와 높이를 나타낸다.Referring to FIG. 3, the upper part of the figure shows a method of extracting a human ROI region using (x, y, w, h) values, which are human regions obtained as a result of a human (object) extraction function, from an input image. . Here, the (x, y) values represent the x and y coordinates, which are starting points of the human ROI region, and the (w, h) values represent the width and height, which is the size of the human ROI region from the starting point of the human ROI region.
즉, 전체 입력 영상에서 사람 ROI 좌표를 이용하여 사람 ROI 영역만을 추출하는데, 이것은 전체 입력 영상에서 사람 영역을 분리하는 것보다 시간과 성능 측면에서 좋은 특성을 보이기 때문이다.That is, only the human ROI region is extracted from the entire input image by using the human ROI coordinates because it shows better characteristics in terms of time and performance than separating the human region from the entire input image.
그리고, 하단 부분의 그림은 배경 모델링 기능을 통하여 배경 정보를 모델링한 후 첫 번째 입력 영상에 대하여 전경 정보를 추출한 그림에서 사람 ROI 영역인 (x, y, w, h)값을 이용하여 사람 ROI 영역에서의 전경 정보를 추출하는 방법을 보여주는데, 이 사람 ROI 영역에서의 전경 정보는 스케러튼(Skeleton) 이미지를 생성하는데 이용된다.And, the lower part of the figure shows the model of the background information through the background modeling function, and then the human ROI area using the (x, y, w, h) value of the human ROI area from the figure where the foreground information is extracted from the first input image. We show a method of extracting the foreground information from Equation. The foreground information in this human ROI region is used to generate a Skeleton image.
다음에, 객체 마스크 생성 블록(106)은 전경 생성 블록(104)을 통해 생성된 전경 정보를 이용하여 ROI 영역 추출 블록(102)에서 추출된 객체 ROI 영역에 대응하는 객체 마스크를 생성하는 등의 기능을 제공할 수 있는 것으로, 이를 위해 이미지 재구성부(1062)와 객체 마스크 생성부(1064)를 포함할 수 있다.Next, the object
먼저, 이미지 재구성부(1062)는 전경 생성 블록(104)을 통해 생성된 전경 정보(전체 전경 정보 중 추출된 객체 ROI 영역으로 제한된 전경 정보)를 스케러튼(skeleton) 이미지로 재구성하는 등의 기능을 제공할 수 있는데, 스케러튼 이미지는, 일예로서 도 4에 도시된 바와 같이, 주어진 이미지를 블록 형태가 아니라 라인 형태로 중심 부분의 뼈대만 나타나도록 이미지를 변형한 것이다.First, the
즉, 도 4는 본 발명의 실현을 위해 객체 영역 추출에 필요한 객체 마스크 생성에 사용될 스케러튼 영상을 생성하는 과정을 설명하기 위한 예시도이다.That is, FIG. 4 is an exemplary diagram for describing a process of generating a scarrton image to be used for generating an object mask required for extracting an object region in order to realize the present invention.
도 4를 참조하면, 추출된 사람 ROI 영역에서의 전경 정보를 이용하여 스케러튼 이미지를 생성하는데, 스케러튼 이미지를 생성하는 방법으로는, 예컨대 이로전(Erosion)을 여러 번 수행하는 방법과 같이 스케러튼 이미지를 생성하는 다양한 이미지 처리 방법을 적용할 수 있다.Referring to FIG. 4, a scarrton image is generated by using foreground information in the extracted human ROI region. As a method of generating the scarrton image, for example, a method of performing erosion several times is performed. Various image processing methods for generating Luton images can be applied.
그리고, 객체 마스크 생성부(1064)는 이미지 재구성부(1062)를 통해 재구성된 스케러튼 이미지를 이용하여 객체 마스크(사람 마스크)를 생성하는 등의 기능을 제공할 수 있다.The
도 5a 내지 5c는 본 발명의 실현을 위해 객체 영역 추출에 필요한 객체 마스크를 생성하는 과정을 설명하기 위한 마스크 예시도로서, 5a는 마스크 초기화 단계를, 5b는 마스크 ROI 셋팅 단계를, 5c는 마스크 배경/전경 셋팅 단계를 각각 도시한 것이다.5A to 5C are exemplary masks illustrating a process of generating an object mask required for extracting an object region in order to realize the present invention. 5A is a mask initialization step, 5b is a mask ROI setting step, and 5c is a mask background. Each of the / foreground setting steps is shown.
도 5a 내지 5c를 참조하면, 객체 ROI 영역과 동일한 크기의 객체 마스크를 생성하고, 객체 ROI 영역의 크기가 도 3에서 (w x h)였으므로 편의상 그와 동일한 크기로 표시한다. 생성된 객체 마스크를 모두“0”값으로 초기화하는데, 0의 값은“배경(Background)”을 의미하는 것으로 처음에는 객체 마스크 전체를 배경으로 설정한다.5A to 5C, an object mask having the same size as the object ROI area is generated, and the size of the object ROI area is (w x h) in FIG. Initializes all created object masks with a value of "0". A value of 0 means "background." Initially, the entire object mask is set as a background.
다음에, 객체 마스크를“0”으로 초기화한 후, 객체 후보 영역을 설정하고, 객체 영역이 존재할 만한 영역에 대하여“3”의 값을 설정하는데, 여기에서 3의 값은 “전전경(Pre-Foreground)”으로 객체 영역일 가능성이 있는 영역을 의미한다. 이는 객체 마스크의 일부 영역이 될 수도 있고, 전체 영역이 될 수도 있다.Next, after initializing the object mask to "0", the object candidate area is set, and the value of "3" is set for the area where the object area may exist, where the value of 3 is set to "foreground". Foreground ”means an area that may be an object area. This may be a partial area of the object mask or a whole area.
그리고, 객체 후보 영역이 설정되면 도 4에서 도시된 스케러튼 이미지를 참조하여“1”과 “2”의 값을 설정, 즉 생성된 스케러튼 이미지에 해당하는 픽셀은 “1”의 값으로 그렇지 않은 영역은“2”의 값으로 설정한다. 여기에서, 1의 값은“전경” 즉, 확실한 객체 영역임을 나타내고, 2의 값은 “전배경(Pre-Background”,즉 배경 후보 영역을 나타낸다. 이때, 객체 마스크를 생성하는데 입력 영상에서의 전경 정보를 사용하는 것은 다양한 객체(사람)의 크기와 자세를 즉시 반영할 수 있으므로 정확한 객체(사람) 영역 분리가 가능하다.When the object candidate region is set, values of “1” and “2” are set with reference to the scarrton image shown in FIG. 4, that is, pixels corresponding to the generated scarrton image are values of “1”. Set the area to the value "2". Here, a value of 1 indicates a "foreground", that is, a certain object area, and a value of 2 indicates a "pre-background," that is, a background candidate area, in which the foreground in the input image is used to generate an object mask. Using information can accurately reflect the size and posture of various objects (people), allowing accurate object (person) area separation.
다시 도 1을 참조하면, 객체 영역 분리 블록(108)은 객체 ROI 영역과 객체 마스크 생성부(1064)를 통해 생성된 객체 마스크를 매칭시켜 객체 영역을 분리하는 등의 기능을 제공할 수 있는데, 객체 ROI 영역과 객체 마스크간의 매칭은, 예컨대 그래프 기반 영상 분할 알고리즘을 이용하여 수행될 수 있으며, 이를 위해 객체 영역 분리 블록(108)은 이진화 영상 생성부(1082), 이진화 마스크 생성부(1084) 및 객체 영역 분리부(1086) 등을 포함할 수 있다.Referring back to FIG. 1, the object
먼저, 이진화 영상 생성부(1082)는 객체 ROI 영역과 객체 마스크를 매칭시켜 이진화 영상을 생성하는 등의 기능을 제공할 수 있는데, 즉 매칭이 수행되고 나면, 전경에 해당하는 정보는 1, 배경에 해당하는 정보는 0으로 나타나는데, 이를 이진화 영상이라고 한다. 이진화된 영상에서 전경에 해당하는 1은 추출된 객체 ROI 영역에서 객체 영역을 나타내며, 배경에 해당하는 0은 객체 ROI 영역에서 배경 영역을 나타낸다.First, the binarization
다음에, 이진화 마스크 생성부(1084)는 이진화 영상 생성부(1082)를 통해 생성된 이진화 영상에 대응하는 객체 이진화 마스크를 생성하는 등의 기능을 제공할 수 있는데, 여기에서 생성되는 객체 이진화 마스크는 객체 영역 분리부(1086)로 전달된다.Next, the
그리고, 객체 영역 분리부(1086)는 이진화 영상 생성부(1082)를 통해 생성된 이진화 영상과 이진화 마스크 생성부(1084)를 통해 생성된 객체 이진화 마스크를 이용하여 객체 ROI 영역으로부터 객체 영역을 분리하는 등의 기능을 제공할 수 있다.The
한편, 객체 영역을 추출하기 위하여 입력 값인 객체 ROI 값을 제공하는 객체 검출 함수와 객체 ROI의 전경 정보를 제공하는 배경 모델링 함수가 가진 에러 값을 최종 객체 영역 추출을 통해 나온 결과 값을 이용하여 보정할 수 있다. 예컨대, 객체 검출 함수를 통해 나온 객체 ROI 영역이 객체를 포함하여 넓은 배경 영역을 포함하고 있는 사각 영역이라면 최종 객체 영역 추출을 통해 나온 결과 값을 이용하여 객체(사람)만 포함된 사각 영역으로 사각 영역의 크기를 줄일 수 있는데, 이를 통해 객체 검출 함수의 성능 개선 효과를 기대할 수 있다.Meanwhile, the error values of the object detection function that provides the object ROI value as the input value and the background modeling function that provides the foreground information of the object ROI are corrected by using the result values obtained through the final object area extraction. Can be. For example, if the object ROI area obtained through the object detection function is a rectangular area including a wide background area including an object, the rectangular area includes only an object (person) by using the result value obtained through the final object area extraction. It can reduce the size of, which can be expected to improve the performance of the object detection function.
다음에, 상술한 바와 같은 구성을 갖는 본 발명의 객체 영역 추출 장치를 이용하여 입력 영상으로부터 객체 영역을 추출하는 일련의 과정들에 대하여 상세하게 설명한다.Next, a series of processes for extracting the object region from the input image using the object region extraction apparatus of the present invention having the above-described configuration will be described in detail.
도 2는 본 발명에 따라 입력 영상으로부터 객체 영역을 추출하는 주요 과정을 도시한 순서도이다.2 is a flowchart illustrating a main process of extracting an object region from an input image according to the present invention.
도 2를 참조하면, ROI 영역 추출 블록(102)에서는 객체 검출 기법을 통해 입력 영상으로부터 객체 ROI 영역을 추출하는 데(단계 202), 여기에서 추출되는 객체 ROI 영역은 입력 영상 내에 존재하는 너비와 높이를 나타내는 객체 ROI 좌표를 이용하여 추출될 수 있다. 즉, 입력 영상 내에 존재하는 객체를 포함하는 사각형 영역의 시작점 좌표와 가로, 세로 길이를 이용하여 객체 ROI 영역을 추출할 수 있다.Referring to FIG. 2, the ROI
다음에, 전경 생성 블록(104)에서는 배경 모델링 기법을 통해 입력 영상에 대한 전경 정보를 생성하는데(단계 204), 여기에서 생성되는 전경 정보는 전체 전경 정보 중 추출된 객체 ROI 영역으로 제한된 전경 정보이다.Next, the
그리고, 이미지 재구성부(1062)에서는 생성된 전경 정보(적, 전체 전경 정보 중 추출된 객체 ROI 영역으로 제한된 전경 정보)를 스케러튼 이미지로 재구성하는데(단계 206), 이러한 스케러튼 이미지는, 일예로서 도 4에 도시된 바와 같이, 주어진 이미지를 블록 형태가 아니라 라인 형태로 중심 부분의 뼈대만 나타나도록 이미지가 변형된 것이다.The
이후, 객체 마스크 생성부(1064)에서는 이미지 재구성부(1062)를 통해 재구성된 스케러튼 이미지를 이용하여 객체 마스크(사람 마스크)를 생성한다(단계 208).Thereafter, the
다음에, 이진화 영상 생성부(1082)에서는, 예컨대 그래프 기반 영상 분할 알고리즘을 이용하여 객체 ROI 영역과 객체 마스크를 매칭시킴으로써 이진화 영상을 생성하는데(단계 210), 여기에서 이진화 영상은 전경에 해당하는 정보는 1, 배경에 해당하는 정보는 0으로 나타난다.Next, the
그리고, 이진화 마스크 생성부(1084)에서는 생성된 이진화 영상에 대응하는 객체 이진화 마스크를 생성하며(단계 212), 객체 영역 분리부(1086)에서는 이진화 영상 생성부(1082)를 통해 생성된 이진화 영상과 이진화 마스크 생성부(1084)를 통해 생성된 객체 이진화 마스크를 이용하여 객체 ROI 영역으로부터 객체 영역을 분리한다(단계 214).The
한편, 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리 등에 저장되는 것도 가능하므로, 그 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다. In the meantime, each block of the accompanying block diagrams and combinations of steps of the flowchart may be performed by computer program instructions. These computer program instructions may be loaded into a processor of a general purpose computer, special purpose computer, or other programmable data processing apparatus so that the instructions, which may be executed by a processor of a computer or other programmable data processing apparatus, And means for performing the functions described in each step are created. These computer program instructions may also be stored in a computer usable or computer readable memory capable of directing a computer or other programmable data processing apparatus to implement the functionality in a particular manner, It is also possible for the instructions stored in the block diagram to produce a manufacturing item containing instruction means for performing the functions described in each block or flowchart of the block diagram. Computer program instructions may also be stored on a computer or other programmable data processing equipment so that a series of operating steps may be performed on a computer or other programmable data processing equipment to create a computer- It is also possible that the instructions that perform the processing equipment provide the steps for executing the functions described in each block of the block diagram and at each step of the flowchart.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 적어도 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.Also, each block or each step may represent a module, segment, or portion of code that includes at least one or more executable instructions for executing the specified logical function (s). It should also be noted that in some alternative embodiments, the functions mentioned in the blocks or steps may occur out of order. For example, two blocks or steps shown in succession may in fact be performed substantially concurrently, or the blocks or steps may sometimes be performed in reverse order according to the corresponding function.
이상의 설명은 본 발명의 기술사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경 등이 가능함을 쉽게 알 수 있을 것이다. 즉, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것으로서, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 따라서, 본 발명의 보호 범위는 후술되는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the present invention as defined by the following claims. It is easy to see that this is possible. That is, the embodiments disclosed in the present invention are not intended to limit the scope of the present invention but to limit the scope of the present invention. Therefore, the scope of protection of the present invention should be construed in accordance with the following claims, and all technical ideas within the scope of equivalents should be interpreted as being included in the scope of the present invention.
102 : ROI 영역 추출 블록 104 : 전경 생성 블록
106 : 객체 마스크 생성 블록 108 : 객체 영역 분리 블록
1062 : 이미지 재구성부 1064 : 객체 마스크 생성부
1082 : 이진화 영상 생성부 1084 : 이진화 마스크 생성부
1086 : 객체 영역 분리부102: ROI region extraction block 104: foreground generation block
106: object mask generation block 108: object area separation block
1062: image reconstruction unit 1064: object mask generation unit
1082: binarization image generator 1084: binarization mask generator
1086: Object Region Separators
Claims (12)
배경 모델링을 통해 상기 입력 영상에 대한 전경 정보를 생성하는 과정과,
생성된 상기 전경 정보를 이용하여 객체 마스크를 생성하는 과정과,
상기 객체 ROI 영역과 생성된 상기 객체 마스크를 매칭시켜 객체 영역을 분리하는 과정
을 포함하는 객체 영역 추출 방법.
Extracting an object ROI region from the input image;
Generating foreground information on the input image through background modeling;
Generating an object mask using the generated foreground information;
Separating an object region by matching the object ROI region with the generated object mask
Object area extraction method comprising a.
상기 객체 ROI 영역은,
상기 입력 영상 내에 존재하는 너비와 높이를 나타내는 객체 ROI 좌표를 이용하여 추출되는
객체 영역 추출 방법.
The method of claim 1,
The object ROI area is,
Extracted using an object ROI coordinate representing a width and a height existing in the input image
How to extract the object area.
상기 전경 정보는,
상기 배경 모델링을 통해 생성된 전체 전경 정보 중 추출된 상기 객체 ROI 영역으로 제한된 전경 정보인
객체 영역 추출 방법.
The method of claim 1,
The foreground information,
Foreground information limited to the object ROI region extracted from the entire foreground information generated through the background modeling.
How to extract the object area.
상기 객체 마스크를 생성하는 과정은,
생성된 상기 전경 정보를 스케러튼(skeleton) 이미지로 재구성하는 과정과,
재구성된 상기 스케러튼 이미지를 이용하여 상기 객체 마스크를 생성하는 과정
을 포함하는 객체 영역 추출 방법.
The method of claim 1,
The process of generating the object mask,
Reconstructing the generated foreground information into a skeleton image;
Generating the object mask using the reconstructed Scarlettton image
Object area extraction method comprising a.
상기 객체 영역을 분리하는 과정은,
상기 객체 ROI 영역과 상기 객체 마스크를 매칭시켜 이진화 영상을 생성하는 과정과,
객체 이진화 마스크를 생성하는 과정과,
생성된 상기 이진화 영상과 생성된 상기 객체 이진화 마스크를 이용하여 상기 객체 영역을 분리하는 과정
을 포함하는 객체 영역 추출 방법.
The method of claim 1,
The process of separating the object area,
Generating a binary image by matching the object ROI region with the object mask;
Creating an object binarization mask,
Separating the object area by using the generated binarization image and the generated object binarization mask
Object area extraction method comprising a.
상기 매칭은,
그래프 기반 영상 분할 알고리즘을 통해 수행되는
객체 영역 추출 방법.
The method of claim 5, wherein
The matching is,
Through a graph-based image segmentation algorithm
How to extract the object area.
배경 모델링 기법을 적용하여 상기 입력 영상에 대한 전경 정보를 생성하는 전경 생성 블록과,
생성된 상기 전경 정보를 이용하여 추출된 상기 객체 ROI 영역에 대응하는 객체 마스크를 생성하는 객체 마스크 생성 블록과,
상기 객체 ROI 영역과 생성된 상기 객체 마스크를 매칭시켜 객체 영역을 분리하는 객체 영역 분리 블록
을 포함하는 객체 영역 추출 장치.
A ROI region extraction block for extracting an object ROI region from the input image;
A foreground generation block for generating foreground information on the input image by applying a background modeling technique;
An object mask generation block for generating an object mask corresponding to the object ROI region extracted by using the generated foreground information;
An object region separation block that separates an object region by matching the object ROI region with the generated object mask
Object area extraction apparatus comprising a.
상기 객체 마스크 생성 블록은,
생성된 상기 전경 정보를 스케러튼(skeleton) 이미지로 재구성하는 이미지 재구성부와,
재구성된 상기 스케러튼 이미지를 이용하여 상기 객체 마스크를 생성하는 객체 마스크 생성부
를 포함하는 객체 영역 추출 장치.
The method of claim 7, wherein
The object mask generation block,
An image reconstruction unit for reconstructing the generated foreground information into a skeleton image;
An object mask generator configured to generate the object mask using the reconstructed scarletton image
Object area extraction apparatus comprising a.
상기 객체 영역 분리 블록은,
상기 객체 ROI 영역과 상기 객체 마스크를 매칭시켜 이진화 영상을 생성하는 이진화 영상 생성부와,
생성된 상기 이진화 영상에 대응하는 객체 이진화 마스크를 생성하는 이진화 마스크 생성부와,
상기 이진화 영상과 생성된 상기 객체 이진화 마스크를 이용하여 상기 객체 영역을 분리하는 객체 영역 분리부
를 포함하는 객체 영역 추출 장치.
The method of claim 7, wherein
The object region separation block,
A binarization image generator for generating a binarization image by matching the object ROI region with the object mask;
A binarization mask generator for generating an object binarization mask corresponding to the generated binarization image;
An object region separator configured to separate the object region by using the binarization image and the generated object binarization mask
Object area extraction apparatus comprising a.
상기 이진화 영상 생성부는,
그래프 기반 영상 분할 알고리즘을 통해 상기 매칭을 실행하는
객체 영역 추출 장치.
The method of claim 9,
The binarization image generator,
The matching is performed through a graph-based image segmentation algorithm.
Object area extraction device.
상기 ROI 영역 추출 블록은,
상기 입력 영상 내에 존재하는 객체를 포함하는 사각형 영역의 시작점 좌표와 가로, 세로 길이를 이용하여 상기 객체 ROI 영역을 추출하는
객체 영역 추출 장치.
The method of claim 7, wherein
The ROI region extraction block,
Extracting the object ROI region using the starting point coordinates of the rectangular region including the object existing in the input image and the horizontal and vertical lengths
Object area extraction device.
상기 전경 생성 블록은,
상기 배경 모델링 기법을 통해 생성된 전체 전경 정보 중 추출된 상기 객체 ROI 영역으로 제한된 전경 정보를 생성하는
객체 영역 추출 장치.The method of claim 7, wherein
The foreground generation block,
Generating foreground information limited to the object ROI region extracted from the entire foreground information generated through the background modeling technique
Object area extraction device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120102186A KR20140035660A (en) | 2012-09-14 | 2012-09-14 | Method and apparatus for extracting object region segmentation |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120102186A KR20140035660A (en) | 2012-09-14 | 2012-09-14 | Method and apparatus for extracting object region segmentation |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20140035660A true KR20140035660A (en) | 2014-03-24 |
Family
ID=50645438
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120102186A KR20140035660A (en) | 2012-09-14 | 2012-09-14 | Method and apparatus for extracting object region segmentation |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20140035660A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019132589A1 (en) * | 2017-12-29 | 2019-07-04 | (주)제이엘케이인스펙션 | Image processing device and method for detecting multiple objects |
KR102645876B1 (en) | 2023-09-21 | 2024-03-11 | 주식회사 한올이엔씨 | Artificial intelligence-based environmental impact assessment method, device, and system using prior data from similar environments |
-
2012
- 2012-09-14 KR KR1020120102186A patent/KR20140035660A/en not_active Application Discontinuation
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019132589A1 (en) * | 2017-12-29 | 2019-07-04 | (주)제이엘케이인스펙션 | Image processing device and method for detecting multiple objects |
KR102645876B1 (en) | 2023-09-21 | 2024-03-11 | 주식회사 한올이엔씨 | Artificial intelligence-based environmental impact assessment method, device, and system using prior data from similar environments |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109409335B (en) | Image processing method, image processing device, computer readable medium and electronic equipment | |
EP2080167B1 (en) | System and method for recovering three-dimensional particle systems from two-dimensional images | |
CN111861872B (en) | Image face changing method, video face changing method, device, equipment and storage medium | |
US9576347B2 (en) | Structure analysis method for recovering missing structures in an image after object removal | |
EP3503023B1 (en) | Improved age modelling method | |
WO2006103594A3 (en) | A method, a system and a computer program for segmenting a structure in a dataset | |
JP6409433B2 (en) | Image generation apparatus, image detection system, and image generation method | |
CN108875586B (en) | Functional limb rehabilitation training detection method based on depth image and skeleton data multi-feature fusion | |
KR20160053749A (en) | Method and systems of face expression features classification robust to variety of face image appearance | |
CN115496864B (en) | Model construction method, model reconstruction device, electronic equipment and storage medium | |
CN111222379A (en) | Hand detection method and device | |
JP6787844B2 (en) | Object extractor and its superpixel labeling method | |
KR101967858B1 (en) | Apparatus and method for separating objects based on 3D depth image | |
KR20140035660A (en) | Method and apparatus for extracting object region segmentation | |
CN115222895B (en) | Image generation method, device, equipment and storage medium | |
JP6312991B2 (en) | Image output device | |
KR101620556B1 (en) | Method for Biometric Detection | |
CN115880748A (en) | Face reconstruction and occlusion region identification method, device, equipment and storage medium | |
JP6429323B2 (en) | Object extraction method and apparatus | |
Kong et al. | Essential human body points tracking using kalman filter | |
Kusakunniran | Extracting gait figures in a video based on markerless motion | |
Pourjam et al. | Segmentation of Human Instances Using Grab-cut and Active Shape Model Feedback. | |
Shen et al. | Unsupervised human skeleton extraction from Kinect depth images | |
CN106558018B (en) | The unreal structure method and device of video human face that Component- Based Development decomposes | |
Lai et al. | Surface-based background completion in 3D scene |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |