KR20110032537A - Unsupervised foreground segmentation method and system using background elimination and graph cut techniques - Google Patents
Unsupervised foreground segmentation method and system using background elimination and graph cut techniques Download PDFInfo
- Publication number
- KR20110032537A KR20110032537A KR1020090090077A KR20090090077A KR20110032537A KR 20110032537 A KR20110032537 A KR 20110032537A KR 1020090090077 A KR1020090090077 A KR 1020090090077A KR 20090090077 A KR20090090077 A KR 20090090077A KR 20110032537 A KR20110032537 A KR 20110032537A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- region
- background
- resizing
- segmentation
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000011218 segmentation Effects 0.000 title claims description 8
- 230000008030 elimination Effects 0.000 title 1
- 238000003379 elimination reaction Methods 0.000 title 1
- 238000003709 image segmentation Methods 0.000 claims abstract description 55
- 239000000284 extract Substances 0.000 claims abstract description 8
- 230000000052 comparative effect Effects 0.000 claims description 23
- 238000009792 diffusion process Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 abstract description 9
- 238000005516 engineering process Methods 0.000 description 11
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000007796 conventional method Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 230000036963 noncompetitive effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
- G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 영상을 유사한 영역으로 나누는 영상 분할 및 주요 객체 영역을 추출하는 기술로서 영상 처리 분야의 기반 기술이다. 본 발명은 영상 검색, 영상 분류, 정지 영상 및 동영상 압축(JPEG-2000, MPEG-4, H.264), 디지털 워터마킹, 객체 인식 등 영상 내의 관심 객체를 자동으로 추출하는 기술을 요구하는 모든 영상 처리 분야와 관련이 있다. The present invention is a technology for image segmentation and main object region extraction that divides an image into similar regions, and is a technology underlying the field of image processing. In the present invention, all images requiring a technique of automatically extracting an object of interest in an image, such as image retrieval, image classification, still image and video compression (JPEG-2000, MPEG-4, H.264), digital watermarking, object recognition, etc. It is related to the field of treatment.
영상 분할 기술은 영상을 유사한 특징을 가지는 영역으로 분할하는 기술이고, 배경 제거 기술은 영상에서 배경 영역을 추정하고 제거하여 객체 후보 영역을 검출하는 기술이며, 객체 추출 기술은 영상에서 객체 영역만을 정확히 추출하는 기술이다.Image segmentation technology divides an image into regions with similar characteristics, and background removal technique is a technique of detecting object candidate regions by estimating and removing a background region from an image, and object extraction technique accurately extracts only an object region from an image. It is a technique to do.
이러한 종래의 영상 분할 및 객체 추출 기법은 ⅰ) 사용자가 객체 후보 영역을 직접 지정해주어야만 하고, ⅱ) 특정 부류의 영상 또는 자연 영상에 대하여 학습이 필요하며, ⅲ) 다중 객체의 추출이 어렵고, ⅳ) 연산량이 많아 처리속도가 느 리다는 문제점이 존재한다.Such conventional image segmentation and object extraction techniques require the user to designate an object candidate region directly, ii) learn a specific class of images or natural images, and iii) make it difficult to extract multiple objects. ) There is a problem that the processing speed is slow due to a large amount of computation.
본 발명은 배경 영역을 효과적으로 제거하여 객체 후보 영역을 검출하고 검출된 후보 영역으로부터 그래프 컷 알고리즘을 사용하여 관심 객체 영역을 추출하는 비교사 영상 분할 방법 및 시스템을 제공한다.The present invention provides a method and system for comparative image segmentation that detects an object candidate region by effectively removing a background region and extracts an object region of interest using a graph cut algorithm from the detected candidate region.
본 발명의 일실시예에 따른 비교사(unsupervised) 영상 분할 방법은 영상의 배경 영역을 제거하여 객체 후보 영역을 검출하는 단계와, 그래프 컷 알고리즘(Graph Cut Algorithm)을 이용하여 상기 객체 후보 영역으로부터 관심 객체 영역을 추출하는 단계를 포함한다.An unsupervised image segmentation method according to an embodiment of the present invention includes detecting an object candidate region by removing a background region of an image, and using the graph cut algorithm to remove an object candidate region from the object candidate region. Extracting the object area.
본 발명의 일측에 따르면, 상기 비교사 영상 분할 방법은 입력 영상인 원본 영상을 기설정된 크기로 리사이징(resizing)하여 리사이징 영상을 생성하는 단계를 더 포함하고, 상기 영상의 배경 영역을 제거하는 단계는 상기 원본 영상 및 상기 리사이징 영상 각각의 배경 영역을 제거하는 단계를 포함하는 것을 특징으로 하는 비교사 영상 분할 방법이 제공된다.According to an aspect of the present invention, the method for dividing the non-comparative image may further include generating a resized image by resizing an original image, which is an input image, to a predetermined size, and removing the background region of the image. The method of
또한 본 발명의 일측에 따르면, 상기 비교사 영상 분할 방법은 상기 원본 영상 및 상기 리사이징 영상 각각에 비등방성 확산 필터(Anisotropic diffusion filter)를 적용하여 두 개의 영상을 생성하는 단계와, 상기 두 개의 영상에 대하여 각각 JSEG(J-value segmentation) 알고리즘을 이용하여 영상 분할을 수행하는 단계를 더 포함하고, 상기 원본 영상 및 상기 리사이징 영상 각각의 배경 영역을 제거 하는 단계는 상기 영상 분할이 수행된 두 개의 영상 각각의 배경 영역을 제거하는 단계를 포함하는 것을 특징으로 하는 비교사 영상 분할 방법이 제공된다.According to an aspect of the present invention, the non-comparative image segmentation method may be configured to generate two images by applying an anisotropic diffusion filter to each of the original image and the resizing image, and to the two images. And performing image segmentation using JS-value segmentation (JSEG) algorithms, respectively, and removing the background region of each of the original image and the resizing image, respectively. There is provided a non-comparative image segmentation method comprising the step of removing a background area of a.
또한 본 발명의 일측에 따르면, 상기 영상 분할이 수행된 두 개의 영상 각각의 배경 영역을 제거하는 단계는 상기 영상 분할이 수행된 두 개의 영상 각각의 가장자리에 인접한 영역들을 배경 영역으로 제거하는 단계를 포함하는 것을 특징으로 하는 비교사 영상 분할 방법이 제공된다.According to an aspect of the present invention, removing the background region of each of the two images on which the image segmentation has been performed includes removing regions adjacent to the edge of each of the two images on which the image segmentation has been performed as the background region. There is provided a non-competitive image segmentation method characterized in that.
또한 본 발명의 일측에 따르면, 상기 리사이징 영상은 상기 원본 영상보다 작은 크기의 영상이며, 상기 객체 후보 영역을 검출하는 단계는 상기 배경 영역이 제거된 리사이징 영상을 상기 원본 영상의 크기로 복원하는 단계와, 상기 배경 영역이 제거된 원본 영상과 상기 복원된 영상의 논리적 AND 연산을 통해 객체 후보 영역을 검출하는 단계를 포함하는 것을 특징으로 하는 비교사 영상 분할 방법이 제공된다.According to an aspect of the present invention, the resizing image is an image having a smaller size than the original image, and the detecting of the object candidate region may include reconstructing the resizing image from which the background region is removed to the size of the original image; And detecting an object candidate region through a logical AND operation of the original image from which the background region is removed and the reconstructed image.
본 발명의 다른 실시예에 따르면, 입력 영상에 대하여 영상 분할을 수행하는 단계와, 상기 영상 분할이 수행된 입력 영상의 가장자리에 인접한 영역을 배경 영역으로 제거하는 단계와, 상기 배경 영역이 제거된 객체 후보 영역을 검출하는 단계와, 그래프 컷 알고리즘(Graph Cut Algorithm)을 이용하여 상기 객체 후보 영역으로부터 관심 객체 영역을 추출하는 단계를 포함하는 비교사 영상 분할 방법이 제공된다.According to another embodiment of the present invention, performing image segmentation on an input image, removing a region adjacent to an edge of the input image on which the image segmentation is performed, as a background region, and an object from which the background region is removed. There is provided a comparative image segmentation method comprising detecting a candidate region and extracting an object region of interest from the object candidate region using a graph cut algorithm.
본 발명의 또 다른 실시예에 따르면, 영상의 배경 영역을 제거하는 배경 제거부와, 상기 배경 영역이 제거된 객체 후보 영역을 검출하는 객체 후보 검출부와, 그래프 컷 알고리즘을 이용하여 상기 객체 후보 영역으로부터 관심 객체 영역을 추출하는 관심 객체 추출부를 포함하는 비교사 영상 분할 시스템이 제공된다.According to another embodiment of the present invention, a background removal unit for removing a background region of an image, an object candidate detection unit for detecting an object candidate region from which the background region is removed, and a graph cut algorithm from the object candidate region A comparative company image segmentation system including an object-of-interest extractor for extracting an object-of-interest region is provided.
본 발명에 따르면, 배경 영역을 효과적으로 제거하여 객체 후보 영역을 검출하고 검출된 후보 영역으로부터 그래프 컷 알고리즘을 사용하여 관심 객체 영역을 추출함으로써, 사용자의 개입 없이 영상에서 다수의 객체 영역을 자동으로 추출할 수 있는 비교사 영상 분할 방법 및 시스템이 제공된다.According to the present invention, an object candidate region is detected by effectively removing a background region and an object region of interest is extracted from the detected candidate region using a graph cut algorithm, thereby automatically extracting a plurality of object regions from an image without user intervention. A non-compliance image segmentation method and system are provided.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings and the contents described in the accompanying drawings, but the present invention is not limited or limited to the embodiments.
도 1은 본 발명에 따른 비교사 영상 분할 시스템의 전체 구성을 도시한 블록도이다. 1 is a block diagram showing the overall configuration of a non-competitive image segmentation system according to the present invention.
도 1에 도시된 바와 같이, 본 발명에 따른 비교사 영상 분할 시스템(100)은 리사이징부(101), 필터 적용부(102), 영상 분할부(103), 배경 제거부(104), 객체 후보 검출부(105) 및 관심 객체 추출부(106)를 포함한다. 또한, 객체 후보 검출부(105)는 영상 복원부(111) 및 논리 연산부(112)를 포함한다.As shown in FIG. 1, the non-comparative
본 발명에 따른 비교사 영상 분할 시스템(100)은 도 2의 비교사 영상 분할 방법을 수행할 수 있으며, 따라서 도 1에 도시된 각 구성요소의 동작은 이하 도 2와 도 3을 참조하여 설명하도록 한다.The non-comparative
도 2는 본 발명에 따른 비교사 영상 분할 방법을 도시한 흐름도이고, 도 3은 비교사 영상 분할 방법의 각 과정에 따른 결과를 예시하는 도면이다.FIG. 2 is a flowchart illustrating a non-comparative image segmentation method according to the present invention, and FIG. 3 is a diagram illustrating a result of each process of the non-comparative image segmentation method.
단계(S201)에서 리사이징부(101)는 입력 영상인 원본 영상을 기설정된 크기로 리사이징(resizing)하여 리사이징 영상을 생성한다. 이 경우 리사이징 영상은 상기 원본 영상보다 작은 크기의 영상일 수 있다. 예컨대, 도 3과 같이 리사이징부(101)는 원본 영상의 1/4 크기의 영상(quarter-sized image)을 생성할 수 있다.In step S201, the resizing
단계(S202)에서 필터 적용부(102)는 상기 원본 영상 및 상기 리사이징 영상 각각에 비등방성 확산 필터(Anisotropic diffusion filter)를 적용하여 두 개의 영상을 생성한다.In operation S202, the
비등방성 확산 필터에 관해서는 공지된 논문(PERONA, P. and MALIK, J.: 'Scale-space and edge detection using anisotropic diffusion', IEEE Trans. on Pattern Analysis and Machine Intelligence, 1990, 12, (7), pp. 800-810) 등을 통해 잘 알려져 있으므로, 본 명세서에서는 비등방성 확산 필터에 관한 자세한 설명은 생략한다.For anisotropic diffusion filters, known papers (PERONA, P. and MALIK, J .: 'Scale-space and edge detection using anisotropic diffusion', IEEE Trans.on Pattern Analysis and Machine Intelligence, 1990, 12, (7) , pp. 800-810), and so on, detailed description of the anisotropic diffusion filter will be omitted.
비등방성 확산 필터를 적용하는 이유는 다음의 단계(S203)에서 영상을 분할할 때 사용되는 JSEG(J-value segmentation) 알고리즘이 자연 영상에 대하여 비교적 우수한 결과를 보이지만, 영상 잡음(noise), 색상, 질감 등의 영향으로 인하여 영상이 과분할(over-segmentation) 될 수 있는 단점을 보완하기 위함이다.The reason for applying the anisotropic diffusion filter is that the JSEG (J-value segmentation) algorithm used when segmenting the image in the next step (S203) shows a relatively good result with respect to the natural image, but the image noise, color, This is to compensate for the disadvantage that the image may be over-segmented due to the influence of texture.
단계(S203)에서 영상 분할부(103)는 상기 두 개의 영상에 대하여 각각 JSEG(J-value segmentation) 알고리즘을 이용하여 영상 분할을 수행한다. 도 3에 JSEG 알고리즘을 이용한 영상 분할의 결과가 예시적으로 도시되어 있다.In operation S203, the
JSEG 알고리즘에 관해서는 공지된 논문(Deng, Y. and MANJUNATH, B. S.: 'Unsupervised segmentation of color-texture regions in images and video', IEEE Trans. on Pattern Analysis and Machine Intelligence, 2001, 23, (8), pp. 800-810) 등을 통해 잘 알려져 있으므로, 본 명세서에서는 JSEG 알고리즘에 관한 자세한 설명은 생략한다.As for the JSEG algorithm, known papers (Deng, Y. and MANJUNATH, BS: 'Unsupervised segmentation of color-texture regions in images and video', IEEE Trans.on Pattern Analysis and Machine Intelligence, 2001, 23, (8), pp. 800-810), the detailed description of the JSEG algorithm is omitted herein.
단계(S204)에서 배경 제거부(104)는 상기 영상 분할이 수행된 두 개의 영상 각각의 배경 영역을 제거한다. 이 경우, 배경 제거부(104)는 상기 영상 분할이 수행된 두 개의 영상 각각의 가장자리에 인접한 영역들을 배경 영역으로 제거할 수 있다. 도 3에 배경 영역이 제거된 결과가 예시적으로 도시되어 있다.In operation S204, the
객체 후보 검출부(105)는 상기 배경 영역이 제거된 객체 후보 영역을 검출하는데, 이를 위해 객체 후보 검출부(105)는 영상 복원부(111)와 논리 연산부(112)를 포함한다.The
단계(S205)에서 영상 복원부(111)는 상기 배경 영역이 제거된 리사이징 영상을 상기 원본 영상의 크기로 복원한다. 도 3에 원본 영상 크기로 복원된 결과가 예시적으로 도시되어 있다.In operation S205, the
단계(S206)에서 논리 연산부(112)는 상기 배경 영역이 제거된 원본 영상과 상기 복원된 영상의 논리적 AND 연산을 통해 객체 후보 영역을 검출한다.In operation S206, the
배경 영역이 복잡한 질감 영역으로 구성되어 있는 경우에 영상의 가장자리에 인접해 있지 않은 배경 영역이 효과적으로 제거되지 못하는 결과와, 관심 객체와 배경의 경계 부분이 점진적으로 변화되는 부분에서는 관심 객체의 일부 영역이 배경 영역으로 제거되는 결과가 나타날 수 있다. When the background area is composed of complex texture areas, the background area that is not adjacent to the edge of the image is not effectively removed, and the area of the object of interest and the background where the boundary between the object and the background are gradually changed are partially removed. This may result in removal to the background area.
그러므로, 배경 영역을 효과적으로 제거하고 정확한 객체 후보 영역을 추출하기 위하여, 단계(S204)의 결과인 가장자리를 제거한 원본 영상과 리사이징된 영상을 원본 영상의 크기로 복원한 영상의 AND 연산을 통해 객체 후보 영역을 결정한다. 도 3에 AND 연산을 통해 결정된 객체 후보 영역이 예시적으로 도시되어 있다.Therefore, in order to effectively remove the background region and extract the correct object candidate region, the object candidate region is subjected to the AND operation of the original image from which the edges resulting from step S204 and the resized image are restored to the size of the original image. Determine. 3 illustrates an object candidate region determined by an AND operation.
AND 연산은 두 개의 영상을 결합(combining)하기 위한 것으로서, 예컨대 아래의 수학식 1과 같이 수행될 수 있다. 이러한 AND 연산에 따라 대부분의 배경 영역들을 효과적으로 제거함으로써 객체 후보 영역이 검출될 수 있다.The AND operation is for combining two images, and may be performed as shown in
수학식 1에서 COR(x,y)는 두 개의 영상을 결합하여 결정된 객체 후보 영역을 나타내는 이미지이고, OI(x,y)와 RI(x,y)는 원본 영상과 복원된 영상으로부터 배경 영역들이 제거된 이미지 각각을 나타낸다.In
단계(S207)에서 관심 객체 추출부(106)는 그래프 컷 알고리즘(Graph Cut Algorithm)을 이용하여 상기 객체 후보 영역으로부터 최종적인 관심 객체 영역을 추출한다.In operation S207, the object-of-
그래프 컷 알고리즘은 한 영상을 객체와 배경 영역으로 분할하기 위해 반복적인 그래프 컷 기법에 기반하고 있으며, 그래프 컷 내에서 에너지의 최소화 형태 로 표현된다. 그래프 컷 알고리즘에 대해서는 공지된 논문(ROTHER, C. KOLMOGOROV, V., and BLAKE, A.: 'GrabCut - Interative foreground extraction using iterated graph cut', ACM Trans. on Graphics, 2004, 23, (3), pp. 309-314) 등을 통해 당업자에게 잘 알려져 있으므로, 자세한 설명은 생략한다.The graph cut algorithm is based on an iterative graph cut technique for dividing an image into an object and a background area, and is expressed in the form of energy minimization in the graph cut. For a graph cut algorithm, a well-known paper (ROTHER, C. KOLMOGOROV, V., and BLAKE, A .: 'GrabCut-Interactive foreground extraction using iterated graph cut', ACM Trans. On Graphics, 2004, 23, (3), pp. 309-314) and the like are well known to those skilled in the art, detailed description thereof will be omitted.
그래프 컷 기법을 적용하기 위해서는 관심 객체 영역을 분할하기 위해서 사용자에 의해 관심 객체 영역을 포함하는 사각형 형태의 초기 영역이 설정되어야 한다. 본 발명에서는 단계(S206)에서 배경 제거에 의해 자동으로 검출된 객체 후보 영역을 초기 영역으로 설정하여 사용자의 개입 없이도 자동으로 관심 객체 영역을 추출할 수 있다.In order to apply the graph cut technique, a rectangular initial region including an object region of interest must be set by a user in order to divide the object region of interest. In the present invention, the object candidate region automatically detected by the background removal in step S206 may be set as the initial region to automatically extract the object of interest without user intervention.
도 4와 도 5는 테스트 영상에 종래의 방법을 적용한 실험 결과와 본 발명에 따른 방법을 적용한 실험 결과를 비교한 도면이다. 4 and 5 are diagrams comparing the experimental results of applying the conventional method to the test image and the experimental results of applying the method according to the present invention.
도 4와 도 5에서 좌측에 위치한 것이 테스트 영상이고, 중간에 위치한 것이 종래의 방법을 적용한 실험 결과이며, 우측에 위치한 것이 본 발명에 따른 방법을 적용한 실험 결과이다. 종래의 방법으로는 공지된 논문(KANG, S., PARK, S., Yoo, H., SHIN, Y., and JANG, D.: 'Development of expert system for extraction of the objects of interest', Expert System with Applications, 2009, 36, (2), pp. 7210-7218)의 방법을 사용하였다.In FIG. 4 and FIG. 5, the left side is a test image, and the middle side is a test result of applying the conventional method, and the right side is an experimental result of applying the method according to the present invention. Conventional methods include known articles (KANG, S., PARK, S., Yoo, H., SHIN, Y., and JANG, D .: 'Development of expert system for extraction of the objects of interest', Expert System with Applications, 2009, 36, (2), pp. 7210-7218).
도 4와 도 5를 참조하면, 본 발명에 따른 방법이 종래의 방법에 비해 정확하게 관심 객체 영역을 추출하고 있으며, 다중 객체 영역의 추출도 매우 우수함을 확인할 수 있다.4 and 5, it can be seen that the method according to the present invention extracts the object region of interest more accurately than the conventional method, and the extraction of the multiple object regions is also very good.
도 6은 본 발명에 따른 방법의 성능을 평가한 실험 결과를 도시한 도면이다.6 shows experimental results of evaluating the performance of the method according to the invention.
도 6의 실험 결과에 의하면, 본 발명에 따른 방법의 정밀도(precision), 리콜(recall), 정확도(accuracy)가 평균적으로 95.6%, 89.8%, 85.4%의 우수한 관심 객체 추출 결과를 보여주고 있다.According to the experimental results of FIG. 6, the precision, recall, and accuracy of the method according to the present invention show excellent results of object extraction of 95.6%, 89.8%, and 85.4% on average.
본 발명에 따른 비교사 영상 분할 방법은 영상 검색, 영상 분류, 영상 압축, 워터마킹, 객체 인식 등 영상 처리 기술을 필요로 하는 다양한 분야에 적용될 수 있다.The non-comparative image segmentation method according to the present invention may be applied to various fields requiring image processing techniques such as image search, image classification, image compression, watermarking, object recognition, and the like.
일례로, 영상 검색 기술의 경우 영상에 포함된 객체는 사람의 고수준 개념을 표현하기에 적절하며 영상의 내용에 관한 핵심 정보를 제공한다. 영상 검색 기술의 사용자는 질의 영상에 포함된 객체에 기반을 두고 동일한 객체 또는 유사한 객체를 포함하는 다른 영상을 검색하고자 한다. 따라서 영상을 객체 단위로 접근할 수 있는 기술을 요구한다. 본 발명에 따른 비교사 영상 분할 방법은 영상 검색 기술에서 영상으로부터 관심 객체를 자동으로 추출하는 기술로서 활용이 가능하다.For example, in the image retrieval technology, an object included in an image is suitable for representing a high level concept of a person and provides key information about the content of the image. A user of an image retrieval technique may search for another image including the same object or a similar object based on an object included in a query image. Therefore, there is a need for a technology that can access images in units of objects. The non-comparative image segmentation method according to the present invention may be utilized as a technique for automatically extracting an object of interest from an image in an image search technique.
다른 예로, 본 발명에 따른 비교사 영상 분할 방법을 영상 합성 및 편집 기술에 적용이 가능하며 보다 편리한 사용자 인터페이스를 제공하는데 활용될 수 있다. 또한, 휴대 장치들의 다양한 해상도와 화질에 따라 적합한 영상을 제공하기 위하여 자동으로 영상을 변환하는 기술인 Image Adaptation 기술에 활용이 가능하다.As another example, the non-comparative image segmentation method according to the present invention may be applied to image synthesis and editing techniques and may be used to provide a more convenient user interface. In addition, the present invention can be used for image adaptation technology, which is a technology for automatically converting an image to provide an appropriate image according to various resolutions and image quality of portable devices.
또 다른 예로, 영상 압축 기술의 경우 최근 널리 사용되는 영상 압축 표준 MPEG4는 비디오 객체 평면(video object plane)의 구성을 통해 객체 단위의 압축 기법을 제공하고 있다. 또한 아직은 널리 사용되고 있지는 않으나 기존 정지 영상 압축 기술에 비해 우수한 성능을 보이는 JPEG2000은 관심 영역(ROI: Region Of Interest) 별로 접근이 가능한 기술을 제공한다. 본 발명에 따른 비교사 영상 분할 방법은 영상의 주요 객체를 분리해줌으로써 이와 같은 영상 압축 기술을 이용하여 효과적인 압축이 가능하게 하는데 적용이 가능하다.As another example, in the video compression technology, the video compression standard MPEG4, which is widely used recently, provides a compression method of an object unit through the construction of a video object plane. In addition, JPEG2000, which is not yet widely used but performs better than existing still image compression technology, provides a technology accessible by region of interest (ROI). Non-comparative image segmentation method according to the present invention can be applied to enable effective compression using such image compression technology by separating the main object of the image.
본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Embodiments according to the present invention can be implemented in the form of program instructions that can be executed by various computer means can be recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above embodiments, and those skilled in the art to which the present invention pertains various modifications and variations from such descriptions. This is possible.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined not only by the claims below but also by the equivalents of the claims.
도 1은 본 발명에 따른 비교사 영상 분할 시스템의 전체 구성을 도시한 블록도이다.1 is a block diagram showing the overall configuration of a non-competitive image segmentation system according to the present invention.
도 2는 본 발명에 따른 비교사 영상 분할 방법을 도시한 흐름도이다.2 is a flowchart illustrating a method of segmenting a non-traditional image according to the present invention.
도 3은 비교사 영상 분할 방법의 각 과정에 따른 결과를 예시하는 도면이다.3 is a diagram illustrating a result according to each process of a comparative image segmentation method.
도 4와 도 5는 테스트 영상에 종래의 방법을 적용한 실험 결과와 본 발명에 따른 방법을 적용한 실험 결과를 비교한 도면이다.4 and 5 are diagrams comparing the experimental results of applying the conventional method to the test image and the experimental results of applying the method according to the present invention.
도 6은 본 발명에 따른 방법의 성능을 평가한 실험 결과를 도시한 도면이다.6 shows experimental results of evaluating the performance of the method according to the invention.
<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>
100: 비교사 영상 분할 시스템100: comparative video segmentation system
101: 리사이징부101: resizing unit
102: 필터 적용부102: filter application unit
103: 영상 분할부103: image segmentation unit
104: 배경 제거부104: background remover
105: 객체 후보 검출부105: object candidate detector
106: 관심 객체 추출부106: object of interest extraction unit
111: 영상 복원부111: image restoration unit
112: 논리 연산부112: logical operation unit
Claims (12)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090090077A KR101245957B1 (en) | 2009-09-23 | 2009-09-23 | Unsupervised foreground segmentation method and system using background elimination and graph cut techniques |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090090077A KR101245957B1 (en) | 2009-09-23 | 2009-09-23 | Unsupervised foreground segmentation method and system using background elimination and graph cut techniques |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20110032537A true KR20110032537A (en) | 2011-03-30 |
KR101245957B1 KR101245957B1 (en) | 2013-03-21 |
Family
ID=43937275
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090090077A KR101245957B1 (en) | 2009-09-23 | 2009-09-23 | Unsupervised foreground segmentation method and system using background elimination and graph cut techniques |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101245957B1 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101349699B1 (en) * | 2012-06-29 | 2014-01-10 | 에스케이플래닛 주식회사 | Apparatus and method for extracting and synthesizing image |
US9111356B2 (en) | 2012-01-20 | 2015-08-18 | Korea Advanced Institute Of Science And Technology | Image segmentation method using higher-order clustering, system for processing the same and recording medium for storing the same |
KR20150104288A (en) * | 2014-03-05 | 2015-09-15 | 에스케이플래닛 주식회사 | Image identification apparatus, method thereof and computer readable medium having computer program recorded therefor |
WO2015182904A1 (en) * | 2014-05-26 | 2015-12-03 | 에스케이텔레콤 주식회사 | Area of interest studying apparatus and method for detecting object of interest |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101812664B1 (en) | 2016-10-28 | 2017-12-27 | 한국과학기술원 | Method and apparatus for extracting multi-view object with fractional boundaries |
-
2009
- 2009-09-23 KR KR1020090090077A patent/KR101245957B1/en not_active IP Right Cessation
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9111356B2 (en) | 2012-01-20 | 2015-08-18 | Korea Advanced Institute Of Science And Technology | Image segmentation method using higher-order clustering, system for processing the same and recording medium for storing the same |
KR101349699B1 (en) * | 2012-06-29 | 2014-01-10 | 에스케이플래닛 주식회사 | Apparatus and method for extracting and synthesizing image |
KR20150104288A (en) * | 2014-03-05 | 2015-09-15 | 에스케이플래닛 주식회사 | Image identification apparatus, method thereof and computer readable medium having computer program recorded therefor |
WO2015182904A1 (en) * | 2014-05-26 | 2015-12-03 | 에스케이텔레콤 주식회사 | Area of interest studying apparatus and method for detecting object of interest |
Also Published As
Publication number | Publication date |
---|---|
KR101245957B1 (en) | 2013-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101245957B1 (en) | Unsupervised foreground segmentation method and system using background elimination and graph cut techniques | |
Khodadadi et al. | Text localization, extraction and inpainting in color images | |
KR101082665B1 (en) | Apparatus and method for extracting interest object | |
Tajeripour et al. | Developing a novel approach for content based image retrieval using modified local binary patterns and morphological transform. | |
CN111614974B (en) | Video image restoration method and system | |
Wagh et al. | Text detection and removal from image using inpainting with smoothing | |
Abdulla et al. | An improved image quality algorithm for exemplar-based image inpainting | |
Parida et al. | Transition region based single and multiple object segmentation of gray scale images | |
Chi et al. | Enhancing textural differences using wavelet-based texture characteristics morphological component analysis: A preprocessing method for improving image segmentation | |
Sravanthi et al. | Brain tumor detection using image processing | |
Mosleh et al. | Video completion using bandlet transform | |
KR101195978B1 (en) | Method and apparatus of processing object included in video | |
Shirai et al. | Character shape restoration of binarized historical documents by smoothing via geodesic morphology | |
Hu et al. | Extracting Maya Glyphs from degraded ancient documents via image segmentation | |
Liu et al. | Multi-scale selective image texture smoothing via intuitive single clicks | |
Bresson | Image segmentation with variational active contours | |
Wan et al. | Statistical multiscale image segmentation via alpha-stable modeling | |
Charles et al. | Object segmentation within microscope images of palynofacies | |
Khatib et al. | A hybrid multilevel text extraction algorithm in scene images | |
Felhi et al. | Multiscale stroke-based page segmentation approach | |
Grzegorzek et al. | Texture-Based text detection in digital images with wavelet features and Support Vector Machines | |
Chang et al. | Color-texture segmentation of medical images based on local contrast information | |
Chang et al. | Texture-based color image segmentation using local contrast information | |
Wu et al. | Region covariance based total variation optimization for structure-texture decomposition | |
Park et al. | Unsupervised foreground segmentation using background elimination and graph cut techniques |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
N231 | Notification of change of applicant | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20160118 Year of fee payment: 4 |
|
LAPS | Lapse due to unpaid annual fee |