KR20110129158A - Method and system for detecting a candidate area of an object in an image processing system - Google Patents

Method and system for detecting a candidate area of an object in an image processing system Download PDF

Info

Publication number
KR20110129158A
KR20110129158A KR1020100048629A KR20100048629A KR20110129158A KR 20110129158 A KR20110129158 A KR 20110129158A KR 1020100048629 A KR1020100048629 A KR 1020100048629A KR 20100048629 A KR20100048629 A KR 20100048629A KR 20110129158 A KR20110129158 A KR 20110129158A
Authority
KR
South Korea
Prior art keywords
image
map
dynamic
static
contour
Prior art date
Application number
KR1020100048629A
Other languages
Korean (ko)
Inventor
이민호
우정우
이원오
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020100048629A priority Critical patent/KR20110129158A/en
Publication of KR20110129158A publication Critical patent/KR20110129158A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions

Abstract

PURPOSE: A method for detecting an object candidate in an image processing system is provided to detect a candidate region of an object based on a real time image process. CONSTITUTION: An image processing system generates a static saliency map corresponding to at least one frame of an input image(S510). The image processing system generates a dynamic saliency map from the generated static saliency map(S520). The image processing system binarizes the generated dynamic saliency map within a preset range(S530). The image processing system detects the candidate region of the object in the input image(S540).

Description

영상 처리 시스템에서의 객체 후보 영역 검출 방법 및 시스템{Method and System for Detecting a Candidate Area of an Object in an Image Processing System}Method and System for Detecting Object Candidate Area in Image Processing System

본 발명은 영상 처리에 관한 것으로서 보다 상세하게는 동적 돌출맵을 이용하여 입력 영상에 포함된 객체의 후보 영역을 검출하는 영상 처리 시스템에서의 객체 후보 영역 검출 방법 및 시스템에 관한 것이다.The present invention relates to image processing, and more particularly, to an object candidate region detection method and system in an image processing system for detecting a candidate region of an object included in an input image using a dynamic protrusion map.

촬영 장치 예를 들어, 카메라, 감시 카메라, 휴대용 단말기 등을 통해 획득한 정지 영상이나 동영상에서 객체를 검출하는 기법에는 사용자의 관심이 높은 얼굴이나 자동차, 자연물 등에 대한 객체 검출 기법 등이 있다.For example, a method of detecting an object from a still image or a moving image obtained through a camera, a surveillance camera, a portable terminal, or the like includes an object detection technique for a face, a car, or a natural object of high interest.

이러한, 객체 검출 기법들 중 하나로 사람의 시각적인 지각(perception) 원리에 기반한 것으로, 주변의 이미지 영역이나 객체에 비해 눈에 띄는 상태를 시각적으로 돌출(visually salient)된다고 지칭하는 이미지인 돌출맵(SM:saliency map)을 이용하여 객체를 검출하는 방법을 이용하여 왔다.One of the object detection techniques, based on the visual perception principle of a person, is an image that refers to visually salient a prominent state compared to the surrounding image area or an object (SM). It has been used to detect an object using a: saliency map.

여기서, 돌출맵은 입력 영상으로부터 색(color), 명도(luminance), 가장자리의 방향(edge orientation)과 같은 정보들을 이용하여, 이미지의 픽셀(pixel)들이 사용자의 눈에 띄는 정도를 정량화해서 나타내어 주는 이미지나 지도(map)를 지칭한다.Here, the protrusion map quantifies the degree to which the pixels of the image stand out by using information such as color, brightness, and edge orientation from the input image. Refers to an image or map.

그러나, 이와 같은 돌출맵을 이용하여 객체를 검출함에 있어서 고가의 특수 카메라를 사용함으로써 시스템 구현 비용이 늘어나고, 조명, 날씨 등의 환경 변화와 잡음에 의해 객체의 검출률 및 정확도가 떨어지는 문제점이 있다.However, by using an expensive special camera to detect an object by using such a protrusion map, a system implementation cost increases, and the detection rate and accuracy of the object are lowered due to environmental changes and noise such as lighting and weather.

본 발명은 상술한 문제점을 해결하기 위한 것으로서, 저비용으로 영상 처리 시스템을 구성할 수 있는 영상 처리 시스템에서의 객체 후보 영역 검출 방법 및 시스템을 제공하는 것을 기술적 과제로 한다.SUMMARY OF THE INVENTION The present invention has been made in view of the above-described problems, and it is a technical object of the present invention to provide a method and system for detecting object candidate regions in an image processing system capable of constructing an image processing system at low cost.

또한, 본 발명은 입력 영상에 포함된 객체의 후보 영역 검출에 동적 돌출맵을 이용함으로써 일반 영상을 이용한 검출 시스템에 비해 객체 검출률 및 정확도를 향상시킬 수 있는 영상 처리 시스템에서의 객체 후보 영역 검출 방법 및 시스템을 제공하는 것을 다른 기술적 과제로 한다.The present invention also provides a method for detecting an object candidate region in an image processing system capable of improving object detection rate and accuracy compared to a detection system using a general image by using a dynamic protrusion map for detecting a candidate region of an object included in an input image. Providing a system is another technical challenge.

상술한 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상 처리 시스템에서의 객체 후보 영역 검출 방법은 입력 영상의 적어도 하나의 프레임에 대응되는 정적 돌출맵(static saliency map)을 생성하는 단계; 상기 생성된 적어도 하나의 프레임에 대응되는 정적 돌출맵으로부터 동적 돌출맵(dynamic saliency map)을 생성하는 단계; 및 상기 생성된 동적 돌출맵으로부터 상기 입력 영상에 포함된 객체의 후보 영역을 검출하는 단계를 포함한다.According to an aspect of the present invention, there is provided a method for detecting an object candidate region in an image processing system, the method including: generating a static saliency map corresponding to at least one frame of an input image; Generating a dynamic saliency map from the static protrusion map corresponding to the generated at least one frame; And detecting a candidate region of an object included in the input image from the generated dynamic protrusion map.

일 실시예에 있어서, 상기 정적 돌출맵을 생성하는 단계는, 상기 입력 영상의 상기 적어도 하나의 프레임에 대응되는 명도 영상 및 윤곽선 영상을 각각 추출하는 단계; 상기 추출된 각각의 명도 영상 및 윤곽선 영상에 대해 중심 주변 차이 및 정규화(CSD&N:center surround difference and normalization) 연산을 수행하는 단계; 상기 중심 주변 차이 및 정규화 연산에 의해 상기 추출된 각각의 명도 영상 및 윤곽선 영상으로부터 명도 특징맵 및 윤곽선 특징맵을 각각 생성하는 단계; 및 상기 생성된 각각의 명도 특징맵 및 윤곽선 특징맵을 통합하여 상기 정적 돌출맵을 생성하는 단계를 포함하는 것을 특징으로 한다.The generating of the static protrusion map may include extracting a brightness image and a contour image respectively corresponding to the at least one frame of the input image; Performing a center surround difference and normalization (CSD & N) operation on each of the extracted brightness and contour images; Generating a brightness feature map and a contour feature map from each of the extracted brightness images and contour images by the center peripheral difference and normalization operation; And generating the static protrusion map by integrating the generated brightness feature map and the contour feature map.

여기서, 상기 윤곽선 영상은 소벨 필터(sobel filter)를 이용하여 산출되는 것을 특징으로 한다.The contour image may be calculated by using a sobel filter.

일 실시예에 있어서, 상기 연산을 수행하는 단계는, 상기 추출된 명도 영상 및 윤곽선 영상에 대응하여 가우시안 피라미드 영상을 생성하고, 상기 생성된 가우시안 피라미드 영상에 대해 상기 연산을 수행하는 것을 특징으로 한다.In an embodiment, the performing of the operation may include generating a Gaussian pyramid image corresponding to the extracted brightness image and the contour image, and performing the operation on the generated Gaussian pyramid image.

여기서, 상기 정적 돌출맵은 현재 프레임과 이전 4개의 프레임에 대응되는 정적 돌출맵인 것을 특징으로 한다.The static protrusion map may be a static protrusion map corresponding to the current frame and the previous four frames.

또한, 상기 동적 돌출맵은 상기 생성된 적어도 하나의 프레임에 대응되는 정적 돌출맵에 대한 각 픽셀에서의 동적 엔트로피 값을 계산하여 산출되는 것을 특징으로 한다.In addition, the dynamic protrusion map is calculated by calculating a dynamic entropy value in each pixel for the static protrusion map corresponding to the generated at least one frame.

일 실시예에 있어서, 상기 후보 영역을 검출하는 단계는, 상기 동적 돌출맵을 기설정된 범위 이내로 이진화하는 단계; 및 상기 이진화된 동적 돌출맵에 대해 형태학적 닫힘 연산을 수행하여 상기 입력 영상에 포함된 객체의 후보 영역을 검출하는 단계를 포함하는 것을 특징으로 한다.The detecting of the candidate area may include binarizing the dynamic protrusion map within a preset range; And detecting a candidate region of an object included in the input image by performing a morphological closing operation on the binarized dynamic protrusion map.

상기 후보 영역을 검출하는 단계는 상기 검출된 후보 영역을 레이블링하여 상기 후보 영역에 대한 정보를 생성하는 단계를 더 포함하는 것을 특징으로 한다.The detecting of the candidate area may further include generating information about the candidate area by labeling the detected candidate area.

상술한 목적을 달성하기 위한 본 발명의 다른 측면에 따른 영상 처리 시스템에서의 객체 후보 영역 검출 시스템은 입력 영상의 적어도 하나의 프레임에 대응되는 정적 돌출맵(static saliency map)을 생성하고, 상기 생성된 상기 적어도 하나의 프레임에 대응되는 정적 돌출맵으로부터 동적 돌출맵(dynamic saliency map)을 생성하는 영상 처리부; 및 상기 동적 돌출맵 생성부에 의해 생성된 상기 동적 돌출맵으로부터 상기 입력 영상에 포함된 객체의 후보 영역을 검출하는 후보 영역 검출부를 포함한다.The object candidate region detection system in the image processing system according to another aspect of the present invention for achieving the above object generates a static saliency map corresponding to at least one frame of the input image, An image processor configured to generate a dynamic saliency map from the static protrusion map corresponding to the at least one frame; And a candidate region detector for detecting a candidate region of an object included in the input image from the dynamic protrusion map generated by the dynamic protrusion map generator.

일 실시예에 있어서, 상기 영상 처리부는, 상기 입력 영상으로부터 명도 영상 및 윤곽선 영상을 각각 추출하는 명도 영상 추출부 및 윤곽선 영상 추출부; 상기 추출된 각각의 명도 영상 및 윤곽선 영상에 대해 중심 주변 차이 및 정규화(CSD&N:center surround difference and normalization) 연산을 수행하는 연산부; 상기 연산부의 중심 주변 차이 및 정규화 연산에 의해 상기 추출된 각각의 명도 영상 및 윤곽선 영상으로부터 명도 특징맵 및 윤곽선 특징맵을 각각 생성하는 명도 특징맵 생성부 및 윤곽선 특징맵 생성부; 및 상기 생성된 각각의 명도 특징맵 및 윤곽선 특징맵을 통합하여 상기 정적 돌출맵을 생성하는 정적 돌출맵 생성부를 포함하는 것을 특징으로 한다.The image processor may include: a brightness image extractor and a contour image extractor configured to extract a brightness image and a contour image from the input image, respectively; A calculator configured to perform a center surround difference and normalization (CSD & N) operation on the extracted brightness and contour images; A brightness feature map generator and a contour feature map generator for generating a brightness feature map and a contour feature map from each of the brightness images and the contour images extracted by the center peripheral difference and normalization operation of the calculator; And a static protrusion map generation unit for generating the static protrusion map by integrating the generated brightness feature map and the contour feature map.

여기서, 상기 윤곽선 영상은 소벨 필터(sobel filter)를 이용하여 산출되는 것을 특징으로 한다.The contour image may be calculated by using a sobel filter.

또한, 상기 정적 돌출맵은 현재 프레임과 이전 4개의 프레임에 대응되는 정적 돌출맵인 것을 특징으로 한다.In addition, the static protrusion map is characterized in that the static protrusion map corresponding to the current frame and the previous four frames.

일 실시예에 있어서, 상기 영상 처리부는, 상기 생성된 적어도 하나의 프레임에 대응되는 정적 돌출맵에 대한 각 픽셀에서의 동적 엔트로피 값을 연산하는 엔트로피 연산부; 및 상기 생성된 정적 돌출맵 및 상기 연산된 동적 엔트로피 값을 이용하여 상기 동적 동출맵을 생성하는 동적 돌출맵 생성부를 포함하는 것을 특징으로 한다.The image processor may include an entropy calculator configured to calculate a dynamic entropy value in each pixel of a static protrusion map corresponding to the generated at least one frame; And a dynamic protrusion map generator for generating the dynamic call map using the generated static protrusion map and the calculated dynamic entropy value.

일 실시예에 있어서, 상기 후보 영역 검출부는, 상기 동적 돌출맵을 기 설정된 범위 이내로 이진화하고, 상기 이진화된 동적 돌출맵에 대해 형태학적 닫힘 연산을 수행하여 상기 입력 영상에 포함된 객체의 후보 영역을 검출하는 것을 특징으로 한다.The candidate region detector may binarize the dynamic protrusion map within a preset range and perform a morphological closing operation on the binarized dynamic protrusion map to determine a candidate region of an object included in the input image. It is characterized by detecting.

일 실시예에 있어서, 상기 후보 영역 검출부는, 상기 검출된 후보 영역을 레이블링하여 상기 후보 영역에 대한 정보를 생성하는 것을 특징으로 한다.In example embodiments, the candidate region detector may label the detected candidate region to generate information about the candidate region.

본 발명에 따르면, 실시간 영상처리를 기반으로 객체의 후보 영역 검출을 수행함으로써 저비용으로 시스템을 구현할 수 있는 효과가 있다.According to the present invention, it is possible to implement a system at low cost by detecting candidate regions of an object based on real-time image processing.

또한, 본 발명에 따르면, 객체의 후보 영역 검출에 동적 돌출맵을 이용함으로써 일반 영상을 이용한 검출 시스템에 비해 환경 변화와 잡음에 강건하고, 객체의 검출률 및 정확도를 향상시킬 수 있는 효과가 있다.In addition, according to the present invention, by using the dynamic protrusion map for detecting the candidate region of the object, it is more robust to environmental changes and noise and improves the detection rate and accuracy of the object, compared to a detection system using a normal image.

도 1은 본 발명의 일 실시예에 따른 영상 처리 시스템에서의 객체 후보 영역 검출 시스템의 개략적인 블럭도이다.
도 2는 도 1에 도시된 영상 처리부의 세부 구성을 보여주는 블럭도이다.
도 3은 본 발명의 일 실시예에 따른 영상 처리부의 구현예를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 정적 돌출맵 및 동적 돌출맵 생성의 구현예를 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 따른 영상 처리 시스템에서의 객체 후보 영역 검출 방법을 보여주는 플로우차트이다.1 is a schematic block diagram of an object candidate region detection system in an image processing system according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating a detailed configuration of the image processor shown in FIG. 1.
3 is a diagram for describing an implementation of an image processor according to an exemplary embodiment.
4 is a diagram illustrating an embodiment of generating a static protrusion map and a dynamic protrusion map according to an embodiment of the present invention.
5 is a flowchart illustrating a method of detecting an object candidate region in an image processing system according to an exemplary embodiment of the present invention.

이하 첨부된 도면을 참조하여 본 발명의 실시예에 대해 상세히 설명하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 영상 처리 시스템에서의 객체 후보 영역 검출 시스템의 개략적인 블럭도이다. 도 1에 도시된 객체 후보 영역 검출 시스템(100)은 촬영부(110), 영상 입력부(120), 영상 처리부(130) 및 후보 영역 검출부(140)를 포함한다. 본 발명의 일 실시예에 따르면 객체 후보 영역 검출 시스템(100)은 촬영부(110)를 포함하고 있으나, 다른 실시예에 따르면, 촬영부(110)는 외부 장치일 수 있으며, 객체 후보 영역 검출 시스템은 외부 장치에 의해 입력된 영상을 이용하여 객체의 후보 영역을 검출할 수도 있다.1 is a schematic block diagram of an object candidate region detection system in an image processing system according to an embodiment of the present invention. The object candidate region detection system 100 illustrated in FIG. 1 includes a photographing unit 110, an image input unit 120, an image processing unit 130, and a candidate region detecting unit 140. According to an embodiment of the present invention, the object candidate region detection system 100 includes a photographing unit 110. According to another embodiment, the photographing unit 110 may be an external device, and the object candidate region detecting system 100 may be an external device. May detect a candidate region of the object by using an image input by an external device.

촬영부(110)는 정지 또는 동영상을 촬영하고, 촬영한 영상을 영상 입력부(120)로 제공한다. 이를 위해, 촬영부(110)는 촬영을 위한 렌즈, 빛의 양을 조절하기 위한 조리개 등으로 구성될 수 있다. 또한, 촬영부는 감시 카메라, 디지털 카메라, 휴대폰 단말기용 카메라 등 다양한 촬영 장치일 수 있다.The photographing unit 110 photographs a still image or a moving image, and provides the photographed image to the image input unit 120. To this end, the photographing unit 110 may be composed of a lens for photographing, an aperture for adjusting the amount of light, and the like. In addition, the photographing unit may be various photographing apparatuses such as a surveillance camera, a digital camera, and a camera for a mobile phone terminal.

영상 입력부(120)는 촬영부(110)에 의해 촬영된 영상을 수신하며, 수신한 입력 영상을 전기적 신호로 변환하여 영상 처리부(120)로 제공한다. 한편, 영상 입력부(120)는 CCD(Charge Coupled Diode)나 CMOS 이미지 센서로 구성될 수 있거나, 외로부터 영상을 수신하는 수신부로 구성될 수 있다.The image input unit 120 receives an image captured by the photographing unit 110, converts the received input image into an electrical signal, and provides the image to the image processing unit 120. The image input unit 120 may be configured as a charge coupled diode (CCD) or a CMOS image sensor, or may be configured as a receiver that receives an image from the outside.

영상 처리부(130)는 영상 입력부(120)로부터 제공된 입력 영상의 적어도 하나의 프레임에 대응되는 정적 돌출맵(static saliency map)을 생성하고, 생성된 적어도 하나의 프레임에 대응되는 정적 돌출맵으로부터 동적 돌출맵(dynamic saliency map)을 생성하는 것으로서, 도 2에 도시된 바와 같이, 명도 영상 추출부(1310), 윤곽선 영상 추출부(1320), 연산부(1330), 명도 특징맵 생성부(1340), 윤곽선 특징맵 생성부(1350), 정적 돌출맵 생성부(1360), 엔트로피 연산부(1370) 및 동적 돌출맵 생성부(1380)를 포함한다.The image processor 130 generates a static saliency map corresponding to at least one frame of the input image provided from the image input unit 120 and dynamically protrudes from the static protrusion map corresponding to the generated at least one frame. As to generate a dynamic saliency map, as shown in FIG. 2, the brightness image extractor 1310, the contour image extractor 1320, the calculator 1330, the brightness feature map generator 1340, and the outline The feature map generator 1350, the static protrusion map generator 1360, the entropy calculator 1370, and the dynamic protrusion map generator 1380 are included.

본 발명의 일 실시예에 따른 영상 처리부(130)는 사람의 시각적인 지각원리를 이용하여 정적 돌출맵을 생성하기 때문에, 인간의 망막 세포가 명암 정보, 윤곽선 정보 및 컬러 정보등을 추출하듯이, 입력 영상으로부터 명암 영상 및 윤곽선 영상을 추출한다.Since the image processor 130 generates a static protrusion map by using the visual perception principle of a human, as human retinal cells extract contrast information, contour information, color information, and the like, A contrast image and a contour image are extracted from the input image.

명도 영상 추출부(1310)는 영상 입력부(120)로부터 제공된 입력 영상의 적어도 하나의 프레임에 대응되는 명도 영상을 추출한다. 즉, 본 발명에 따르면, 입력 영상의 여러 프레임에 대하여 실시간으로 영상 처리를 함으로써, 입력 영상에 포함된 객체의 후보 영역 검출 시스템을 저비용으로 구성할 수 있다.The brightness image extractor 1310 extracts a brightness image corresponding to at least one frame of the input image provided from the image input unit 120. That is, according to the present invention, by performing image processing on several frames of the input image in real time, the candidate region detection system of the object included in the input image can be configured at low cost.

윤곽선 영상 추출부(1320)는 영상 입력부(120)로부터 제공된 입력 영상의 적어도 하나의 프레임에 대응되는 윤곽선 영상을 추출한다. 일 실시예에 있어서, 윤곽선 영상은 소벨 필터(sobel filter)를 이용하여 산출될 수 있다.The contour image extractor 1320 extracts a contour image corresponding to at least one frame of the input image provided from the image input unit 120. In one embodiment, the contour image may be calculated using a sobel filter.

여기서, 소벨 필터는 윤곽선을 검출하는 필터로서, 윤곽선 검출은 미분 연산자에 의한 밝기 값의 변화를 이용하여 찾아내는 것인데, 편미분 연산을 이용하여 미분 값을 구하기도 한다. 하지만, 직접적인 계산보다는 마스크를 이용하여 빠른 연산을 하는 것이 더욱 효과적일 수 있다. 마스크를 이용한 연산의 특징은 마스크 내의 모든 픽셀의 합은 '0'이라는 점이다. 소벨 필터는 비선형 연산자로서 사용하는 마스크 창(Mask Window)영역의 양 끝단에 속한 화소들 사이의 합의 차이를 구한 후 이를 수평과 수직 방향에 대하여 평균 크기를 구함으로써 경계 부위를 강조하는 기능을 수행한다. 소벨 필터는 일반적으로 3×3 크기의 창으로 정의될 수 있으며, 잡음에 강하고 굵은 영상을 나타내는 특성을 가지고 있다.Here, the Sobel filter is a filter for detecting an outline, and the detection of an outline is found by using a change in brightness value by a differential operator, and a differential value is also obtained by using a partial differential operation. However, it may be more effective to perform fast operations using masks rather than direct calculations. A feature of operations with masks is that the sum of all pixels in the mask is zero. The Sobel filter performs the function of emphasizing the boundary area by finding the difference between sums of pixels of both ends of the mask window area used as a nonlinear operator, and then calculating the average size in the horizontal and vertical directions. . Sobel filter can be generally defined as a 3 × 3 window, and has a characteristic of displaying a bold image resistant to noise.

연산부(1330)는 명도 영상 추출부(1310) 및 윤곽선 영상 추출부(1320)가 추출한 각각의 명도 영상 및 윤곽선 영상에 대해 중심 주변 차이 및 정규화(CSD&N:center surround difference and normalization) 연산을 수행함으로써, 중심 강화 주변 억제(on-center and off-surround) 기능을 수행한다. 여기서, 중심 주변 차이 및 정규화 연산은 명도, 윤곽선, 컬러 등과 같은 영상의 각 특징들을 이용하여 눈에 띄는 정도를 수치화하며, 구체적으로 본래 영상을 흐릿하게 한 영상과 좀 더 또렷하게 한 영상과의 차이를 찾아내는 과정을 통해 수행된다.The operation unit 1330 performs a center surround difference and normalization (CSD & N) operation on each of the brightness images and the contour images extracted by the brightness image extractor 1310 and the contour image extractor 1320. It performs on-center and off-surround functions. In this case, the difference around the center and the normalization operation quantify the degree of prominence by using each feature of the image such as brightness, outline, color, and the like, and specifically, the difference between the original blurred image and the more sharp image This is done through the process of finding out.

일 실시예에 있어서, 연산부(1330)는 추출된 명도 영상 및 윤곽선 영상에 대응하여 가우시안 피라미드 영상을 생성하고, 생성된 가우시안 피라미드 영상에 대해 중심 주변 차이 및 정규화 연산을 수행한다. 여기서, 가우시안 피라미드 영상을 생성하는 이유는 다양한 스케일의 영상들(different scale images)을 이용하기 위해서이다.In one embodiment, the calculator 1330 generates a Gaussian pyramid image corresponding to the extracted brightness image and the contour image, and performs a center peripheral difference and normalization operation on the generated Gaussian pyramid image. Here, the reason for generating the Gaussian pyramid image is to use different scale images.

명도 특징맵 생성부(1340)는 연산부(1330)의 중심 주변 차이 및 정규화 연산수행에 의해 명도 영상 추출부(1310)가 추출한 명도 영상으로부터 명도 특징맵을 생성하며, 윤곽선 특징맵 생성부(1350)는 연산부(1330)의 중심 주변 차이 및 정규화 연산에 의해 윤곽선 영상 추출부(1320)가 추출한 윤곽선 영상으로부터 윤곽선 특징맵을 생성한다.The lightness feature map generator 1340 generates a lightness feature map from the lightness image extracted by the lightness image extractor 1310 by performing the difference around the center of the calculator 1330 and normalization operation, and the contour feature map generator 1350. The contour feature map is generated from the contour image extracted by the contour image extractor 1320 by the center peripheral difference and normalization operation of the calculator 1330.

정적 돌출맵 생성부(1360)는 명도 특징맵 생성부(1340) 및 윤곽선 특징맵 생성부(1350)가 생성한 명도 특징맵 및 윤곽선 특징맵을 통합하여 정적 돌출맵을 생성한다. 일 실시예에 있어서, 정적 돌출맵은 현재 프레임과 이전 4개의 프레임에 대응되는 정적 돌출맵일 수 있다. 일 실시예에 있어서, 정적 돌출맵 생성부(1360)는 독립 성분 분석(ICA:independent component analysis) 알고리즘에 의해 명도 특징맵 및 윤곽선 특징맵을 통합하여 정적 돌출맵을 생성할 수 있다. The static protrusion map generator 1360 generates a static protrusion map by integrating the brightness feature map and the contour feature map generated by the brightness feature map generator 1340 and the contour feature map generator 1350. In one embodiment, the static protrusion map may be a static protrusion map corresponding to the current frame and the previous four frames. In an embodiment, the static protrusion map generator 1360 may generate the static protrusion map by integrating the brightness feature map and the contour feature map by an independent component analysis (ICA) algorithm.

엔트로피 연산부(1370)는 정적 돌출맵 생성부(1360)에 의해 생성된 적어도 하나의 프레임에 대응되는 정적 돌출맵에 대한 각 픽셀에서의 동적 엔트로피 값을 계산한다. 구체적으로, 본 발명에 따른 동적 돌출맵은 공간적인 특징들(spatial features) 뿐만 아니라 시간 변화 특징들(time-varying properties)을 고려하기 때문에, 연속적인(succecssive) 정적 돌출맵에 기초하여 생성되며, 동적 엔트로피 값은 엔트로피 최대값을 연속적인 정적 돌출맵의 동적 특성(dynamics)을 분석하여 계산된다.The entropy calculator 1370 calculates a dynamic entropy value in each pixel for the static protrusion map corresponding to the at least one frame generated by the static protrusion map generator 1360. Specifically, the dynamic protrusion map according to the present invention is generated based on a succecssive static protrusion map because it considers not only spatial features but also time-varying properties, The dynamic entropy value is calculated by analyzing the dynamics of the continuous static protrusion map from the entropy maximum.

따라서, 각각의 위치에서 공간적 동적 특성을 고려하기 위해서, 시간 τ에서 제1프레임에 대한 위치 x를 중심으로 하는 각각의 영역에 대한 가장 적절한 스케일 xs를 수학식으로 표현하면 아래와 같다.Therefore, in order to consider the spatial dynamic characteristics at each position, the most appropriate scale x s for each region centered on the position x for the first frame at time τ is expressed by the following equation.

Figure pat00001
Figure pat00001

여기서, D는 시간 τ에서 정적 돌출맵의 현재 위치 x 주변으로 스케일(scale) s의 지역 영역(local region)에서의 히스토그램 분산(histogram distribution)에 대응하는 명도 값들로 이루어진 모든 디스크립터(descriptor) 값들의 집합이다. Where D is the value of all descriptor values consisting of brightness values corresponding to histogram distribution in the local region of scale s around the current position x of the static protrusion map at time τ. It is a set.

또한, 엔트로피

Figure pat00002
는 아래의 수학식 2로 표현되며, 상호 스케일 측정(inter-scale measure)
Figure pat00003
은 아래의 수학식 3으로 표현될 수 있다.Also, entropy
Figure pat00002
Is expressed by Equation 2 below, and the inter-scale measure
Figure pat00003
May be expressed by Equation 3 below.

Figure pat00004
Figure pat00004

Figure pat00005
Figure pat00005

여기서,

Figure pat00006
는 확률 질량 함수(probability mass function)을 의미하며 시간 τ에서 정적 돌출맵의 위치 x에서 스케일 s의 지역 영역에서의 모든 픽셀 값들을 이용하여 생성된 히스토그램을 정규화함으로써 획득된다. 또한, 디스크립터 값 d는 지역 영역의 모든 픽셀 값들의 같은 집합이며, 모든 디스크립터 값들의 집한인 D의 요소를 의미한다. here,
Figure pat00006
Denotes a probability mass function and is obtained by normalizing the generated histogram using all pixel values in the local region of scale s at position x of the static protrusion map at time τ. In addition, the descriptor value d is the same set of all pixel values of the local area and means an element of D which is a collection of all descriptor values.

그리고, 시간 변화 엔트로피

Figure pat00007
는 아래의 수학식 4로 표현될 수 있다.And time-varying entropy
Figure pat00007
May be expressed by Equation 4 below.

Figure pat00008
Figure pat00008

다시 말해, 위치 x에서의 엔트로피 값은 정적 돌출맵의 스케일 xs를 가진 위치 x를 중심으로 하는 지역 영역의 픽셀 값들의 히스토그램을 이용하여 계산되는 것이다. 여기서, 동적 장면(dynamic scene)에 대한 확률 질량 함수

Figure pat00009
는 시간 τ부터 τ+n△t까지의 n+1개의 프레임들에 대한 정적 돌출맵의 연속에 대한 엔트로피 값들의 히스토그램으로부터 획득되며, n은 계속된 프레임들의 개수이며, △t는 샘플링 시간을 의미한다.In other words, the entropy value at position x is computed using a histogram of pixel values of the local area centered on position x with scale x s of the static protrusion map. Where the probability mass function for the dynamic scene
Figure pat00009
Is obtained from a histogram of entropy values for the continuation of the static protrusion map for n + 1 frames from time τ to τ + nΔt, where n is the number of consecutive frames and Δt is the sampling time. do.

동적 돌출맵 생성부(1380)는 정적 돌출맵 생성부(1360)에 의해 생성된 정적 돌출맵 및 엔트로피 연산부(1370)에 의해 연산된 동적 엔트로피 값을 이용하여 동적 돌출맵을 생성한다.The dynamic protrusion map generating unit 1380 generates a dynamic protrusion map using the static protrusion map generated by the static protrusion map generating unit 1360 and the dynamic entropy value calculated by the entropy calculating unit 1370.

다시 말해, 상기의 수학식 4와 같이 계산된, 각각의 픽셀에서의 엔트로피 값

Figure pat00010
는 시간에 따른 시각 정보(visual information)의 변화(fluctuation)를 나타내므로, 상술한 바와 같이 연산된 동적 엔트로피 값을 이용함으로써 동적 돌출맵을 생성할 수 있는 것이다.In other words, the entropy value at each pixel, calculated as in Equation 4 above
Figure pat00010
Since represents fluctuation of visual information with time, a dynamic protrusion map can be generated by using the dynamic entropy value calculated as described above.

다시 도 1을 참조하면, 후보 영역 검출부(140)는 동적 돌출맵 생성부(1380)에 의해 생성된 동적 돌출맵을 기 설정된 범위 이내로 이진화하고, 이진화된 동적 돌출맵에 대해 형태학적 닫힘 연산을 수행하여 입력 영상에 포함된 객체의 후보 영역을 검출한다. Referring back to FIG. 1, the candidate region detector 140 binarizes the dynamic protrusion map generated by the dynamic protrusion map generator 1380 within a preset range, and performs a morphological closing operation on the binary dynamic protrusion map. The candidate region of the object included in the input image is detected.

다시 말해, 후보 영역 검출부(140)는 임계값을 설정하여 동적 돌출맵을 이진 영상으로 변환하고, 형태학적(morphology) 닫힘(closing) 연산을 통해 잡음을 제거하고 단절 영역을 연결하여 객체의 후보 영역(candidate area)을 검출하는 것이다.In other words, the candidate region detector 140 sets a threshold to convert the dynamic protrusion map into a binary image, removes noise through a morphology closing operation, and connects the disconnected regions to candidate regions of the object. (candidate area) is detected.

여기서, '형태학적(morphology)'이라는 용어는 보통 동·식물의 형태와 구조를 다루는 생물학의 한 분야(형태학)을 의미하나, 본원의 상세한 설명에서는 동일한 용어를 수학적 형태학의 문맥으로서, 영역 모양의 표현과 기술에 유용한 경계선, 골격 또는 블럭 도형 같은 영상 성분을 추출하는 도구를 의미하는 용어로 사용하기로 한다. 이러한, 형태학적 닫힘 연산은 팽창(dilation)과 침식(erosion)으로 구분할 수 있으며, 팽창과 침식을 수행하는 닫힘 연산을 이용하면 영상 안의 잡음을 제거하고, 끊어진 영역을 연결할 수 있다.Here, the term 'morphology' generally refers to a field of biology (morphology) dealing with the forms and structures of animals and plants, but in the description herein, the same term is used as the context of mathematical morphology, This term is used to mean a tool for extracting image components such as boundary lines, skeletons, or block figures, which are useful for expression and description. The morphological closing operation can be divided into dilation and erosion, and the closing operation performing expansion and erosion can remove noise in the image and connect the broken regions.

일 실시예에 있어서, 후보 영역 검출부(140)는 검출된 객체의 후보 영역을 레이블링하여 후보 영역에 대한 정보를 생성할 수 있다.In an embodiment, the candidate region detector 140 may label the candidate region of the detected object to generate information about the candidate region.

도 3은 본 발명의 일 실시예에 따른 영상 처리부 및 후보 영역 검출부의 구현예를 설명하기 위한 도면이다.3 is a diagram for describing an implementation of an image processor and a candidate region detector, according to an exemplary embodiment.

영상 입력부(120)에 의해 입력된 적어도 하나의 프레임에 대응되는 입력 영상(122)들은 명도 영상 추출부(1310) 및 윤곽선 영상 추출부(1320)에 의해 각각 명도 영상(1312) 및 윤곽선 영상(1324)이 추출된다. 연산부(1330)에 의해 중심강화/주변억제(1332) 기능이 수행되고, 명도 특징맵 생성부(1340) 및 윤곽선 특징맵 생성부(1350)는 각각 명도 특징맵(1342) 및 윤곽선 특징맵(1352)을 생성한다. 정적 돌출맵 생성부(1360)는 명도 특징맵(1342) 및 윤곽선 특징맵(1352)을 통합하여 정적 돌출맵(1362)을 생성한다. 엔트로피 연산부(1370)는 정적 돌출맵(1362)로부터 각 픽셀에서의 동적 엔트로피 값(1372)을 계산하고, 동적 돌출맵 생성부(1380)는 정적 돌출맵(1362) 및 동적 엔트로피 값(1372)을 이용하여 동적 돌출맵(1382)을 생성한다. 후보 영역 검출부(140)는 임계값을 설정하여 동적 돌출맵(1382)을 이진 영상(142)으로 변환하고, 형태학적(morphology) 닫힘(closing) 연산(144)을 통해 잡음을 제거하고 단절 영역을 연결하여 객체의 후보 영역(146)을 검출하는 것이다.The input images 122 corresponding to the at least one frame input by the image input unit 120 are the brightness image 1312 and the contour image 1324 by the brightness image extractor 1310 and the contour image extractor 1320, respectively. ) Is extracted. The center enhancement / peripheral suppression 1332 function is performed by the operation unit 1330, and the brightness feature map generator 1340 and the contour feature map generator 1350 are the brightness feature map 1342 and the contour feature map 1352, respectively. ). The static protrusion map generation unit 1360 generates the static protrusion map 1362 by integrating the brightness feature map 1342 and the contour feature map 1352. The entropy calculator 1370 calculates the dynamic entropy value 1372 at each pixel from the static protrusion map 1332, and the dynamic protrusion map generator 1380 calculates the static protrusion map 1332 and the dynamic entropy value 1372. Generate a dynamic protrusion map 1382. The candidate region detector 140 sets a threshold to convert the dynamic protrusion map 1382 to a binary image 142, removes noise through a morphology closing operation 144, and removes the disconnection region. By connecting, the candidate region 146 of the object is detected.

도 4는 본 발명의 일 실시예에 따른 정적 돌출맵 및 동적 돌출맵 생성의 구현예를 보여주는 도면이다.4 is a diagram illustrating an embodiment of generating a static protrusion map and a dynamic protrusion map according to an embodiment of the present invention.

도 4의 (a) 및 (b)는 정적 돌출맵 및 시간 τ에서의 스케일 정보(scale information)를 포함하는 스캔 경로를 각각 나타내며, 각각의 돌출 영역에서의 스케일 정보는 도면에서 대응되는 돌출 영역 상에 축소된 박스에 의해 표현된다. (A) and (b) of FIG. 4 each represent a scan path including a static protrusion map and scale information at time τ, and the scale information in each protrusion area is on the corresponding protrusion area in the figure. Is represented by a collapsed box.

또한, 도 4의 (c), (e) 및 (g)는 시간 τ부터 τ+3△t까지의 연속적인 프레임들 중 둘째, 셋째 및 넷째 프레임에 대한 연속적은 정적 돌출맵을 나타내며, 도 4의 (d), (f) 및 (h)는 도 4의 (c), (e) 및 (g) 각각의 대응되는 정적 돌출맵으로부터 획득된 연속적인 스캔 경로를 나타낸다.In addition, (c), (e) and (g) of FIG. 4 represent a continuous protrusion map for the second, third and fourth frames among successive frames from time τ to τ + 3Δt, and FIG. 4. (D), (f) and (h) represent continuous scan paths obtained from the corresponding static protrusion maps of FIGS. 4 (c), (e) and (g), respectively.

그리고, 도 4의 (i) 및 (j)는 도 4의 (a), (c), (e) 및 (g)에 도시된 연속적인 정적 돌출맵으로부터 획득된 동적 돌출맵 및 동적 돌출맵에 의해 생성된 스캔 경로를 나타낸다. 다시 말해, 도 4의 (i)는 연속적인 정적 돌출맵들을 통합하고, 정적 돌출맵들의 엔트로피 값을 계산하여 생성되는 동적 돌출맵을 나타내며, 도 4의 (j)에 도시된 동적 영역에 주의가 집중될 수 있는 스캔 경로를 나타낸다.And (i) and (j) of Figure 4 is a dynamic protrusion map and dynamic protrusion map obtained from the continuous static protrusion map shown in (a), (c), (e) and (g) of FIG. Indicates the scan path generated by In other words, FIG. 4 (i) represents a dynamic protrusion map generated by integrating continuous static protrusion maps and calculating entropy values of the static protrusion maps, and attention is paid to the dynamic region shown in FIG. 4 (j). Represents a scan path that can be concentrated.

이와 같이, 도 4의 (h)에 도시된 바와 같이, 시간 τ+3△t에서의 동일 프레임에 대한, 정적 돌출맵은 선택적으로 돌출 영역을 검출할 수 있다. 그러나, 도 4의 (h)에 도시된 것보다 본 발명에 의하면 도 4의 (j)에 검출된 돌출 영역보다 도 4의 (j)에 도시된 바와 같이 동적으로 돌출 영역을 더 잘 검출할 수 있는 것을 알 수 있다.As such, as shown in FIG. 4H, the static protrusion map for the same frame at time τ + 3Δt may selectively detect the protrusion region. However, according to the present invention, as shown in FIG. 4 (j), the protrusion area can be detected dynamically as shown in FIG. 4 (j) better than that shown in FIG. 4 (h). I can see that there is.

다시 말해, 인간의 시각 시스템 정적 시스템이라면, 도 4의 (h)에 도시된 돌출 영역 검출 결과가 합리적일 수 있지만, 인간의 시각시스템은 정적 특징들뿐만 아니라 동적 특징들을 포함하고 있다. 따라서, 본 발명은 정적 돌출 영역들 뿐만 아니라 동적 돌출 영역들에 중점을 둠으로써, 정확하고 보다 많은 객체의 후보 영역들을 검출할 수 있다.In other words, if the human visual system is a static system, the projection area detection result shown in FIG. 4H may be reasonable, but the human visual system includes dynamic features as well as static features. Thus, the present invention focuses on dynamic protrusion areas as well as static protrusion areas, thereby making it possible to detect accurate and more object candidate areas.

한편, 도 4에서는 설명의 편의상 현재의 프레임과 이전의 3개의 프레임에 대한 정적 돌출맵과, 생성된 정적 돌출맵으로부터 생성된 동적 돌출맵에 대해 도시하고 있으나, 본 발명의 일 실시예에 따르면, 현재의 프레임과 이전의 4개의 프레임에 대한 정적 돌출맵을 생성하고, 생성된 정적 돌출맵으로부터 동적 돌출맵을 생성할 수도 있다.Meanwhile, in FIG. 4, for convenience of description, a static protrusion map for the current frame and the previous three frames and a dynamic protrusion map generated from the generated static protrusion map are illustrated. According to an embodiment of the present invention, You can also create a static extrusion map for the current frame and the previous four frames, and create a dynamic extrusion map from the generated static extrusion map.

도 5는 본 발명의 일 실시예에 따른 영상 처리 시스템에서의 객체 후보 영역 검출 방법을 보여주는 플로우차트이다.5 is a flowchart illustrating a method of detecting an object candidate region in an image processing system according to an exemplary embodiment of the present invention.

먼저, 영상을 입력 받는다(S500). 여기서, 입력되는 영상은 촬영부(110)로부터 제공된 영상일 수 있거나, 외부 장치로부터 수신된 영상일 수 있다.First, the image is input (S500). Here, the input image may be an image provided from the photographing unit 110 or an image received from an external device.

다음으로, 입력 영상의 적어도 하나의 프레임에 대응되는 정적 돌출맵(static saliency map)을 생성한다(S510).Next, a static saliency map corresponding to at least one frame of the input image is generated (S510).

일 실시예에 있어서, 정적 돌출맵을 생성하는 단계(S510)는 입력 영상의 적어도 하나의 프레임에 대응되는 명도 영상 및 윤곽선 영상을 각각 추출하며, 추출된 각각의 명도 영상 및 윤곽선 영상에 대해 중심 주변 차이 및 정규화(CSD&N:center surround difference and normalization) 연산을 수행하고, 중심 주변 차이 및 정규화 연산에 의해 추출된 각각의 명도 영상 및 윤곽선 영상으로부터 명도 특징맵 및 윤곽선 특징맵을 각각 생성하고, 생성된 각각의 명도 특징맵 및 윤곽선 특징맵을 통합하여 정적 돌출맵을 생성할 수 있다.In an embodiment, the generating of the static protrusion map (S510) extracts a brightness image and a contour image corresponding to at least one frame of the input image, respectively, and surrounds the center of the extracted brightness image and the contour image, respectively. Perform a center surround difference and normalization (CSD & N) operation, and generate a brightness feature map and a contour feature map from each of the brightness images and the contour images extracted by the center peripheral difference and normalization operations, respectively. The static feature map and contour feature map can be combined to create a static extrusion map.

일 실시예에 있어서, 윤곽선 영상은 소벨 필터(sobel filter)를 이용하여 산출될 수 있다. 여기서, 소벨 필터는 윤곽선을 검출하는 필터로서, 윤곽선 검출은 미분 연산자에 의한 밝기 값의 변화를 이용하여 찾아내는 것인데, 편미분 연산을 이용하여 미분 값을 구하기도 한다. 소벨 필터는 비선형 연산자로서 사용하는 마스크 창(Mask Window)영역의 양 끝단에 속한 화소들 사이의 합의 차이를 구한 후 이를 수평과 수직 방향에 대하여 평균 크기를 구함으로써 경계 부위를 강조하는 기능을 수행한다.In one embodiment, the contour image may be calculated using a sobel filter. Here, the Sobel filter is a filter for detecting an outline, and the detection of an outline is found by using a change in brightness value by a differential operator, and a differential value is also obtained by using a partial differential operation. The Sobel filter performs the function of emphasizing the boundary area by finding the difference between sums of pixels of both ends of the mask window area used as a nonlinear operator, and then calculating the average size in the horizontal and vertical directions. .

일 실시예에 있어서, 중심 주변 차이 및 정규화 연산을 수행하는 단계는 추출된 명도 영상 및 윤곽선 영상에 대응하여 가우시안 피라미드 영상을 생성하고, 생성된 가우시안 피라미드 영상에 대해 중심 주변 차이 및 정규화 연산을 수행할 수 있다.In one embodiment, the step of performing the center peripheral difference and normalization operation may generate a Gaussian pyramid image corresponding to the extracted brightness image and the contour image, and perform the center peripheral difference and normalization operation on the generated Gaussian pyramid image. Can be.

여기서, 정적 돌출맵은 현재 프레임과 이전 4개의 프레임에 대응되는 정적 돌출맵일 수 있으며, 동적 돌출맵은 생성된 적어도 하나의 프레임에 대응되는 정적 돌출맵에 대한 각 픽셀에서의 동적 엔트로피 값을 계산하여 산출될 수 있다.Here, the static extrusion map may be a static extrusion map corresponding to the current frame and the previous four frames, and the dynamic extrusion map calculates a dynamic entropy value at each pixel for the static extrusion map corresponding to at least one frame generated. Can be calculated.

일 실시예에 있어서, 정적 돌출맵을 생성하는 단계(S510)는 독립 성분 분석(ICA:independent component analysis) 알고리즘에 의해 명도 특징맵 및 윤곽선 특징맵을 통합하여 정적 돌출맵을 생성할 수 있다.In an embodiment, the generating of the static protrusion map (S510) may generate the static protrusion map by integrating the brightness feature map and the contour feature map by an independent component analysis (ICA) algorithm.

다음으로, 생성된 적어도 하나의 프레임에 대응되는 정적 돌출맵으로부터 동적 돌출맵(dynamic saliency map)을 생성한다(S520).Next, a dynamic saliency map is generated from the static protrusion map corresponding to the generated at least one frame (S520).

일 실시예에 있어서, 동적 돌출맵을 생성하는 단계(S520)는 생성된 적어도 하나의 프레임에 대응되는 정적 돌출맵에 대한 각 픽셀에서의 동적 엔트로피 값을 계산하고, 생성된 정적 돌출맵 및 계산된 동적 엔트로피 값을 이용하여 동적 동출맵을 생성할 수 있다.In one embodiment, the step (520) of generating the dynamic protrusion map calculates the dynamic entropy value at each pixel for the static protrusion map corresponding to the generated at least one frame, and generates the generated static protrusion map and the calculated Dynamic enumeration maps can be generated using dynamic entropy values.

구체적으로, 본 발명에 따른 동적 돌출맵은 공간적인 특징들(spatial features) 뿐만 아니라 시간 변화 특징들(time-varying properties)을 고려하기 때문에, 연속적인(succecssive) 정적 돌출맵에 기초하여 생성되며, 동적 엔트로피 값은 엔트로피 최대값을 연속적인 정적 돌출맵의 역학(dynamics)을 분석하여 계산된다.Specifically, the dynamic protrusion map according to the present invention is generated based on a succecssive static protrusion map because it considers not only spatial features but also time-varying properties, The dynamic entropy value is calculated by analyzing the dynamics of the continuous static protrusion map from the entropy maximum value.

다음으로, 생성된 동적 돌출맵을 기 설정된 범위 이내로 이진화한다(S530). 다시 말해, 동적 돌출맵에 대하여 적절한 임계값을 설정하여 이진 영상으로 변환하는 것이다.Next, the generated dynamic protrusion map is binarized within a preset range (S530). In other words, an appropriate threshold value is set for the dynamic protrusion map and converted into a binary image.

마지막으로, 이진화된 동적 돌출맵에 대해 형태학적 닫힘 연산을 수행하여 입력 영상에 포함된 객체의 후보 영역을 검출한다(S540). 다시 말해, 형태학적(morphology) 닫힘(closing) 연산을 통해 잡음을 제거하고 단절 영역을 연결하여 객체의 후보 영역을 검출하는 것이다.Finally, a morphological closing operation is performed on the binarized dynamic protrusion map to detect candidate regions of the objects included in the input image (S540). In other words, the candidate region of the object is detected by removing noise and connecting disconnection regions through a morphology closing operation.

여기서, 형태학적 닫힘 연산은 팽창(dilation)과 침식(erosion)으로 구분할 수 있으며, 팽창과 침식을 수행하는 닫힘 연산을 이용하면 영상 안의 잡음을 제거하고, 끊어진 영역을 연결할 수 있다.Here, the morphological closing operation can be divided into dilation and erosion, and by using the closing operation that performs expansion and erosion, noise in the image can be removed and a broken region can be connected.

일 실시예에 있어서, 객체의 후보 영역을 검출하는 단계(S540)는 검출된 후보 영역을 레이블링하여 후보 영역에 대한 정보를 생성할 수 있다.In an embodiment, the detecting of the candidate region of the object in operation S540 may generate the information on the candidate region by labeling the detected candidate region.

한편, 상술한 영상 처리 시스템에서의 객체 후보 영역 검출 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다. 이때, 컴퓨터로 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 한편, 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.On the other hand, the object candidate region detection method in the above-described image processing system is implemented in the form of program instructions that can be executed by various computer means can be recorded in a computer-readable recording medium. In this case, the computer-readable recording medium may include program instructions, data files, data structures, and the like, alone or in combination. On the other hand, the program instructions recorded on the recording medium may be those specially designed and configured for the present invention or may be available to those skilled in the art of computer software.

컴퓨터로 판독 가능한 기록매체에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM, DVD와 같은 광기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 한편, 이러한 기록매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다.The computer-readable recording medium includes a magnetic recording medium such as a magnetic medium such as a hard disk, a floppy disk and a magnetic tape, an optical medium such as a CD-ROM and a DVD, a magnetic disk such as a floppy disk, A magneto-optical media, and a hardware device specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. The recording medium may be a transmission medium such as an optical or metal wire, a waveguide, or the like including a carrier wave for transmitting a signal specifying a program command, a data structure, or the like.

또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.In addition, program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

한편, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.On the other hand, those skilled in the art will appreciate that the present invention can be implemented in other specific forms without changing the technical spirit or essential features.

그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Therefore, it is to be understood that the embodiments described above are exemplary in all respects and not restrictive. The scope of the present invention is shown by the following claims rather than the detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present invention. do.

100 : 객체 후보 영역 검출 시스템 110 : 촬영부
120 : 영상 입력부 130 : 영상 처리부
140 : 후보 영역 검출부100: object candidate area detection system 110: photographing unit
120: image input unit 130: image processing unit
140: candidate region detection unit

Claims (15)

입력 영상의 적어도 하나의 프레임에 대응되는 정적 돌출맵(static saliency map)을 생성하는 단계;
상기 생성된 적어도 하나의 프레임에 대응되는 정적 돌출맵으로부터 동적 돌출맵(dynamic saliency map)을 생성하는 단계; 및
상기 생성된 동적 돌출맵으로부터 상기 입력 영상에 포함된 객체의 후보 영역을 검출하는 단계를 포함하는 것을 특징으로 하는 영상 처리 시스템에서의 객체 후보 영역 검출 방법.Generating a static saliency map corresponding to at least one frame of the input image;
Generating a dynamic saliency map from the static protrusion map corresponding to the generated at least one frame; And
And detecting a candidate region of an object included in the input image from the generated dynamic protrusion map. 제 1 항에 있어서,
상기 정적 돌출맵을 생성하는 단계는,
상기 입력 영상의 상기 적어도 하나의 프레임에 대응되는 명도 영상 및 윤곽선 영상을 각각 추출하는 단계;
상기 추출된 각각의 명도 영상 및 윤곽선 영상에 대해 중심 주변 차이 및 정규화(CSD&N:center surround difference and normalization) 연산을 수행하는 단계;
상기 중심 주변 차이 및 정규화 연산에 의해 상기 추출된 각각의 명도 영상 및 윤곽선 영상으로부터 명도 특징맵 및 윤곽선 특징맵을 각각 생성하는 단계; 및
상기 생성된 각각의 명도 특징맵 및 윤곽선 특징맵을 통합하여 상기 정적 돌출맵을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 처리 시스템에서의 객체 후보 영역 검출 방법.The method of claim 1,
Generating the static protrusion map,
Extracting a brightness image and a contour image respectively corresponding to the at least one frame of the input image;
Performing a center surround difference and normalization (CSD & N) operation on each of the extracted brightness and contour images;
Generating a brightness feature map and a contour feature map from each of the extracted brightness images and contour images by the center peripheral difference and normalization operation; And
And generating the static protrusion map by integrating each of the generated brightness feature maps and the contour feature maps. 제 2 항에 있어서,
상기 윤곽선 영상은 소벨 필터(sobel filter)를 이용하여 산출되는 것을 특징으로 하는 영상 처리 시스템에서의 객체 후보 영역 검출 방법.The method of claim 2,
And the contour image is calculated by using a sobel filter. 제 2 항에 있어서,
상기 연산을 수행하는 단계는,
상기 추출된 명도 영상 및 윤곽선 영상에 대응하여 가우시안 피라미드 영상을 생성하고, 상기 생성된 가우시안 피라미드 영상에 대해 상기 연산을 수행하는 것을 특징으로 하는 영상 처리 시스템에서의 객체 후보 영역 검출 방법.The method of claim 2,
Performing the operation,
And generating a Gaussian pyramid image corresponding to the extracted brightness image and the contour image, and performing the operation on the generated Gaussian pyramid image. 제 1 항에 있어서,
상기 정적 돌출맵은 현재 프레임과 이전 4개의 프레임에 대응되는 정적 돌출맵인 것을 특징으로 하는 영상 처리 시스템에서의 객체 후보 영역 검출 방법.The method of claim 1,
And wherein the static protrusion map is a static protrusion map corresponding to the current frame and the previous four frames. 제 1 항에 있어서,
상기 동적 돌출맵은 상기 생성된 적어도 하나의 프레임에 대응되는 정적 돌출맵에 대한 각 픽셀에서의 동적 엔트로피 값을 계산하여 산출되는 것을 특징으로 하는 영상 처리 시스템에서의 객체 후보 영역 검출 방법.The method of claim 1,
And the dynamic protrusion map is calculated by calculating a dynamic entropy value of each pixel for a static protrusion map corresponding to the generated at least one frame. 제 1 항에 있어서,
상기 후보 영역을 검출하는 단계는,
상기 동적 돌출맵을 기설정된 범위 이내로 이진화하는 단계; 및
상기 이진화된 동적 돌출맵에 대해 형태학적 닫힘 연산을 수행하여 상기 입력 영상에 포함된 객체의 후보 영역을 검출하는 단계를 포함하는 것을 특징으로 하는 영상 처리 시스템에서의 객체 후보 영역 검출 방법.The method of claim 1,
Detecting the candidate area,
Binarizing the dynamic protrusion map within a preset range; And
And detecting a candidate region of an object included in the input image by performing a morphological closing operation on the binarized dynamic protrusion map. 제 7 항에 있어서,
상기 검출된 후보 영역을 레이블링하여 상기 후보 영역에 대한 정보를 생성하는 단계를 더 포함하는 것을 특징으로 하는 영상 처리 시스템에서의 객체 후보 영역 검출 방법.The method of claim 7, wherein
And labeling the detected candidate region to generate information about the candidate region. 입력 영상의 적어도 하나의 프레임에 대응되는 정적 돌출맵(static saliency map)을 생성하고, 상기 생성된 상기 적어도 하나의 프레임에 대응되는 정적 돌출맵으로부터 동적 돌출맵(dynamic saliency map)을 생성하는 영상 처리부; 및
상기 동적 돌출맵 생성부에 의해 생성된 상기 동적 돌출맵으로부터 상기 입력 영상에 포함된 객체의 후보 영역을 검출하는 후보 영역 검출부를 포함하는 것을 특징으로 하는 영상 처리 시스템에서의 객체 후보 영역 검출 시스템.An image processor which generates a static saliency map corresponding to at least one frame of the input image and generates a dynamic saliency map from the generated static saliency map corresponding to the at least one frame. ; And
And a candidate region detector for detecting a candidate region of an object included in the input image from the dynamic protrusion map generated by the dynamic protrusion map generator. 제 9 항에 있어서,
상기 영상 처리부는,
상기 입력 영상으로부터 명도 영상 및 윤곽선 영상을 각각 추출하는 명도 영상 추출부 및 윤곽선 영상 추출부;
상기 추출된 각각의 명도 영상 및 윤곽선 영상에 대해 중심 주변 차이 및 정규화(CSD&N:center surround difference and normalization) 연산을 수행하는 연산부;
상기 연산부의 중심 주변 차이 및 정규화 연산에 의해 상기 추출된 각각의 명도 영상 및 윤곽선 영상으로부터 명도 특징맵 및 윤곽선 특징맵을 각각 생성하는 명도 특징맵 생성부 및 윤곽선 특징맵 생성부; 및
상기 생성된 각각의 명도 특징맵 및 윤곽선 특징맵을 통합하여 상기 정적 돌출맵을 생성하는 정적 돌출맵 생성부를 포함하는 것을 특징으로 하는 것을 특징으로 하는 영상 처리 시스템에서의 객체 후보 영역 검출 시스템.The method of claim 9,
Wherein the image processing unit comprises:
A brightness image extractor and a contour image extractor for extracting a brightness image and a contour image from the input image, respectively;
A calculator configured to perform a center surround difference and normalization (CSD & N) operation on the extracted brightness and contour images;
A brightness feature map generator and a contour feature map generator for generating a brightness feature map and a contour feature map from each of the brightness images and the contour images extracted by the center peripheral difference and normalization operation of the calculator; And
And a static protrusion map generation unit for generating the static protrusion map by integrating the generated brightness feature maps and the contour feature maps. 제 10 항에 있어서,
상기 윤곽선 영상은 소벨 필터(sobel filter)를 이용하여 산출되는 것을 특징으로 하는 영상 처리 시스템에서의 객체 후보 영역 검출 시스템.The method of claim 10,
The contour image is calculated by using a sobel filter (object candidate region detection system) in the image processing system. 제 9 항에 있어서,
상기 정적 돌출맵은 현재 프레임과 이전 4개의 프레임에 대응되는 정적 돌출맵인 것을 특징으로 하는 영상 처리 시스템에서의 객체 후보 영역 검출 시스템.The method of claim 9,
And the static protrusion map is a static protrusion map corresponding to the current frame and the previous four frames. 제 9 항에 있어서,
상기 영상 처리부는,
상기 생성된 적어도 하나의 프레임에 대응되는 정적 돌출맵에 대한 각 픽셀에서의 동적 엔트로피 값을 연산하는 엔트로피 연산부; 및
상기 생성된 정적 돌출맵 및 상기 연산된 동적 엔트로피 값을 이용하여 상기 동적 돌출맵을 생성하는 동적 돌출맵 생성부를 포함하는 것을 특징으로 하는 영상 처리 시스템에서의 객체 후보 영역 검출 시스템.The method of claim 9,
Wherein the image processing unit comprises:
An entropy calculator configured to calculate a dynamic entropy value in each pixel of the static protrusion map corresponding to the generated at least one frame; And
And a dynamic protrusion map generator configured to generate the dynamic protrusion map by using the generated static protrusion map and the calculated dynamic entropy value. 제 9 항에 있어서,
상기 후보 영역 검출부는,
상기 동적 돌출맵을 기 설정된 범위 이내로 이진화하고, 상기 이진화된 동적 돌출맵에 대해 형태학적 닫힘 연산을 수행하여 상기 입력 영상에 포함된 객체의 후보 영역을 검출하는 것을 특징으로 하는 영상 처리 시스템에서의 객체 후보 영역 검출 시스템.The method of claim 9,
The candidate region detection unit,
Binarizing the dynamic protrusion map within a predetermined range, and performs a morphological closing operation on the binarized dynamic protrusion map to detect the candidate region of the object included in the input image, the object in the image processing system Candidate area detection system. 제 14 항에 있어서,
상기 후보 영역 검출부는,
상기 검출된 후보 영역을 레이블링하여 상기 후보 영역에 대한 정보를 생성하는 것을 특징으로 하는 영상 처리 시스템에서의 객체 후보 영역 검출 시스템.The method of claim 14,
The candidate region detection unit,
And labeling the detected candidate region to generate information about the candidate region.
KR1020100048629A 2010-05-25 2010-05-25 Method and system for detecting a candidate area of an object in an image processing system KR20110129158A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100048629A KR20110129158A (en) 2010-05-25 2010-05-25 Method and system for detecting a candidate area of an object in an image processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100048629A KR20110129158A (en) 2010-05-25 2010-05-25 Method and system for detecting a candidate area of an object in an image processing system

Publications (1)

Publication Number Publication Date
KR20110129158A true KR20110129158A (en) 2011-12-01

Family

ID=45498426

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100048629A KR20110129158A (en) 2010-05-25 2010-05-25 Method and system for detecting a candidate area of an object in an image processing system

Country Status (1)

Country Link
KR (1) KR20110129158A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101220816B1 (en) * 2012-05-04 2013-01-10 상명대학교 산학협력단 Method of detecting an edge on screen
WO2013085278A1 (en) * 2011-12-06 2013-06-13 경북대학교 산학협력단 Monitoring device using selective attention model and method for monitoring same
KR101282742B1 (en) * 2011-11-11 2013-07-05 재단법인대구경북과학기술원 Apparatus and method for detecting object using 3d image
KR101314687B1 (en) * 2011-12-06 2013-10-07 서강대학교산학협력단 Providing device of eye scan path and mehtod for providing eye scan path
KR101477132B1 (en) * 2013-10-07 2014-12-29 목포해양대학교 산학협력단 Scale Invariant Object Detection Apparatus and Method in Sea Environment
KR101533925B1 (en) * 2014-05-20 2015-07-03 한양대학교 에리카산학협력단 Method and apparatus for small target detection in IR image
CN109960984A (en) * 2017-12-25 2019-07-02 大连楼兰科技股份有限公司 Vehicle checking method based on contrast and significance analysis
US10769475B2 (en) 2017-08-22 2020-09-08 Samsung Electronics Co., Ltd. Method of identifying objects based on region of interest and electronic device supporting the same

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101282742B1 (en) * 2011-11-11 2013-07-05 재단법인대구경북과학기술원 Apparatus and method for detecting object using 3d image
WO2013085278A1 (en) * 2011-12-06 2013-06-13 경북대학교 산학협력단 Monitoring device using selective attention model and method for monitoring same
KR101314687B1 (en) * 2011-12-06 2013-10-07 서강대학교산학협력단 Providing device of eye scan path and mehtod for providing eye scan path
US9355641B2 (en) 2011-12-06 2016-05-31 Kyungpook National University Industry-Academic Cooperation Monitoring device using selective attention model and method for monitoring same
KR101220816B1 (en) * 2012-05-04 2013-01-10 상명대학교 산학협력단 Method of detecting an edge on screen
KR101477132B1 (en) * 2013-10-07 2014-12-29 목포해양대학교 산학협력단 Scale Invariant Object Detection Apparatus and Method in Sea Environment
KR101533925B1 (en) * 2014-05-20 2015-07-03 한양대학교 에리카산학협력단 Method and apparatus for small target detection in IR image
US10769475B2 (en) 2017-08-22 2020-09-08 Samsung Electronics Co., Ltd. Method of identifying objects based on region of interest and electronic device supporting the same
CN109960984A (en) * 2017-12-25 2019-07-02 大连楼兰科技股份有限公司 Vehicle checking method based on contrast and significance analysis

Similar Documents

Publication Publication Date Title
KR20110129158A (en) Method and system for detecting a candidate area of an object in an image processing system
Liu et al. Single image dehazing via large sky region segmentation and multiscale opening dark channel model
JP5542889B2 (en) Image processing device
KR100519782B1 (en) Method and apparatus for detecting people using a stereo camera
US8254630B2 (en) Subject extracting method and device by eliminating a background region using binary masks
US9613266B2 (en) Complex background-oriented optical character recognition method and device
JP2017191608A (en) Object recognition method, object recognition device, and classifier training method
US8548247B2 (en) Image processing apparatus and method, and program
CN108229418B (en) Human body key point detection method and apparatus, electronic device, storage medium, and program
CN110298281B (en) Video structuring method and device, electronic equipment and storage medium
JP2011193125A (en) Image processing apparatus, image processing method, program, and imaging apparatus
JP2012178152A (en) Image processing system, image processing method, program, and recording medium for the same
JP2013037539A (en) Image feature amount extraction device and program thereof
CN114140481A (en) Edge detection method and device based on infrared image
KR101146417B1 (en) Apparatus and method for tracking salient human face in robot surveillance
CN113705361A (en) Method and device for detecting model in living body and electronic equipment
US11341762B2 (en) Object detection device, object detection system, object detection method, and recording medium having program recorded thereon
WO2022247684A1 (en) Detection method and system for base-station feeder line, and related apparatus
KR102150661B1 (en) Method and Apparatus for Preprocessing Image for Detecting Objects
JP5539565B2 (en) Imaging apparatus and subject tracking method
JP2008084109A (en) Eye opening/closing determination device and eye opening/closing determination method
Tsai et al. Text detection in bus panel for visually impaired people" seeing" bus route number
CN113920023A (en) Image processing method and device, computer readable medium and electronic device
KR101327482B1 (en) Vein feature extraction method and apparatus in leaf image
CN112232390A (en) Method and system for identifying high-pixel large image

Legal Events

Date Code Title Description
A201 Request for examination
E601 Decision to refuse application