KR101249737B1 - Apparatus for tracking an object using a moving camera and method thereof - Google Patents

Apparatus for tracking an object using a moving camera and method thereof Download PDF

Info

Publication number
KR101249737B1
KR101249737B1 KR1020090100761A KR20090100761A KR101249737B1 KR 101249737 B1 KR101249737 B1 KR 101249737B1 KR 1020090100761 A KR1020090100761 A KR 1020090100761A KR 20090100761 A KR20090100761 A KR 20090100761A KR 101249737 B1 KR101249737 B1 KR 101249737B1
Authority
KR
South Korea
Prior art keywords
tracking
color distribution
image frame
modeling
image
Prior art date
Application number
KR1020090100761A
Other languages
Korean (ko)
Other versions
KR20100063646A (en
Inventor
원종호
고은진
배창석
김진태
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US12/629,331 priority Critical patent/US20100134632A1/en
Publication of KR20100063646A publication Critical patent/KR20100063646A/en
Application granted granted Critical
Publication of KR101249737B1 publication Critical patent/KR101249737B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 물체 추적 장치는, 영상 수집 장치를 통해 수집되는 영상 프레임에서 추적 대상 물체를 추출하는 동적 영역 추출부; 동적 영역 추출부를 통해 추출된 추적 대상 물체를 모델링하여 추적 대상 물체의 색상분포를 산출하는 물체 모델링부; 및 추적 대상 물체의 색상분포를 산출한 뒤, 영상 수집 장치를 통해 수집되는 다음 영상 프레임의 색상분포를 산출하고, 산출된 다음 영상 프레임의 색상분포와 추적 대상 물체의 색상분포를 기반으로 다음 영상 프레임에서 각각의 픽셀이 추적 대상 물체에 속할 사후확률을 산출하여 추적 대상 물체를 추적하는 물체 추적부를 구비한다.Object tracking apparatus of the present invention, the dynamic region extraction unit for extracting the tracking object from the image frame collected through the image collection device; An object modeling unit that calculates a color distribution of the tracking object by modeling the tracking object extracted through the dynamic region extraction unit; And calculating a color distribution of the tracking object, calculating a color distribution of the next image frame collected through the image collecting device, and calculating the color distribution of the next image frame and the color distribution of the tracking object. An object tracking unit for calculating a posterior probability that each pixel will belong to the tracking object is provided.

물체 추적, 색상분포, 확률, 모델링, 영상, 동적, 영역 Object Tracking, Color Distribution, Probability, Modeling, Imaging, Dynamic, Area

Description

움직이는 카메라 환경에서의 물체 추적 장치 및 그 방법{APPARATUS FOR TRACKING AN OBJECT USING A MOVING CAMERA AND METHOD THEREOF}Object tracking device in moving camera environment and its method {APPARATUS FOR TRACKING AN OBJECT USING A MOVING CAMERA AND METHOD THEREOF}

본 발명은 움직이는 카메라 환경에서의 물체 추적 장치 및 그 방법에 관한 것이다. 보다 상세하게는, 추적할 물체를 짧은 시간 동안 동적으로 모델링하고, 이렇게 모델링 된 물체를 추적하기 위해 카메라를 지속적으로 움직여 물체를 추적하는 장치 및 그 방법에 관한 것이다.The present invention relates to an apparatus and method for tracking objects in a moving camera environment. More specifically, the present invention relates to an apparatus and method for dynamically modeling an object to be tracked for a short time and tracking the object by continuously moving a camera to track the modeled object.

본 발명은 지식경제부의 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호:2006-S-032-03, 과제명:퍼스널 Life Log기반 지능형 서비스 기술 개발].The present invention is derived from a study performed as part of the IT source technology development project of the Ministry of Knowledge Economy [Task management number: 2006-S-032-03, Task name: Development of intelligent Life Log-based intelligent service technology].

일반적인 사용되는 움직이는 물체 추적 방법은, 대부분 정지되어 있는 카메라를 이용하거나, 두 대의 카메라를 이용하여 한 대는 레퍼런스로 다른 한 대는 PTZ(Pan/Tilt/Zoom)를 하면서 물체를 추적하는 방법을 사용하고 있다.Commonly used moving object tracking methods use mostly stationary cameras, or two cameras, one for reference and another for PTZ (Pan / Tilt / Zoom). .

그러나, 정지되어 있는 카메라를 이용하는 물체 추적 방법의 경우, 움직이는 물체가 화면의 범위를 벗어나게 되면 더 이상의 추적을 하지 못하게 되는 단점이 있으며 물체를 더욱 정확히 보기 위해서는 광학 줌(Zoom)이 아닌 디지털 줌을 이용해야만 했다. 이것은 물체를 더욱 정확하게 볼 수 있는 것이 아니라 원래 영상이 가지고 있던 정보만을 더욱 크게 확대하여 보여주는 것에 불과하다.However, the object tracking method using a stationary camera has a disadvantage in that no further tracking is possible when the moving object is out of the range of the screen. In order to view the object more precisely, the digital zoom is used instead of the optical zoom. I had to. This is not just a more accurate view of the object, but a more magnified view of the information that the original image had.

또한, 두 대의 카메라를 이용하는 물체 추적 방법의 경우, 두 대의 카메라를 교정(calibration)해야 하는 단계가 필요하고, 오랜 시간 사용한 경우 PTZ의 가동 범위에 유격이 생겨 다시 교정을 수행해야 하는 불편함이 있었다.In addition, the object tracking method using two cameras requires the steps of calibrating the two cameras, and when used for a long time, there is an inconvenience of having to recalibrate due to a play in the moving range of the PTZ. .

따라서, 이와 같은 종래 물체 추적 방법의 단점을 극복하기 위해 여러 가지 방법이 제안되었고, 그 중 MeanShift, CamShift, ABCShift와 같은 방법이 가장 성공적인 물체 추적 방법으로 평가되고 있다. 하지만, MeanShift와 CamShift의 경우 원래의 Shift방법이 많은 움직임이 없는 카메라를 대상으로 제안된 것이기 대문에 카메라가 지속적으로 움직이게 되면 추적 신뢰도가 급격히 떨어지게 되는 단점이 존재한다. 또한, ABCShift의 경우에도 물체를 추적하는 동안 지속적으로 배경에 대한 모델링을 수행하지만, 실제 추적해야 할 물체에 대한 모델링은 초기 한 장의 프레임을 사용하며, 사용자로부터 입력받은 영역 전체를 추적해야 할 물체로 가정하기 때문에 더욱 정확한 물체 모델링에는 한계가 있다.Therefore, various methods have been proposed to overcome the disadvantages of the conventional object tracking method, and methods such as MeanShift, CamShift, and ABCShift have been evaluated as the most successful object tracking methods. However, since MeanShift and CamShift were originally proposed for cameras without many movements, there is a disadvantage in that the tracking reliability drops sharply when the camera is continuously moved. In the case of ABCShift, the modeling of the background is continuously performed while the object is being tracked, but the modeling of the actual object to be tracked uses an initial frame, and the entire object input from the user needs to be tracked. Because of the assumptions, there is a limit to more accurate object modeling.

본 발명은 전술한 바와 같은 문제점을 해결하기 위해 고안된 것으로서,The present invention is designed to solve the problems as described above,

카메라를 통해 수집되는 영상에서 추적 대상 물체를 동적으로 추출한 뒤, 추출한 추적 대상 물체를 모델링하여 획득한 추적 대상 물체의 색상분포와 지속적으로 배경에 대한 모델링을 수행하여 획득한 배경의 색상분포를 이용하여 통계학적인 방법을 통해 추적 대상 물체일 확률을 계산해줌으로써, 카메라가 움직이는 환경에서도 신뢰도 높은 물체 추적을 수행할 수 있는 장치 및 방법을 제공하는 것을 목적으로 한다.After dynamically extracting the tracking object from the image collected by the camera, using the color distribution of the tracking object obtained by modeling the extracted tracking object and continuously modeling the background, the color distribution of the background is obtained. It is an object of the present invention to provide an apparatus and method capable of performing a reliable object tracking even in an environment in which a camera moves by calculating a probability that the object is a tracking object through a statistical method.

본 발명의 물체 추적 장치는, 영상 수집 장치를 통해 수집되는 영상 프레임에서 추적 대상 물체를 추출하는 동적 영역 추출부; 상기 동적 영역 추출부를 통해 추출된 추적 대상 물체를 모델링하여 상기 추적 대상 물체의 색상분포를 산출하는 물체 모델링부; 및 상기 추적 대상 물체의 색상분포를 산출한 뒤, 상기 영상 수집 장치를 통해 수집되는 다음 영상 프레임의 색상분포를 산출하고, 산출된 상기 다음 영상 프레임의 색상분포와 상기 추적 대상 물체의 색상분포를 기반으로 상기 다음 영상 프레임에서 각각의 픽셀이 상기 추적 대상 물체에 속할 사후확률을 산출하여 추적 대상 물체를 추적하는 물체 추적부를 구비한다.Object tracking apparatus of the present invention, the dynamic region extraction unit for extracting the tracking object from the image frame collected through the image collection device; An object modeling unit configured to calculate a color distribution of the tracking object by modeling a tracking object extracted through the dynamic region extraction unit; And calculating a color distribution of the tracking object, calculating a color distribution of the next image frame collected by the image collecting device, and based on the calculated color distribution of the next image frame and the color distribution of the tracking object. An object tracking unit is configured to track a tracking object by calculating a posterior probability that each pixel will belong to the tracking object in the next image frame.

특히, 상기 동적 영역 추출부는, 정지되어 있는 영상 수집 장치를 통해 수집되는 영상 프레임을 대상으로 상기 추적 대상 물체를 추출하는 것을 특징으로 한다.In particular, the dynamic region extraction unit may extract the tracking object based on an image frame collected through a stationary image collection device.

또한, 상기 동적 영역 추출부는, 입력된 영상 프레임의 색공간을 영상 채널별 가중치가 부여되는 목적 생공간으로 변환하는 색공간 변환부; 및 상기 색공간 변환부를 통해 색공간 변환된 영상 데이터를 처리하여 추적 대상 물체를 배경에서 분리하는 데이터 처리부를 구비하는 것을 특징으로 한다.The dynamic region extracting unit may include: a color space converting unit converting a color space of an input image frame into a target living space to which weights for respective image channels are assigned; And a data processor which processes the color space converted image data through the color space converter and separates the tracking object from the background.

또한, 상기 데이터 처리부의 결과 영상에서 노이즈를 제거하여 상기 추적 대상 물체를 부각시키는 후처리부를 더 구비하는 것을 특징으로 한다.The apparatus may further include a post processor which removes noise from the resultant image of the data processor and highlights the object to be tracked.

또한, 상기 물체 추적부는, 상기 산출된 사후확률들을 이용하여 상기 추적 대상 물체의 크기와 중심을 결정하는 추적부를 구비하는 것을 특징으로 한다.The object tracking unit may include a tracking unit that determines the size and the center of the object to be tracked using the calculated posterior probabilities.

또한, 상기 물체 추적부는, 상기 추적부를 통해 결정된 상기 추적 대상 물체의 중심이 상기 영상 수집 장치를 통해 수집되는 영상 프레임의 중앙부에 위치하도록 상기 영상 수집 장치의 시선 방향을 조정하는 구동 제어부를 구비하는 것을 특 징으로 한다.The object tracking unit may include a driving controller configured to adjust a line of sight of the image collecting device such that the center of the object to be tracked determined by the tracking unit is located at the center of the image frame collected by the image collecting device. It is characteristic.

또한, 상기 물체 모델링부는, 상기 추출된 추적 대상 물체를 모델링하기 위해 히스토그램을 사용하고, 각 채널마다 히스토그램에 사용 될 빈(Bin)의 개수를 다르게 사용하는 것을 특징으로 한다.The object modeling unit may use a histogram to model the extracted tracking object, and use different numbers of bins to be used in the histogram for each channel.

또한, 상기 동적 영역 추출부는 정지되어 있는 영상 수집 장치를 통해 수집되는 복수 개의 영상 프레임으로부터 추적 대상 물체를 추출하고, 상기 물체 모델링부는 상기 복수 개의 영상 프레임에 걸쳐 추출된 추적 대상 물체들을 대상으로 모델링을 수행하여 상기 추적 대상 물체의 색상분포를 산출하는 것을 특징으로 한다.In addition, the dynamic region extractor extracts a tracking object from a plurality of image frames collected through a stationary image collecting device, and the object modeling unit models the tracking objects extracted over the plurality of image frames. It is characterized in that to calculate the color distribution of the tracking object.

또한, 상기 물체 모델링부는, 상기 추출된 추적 대상 물체의 모델링 확률이 수렴에 이를 때까지 상기 추적 대상 물체를 모델링하는 것을 특징으로 한다.The object modeling unit may model the tracking object until the extracted modeling probability of the tracking object reaches convergence.

또한, 상기 물체 모델링부는, 상기 복수 개의 영상 프레임에 걸쳐 추출된 추적 대상 물체들을 대상으로 모델링을 수행한 뒤, 각각의 모델링 확률에 대한 평균값을 이용하여 상기 추적 대상 물체의 색상분포를 산출하는 것으로 특징으로 한다.The object modeling unit may perform modeling on the tracking target objects extracted over the plurality of image frames, and calculate a color distribution of the tracking target object by using an average value of each modeling probability. It is done.

한편, 본 발명의 움직이는 환경에서의 물체 추적 방법은, 영상 수집 장치를 통해 수집되는 영상 프레임에서 추적 대상 물체를 추출하는 단계; 상기 추출된 추적 대상 물체를 모델링하여 상기 추적 대상 물체의 색상분포를 산출하는 단계; 상기 추적 대상 물체의 색상분포를 산출한 뒤, 상기 영상 수집 장치를 통해 수집되는 다음 영상 프레임의 색상분포를 산출하는 단계; 및 산출된 상기 다음 영상 프레임 의 색상분포와 상기 추적 대상 물체의 색상분포를 기반으로 상기 다음 영상 프레임에서 각각의 픽셀이 상기 추적 대상 물체에 속할 사후확률을 산출하여 추적 대상 물체를 추적하는 단계를 포함한다.On the other hand, the object tracking method in a moving environment of the present invention, the step of extracting the tracking target object from the image frame collected by the image acquisition device; Calculating a color distribution of the tracking object by modeling the extracted tracking object; Calculating a color distribution of the next object frame collected by the image collecting device after calculating a color distribution of the tracking object; And tracking a tracking object by calculating a posterior probability that each pixel will belong to the tracking object in the next image frame based on the calculated color distribution of the next image frame and the color distribution of the tracking object. do.

특히, 상기 영상 수집 장치를 통해 수집되는 영상 프레임에서 추적 대상 물체를 추출하는 단계는, 정지되어 있는 영상 수집 장치를 통해 수집되는 영상 프레임을 대상으로 상기 추적 대상 물체를 추출하는 것을 특징으로 한다.In particular, the step of extracting the tracking object from the image frame collected by the image collecting device, characterized in that for extracting the tracking object to the image frame collected through the stationary image collection device.

또한, 상기 다음 영상 프레임의 색상분포와 상기 추적 대상 물체의 색상분포를 기반으로 상기 다음 영상 프레임에서 각각의 픽셀이 상기 추적 대상 물체에 속할 사후확률을 산출하여 추적 대상 물체를 추적하는 단계는, 상기 산출된 사후확률들을 이용하여 상기 추적 대상 물체의 크기와 중심을 결정하는 단계를 포함하는 것을 특징으로 한다.The tracking of the tracking object by calculating a posterior probability that each pixel will belong to the tracking object in the next image frame based on the color distribution of the next image frame and the color distribution of the tracking object. And determining the size and the center of the object to be tracked using the calculated posterior probabilities.

또한, 상기 다음 영상 프레임의 색상분포와 상기 추적 대상 물체의 색상분포를 기반으로 상기 다음 영상 프레임에서 각각의 픽셀이 상기 추적 대상 물체에 속할 사후확률을 산출하여 추적 대상 물체를 추적하는 단계는, 상기 추적 대상 물체의 중심이 상기 영상 수집 장치를 통해 수집되는 영상 프레임의 중앙부에 위치하도록 상기 영상 수집 장치의 시선 방향을 조정하는 단계를 포함하는 것을 특징으로 한다.The tracking of the tracking object by calculating a posterior probability that each pixel will belong to the tracking object in the next image frame based on the color distribution of the next image frame and the color distribution of the tracking object. And adjusting the gaze direction of the image collecting device such that the center of the tracking object is located at the center of the image frame collected by the image collecting device.

또한, 상기 추출된 추적 대상 물체를 모델링하여 상기 추적 대상 물체의 색상분포를 산출하는 단계는, 상기 추출된 추적 대상 물체를 모델링하기 위해 히스토그램을 사용하고, 각 채널마다 히스토그램에 사용 될 빈(Bin)의 개수를 다르게 사 용하는 것을 특징으로 한다.The calculating of the color distribution of the tracked object by modeling the extracted tracked object may include a histogram for modeling the extracted tracked object and a bin to be used in the histogram for each channel. It is characterized by using a different number of.

또한, 상기 추출된 추적 대상 물체를 모델링하여 상기 추적 대상 물체의 색상분포를 산출하는 단계는, 복수 개의 영상 프레임에 걸쳐 추출된 추적 대상 물체들을 대상으로 모델링을 수행하여 상기 추적 대상 물체의 색상분포를 산출하는 것을 특징으로 한다.In addition, calculating the color distribution of the tracking object by modeling the extracted tracking object, modeling the tracking object extracted over a plurality of image frames to determine the color distribution of the tracking object. It is characterized by calculating.

또한, 상기 복수 개의 영상 프레임에 걸쳐 추출된 추적 대상 물체들을 대상으로 모델링을 수행하는 단계는, 상기 추출된 추적 대상 물체의 모델링 확률이 수렴에 이를 때까지 상기 추적 대상 물체를 모델링하는 것을 특징으로 한다.In addition, the modeling of the tracked objects extracted over the plurality of image frames may be performed by modeling the tracked objects until the modeling probability of the extracted tracked objects reaches convergence. .

또한, 상기 복수 개의 영상 프레임에 걸쳐 추출된 추적 대상 물체들을 대상으로 모델링을 수행하는 단계는, 상기 복수 개의 영상 프레임에 걸쳐 추출된 추적 대상 물체를 대상으로 모델링을 수행한 뒤, 각각의 모델링 확률에 대한 평균값을 이용하여 상기 추적 대상 물체의 색상분포를 산출하는 것을 특징으로 한다.The performing of modeling on the tracking target objects extracted over the plurality of image frames may include performing modeling on the tracking target objects extracted over the plurality of image frames and then applying the modeling probability to each modeling probability. The color distribution of the object to be tracked is calculated by using an average value of.

또한, 상기 다음 영상 프레임의 색상분포와 상기 추적 대상 물체의 색상분포를 기반으로 상기 다음 영상 프레임에서 각각의 픽셀이 상기 추적 대상 물체에 속할 사후확률을 산출하여 추적 대상 물체를 추적하는 단계는, 상기 산출된 사후 확률들을 이용하여 상기 다음 영상 프레임 내에 추적 대상 물체가 존재하는지 판단하는 단계; 상기 다음 영상 프레임 내에 추적 대상 물체가 존재하지 않는 경우, 상기 영상 수집 장치를 설정 비율로 줌 아웃(Zoom out) 제어하는 단계; 및 설정 비율로 줌 아웃된 영상 수집 장치를 통해 수집되는 영상 프레임 내에 추적 대상 물체가 존재하는지를 판단하는 단계를 포함하는 것을 특징으로 한다.The tracking of the tracking object by calculating a posterior probability that each pixel will belong to the tracking object in the next image frame based on the color distribution of the next image frame and the color distribution of the tracking object. Determining whether a tracking object exists in the next image frame using the calculated post-probabilities; Zooming out the image collecting device at a preset ratio when there is no object to be tracked in the next image frame; And determining whether an object to be traced exists in an image frame collected by the image collecting apparatus zoomed out at a set ratio.

본 발명에 따르면 다음과 같은 효과 있다.According to the present invention has the following effects.

본 발명에 따른 움직이는 카메라 환경에서의 물체 추적 방법은, 추적 대상 물체의 움직임에 따라 카메라의 시선 방향을 조정하여 효과적으로 추적 대상 물체를 추적할 수 있도록 하는 방법에 관한 것으로서, 이전의 물체 추적 방법이 정지되어 있는 카메라 환경에서만 동작하던 것에 비해 물체와 배경이 같이 움직이는 환경에서도 강인한 물체 추적을 가능하게 한다. 이는 기존 추적할 물체만을 모델링 대상으로 삼은 것에 비해 그 주변 환경을 같이 고려하여 매 프레임마다 모델링을 수행하기 때문이다. The object tracking method in a moving camera environment according to the present invention relates to a method for effectively tracking a tracking object by adjusting the direction of the camera according to the movement of the tracking object, and the previous object tracking method is stopped. Compared to operating only in a built-in camera environment, it enables robust object tracking even in environments where objects and backgrounds move together. This is because modeling is performed every frame considering the surrounding environment as compared to using only the object to be tracked.

따라서, 카메라와 물체가 같이 움직여서 주변 배경이 지속적으로 변하는 환경에서도 적응적인 물체 추적이 가능하다.Thus, even when the camera and the object move together so that the surrounding background constantly changes, adaptive object tracking is possible.

또한, 템플릿 매칭과 같은 방법이 아닌 추적 대상 물체의 색상분포를 이용한 확률 기반 추적을 수행하기 때문에 추적 대상 물체의 크기가 변하더라도 지속적으로 추적 대상 물체를 추적하는 것이 가능하다.In addition, since the probability-based tracking using the color distribution of the tracking object is performed instead of the method of template matching, it is possible to continuously track the tracking object even if the size of the tracking object changes.

이하, 본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings. Hereinafter, a repeated description, a known function that may obscure the gist of the present invention, and a detailed description of the configuration will be omitted. Embodiments of the present invention are provided to more fully describe the present invention to those skilled in the art. Accordingly, the shapes and sizes of the elements in the drawings and the like can be exaggerated for clarity. Like reference symbols in the drawings denote like elements.

도 1은 본 발명의 실시예에 따른 움직이는 카메라 환경에서의 물체 추적 장치를 설명하기 위한 도면이다.1 is a view for explaining an object tracking device in a moving camera environment according to an embodiment of the present invention.

도 1을 참조하면, 본 발명에 따른 물체 추적 장치(100)는, 영상 수집 장치(10)를 통해 수집되는 영상 프레임에서 추적 대상 물체를 추출하는 동적 영역 추출부(110), 동적 영역 추출부(110)를 통해 추출된 추적 대상 물체를 모델링하여 추적 대상 물체의 색상분포를 산출하는 물체 모델링부(130), 및 추적 대상 물체의 색상분포를 산출한 뒤, 영상 수집 장치(10)를 통해 수집되는 다음 영상 프레임의 색상분포를 산출하고, 산출된 다음 영상 프레임의 색상분포와 추적 대상 물체의 색상분포를 기반으로 다음 영상 프레임에서 각각의 픽셀이 추적 대상 물체에 속할 사후 확률을 산출하여 추적 대상 물체를 추적하는 물체 추적부(150)를 구비한다.Referring to FIG. 1, the object tracking apparatus 100 according to the present invention may include a dynamic region extractor 110 and a dynamic region extractor that extract an object to be tracked from an image frame collected through the image acquisition apparatus 10. The object modeling unit 130 that calculates the color distribution of the tracking object by modeling the tracked object extracted through 110, and calculates the color distribution of the tracking object, and is collected through the image acquisition device 10. Calculate the color distribution of the next image frame and calculate the posterior probability that each pixel belongs to the tracking object in the next image frame based on the calculated color distribution of the next image frame and the color distribution of the tracking object. The object tracking unit 150 to track is provided.

이하에서는 물체 추적 장치(100)의 구성하는 각각의 구성 요소에 대해서 보다 상세하게 설명하기로 한다.Hereinafter, each component constituting the object tracking device 100 will be described in more detail.

동적 영역 추출부(110)는 영상 수집 장치(예컨대, 카메라)를 통해 수집되는 영상 프레임에서 추적 대상 물체를 추출한다. 동적 영역 추출부(110)는 정지되어 있는 영상 수집 장치(10)를 통해 수집되는 영상 프레임을 대상으로, 사용자로부터 추적 대상 물체를 선택 받거나 추적 대상 물체가 화면에 나타나기 시작할 때부터 추적 대상 물체를 추출한다. 추적 대상 물체의 추출 과정은 영상 수집 장치(10)가 움직이는 동안에도 이루어질 수 있으나, 이것은 경우에 따라서 추적의 신뢰도를 떨어뜨릴 수 있으므로, 영상 수집 장치(10)가 정지되어 있는 동안에 수집하는 영상 프레임으로부터 추적 대상 물체를 추출하는 것이 바람직하다. 또한, 입력 영상 프레임의 색공간은 어떠한 것이든 될 수 있지만, RGB처럼 각 채널이 동등한 의미를 갖는 것이 아니라 YUV나 HSV 처럼 각 채널이 다른 의미를 갖는 색공간이 추천된다. 이러한 특징은 각 채널마다 다른 가중치를 줄 때 유용하게 사용될 수 있다. 여기서 '추적 대상 물체'는 본 발명에 따른 물체 추적 장치(100)가 추적해야 할 움직이는 대상 물체를 의미한다.The dynamic region extractor 110 extracts a tracking object from an image frame collected through an image collecting device (eg, a camera). The dynamic region extractor 110 extracts a tracking object from a user's selection of a tracking object or when a tracking object starts to appear on a screen, based on an image frame collected by the stationary image collecting device 10. do. The extraction process of the tracking object may be performed while the image collecting device 10 is moving, but this may lower the reliability of the tracking in some cases. Therefore, from the image frame collected while the image collecting device 10 is stopped. It is desirable to extract the object to be tracked. In addition, although the color space of the input image frame may be anything, it is recommended that each channel has a different meaning, such as YUV or HSV, rather than each channel having an equivalent meaning as in RGB. This feature can be useful when different weights are assigned to each channel. Here, the "tracking target object" means a moving target object to be tracked by the object tracking device 100 according to the present invention.

이하의 설명에서는 동적 영역 추출부(110)에서 사용자로부터의 추적 대상 물체를 선택받아 추적 대상 물체를 추출하는 것으로 간주하기로 한다. 그러나 동적 영역 추출부(110)에서 추적 대상 물체를 추출하기 시작하는 시점이 상기한 방법에만 제한되는 것은 아니며, 다양한 트리거 신호에 의해 영상 프레임으로부터 추적 대상 물체(동적 영역)를 추출하는 것이 가능하다.In the following description, it is assumed that the dynamic region extraction unit 110 selects a tracking object from the user and extracts the tracking object. However, the time point at which the dynamic region extraction unit 110 starts to extract the tracking object is not limited to the above method, and it is possible to extract the tracking object (dynamic region) from the image frame by various trigger signals.

동적 영역 추출부(110)는 전술한 바를 달성하기 위해, 색공간 변환부(112), 데이터 처리부(114), 및 후처리부(116)를 구비한다.The dynamic region extraction unit 110 includes a color space conversion unit 112, a data processing unit 114, and a post processing unit 116 to accomplish the above.

색공간 변화부(112)는 영상 수집 장치(10)으로부터 입력된 영상 프레임의 색공간을 영상 채널별 가중치가 부여되는 목적 색공간으로 변환한다. 색공간 변환부(112)는, 일반적으로 가우시안 모델(Gaussian mixture model:GMM)을 사용할 때, 각 채널이 같은 분포를 이루고 있다고 가정하고 같은 가중치를 부여하여 처리하는 것을 향상시키기 위해 입력 영상의 색공간을 처리가 용이한 색공간으로 변환한다. 변환된 목적 색공간은 특정 색공간으로 정해진 것은 아니며 각 목적에 맞게 여러 가지 색공간을 사용할 수 있다. 예를 들어, 화소의 색상을 하나의 채널로 사용하는 HSV와 같은 색공간이나 밝기를 하나의 채널로 사용하는 YUV 등과 같은 색공간을 사용할 수 있다. YUV에서 Y는 각 화소의 밝기를 의미하며 밝기에 더욱 민감한 물체 추적 시스템을 목적으로 할 때, 이 Y채널에 더 높은 가중치를 주어 목적을 달성할 수 있으며. 이러한 방법은 고해상도 영상에만 적용되는 것이 아니라 일반적인 물체 추출 방법에 사용될 수 있다. 본 발명에서 채널이라 함은 영상을 구성하는 색상 또는 밝기 등의 속성 요소들을 의미한다. 이와 같은 영상 채널의 각각에 대한 가중치를 다르게 함으로써 색상의 변화나 밝기의 변화를 강조하는 등, 각 색공간의 특징으로 살릴 수 있으며 더욱 정확한 결과를 얻을 수 있게 된다.The color space changing unit 112 converts the color space of the image frame input from the image collecting apparatus 10 into a target color space to which weights are assigned for each image channel. In general, when the Gaussian mixture model (GMM) is used, the color space converter 112 assumes that each channel has the same distribution, and assigns the same weight to improve the processing of the color space of the input image. Is converted into an easy-to-process color space. The converted target color space is not defined as a specific color space, and various color spaces may be used for each purpose. For example, a color space such as HSV using a color of a pixel as one channel or a YUV using brightness as a channel may be used. In YUV, Y stands for the brightness of each pixel, and when we aim for an object tracking system that is more sensitive to brightness, we can give this Y channel a higher weight to achieve the goal. This method is not only applied to high resolution images but may be used for general object extraction methods. In the present invention, the channel means attribute elements such as color or brightness constituting the image. By varying the weights for each of the video channels, the characteristics of each color space, such as highlighting a change in color or a change in brightness, can be saved and more accurate results can be obtained.

데이터 처리부(114)는 색공간 변환부(112)를 통해 변환된 입력 영상의 데이터를 효과적으로 처리하여 추적 대상 물체를 배경에서 분리해 내는 역할을 수행한다. 먼저, 물체를 추적하는 내내 유지할 정보들에 대한 메모리를 할당하는데 있어서 각 픽셀은 채널의 개수와 유지해야 할 정규 분포의 개수를 곱한 수만큼의 GMM을 할당한다. 따라서 C를 입력 영상의 채널, W를 입력 영상의 넓이, H를 입력 영상의 높이, K를 유지해야 할 가우시안 모델의 개수, N을 각 모델에서 사용하는 부가 정보의 개수라고 할 때, 일반적으로 W*H*K*(C+N) 개의 메모리 공간이 필요하며 N운 표준 편차, 분산, 모델의 가중치와 같은 3개의 값 등으로 구성된다. 그러나 이러한 모델은 각 응용에 따라 다른 모양으로 구성될 수도 있다.The data processor 114 effectively processes the data of the input image converted by the color space converter 112 to separate the tracking object from the background. First, in allocating memory for information to be maintained throughout tracking an object, each pixel allocates as many GMMs as the product of the number of channels multiplied by the number of normal distributions to maintain. Therefore, when C is the channel of the input image, W is the width of the input image, H is the height of the input image, the number of Gaussian models to maintain K, and N is the number of additional information used in each model. * H * K * (C + N) memory spaces are required and consist of three standard values: the standard deviation, the variance, and the weight of the model. However, these models may be configured in different shapes for each application.

후처리부(116)는 데이터 처리부(114)의 결과에서 노이즈를 제거하고 움직이 는 물체를 더욱 부각시키는 기능을 수행한다. 일반적으로 배경 분리법을 이용한 연산 후에 이루어지는 영상 이진화 과정에서는 상당한 노이즈가 발생하게 되며, 이는 추적 대상 물체의 추출 정확도에 많은 영향을 미치게 된다. 종전에는 이러한 목적으로 위해 마르코 랜덤 필드와 같은 연산이 사용되었지만, 이것은 연산량이 많으므로 간단한 모폴로지 연산 방법을 이용한다.The post processor 116 removes noise from the result of the data processor 114 and further highlights a moving object. In general, a significant amount of noise is generated in the image binarization process performed after the operation using the background separation method, which greatly affects the extraction accuracy of the tracking object. Previously, operations like Marco Random Field were used for this purpose, but they use a simple morphology calculation method because of the large amount of computation.

한편, 동적 영역 추출부(110)에서의 추적 대상 물체(동적 영역) 추출 방법은 상기한 방법에만 국한되지 않으며 여러 방법을 사용할 수 있다. 동적 영역 추출부(110)를 통해 추출된 추적 대상 물체의 추출 결과는, 도 2의 (b)와 같은 형식으로 표현되며, 동적 영역과 비동적 영역이 구분되어 표시된다. 도 2의 (a)는 정지되어 있는 영상 수집 장치(10)를 통해 수집된 원본 영상 프레임을 나타낸다.Meanwhile, the tracking object (dynamic region) extraction method in the dynamic region extraction unit 110 is not limited to the above-described method and may use various methods. The extraction result of the tracking object extracted through the dynamic region extraction unit 110 is expressed in the form as shown in FIG. 2B, and the dynamic region and the non-dynamic region are displayed separately. 2 (a) shows the original image frame collected through the still image collecting device 10.

본 발명 이전까지는 움직이는 물체(추적 대상 물체)로 추출된 영역을 사각형 영역(도 3의 A)으로 보고, 이 사각형 영역의 내부는 추적할 물체로, 외부는 배경으로 간주하여 수학식 1과 같은 통계학적 모델링을 진행하였다.Until the present invention, the area extracted as a moving object (tracking object) is regarded as a rectangular area (A of FIG. 3), and the inside of the rectangular area is an object to be tracked, and the outside is regarded as a background, and the statistics as shown in Equation 1 Modeling was performed.

Figure 112009064789119-pat00001
Figure 112009064789119-pat00001

여기서,

Figure 112009064789119-pat00002
는 색상분포가 추적 대상 물체를 나타낼 확률,
Figure 112009064789119-pat00003
는 추적 대상 물체로부터 얻어진 색상분포,
Figure 112009064789119-pat00004
는 추적 대상 물체의 사전 확률,
Figure 112009064789119-pat00005
는 색상의 사전 확률을 의미한다.here,
Figure 112009064789119-pat00002
Is the probability that the color distribution represents the object being tracked,
Figure 112009064789119-pat00003
Is the color distribution obtained from the tracking object,
Figure 112009064789119-pat00004
Is the prior probability of the object being tracked,
Figure 112009064789119-pat00005
Means the prior probability of color.

즉, 추적 대상 물체를 색상분포의 조건확률(

Figure 112009064789119-pat00006
)로 보고 이것에 대한 사후확률을 베이지안 공식을 이용하여 추론하는 것이다. 이때, 분포의 요소가 될 색상은 위에서 언급한 것처럼 HSV, YUV, Normalized RGB 등 어떠한 색공간을 사용해도 무방하며 심지어는 사용하는 채널의 개수도 유동적이다.In other words, the condition of the color distribution
Figure 112009064789119-pat00006
) And infers the posterior probability of this using Bayesian formula. At this time, the color to be an element of the distribution may use any color space such as HSV, YUV, and Normalized RGB as mentioned above, and even the number of channels used is flexible.

예를 들어, HSV 색공간의 H 채널 하나만을 사용해도 되고, Normalized RGB 색공간의 두 개의 채널을 사용할 수도 있다. 중요한 것은 각 픽셀의 색공간이 확률과 관계된 분포를 갖는다는 것이며, 이러한 조건을 만족한다면 어떠한 색공간의 어떠한 채널을 사용하던 관계가 없으며, 이것은 각각의 응용에 따라 달라질 수 있다.For example, only one H channel of the HSV color space may be used, or two channels of the Normalized RGB color space may be used. The important thing is that the color space of each pixel has a distribution related to the probability, and if this condition is satisfied, it does not matter which channel of which color space is used, which may be different for each application.

하지만, 수학식 1에서 나타나는 것처럼 추적 대상 물체만의 확률을 구하는 것은 일반적인 CAMShift나 MeanDhift처럼 불안한 추적 결과를 가져올 수 있으므로 본 발명에서는 배경과 함께 모델링하여 더욱 정확한 추적을 수행한다. 여기서 배경은 입력 영상 프레임 전체에 해당하는 배경 영상을 의미하는 것은 아니며, 추적 대상 물체를 포함하는 일정 영역의 배경 영상을 의미한다. 도 3에서 A'가 배경에 해당될 수 있다.However, as shown in Equation 1, obtaining a probability of only the tracking target object may result in an unstable tracking result such as a general CAMShift or MeanDhift, so that the present invention models the background with more accurate tracking. In this case, the background does not mean a background image corresponding to the entire input image frame, but a background image of a predetermined region including a tracking object. In FIG. 3, A ′ may correspond to the background.

도 4에서 확인할 수 있듯이, 입력 영상 프레임에서 추적 대상 물체의 영역을 사각형 영역(도 4의 A)으로 추출하는 경우, 실제 움직이는 물체(도 4의 C)가 아닌 부분까지 추적 대상 물체의 영역(도 4의 B)이 된다. 따라서, 단순히 추적 대상 물체로 모델링할 영역을 사각형 영역(도 4의 A)로 하는 것이 아니라, 도 4의 C와 같이 실제 물체가 움직이는 부분을 나타내는 영역만을 추적해야 할 대상으로 추출한 다.As shown in FIG. 4, when the area of the tracking object is extracted as the rectangular area (A of FIG. 4) from the input image frame, the area of the tracking object (not to the actual moving object (C of FIG. 4)) is shown. 4, B). Therefore, the area to be modeled as the object to be tracked is not merely a rectangular area (A of FIG. 4), but is extracted as an object to be tracked, as shown in C of FIG. 4.

물체 모델링부(130)는 동적 영역 추출부(110)를 통해 추출된 추적 대상 물체를 모델링하여 추적 대상 물체의 색상분포를 산출한다. 본 발명에서 '모델링'이란 움직이는 물체(추적 대상 물체)의 색상분포를 구하는 과정이다.The object modeling unit 130 calculates a color distribution of the tracking object by modeling the tracking object extracted by the dynamic region extraction unit 110. In the present invention, 'modeling' is a process of obtaining a color distribution of a moving object (tracking object).

물체 추적 시, 영상 수집 장치(10)가 추적 대상 물체와 같이 움직여야 하기 때문에 배경 또한 지속적으로 변하게 된다. 따라서, 배경의 색상분포는 물체 모델링부(130)가 아닌 물체 추적부(150)에서 지속적으로 수행하게 된다. 이에 대해서는 후술하는 물체 추적부(150)를 통해 보다 상세하게 설명하기로 한다.During object tracking, the background also changes continuously because the image acquisition device 10 must move with the object to be tracked. Therefore, the color distribution of the background is continuously performed by the object tracking unit 150 instead of the object modeling unit 130. This will be described in more detail through the object tracking unit 150 to be described later.

물체 모델링부(130)는 모델링을 수행하면서 추적 대상 물체와 배경의 조건 확률을 구하기 위해 각 채널 마다 가중치를 다르게 줄 수 있다. 예를 들어, 각 채널마다 히스토그램(histogram)에 사용될 빈(Bin)의 개수를 서로 다르게 지정할 수 있다. 만약, HSV 색상 공간을 이용한다고 할 때, 색상에 민감하면서 명암에 덜 민감한 물체 추적 장치를 구현하고자 하는 경우, H의 Bin 개수를 8개, V의 Bin 개수를 3개로 지정할 수 있다.The object modeling unit 130 may give different weights to each channel to obtain conditional probabilities of the tracking target object and the background while modeling. For example, the number of bins to be used in the histogram for each channel may be different. When using the HSV color space, if you want to implement an object tracking device that is color-sensitive and less sensitive to light and shade, 8 bins of H and 3 bins of V may be designated.

물체 모델링부(130)는 동적 영역 추출부(110)를 통해 복수 개의 영상 프레임(n 프레임)으로부터 추출된 복수 개의 추적 대상 물체들을 대상으로 모델링을 수행하여 추적 대상 물체의 색상분포를 산출할 수 있다. 이때, 적절한 n의 선택과 추적 대상 물체가 나타내는 색상 확률의 누적 방법은 각 응용마다 다를 수 있다. 이것은 활용방법에 따라 추적 대상 물체의 모델링 확률이 수렴이 이를 때까지 수행하거나, 가장 간단하게는 특정 n을 정하여, 각각의 모델링 확률에 대한 평균값을 이 용하여 추적 대상 물체의 색상분포를 산출할 수도 있다.The object modeling unit 130 may calculate a color distribution of the tracking object by performing modeling on the plurality of tracking objects extracted from the plurality of image frames (n frames) through the dynamic region extraction unit 110. . In this case, the selection of an appropriate n and a method of accumulating the color probabilities represented by the tracking object may be different for each application. This may be performed until the modeling probability of the tracked object converges depending on the method used, or, simply, a specific n may be determined to calculate a color distribution of the tracked object using the average value of each modeling probability. .

물체 추적부(150)는 물체 모델링부(130)를 통해 산출된 추적 대상 물체의 색상분포를 이용하여 추적 대상 물체를 추적하는 것으로서, 물체 모델링부(130)에서 추적 대상 물체의 색상분포를 산출한 뒤, 영상 수집 장치(10)를 통해 수집되는 다음 영상 프레임을 입력받아 입력 영상 프레임의 색상분포를 산출한다. 그리고, 물체 추적부(150)는 산출된 다음 영상 프레임의 색상분포와 추적 대상 물체의 색상분포를 기반으로 다음 영상 프레임에서 각각의 픽셀이 추적 대상 물체에 속할 사후 확률을 산출하여 추적 대상 물체를 추적한다. 즉, 물체 추적부(150)는 다음 영상 프레임에서 각 픽셀마다의 확률에 대한 모멘트를 이용하여 추적 대상 물체의 크기와 중심을 결정하는 연속 과정을 갖는다.The object tracking unit 150 tracks the tracking target object by using the color distribution of the tracking target object calculated by the object modeling unit 130, and calculates the color distribution of the tracking target object by the object modeling unit 130. Subsequently, the color distribution of the input image frame is calculated by receiving the next image frame collected through the image collecting apparatus 10. The object tracking unit 150 tracks the tracking object by calculating a posterior probability that each pixel belongs to the tracking object in the next image frame based on the calculated color distribution of the next image frame and the color distribution of the tracking object. do. That is, the object tracking unit 150 has a continuous process of determining the size and the center of the object to be tracked using the moment for the probability of each pixel in the next image frame.

물체 추적부(150)는 영상 모델링부(152), 추적부(154), 및 구동 제어부(156)를 구비한다.The object tracking unit 150 includes an image modeling unit 152, a tracking unit 154, and a driving controller 156.

영상 모델링부(152)는 영상 수집 장치(10)를 통해 수집되는 다음 영상 프레임을 입력받아 영상 프레임의 색상분포를 산출한다.The image modeling unit 152 receives the next image frame collected through the image collecting device 10 and calculates a color distribution of the image frame.

추적부(154)는 영상 모델링부(152)를 통해 산출된 영상 프레임의 색상분포와 물체 모델링부(130)를 통해 산출된 추적 대상 물체의 색상분포를 이용하여 다음 영상 프레임에서 각각의 픽셀이 추적 대상 물체에 속할 사후 확률을 산출하여 추적 대상 물체를 추적한다. 영상 수집 장치(10)와 추적 대상 물체가 같이 움직여야 하기 때문에 추적 대상 물체의 배경은 지속적으로 변한다. 따라서, 본 발명에서는 상기한 바와 같이, 매 영상 프레임 마다 매 픽셀이 갖는 배경에 속하는 확률과 추적 대상 물체에 속할 확률을 이용하여 픽셀이 추적해야 할 물체에 속할 사후 확률을 구한다. 도 5는 추적부(154)에서 추적 대상 물체에 대한 사후 확률을 구한 결과이다. 도 5에 도시되어 있는 바와 같이, 사람과 사람 사이의 실제 움지이지 않는 영역은 제외하고 모델링을 수행하기 때문에, 추적할 물체 영역에만 높은 확률을 갖는 픽셀들이 남아있게 된다. 이러한 방법은 움직이는 물체의 크기가 변화거나 사람이나 손처럼 물체의 모양 자체가 변화는 것을 추적하는 응용에서 좋은 성능을 보일 수가 있다.The tracking unit 154 tracks each pixel in the next image frame using the color distribution of the image frame calculated by the image modeling unit 152 and the color distribution of the tracking object calculated by the object modeling unit 130. The tracking object is tracked by calculating the posterior probability of belonging to the target object. Since the image acquisition apparatus 10 and the tracking object must move together, the background of the tracking object constantly changes. Accordingly, in the present invention, as described above, the posterior probability of the pixel belonging to the object to be tracked is calculated by using the probability belonging to the background of each pixel and the probability of belonging to the tracking object in every image frame. 5 is a result of calculating the posterior probability of the object to be tracked by the tracking unit 154. As shown in FIG. 5, since modeling is performed except for the actual non-moving area between the person, pixels having a high probability remain only in the area of the object to be tracked. This method can perform well in applications that track changes in the size of a moving object or the shape of the object itself, such as a person or hand.

한편, 추적부(154)는 추적해야 할 물체가 다른 물체에 가려지거나 입력 영상 프레임에서 사라지는 경우, 이 것을 감지하고 물체를 지속적으로 추적할 수 있도록 하는 방안을 제공한다. 추적부(154)에서 상기한 기능을 제공하지 않는 경우, 실제 추적 대상 물체가 입력 영상 프레임 내에 존재하지 않음에도 불구하고, 배경이 우연히 갖게 되는 아주 작은 확률을 따라서 잘못된 추적으로 할 가능성이 높다. 따라서, 추적부(154)는 추적 대상 물체가 입력 영상 프레임 내에 추적 대상 물체가 존재하는지 여부를 판단하여, 영상 프레임 내에 추적 대상 물체가 존재하지 않는 경우, 시간에 따라 점점 배경 영역을 키워가면서(Zoom out) 추적 대상 물체가 입력 영상 프레임 내의 배경에 존재하는지에 대한 검사를 지속적으로 수행한다. 이때, 물체가 다시 나타난 것으로 판단되면, 전술한 바와 동일한 방법으로 물체 추적을 시작한다. 만약, 배경 영역이 일정 크기보다 커지면(이것은 일정 시간이 흐른 것과 동일한 의미이다), 물체 추적에 실패한 것으로 판단하여 물체 추적을 종료하고, 다시 입력 영상 프레임 내에 움직이는 물체들에 대한 추출을 수행한다.On the other hand, the tracking unit 154 detects this when an object to be tracked is hidden by another object or disappears from the input image frame, and provides a way to continuously track the object. If the tracking unit 154 does not provide the above-mentioned function, it is highly likely to make a wrong tracking by following a very small probability that the background is accidentally acquired even though the actual tracking object is not present in the input image frame. Accordingly, the tracking unit 154 determines whether the tracking object exists in the input image frame, and if the tracking object does not exist in the image frame, the tracking area 154 gradually increases the background area (Zoom). out) continuously checks whether the object to be traced is in the background of the input image frame. At this time, if it is determined that the object reappears, object tracking is started in the same manner as described above. If the background area is larger than a certain size (this means the same as a certain amount of time has passed), the object tracking is determined to have failed, and the object is moved again in the input image frame.

추적부(154)에서 추적 대상 물체가 입력 영상 프레임 내에 존재하는지 여부를 판단하는 방법은 확률을 이용한 방법이라면 어떠한 방법도 적용될 수 있다. 예를 들어, 추적부(154)에서는 추적 대상 물체의 색상분포와 다음 입력 영상의 색상분포를 이용하여 추적 대상 물체일 확률을 계산하고, 계산된 추적 대상 물체일 확률이 설정된 임계치를 만족하지 못하는 경우, 물체가 입력 영상 프레임 내에 존재하지 않는 것으로 판단할 수 있다. 이러한 방법으로 물체가 입력 영상 프레임 내에 존재하지 않는다고 판단될 경우, 추적부(154)는 영상 수집 장치(10)를 설정 비율로 줌 아웃 제어하여, 영상 수집 장치(10)를 통해 수집되는 영상 프레임의 배경 영역을 확대 시킨다.The tracking unit 154 may determine whether the tracking object exists in the input image frame as long as it is a method using probability. For example, the tracking unit 154 calculates the probability of the tracking object using the color distribution of the tracking object and the color distribution of the next input image, and the calculated tracking probability does not satisfy the set threshold. It may be determined that the object does not exist in the input image frame. In this way, when it is determined that the object does not exist in the input image frame, the tracking unit 154 zooms out and controls the image collecting apparatus 10 at a set ratio, so that the image frame is collected through the image collecting apparatus 10. Enlarge the background area.

추적 대상 물체가 입력 영상 프레임에서 사라진 경우는, 추적 대상 물체가 다른 물체에 의해 일시적으로 가려졌거나 아예 사라져서 지속적인 추적이 불가능한 경우로 나눌 수 있다. 둘 중 어느 경우에도 추적하는 물체가 입력 영상 프레임의 어떠한 위치에서 다시 나타나게 될지는 알 수가 없다. 단지 사라진 위치 주변에서 다시 나타날 확률이 높으므로, 상기한 바와 같이 시간에 따라 설정 비율로 배경 영역을 확대 시켜가면서 물체를 추적하는 것이 효과적이다. 이를 위해, 본 발명에 적용되는 영상 수집 장치(10)는 기본적으로 PTZ 기능을 지원하는 것이 바람직하다.When the tracking object disappears from the input image frame, the tracking object may be divided into a case in which the tracking object is temporarily hidden by another object or disappears at all and thus continuous tracking is impossible. In either case, it is not known at what position in the input image frame the tracking object will reappear. Since there is a high probability of reappearing only around the missing location, it is effective to track the object by enlarging the background area at a set ratio with time as described above. To this end, it is preferable that the image acquisition device 10 applied to the present invention basically supports a PTZ function.

구동 제어부(156)는 추적부(154)로부터의 제어신호에 따라 영상 수집 장치(10)의 동작을 제어한다.The driving controller 156 controls the operation of the image collecting device 10 according to a control signal from the tracking unit 154.

구동 제어부(156)는 추적부(154)를 통해 결정된 추적 대상 물체의 중심이 영상 수집 장치(10)를 통해 수집되는 다음 영상 프레임의 중앙부에 위치하도록 상기 영상 수집 장치의 시선 방향을 조정한다. 그리고, 구동 제어부(156)는 추적부(154)로부터 입력되는 제어신호에 따라 영상 수집 장치(10)의 PTZ 기능을 제어한다.The driving controller 156 adjusts the gaze direction of the image collecting device such that the center of the tracking object determined by the tracking unit 154 is located at the center of the next image frame collected by the image collecting device 10. In addition, the driving controller 156 controls the PTZ function of the image collecting device 10 according to a control signal input from the tracking unit 154.

도 6 및 도 7은 본 발명의 실시예에 따른 움직이는 카메라 환경에서 효과적으로 물체를 추적하는 방법을 설명하기 위한 흐름도이다.6 and 7 are flowcharts illustrating a method for effectively tracking an object in a moving camera environment according to an exemplary embodiment of the present invention.

도 6 및 도 7을 참조하면, 먼저, 동적 영역 추출부는 영상 수집 장치(예컨대, 카메라)를 통해 입력되는 영상 프레임(영상 정보)에서 추적해야 할 움직이는 대상 물체(이하,'추적 대상 물체')를 추출한다(S10). 동적 영역 추출부를 통해 추출된 추적 대상 물체의 추출 결과는, 도 2의 (b)와 같은 형식으로 표현되며, 동적 영역과 비동적 영역으로 구분되어 표시된다.6 and 7, first, the dynamic region extraction unit detects a moving target object (hereinafter, 'tracking target object') to be tracked in an image frame (image information) input through an image acquisition device (eg, a camera). Extract (S10). The extraction result of the tracking target object extracted through the dynamic region extraction unit is expressed in the form as shown in FIG.

다음으로, 동적 영역 추출부는 입력 영상 프레임에서 추출한 추적 대상 물체를 물체 모델링부에 전달하고, 물체 모델링부는 입력받은 추적 대상 물체를 모델링하여 추적 대상 물체의 색상분포를 산출한다(S20). 물체 추적 시, 영상 수집 장치가 추적 대상 물체와 같이 움직여야 하기 때문에 배경 또한 지속적으로 변하게 된다. 따라서, 배경의 색상분포는 물체 모델링부가 아닌 물체 추적부에서 지속적으로 수행하게 된다. 물체 모델링부는 모델링을 수행하면서 추적 대상 물체와 배경의 조건 확률을 구하기 위해 각 채널 마다 가중치를 다르게 줄 수 있다. 또한, 물체 모델링부는 동적 영역 추출부를 통해 복수 개의 영상 프레임(n 프레임)으로부터 추출된 복수 개의 추적 대상 물체들을 입력받아, 이들을 대상으로 모델링을 수행하여 추적 대상 물체의 색상분포를 산출할 수도 있다. 이때, 적절한 n의 선택과 추적 대 상 물체가 나타내는 색상 확률의 누적 방법은 각 응용마다 다를 수 있다.Next, the dynamic region extractor transfers the tracking object extracted from the input image frame to the object modeling unit, and the object modeling unit models the input tracking object to calculate a color distribution of the tracking object (S20). When tracking an object, the background also changes continuously because the image acquisition device must move with the tracking object. Therefore, the color distribution of the background is continuously performed in the object tracking unit, not the object modeling unit. The object modeling unit may give different weights to each channel to obtain conditional probabilities of the tracking object and the background while modeling. In addition, the object modeling unit may receive a plurality of tracking objects extracted from the plurality of image frames (n frames) through the dynamic region extraction unit, and perform modeling on them to calculate a color distribution of the tracking object. At this time, the selection of the appropriate n and the accumulation method of the color probability represented by the target object may be different for each application.

다음으로, 물체 추적부는 물체 모델링부를 통해 산출된 추적 대상 물체의 색상분포를 이용하여 추적 대상 물체를 추적한다. 보다 상세하게는, 물체 모델링부에서 추적 대상 물체의 색상분포를 산출한 뒤, 영상 수집 장치를 통해 수집되는 다음 영상 프레임을 입력받아 모델링을 수행하여 입력 영상 프레임의 색상분포를 산출한다(S30). Next, the object tracking unit tracks the tracking object using the color distribution of the tracking object calculated through the object modeling unit. More specifically, the object modeling unit calculates the color distribution of the tracking target object, receives the next image frame collected through the image collecting device, and performs modeling to calculate the color distribution of the input image frame (S30).

그리고, 물체 추적부는 산출된 다음 영상 프레임의 색상분포와 추적 대상 물체의 색상분포를 기반으로 다음 영상 프레임에서 각각의 픽셀이 추적 대상 물체에 속할 사후 확률을 산출하여 추적 대상 물체를 추적한다. 즉, 물체 추적부는 다음 영상 프레임에서 각 픽셀마다의 확률에 대한 모멘트를 이용하여 추적 대상 물체의 크기와 중심을 결정하는 연속 과정을 갖는다(S60). 이때, 물체 추적부는 추적 대상 물체의 색상분포와 다음 영상 프레임의 색상분포를 이용하여 추적 대상 물체일 확률을 계산하고(S40), 계산된 추적 대상 물체일 확률이 설정된 임계치를 만족하는지를 판단하는 과정(S50)을 수행한다. The object tracking unit tracks the tracking object by calculating a posterior probability that each pixel belongs to the tracking object in the next image frame based on the calculated color distribution of the next image frame and the color distribution of the tracking object. That is, the object tracking unit has a continuous process of determining the size and the center of the object to be tracked using the moment for the probability of each pixel in the next image frame (S60). At this time, the object tracking unit calculates the probability of the tracking object using the color distribution of the tracking object and the color distribution of the next image frame (S40), and determining whether the calculated probability of the tracking object satisfies the set threshold ( S50).

S50 단계에서의 판단 결과, 추적 대상 물체일 확률이 임계치를 만족하지 못하는 경우에는, 설정 비율로 영상 수집 장치를 줌 아웃 제어하고(S52), 다음 입력 영상 프레임 내의 배경에 추적 대상 물체가 존재하는지 여부를 판단한다. 이때 영상 프레임 내에 추적 대상 물체가 존재하는지 여부를 판단하는 방법은 S40 단계 내지 S50 단계와 동일한 방법을 통해 달성될 수 있다. As a result of the determination in step S50, when the probability that the object to be tracked does not satisfy the threshold, zoom-out control of the image capturing apparatus at a set ratio (S52), and whether or not the object to be tracked exists in the background in the next input image frame. Judge. In this case, the method of determining whether the tracking object exists in the image frame may be achieved through the same method as in steps S40 to S50.

보다 상세하게는, S52 단계 이후에 영상 수집 장치를 통해 입력되는 영상 프 레임에 대해서 모델링을 수행하여 색상분포를 산출하고(S53), S53 단계에서 산출된 색상분포와 추적 대상 물체의 색상분포를 이용하여 영상 프레임 내에 추적 대상 물체가 존재할 확률(즉, 추적 대상 물체일 확률)을 계산한다(S55).More specifically, after the step S52 to perform a modeling on the image frame input through the image acquisition device to calculate the color distribution (S53), using the color distribution calculated in step S53 and the color distribution of the tracking object. In operation S55, the probability that the tracking object exists in the image frame is calculated (ie, the probability that the tracking object is present).

그리고, S55 단계를 통해 계산된 추적 대상 물체일 확률이 설정된 임계치를 만족하는지를 판단한다(S56).In operation S56, it is determined whether the probability of the object to be tracked calculated through the operation S55 satisfies the set threshold.

S56 단계에서의 판단 결과, 추적 대상 물체일 확률이 설정된 임계치를 만족하는 경우에는, S60 단계로 이동하여 추적 대상 물체의 위치, 크기, 및 중심을 결정한다.As a result of the determination in step S56, when the probability that the object to be tracked satisfies the set threshold, the process moves to step S60 to determine the position, size, and center of the object to be tracked.

그러나, S56 단계에서의 판단 결과, 추적 대상 물체일 확률이 설정된 임계치를 만족하지 못하는 경우에는, 시간에 따라 설정 비율로 영상 수집 장치를 줌 아웃 제어하여, 영상 수집 장치를 통해 수집되는 영상 프레임 내의 배경 영역을 확대시키면서 상기한 추적 과정을 반복한다(S52 내지 S56). 이때, 일정 시간이 경과하면(S57 및 S59, 즉, 배경 영역이 일정 크기보다 커지면), 추적부는 물체 추적에 실패한 것으로 판단하여 물체 추적을 종료하고, 다시 입력 영상 프레임 내에 움직이는 물체들에 대한 추출을 수행한다.However, as a result of the determination in step S56, when the probability that the object to be traced does not satisfy the set threshold, the background of the image frame collected by the image collecting apparatus is zoomed out by controlling the image collecting apparatus at a set ratio according to time. The above tracking process is repeated while enlarging the region (S52 to S56). At this time, when a certain time elapses (S57 and S59, that is, when the background area is larger than a certain size), the tracking unit determines that the object tracking has failed and ends the object tracking, and again extracts moving objects in the input image frame. Perform.

한편, S50 단계에서의 판단 결과, 추적 대상 물체일 확률이 임계치를 만족하는 경우에는, 전술한 바와 같이 다음 영상 프레임에서 각 픽셀마다의 확률에 대한 모멘트를 이용하여 추적 대상 물체의 크기와 중심을 결정하는 연속 과정을 갖는다(S60).On the other hand, as a result of the determination in step S50, when the probability of the tracking object satisfies the threshold, as described above, the size and center of the tracking object are determined using the moment for the probability of each pixel in the next image frame. Has a continuous process to do (S60).

S60 단계를 통해 추적 대상 물체의 크기, 위치, 중심 등이 결정되면, 추적부 는 구동 제어부를 통해 추적 대상 물체의 중심이 영상 수집 장치를 통해 수집되는 다음 영상 프레임의 중앙부에 위치하도록 영상 수집 장치의 시선 방향을 조정하여 물체를 추적한다(S70). 추적부는 추적 중지 신호가 입력되기 전까지 상기한 S30 단계 내지 S70 단계들을 반복적으로 수행하며 물체를 추적하고, 추적 중지 신호가 입력되면 과정을 종료한다.If the size, position, center, etc. of the object to be tracked is determined through step S60, the tracking unit may be configured such that the center of the object to be tracked is located at the center of the next image frame collected by the image collecting device through the driving controller. The object is tracked by adjusting the line of sight (S70). The tracking unit repeatedly performs the above steps S30 to S70 until the tracking stop signal is input and tracks an object, and terminates the process when the tracking stop signal is input.

본 발명에 의하면, 이전의 물체 추적 방법이 정지되어 있는 카메라 환경에서만 동작하던 것에 비해 물체와 배경이 같이 움직이는 환경에서도 강인한 물체 추적으로 가능하게 한다. 이는 기존 추적할 물체만을 모델링 대상으로 삼은 것에 비해 그 주변 환경을 같이 고려하여 매 프레임마다 모델링을 수행하기 때문이다.According to the present invention, it is possible to achieve robust object tracking even in an environment in which an object and a background move together, as compared with operating only in a camera environment in which the previous object tracking method is stationary. This is because modeling is performed every frame considering the surrounding environment as compared to using only the object to be tracked.

따라서, 카메라와 물체가 같이 움직여서 주변 배경이 지속적으로 변하는 환경에서도 적응적인 물체 추적이 가능하다.Thus, even when the camera and the object move together so that the surrounding background constantly changes, adaptive object tracking is possible.

또한, 템플릿 매칭과 같은 방법이 아닌 추적 대상 물체의 색상분포를 이용한 확률 기반 추적을 수행하기 때문에 추적 대상 물체의 크기가 변하더라도 지속적으로 추적하는 것이 가능하다.In addition, since the probability-based tracking using the color distribution of the tracking target object is performed instead of the method of template matching, it is possible to continuously track even if the size of the tracking target object changes.

본 발명의 일부 단계들은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, CD-RW, 자기 테이프, 플로피디스크, HDD, 광 디스크, 광자기 저장장치 등이 있을 수 있으 며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.Some steps of the invention may be embodied as computer readable code on a computer readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of computer-readable recording media may include ROM, RAM, CD-ROM, CD-RW, magnetic tape, floppy disk, HDD, optical disk, magneto-optical storage, and may also include carrier waves (e.g., For example, it may be implemented in the form of transmission via the Internet). The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.As described above, an optimal embodiment has been disclosed in the drawings and specification. Although specific terms have been employed herein, they are used for purposes of illustration only and are not intended to limit the scope of the invention as defined in the claims or the claims. Therefore, those skilled in the art will appreciate that various modifications and equivalent embodiments are possible without departing from the scope of the present invention. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.

도 1은 본 발명의 실시예에 따른 움직이는 환경에서의 물체 추적 장치를 설명하기 위한 도면이다.1 is a view for explaining an object tracking device in a moving environment according to an embodiment of the present invention.

도 2 및 도 3은 도 1의 동적 영역 추출부에서 입력 프레임 영상으로 추적 대상 물체를 추출하는 과정을 설명하기 위한 예시도이다.2 and 3 are exemplary diagrams for explaining a process of extracting an object to be tracked as an input frame image by the dynamic region extraction unit of FIG. 1.

도 4는 도 1의 물체 모델링부에서 추적 대상 물체를 모델링하여 색상분포를 산출하는 과정을 설명하기 위한 예시도이다.4 is an exemplary diagram for describing a process of calculating a color distribution by modeling a tracking object in the object modeling unit of FIG. 1.

도 5는 본 발명의 실시예에 따른 움직이는 환경에서의 물체 추적 방법을 설명하기 위한 흐름도이다.5 is a flowchart illustrating an object tracking method in a moving environment according to an embodiment of the present invention.

<도면의 주요부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>

10:영상 수집 장치 100:물체 추적 장치10: video collection device 100: object tracking device

110:동적 영역 추출부 112:색공간 변환부110: dynamic region extraction unit 112: color space conversion unit

114:데이터 처리부 116:후처리부114: data processing unit 116: post-processing unit

130:물체 모델링부 150:물체 추적부130: object modeling unit 150: object tracking unit

152:영상 모델링부 154:추적부152: image modeling unit 154: tracking unit

156:구동 제어부 156: drive control unit

Claims (19)

영상 수집 장치를 통해 수집되는 영상 프레임에서 추적 대상 물체를 추출하는 동적 영역 추출부;A dynamic region extraction unit which extracts an object to be tracked from an image frame collected by the image collection device; 상기 동적 영역 추출부를 통해 추출된 추적 대상 물체를 모델링하여 상기 추적 대상 물체의 색상분포를 산출하는 물체 모델링부; 및An object modeling unit configured to calculate a color distribution of the tracking object by modeling a tracking object extracted through the dynamic region extraction unit; And 상기 추적 대상 물체의 색상분포를 산출한 뒤, 상기 영상 수집 장치를 통해 수집되는 다음 영상 프레임의 색상분포를 산출하고, 산출된 상기 다음 영상 프레임의 색상분포와 상기 추적 대상 물체의 색상분포를 기반으로 상기 다음 영상 프레임에서 각각의 픽셀이 상기 추적 대상 물체에 속할 사후확률을 산출하여 추적 대상 물체를 추적하는 물체 추적부를 구비하고,After calculating the color distribution of the tracking object, calculating the color distribution of the next image frame collected by the image collecting device, based on the calculated color distribution of the next image frame and the color distribution of the tracking object. An object tracking unit for tracking a tracking object by calculating a posterior probability that each pixel will belong to the tracking object in the next image frame; 상기 동적 영역 추출부는 정지되어 있는 영상 수집 장치를 통해 수집되는 복수 개의 영상 프레임으로부터 추적 대상 물체를 추출하고, 상기 물체 모델링부는 상기 복수 개의 영상 프레임에 걸쳐 추출된 추적 대상 물체들을 대상으로 모델링을 수행하여 상기 추적 대상 물체의 색상분포를 산출하는 물체 추적 장치.The dynamic region extractor extracts a tracking object from a plurality of image frames collected through a stationary image collecting device, and the object modeling unit performs modeling on the tracked objects extracted over the plurality of image frames. An object tracking device for calculating a color distribution of the tracking object. 청구항 1에 있어서,The method according to claim 1, 상기 동적 영역 추출부는, 정지되어 있는 영상 수집 장치를 통해 수집되는 영상 프레임을 대상으로 상기 추적 대상 물체를 추출하는 것을 특징으로 하는 물체 추적 장치.The dynamic area extractor extracts the tracking object from an image frame collected through a stationary image collecting device. 청구항 1에 있어서,The method according to claim 1, 상기 동적 영역 추출부는,The dynamic region extraction unit, 입력된 영상 프레임의 색공간을 영상 채널별 가중치가 부여되는 목적 색공간으로 변환하는 색공간 변환부; 및A color space converter for converting the color space of the input image frame into a target color space to which weights are assigned for each image channel; And 상기 색공간 변환부를 통해 색공간 변환된 영상 데이터를 처리하여 추적 대상 물체를 배경에서 분리하는 데이터 처리부를 구비하는 것을 특징으로 하는 물체 추적 장치.And a data processor for processing color space converted image data through the color space converter to separate a tracking object from a background. 청구항 3에 있어서,The method of claim 3, 상기 데이터 처리부의 결과 영상에서 노이즈를 제거하여 상기 추적 대상 물체를 부각시키는 후처리부를 더 구비하는 것을 특징으로 하는 물체 추적 장치.And a post-processing unit which removes noise from the resultant image of the data processing unit to highlight the tracking target object. 청구항 1에 있어서,The method according to claim 1, 상기 물체 추적부는, 상기 산출된 사후확률들을 이용하여 상기 추적 대상 물체의 크기와 중심을 결정하는 추적부를 구비하는 것을 특징으로 하는 물체 추적 장치.And the object tracking unit comprises a tracking unit to determine the size and the center of the object to be tracked using the calculated post-probabilities. 청구항 5에 있어서,The method of claim 5, 상기 물체 추적부는, 상기 추적부를 통해 결정된 상기 추적 대상 물체의 중심이 상기 영상 수집 장치를 통해 수집되는 다음 영상 프레임의 중앙부에 위치하도록 상기 영상 수집 장치의 시선 방향을 조정하는 구동 제어부를 구비하는 것을 특징으로 하는 물체 추적 장치.The object tracking unit may include a driving controller configured to adjust the line of sight of the image collecting device such that the center of the object to be tracked determined by the tracking unit is positioned at the center of a next image frame collected by the image collecting device. Object tracking device. 청구항 1에 있어서,The method according to claim 1, 상기 물체 모델링부는, 상기 추출된 추적 대상 물체를 모델링하기 위해 히스토그램을 사용하고, 각 채널마다 히스토그램에 사용될 빈(Bin)의 개수를 다르게 사용하는 것을 특징으로 하는 물체 추적 장치.The object modeling unit may use a histogram to model the extracted tracking object, and use different numbers of bins to be used in the histogram for each channel. 삭제delete 청구항 1에 있어서,The method according to claim 1, 상기 물체 모델링부는, 상기 추출된 추적 대상 물체의 모델링 확률이 수렴에 이를 때까지 상기 추적 대상 물체를 모델링하는 것을 특징으로 하는 물체 추적 장치. And the object modeling unit models the tracking object until the modeling probability of the extracted tracking object reaches convergence. 청구항 1에 있어서,The method according to claim 1, 상기 물체 모델링부는, 상기 복수 개의 영상 프레임에 걸쳐 추출된 추적 대상 물체들을 대상으로 모델링을 수행한 뒤, 각각의 모델링 확률에 대한 평균값을 이용하여 상기 추적 대상 물체의 색상분포를 산출하는 것으로 특징으로 하는 물체 추적 장치.The object modeling unit may perform modeling on the tracking target objects extracted over the plurality of image frames, and then calculate a color distribution of the tracking target object by using an average value of each modeling probability. Object tracking device. 영상 수집 장치를 통해 수집되는 영상 프레임에서 추적 대상 물체를 추출하는 단계;Extracting an object to be tracked from an image frame collected by the image collecting device; 상기 추출된 추적 대상 물체를 모델링하여 상기 추적 대상 물체의 색상분포를 산출하는 단계;Calculating a color distribution of the tracking object by modeling the extracted tracking object; 상기 추적 대상 물체의 색상분포를 산출한 뒤, 상기 영상 수집 장치를 통해 수집되는 다음 영상 프레임의 색상분포를 산출하는 단계; 및Calculating a color distribution of the next object frame collected by the image collecting device after calculating a color distribution of the tracking object; And 산출된 상기 다음 영상 프레임의 색상분포와 상기 추적 대상 물체의 색상분포를 기반으로 상기 다음 영상 프레임에서 각각의 픽셀이 상기 추적 대상 물체에 속할 사후확률을 산출하여 추적 대상 물체를 추적하는 단계를 포함하고,Calculating a posterior probability that each pixel will belong to the tracking object in the next image frame based on the calculated color distribution of the next image frame and the color distribution of the tracking object. , 상기 추출된 추적 대상 물체를 모델링하여 상기 추적 대상 물체의 색상분포를 산출하는 단계는,Computing the extracted tracking object to calculate the color distribution of the tracking object, 복수 개의 영상 프레임에 걸쳐 추출된 추적 대상 물체를 대상으로 모델링을 수행하여 상기 추적 대상 물체의 색상분포를 산출하는 것을 특징으로 하는 물체 추적 방법.And a color distribution of the tracking target object is calculated by modeling the tracking target object extracted over a plurality of image frames. 청구항 11에 있어서,The method of claim 11, 상기 영상 수집 장치를 통해 수집되는 영상 프레임에서 추적 대상 물체를 추출하는 단계는,Extracting the tracking target object from the image frame collected by the image collection device, 정지되어 있는 영상 수집 장치를 통해 수집되는 영상 프레임을 대상으로 상기 추적 대상 물체를 추출하는 것을 특징으로 하는 물체 추적 방법.The object tracking method, characterized in that for extracting the tracking object to the image frame collected through the stationary image collection device. 청구항 11에 있어서,The method of claim 11, 상기 다음 영상 프레임의 색상분포와 상기 추적 대상 물체의 색상분포를 기반으로 상기 다음 영상 프레임에서 각각의 픽셀이 상기 추적 대상 물체에 속할 사후확률을 산출하여 추적 대상 물체를 추적하는 단계는,The tracking of the tracking object by calculating a posterior probability that each pixel belongs to the tracking object in the next image frame based on the color distribution of the next image frame and the color distribution of the tracking object, 상기 산출된 사후확률들을 이용하여 상기 추적 대상 물체의 크기와 중심을 결정하는 단계를 포함하는 것을 특징으로 하는 물체 추적 방법.Determining the size and center of the object to be tracked using the calculated post-probabilities. 청구항 11에 있어서,The method of claim 11, 상기 다음 영상 프레임의 색상분포와 상기 추적 대상 물체의 색상분포를 기반으로 상기 다음 영상 프레임에서 각각의 픽셀이 상기 추적 대상 물체에 속할 사후확률을 산출하여 추적 대상 물체를 추적하는 단계는,The tracking of the tracking object by calculating a posterior probability that each pixel belongs to the tracking object in the next image frame based on the color distribution of the next image frame and the color distribution of the tracking object, 상기 추적 대상 물체의 중심이 상기 영상 수집 장치를 통해 수집되는 다음 영상 프레임의 중앙부에 위치하도록 상기 영상 수집 장치의 시선 방향을 조정하는 단계를 포함하는 것을 특징으로 하는 물체 추적 방법.And adjusting the gaze direction of the image collecting device such that the center of the object to be tracked is located at the center of the next image frame collected by the image collecting device. 청구항 11에 있어서,The method of claim 11, 상기 추출된 추적 대상 물체를 모델링하여 상기 추적 대상 물체의 색상분포를 산출하는 단계는,Computing the extracted tracking object to calculate the color distribution of the tracking object, 상기 추출된 추적 대상 물체를 모델링하기 위해 히스토그램을 사용하고, 각 채널마다 히스토그램에 사용 될 빈(Bin)의 개수를 다르게 사용하는 것을 특징으로 하는 물체 추적 방법.And a histogram for modeling the extracted tracking object, and using different numbers of bins to be used in the histogram for each channel. 삭제delete 청구항 11에 있어서,The method of claim 11, 상기 복수 개의 영상 프레임에 걸쳐 추출된 추적 대상 물체들을 대상으로 모델링을 수행하는 단계는,The modeling may be performed on the tracking target objects extracted over the plurality of image frames. 상기 추출된 추적 대상 물체의 모델링 확률이 수렴에 이를 때까지 상기 추적 대상 물체를 모델링하는 것을 특징으로 하는 물체 추적 방법.And tracking the target object until the modeling probability of the extracted target object reaches convergence. 청구항 11에 있어서,The method of claim 11, 상기 복수 개의 영상 프레임에 걸쳐 추출된 추적 대상 물체들을 대상으로 모델링을 수행하는 단계는,The modeling may be performed on the tracking target objects extracted over the plurality of image frames. 상기 복수 개의 영상 프레임에 걸쳐 추출된 추적 대상 물체를 대상으로 모델링을 수행한 뒤, 각각의 모델링 확률에 대한 평균값을 이용하여 상기 추적 대상 물체의 색상분포를 산출하는 것을 특징으로 하는 물체 추적 방법.Modeling a tracking object extracted over the plurality of image frames, and calculating a color distribution of the tracking object using an average value of each modeling probability. 청구항 11에 있어서,The method of claim 11, 상기 다음 영상 프레임의 색상분포와 상기 추적 대상 물체의 색상분포를 기반으로 상기 다음 영상 프레임에서 각각의 픽셀이 상기 추적 대상 물체에 속할 사후확률을 산출하여 추적 대상 물체를 추적하는 단계는,The tracking of the tracking object by calculating a posterior probability that each pixel belongs to the tracking object in the next image frame based on the color distribution of the next image frame and the color distribution of the tracking object, 상기 산출된 사후 확률들을 이용하여 상기 다음 영상 프레임 내에 추적 대상 물체가 존재하는지 판단하는 단계; Determining whether a tracking object exists in the next image frame using the calculated post-probabilities; 상기 다음 영상 프레임 내에 추적 대상 물체가 존재하지 않는 경우, 상기 영상 수집 장치를 설정 비율로 줌 아웃(Zoom out) 제어하는 단계; 및Zooming out the image collecting device at a preset ratio when there is no object to be tracked in the next image frame; And 설정 비율로 줌 아웃된 영상 수집 장치를 통해 수집되는 영상 프레임 내에 추적 대상 물체가 존재하는지를 판단하는 단계를 포함하는 것을 특징으로 하는 물체 추적 방법.And determining whether an object to be traced exists in an image frame collected by the image collecting apparatus zoomed out at a predetermined ratio.
KR1020090100761A 2008-12-03 2009-10-22 Apparatus for tracking an object using a moving camera and method thereof KR101249737B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US12/629,331 US20100134632A1 (en) 2008-12-03 2009-12-02 Apparatus for tracking an object using a moving camera and method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20080121648 2008-12-03
KR1020080121648 2008-12-03

Publications (2)

Publication Number Publication Date
KR20100063646A KR20100063646A (en) 2010-06-11
KR101249737B1 true KR101249737B1 (en) 2013-04-03

Family

ID=42363567

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090100761A KR101249737B1 (en) 2008-12-03 2009-10-22 Apparatus for tracking an object using a moving camera and method thereof

Country Status (1)

Country Link
KR (1) KR101249737B1 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101275869B1 (en) * 2011-03-22 2013-07-15 한국항공우주연구원 Vision sensor based aircraft detection device and method using dynamic programming and camshift algorithm
KR101268596B1 (en) * 2011-07-28 2013-06-04 광주과학기술원 Foreground extraction apparatus and method using CCB and MT LBP
KR101444656B1 (en) * 2013-02-20 2014-09-24 국방과학연구소 Method for calculating feasible search area for seeker to improve lock-on-target performance
KR102016545B1 (en) * 2013-10-25 2019-10-21 한화테크윈 주식회사 System for search and method for operating thereof
KR102011402B1 (en) * 2018-08-21 2019-08-16 한밭대학교 산학협력단 Intelligent Face Recognition and Tracking System and Method to Distribute GPU Resource using CUDA
KR102564038B1 (en) * 2023-03-09 2023-08-04 국방과학연구소 Method and system for detecting target using time series images

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010041177A (en) * 1998-12-22 2001-05-15 요트.게.아. 롤페즈 Automatic determination of preset positions corresponding to participants in video-conferences
KR20030037776A (en) * 2001-11-05 2003-05-16 삼성전자주식회사 Illumination invariant object tracking method and image editing system adopting the method
KR100519781B1 (en) * 2004-02-18 2005-10-07 삼성전자주식회사 Object tracking method and apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010041177A (en) * 1998-12-22 2001-05-15 요트.게.아. 롤페즈 Automatic determination of preset positions corresponding to participants in video-conferences
KR20030037776A (en) * 2001-11-05 2003-05-16 삼성전자주식회사 Illumination invariant object tracking method and image editing system adopting the method
KR100519781B1 (en) * 2004-02-18 2005-10-07 삼성전자주식회사 Object tracking method and apparatus

Also Published As

Publication number Publication date
KR20100063646A (en) 2010-06-11

Similar Documents

Publication Publication Date Title
KR101249737B1 (en) Apparatus for tracking an object using a moving camera and method thereof
KR100818289B1 (en) Video image tracking method and apparatus
KR101926490B1 (en) Apparatus and method for processing image
CN116018616A (en) Maintaining a fixed size of a target object in a frame
US9823331B2 (en) Object detecting apparatus, image capturing apparatus, method for controlling object detecting apparatus, and storage medium
EP2549738B1 (en) Method and camera for determining an image adjustment parameter
KR102153607B1 (en) Apparatus and method for detecting foreground in image
JP6184271B2 (en) Imaging management apparatus, imaging management system control method, and program
US9773192B2 (en) Fast template-based tracking
JP5484184B2 (en) Image processing apparatus, image processing method, and program
US9105104B2 (en) Image processing apparatus,image processing method, and program
US20100134632A1 (en) Apparatus for tracking an object using a moving camera and method thereof
CN112805996B (en) Device and method for generating slow motion video clip
KR101441947B1 (en) Surveillance camera apparatus for detecting and suppressing camera shift and control method thereof
EP2555163A1 (en) Image processing apparatus, image processing method, and program
JP6924064B2 (en) Image processing device and its control method, and image pickup device
KR20110074107A (en) Method for detecting object using camera
US10122984B2 (en) Pan/tilt/zoom camera based video playing method and apparatus
JP2008259161A (en) Target tracing device
US11019251B2 (en) Information processing apparatus, image capturing apparatus, information processing method, and recording medium storing program
JP5225317B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
US10916016B2 (en) Image processing apparatus and method and monitoring system
KR102107137B1 (en) Method and Apparatus for Detecting Event by Using Pan-Tilt-Zoom Camera
KR102450466B1 (en) System and method for removing camera movement in video
US11716541B2 (en) Image capturing apparatus, method of controlling image capturing apparatus, system, and non-transitory computer-readable storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee