KR100853267B1 - Multiple People Tracking Method Using Stereo Vision and System Thereof - Google Patents

Multiple People Tracking Method Using Stereo Vision and System Thereof Download PDF

Info

Publication number
KR100853267B1
KR100853267B1 KR1020070011105A KR20070011105A KR100853267B1 KR 100853267 B1 KR100853267 B1 KR 100853267B1 KR 1020070011105 A KR1020070011105 A KR 1020070011105A KR 20070011105 A KR20070011105 A KR 20070011105A KR 100853267 B1 KR100853267 B1 KR 100853267B1
Authority
KR
South Korea
Prior art keywords
person
tracking
image
background
color information
Prior art date
Application number
KR1020070011105A
Other languages
Korean (ko)
Other versions
KR20080072394A (en
Inventor
이칠우
아리프
홍석주
오치민
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020070011105A priority Critical patent/KR100853267B1/en
Publication of KR20080072394A publication Critical patent/KR20080072394A/en
Application granted granted Critical
Publication of KR100853267B1 publication Critical patent/KR100853267B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 스테레오 시각 정보를 이용한 복수 인물 추적 방법 및 그 시스템에 관한 것으로 더욱 상세하게는 스테레오 카메라를 이용하여 인물들 간의 겹침 현상을 효율적으로 구분하고 부분영역 단위로 적분 히스토그램을 이용하여 연산비용을 최소화한 스테레오 시각 정보를 이용한 복수 인물 추적 방법 및 그 시스템에 관한 것이다.The present invention relates to a multiple person tracking method and system using stereo visual information. More specifically, it is possible to efficiently classify overlaps between people using a stereo camera and to minimize computational cost by using an integrated histogram on a per-region basis. The present invention relates to a method for tracking a plurality of people using stereo information and a system thereof.

본 발명에 따른 스테레오 시각 정보를 이용한 복수 인물 추적 방법은 스테레오 카메라를 이용하여 배경의 영상을 일정한 초당 프레임으로 촬영하는 단계, 상기 프레임에 움직이는 인물의 영상이 촬영되어 상기 인물의 색상 정보가 추출되는 색상 정보 추출 단계, 상기 추출된 인물의 색상 정보를 이용하여 상기 배경과 상기 인물이 분리되는 단계, 상기 촬영된 인물의 영상을 이용하여 영상 시차를 검출하는 단계, 상기 분리된 인물을 일정한 개수의 부분영역들로 분할하는 단계, 상기 부분영역들 별로 적분 히스토그램을 연산하는 단계, 상기 부분영역들의 히스토그램을 이용하여 객체 모델을 도출하는 단계, 상기 도출된 객체에 이름을 부여하는 레이블링 단계 및 상기 레이블링된 객체를 추적하는 객체 추적 단계를 포함한다.In the multiple person tracking method using stereo visual information according to the present invention, the image of the background is recorded at a predetermined frame per second using a stereo camera, and the color information of the person is extracted by capturing an image of a moving person in the frame. Extracting the information, separating the background and the person using color information of the extracted person, detecting image parallax using the image of the photographed person, and determining a number of partial regions of the separated person. Dividing the data into subfields; calculating an integral histogram for each of the subregions; deriving an object model using the histograms of the subregions; labeling the derived object; and labeling the labeled object. Tracking object tracking steps.

복수 인물 추적, IHLS, Disparity, 적분 히스토그램, Segmentation Multiple Person Tracking, IHLS, Disparity, Integral Histogram, Segmentation

Description

스테레오 시각 정보를 이용한 복수 인물 추적 방법 및 그 시스템{Multiple People Tracking Method Using Stereo Vision and System Thereof}Multiple People Tracking Method Using Stereo Vision and System Thereof}

도 1 은 본 발명의 일실시예에 따른 스테레오 시각 정보를 이용한 복수 인물 추적 방법을 보여주는 흐름도,1 is a flowchart illustrating a plurality of person tracking methods using stereo visual information according to an embodiment of the present invention;

도 2 는 본 발명의 일실시예에 따른 스테레오 시각 정보를 이용한 복수 인물 추적 시스템의 구성도,2 is a block diagram of a multiple person tracking system using stereo visual information according to an embodiment of the present invention;

도 3 은 본 발명의 일실시예에 따른 객체 모델의 부분영역을 보여주는 도면,3 is a view showing a partial region of an object model according to an embodiment of the present invention;

도 4 는 본 발명의 일실시예에 따른 객체 추적 결과를 보여주는 도면이다.4 is a view showing an object tracking result according to an embodiment of the present invention.

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>

100:스테레오 카메라 200:인물 분리 수단100: stereo camera 200: portrait separation means

300:영상 시차 검출 수단 400:객체 모델 도출 수단300: image parallax detection means 400: object model derivation means

500:객체 모델 레이블링 수단 600:객체 추적 수단500: object model labeling means 600: object tracking means

본 발명은 스테레오 시각 정보를 이용한 복수 인물 추적 방법 및 그 시스템에 관한 것으로 더욱 상세하게는 스테레오 카메라를 이용하여 인물들 간의 겹침 현상을 효율적으로 구분하고 부분영역 단위로 적분 히스토그램을 이용하여 연산비용을 최소화한 스테레오 시각 정보를 이용한 복수 인물 추적 방법 및 그 시스템에 관한 것이다.The present invention relates to a multiple person tracking method and system using stereo visual information. More specifically, it is possible to efficiently classify overlaps between people using a stereo camera and to minimize computational cost by using an integrated histogram on a per-region basis. The present invention relates to a method for tracking a plurality of people using stereo information and a system thereof.

동적인 영상에서 사람들을 찾고 추적하는 것은 보안, 인간의 행동분석, 로봇비전 및 인간과 컴퓨터 간의 상호작용 분야의 비전 어플리케이션 시스템들 중 가장 중요한 모듈 중의 하나이다.Finding and tracking people in dynamic imaging is one of the most important modules of vision application systems in the fields of security, human behavior analysis, robot vision and human-computer interaction.

또한, 원격 보안시스템, 수화 및 제스처 인식 시스템, 원격 교육시스템, 자동 기록 시스템 등 카메라를 이용하여 지능적으로 인간의 동작 상황을 인식하여 응용하려는 모든 시스템 중 하나의 기술 요소로 활용이 가능하다.In addition, it can be used as a technical element of any system to intelligently recognize and apply the human operation situation using a camera such as a remote security system, a sign language and gesture recognition system, a remote education system, and an automatic recording system.

그러나 객체의 움직임을 판단하는 것과 추적된 객체들의 정확한 상호 정보를 유지하는 것은 본 발명이 속하는 기술분야에서 도전과제로 남아 있고, 일반적인 환경에서는 객체의 겹침 현상 및 특징이 비슷한 객체의 구별 등은 다양한 동적인 상황 때문에 발생하는 여러 가지 문제점을 내재하고 있다.However, determining the movement of an object and maintaining accurate mutual information of the tracked objects remains a challenge in the technical field to which the present invention belongs, and in a general environment, distinguishing between objects having similar overlapping characteristics and features may vary. There are many problems inherent in the situation.

또한, 객체 모델을 추출하고 추적하는 과정상의 연산비용을 감소시키기 위한 노력이 있어 왔다.In addition, efforts have been made to reduce the computational cost of extracting and tracking object models.

본 발명은 상기의 문제점들을 해결하기 위해 창안된 것으로 본 발명의 목적은 인물과 인물 간의 또는 인물과 사물 간의 겹침 현상에 강인한 시각 정보를 이용한 복수 인물 추적 방법을 제공하는 데 있다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and an object of the present invention is to provide a multiple person tracking method using visual information that is robust to a phenomenon of overlap between a person and a person or a person and an object.

또한, 본 발명의 목적은 인물을 객체로 도출하고 추적하는 과정상의 연산 비용을 줄임으로써 빠르게 상기 객체를 추적하는 복수 인물 추적 방법을 제공하는 데 있다.It is also an object of the present invention to provide a multi-person tracking method for quickly tracking an object by reducing the computational cost in the process of deriving and tracking a person as an object.

상기의 목적을 달성하기 위한 본 발명에 따른 스테레오 시각 정보를 이용한 복수 인물 추적 방법은 스테레오 카메라를 이용하여 배경의 영상을 일정한 초당 프레임으로 촬영하는 단계, 상기 프레임에 움직이는 인물의 영상이 촬영되어 상기 인물의 색상 정보가 추출되는 색상 정보 추출 단계, 상기 추출된 인물의 색상 정보를 이용하여 상기 배경과 상기 인물이 분리되는 단계, 상기 촬영된 인물의 영상을 이용하여 영상 시차를 검출하는 단계, 상기 분리된 인물을 일정한 개수의 부분영역들로 분할하는 단계, 상기 부분영역들 별로 적분 히스토그램을 연산하는 단계, 상기 부분영역들의 히스토그램을 이용하여 객체 모델을 도출하는 단계, 상기 도출된 객체에 이름을 부여하는 레이블링 단계 및 상기 레이블링된 객체를 추적하는 객체 추적 단계를 포함한다.According to an aspect of the present invention, there is provided a method of tracking a plurality of people using stereo visual information, by using a stereo camera to capture an image of a background at a predetermined frame per second, and an image of a person moving on the frame is photographed. Color information extraction step of extracting the color information of the; separating the background and the person using the color information of the extracted person; detecting image parallax using the image of the photographed person, the separated Dividing a person into a predetermined number of subregions, calculating an integral histogram for each of the subregions, deriving an object model using the histograms of the subregions, and labeling the named object And an object tracking step of tracking the labeled object. All.

바람직한 실시예에 있어서, 상기 배경과 인물을 분리하는 단계는 특정 프레임의 색상 정보가 상기 특정 프레임의 이전 프레임의 색상 정보와 동일할 경우 배 경으로 정의되고 동일하지 않을 경우 인물으로 정의되어 상기 배경과 상기 인물을 분리한다.In a preferred embodiment, the step of separating the background and the person is defined as a background when the color information of a specific frame is the same as the color information of a previous frame of the specific frame, and is defined as a person if not the same as the background. Separate the person.

바람직한 실시예에 있어서, 상기 영상 시차를 검출하는 단계는 상기 스테레오 카메라에 촬영된 인물의 좌 영상 및 우 영상을 이용하여 상기 스테레오 카메라와 상기 인물 간의 거리를 검출한다.In a preferred embodiment, the step of detecting the image parallax detects the distance between the stereo camera and the person by using the left image and the right image of the person photographed by the stereo camera.

바람직한 실시예에 있어서, 상기 객체 추적 단계 이후에 상기 움직이는 객체의 부분영역 적분 히스토그램 값을 갱신하는 단계를 포함하며, 상기 갱신된 부분영역 적분 히스토그램 값이 상기 갱신되기 전의 부분영역 적분 히스토그램 값과 가장 유사하거나 비 유사한 히스토그램을 검출하여 객체별로 추적을 유지한다.In a preferred embodiment, after the object tracking step, updating the partial region integral histogram value of the moving object, wherein the updated partial region integral histogram value is most similar to the partial region integral histogram value before the update. To keep track of objects by detecting or dissimilar histograms.

또한 상기의 목적을 달성하기 위한 본 발명에 따른 스테레오 시각 정보를 이용한 복수 인물 추적 시스템은 배경 및 인물을 촬영하는 스테레오 카메라, 상기 촬영된 배경과 인물을 분리하는 인물 분리 수단, 상기 스테레오 카메라에 의해 촬영된 영상들을 이용하여 상기 스테레오 카메라와 상기 인물 간의 거리를 검출하는 영상 시차 검출 수단, 상기 인물 분리 수단과 영상 시차 검출 수단에 의해 검출된 인물을 일정한 크기의 부분영역으로 나누고 상기 부분영역들의 적분 히스토그램을 구하여 객체 모델을 도출하는 객체 모델 도출 수단, 상기 도출된 객체에 이름을 부여하는 객체 모델 레이블링 수단 및 상기 레이블링된 객체의 움직임을 추적하는 객체 추적 수단을 포함한다.In addition, a multi-person tracking system using stereo visual information according to the present invention for achieving the above object is a stereo camera for photographing a background and a person, a person separation means for separating the person and the photographed background, the picture taken by the stereo camera Image parallax detecting means for detecting a distance between the stereo camera and the person using the extracted images, a person detected by the person separating means and the image parallax detecting means is divided into sub-regions having a constant size, and an integrated histogram of the sub-areas Object model derivation means for obtaining and deriving an object model, object model labeling means for naming the derived object, and object tracking means for tracking the movement of the labeled object.

바람직한 실시예에 있어서, 상기 객체는 다수개의 객체를 포함하며, 상기 객체 추적 수단은 상기 레이블링된 객체의 적분 히스토그램 값과 가장 유사한 적분 히스토그램을 확률적으로 연산하여 가장 높은 확률을 가지는 객체에 대해 추적한다.In a preferred embodiment, the object comprises a plurality of objects, and the object tracking means tracks an object with the highest probability by probably calculating an integral histogram most similar to the integral histogram value of the labeled object. .

바람직한 실시예에 있어서, 상기 확률정보는 상기 부분영역의 적분 히스토그램에 기반한다.In a preferred embodiment, the probability information is based on an integral histogram of the partial region.

이하, 첨부한 도면을 참조하여 실시예를 상세히 설명한다.Hereinafter, exemplary embodiments will be described in detail with reference to the accompanying drawings.

도 1 은 본 발명의 일실시예에 따른 스테레오 시각 정보를 이용한 복수 인물 추적 방법을 보여주는 흐름도이다.1 is a flowchart illustrating a plurality of person tracking method using stereo visual information according to an embodiment of the present invention.

도 1을 참조하면 본 발명의 일실시예에 따른 스테레오 시각 정보를 이용한 복수 인물 추적 방법은 먼저 스테레오 카메라를 이용하여 배경 영상을 초당 30프레임으로 촬영한다(S100).Referring to FIG. 1, in the multi-person tracking method using stereo visual information according to an embodiment of the present invention, a background image is first photographed at 30 frames per second using a stereo camera (S100).

또한, 상기 스테레오 카메라는 고정되어 좌.우 영상을 촬영할 수 있는 두 대의 카메라로 구비되고 컴퓨터로 영상정보를 송신한다.In addition, the stereo camera is fixed and provided with two cameras capable of shooting left and right images and transmits the image information to the computer.

또한, 상기 스테레오 카메라는 인물의 영상 시차를 구하기 위해 좌.우 영상을 촬영하며, 상기 영상 시차를 이용하여 인물의 크기를 도출하는데 이용된다.The stereo camera photographs left and right images in order to obtain an image parallax of a person, and is used to derive the size of the person using the image parallax.

따라서 하나의 카메라 영상을 이용하여 인물을 촬영하는 것에 비해 인물들의 크기 변화를 잘 표현할 수 있고 합쳐지거나 부분적으로 겹친 객체들의 깊이를 용이하게 도출할 수 있다.Therefore, compared to photographing a person using a single camera image, it is possible to express the change in the size of the person well and to easily derive the depth of the merged or partially overlapping objects.

본 발명의 일실시예에서는 좌.우 영상을 촬영하였지만, 다수개의 영상을 촬영하여 영상 시차를 구할 수도 있다.In one embodiment of the present invention, the left and right images are taken, but image parallax may be obtained by taking a plurality of images.

다음, 상기 영상 프레임에 움직이는 인물이 촬영되고 상기 인물의 색상정보를 추출한다(S200).Next, a moving person is photographed in the image frame and color information of the person is extracted (S200).

상기 인물의 색상 정보 추출은 IHLS(Improved Hue Lightness Saturation)에 기반한다. 또한, 상기 IHLS정보는 단순한 색상정보 추출 방법에 비해 부가적인 채도(Saturation) 정보를 추가함으로써 보다 안정적으로 배경과 인물을 분리해 낼 수 있는 색상정보를 제공한다.The color information extraction of the person is based on IHLS (Improved Hue Lightness Saturation). In addition, the IHLS information provides color information that can stably separate a background and a person by adding additional saturation information as compared to a simple color information extraction method.

따라서, 배경과 인물을 효과적으로 분리해낼 수 있는 정보를 제공한다.Therefore, it provides information that can effectively separate the background and the person.

다음, 상기 추출된 인물의 색상정보를 이용하여 배경과 인물을 분리한다(S300).
또한, 상기 배경과 인물을 분리하는 단계는 특정 프레임의 색상 정보가 상기 특정 프레임 이전 프레임의 색상정보와 동일한 경우 배경으로 정의되고 동일하지 않은 경우 인물로 정의되어 상기 배경과 인물이 서로 분리된다.
다시 말해서, 상기 특정 프레임의 영상 데이터의 픽셀 중 색상의 변화가 있는 픽셀의 정보를 추출하여 인물의 픽셀로 정의하고 상기 인물에 대한 픽셀만을 남겨두고 배경에 대한 영상 데이터는 삭제함으로써 상기 배경과 인물을 서로 분리한다.Next, the background and the person are separated using the extracted color information of the person (S300).
In addition, the step of separating the background and the person is defined as a background when the color information of a specific frame is the same as the color information of a frame before the specific frame, and is defined as a person when not the same, so that the background and the person are separated from each other.
In other words, the background and the person are extracted by extracting information of a pixel having a color change among the pixels of the image data of the specific frame and defining the pixel as a person, leaving only the pixel for the person and deleting the image data of the background. Separate from each other.

이때, 상기 IHLS 색상정보를 사용한 가우시안 믹스쳐 모델(GGM:Gsussian Mixture Model)을 사용한다. 따라서 화면 내의 움직이는 모든 객체가 인물이라고 가정하고 분류할 수 있는 간단하고 매우 신뢰할만한 방법을 제공할 수 있다.In this case, a Gaussian Mixture Model (GGM) using the IHLS color information is used. Thus, it can provide a simple and very reliable way to assume that all moving objects on the screen are figures.

다음, 상기 촬영된 좌.우 영상들을 이용하여 영상 시차를 검출한다(S210).Next, the image parallax is detected using the captured left and right images (S210).

이 단계는 객체 모델을 도출하는데 있어서, 더 강인하고 다양한 정보를 제공하기 위한 단계이므로 적분 히스토그램 산출 전에 이루어지면 충분하다.This step is sufficient to provide more robust and diverse information in deriving the object model, so it is sufficient to make it before calculating the integral histogram.

또한, 상기 영상 시차 검출단계는 궁극적으로 객체의 크기를 구하여 객체 모델 도출에 정보를 제공하며 상기 객체의 크기는 아래의 수학식 1에 의해 구할 수 있다.In addition, the image parallax detection step ultimately obtains the size of the object to provide information to the object model derivation can be obtained by the following equation (1).

Figure 112007010306539-pat00001
Figure 112007010306539-pat00001

여기서, 상기 s(scale)는 객체의 크기, d는 시차 값이고 k는 단순한 교정 상수이다.Here, s (scale) is the size of the object, d is the parallax value and k is a simple calibration constant.

따라서, 상기 영상 시차를 이용하여 인물의 크기를 간단하게 산출할 수 있다.Therefore, the size of the person can be easily calculated using the image parallax.

다음, 상기 분리된 인물을 일정한 개수의 부분영역들로 분할하고(S400), 상기 부분영역별로 적분 히스토그램을 산출한다(S500). 상기 적분 히스토그램은 하나의 부분영역의 히스토그램 값만으로도 다른 부분영역의 히스토그램을 도출해 낼 수 있으므로 연산속도를 빠르게 개선할 수 있다.Next, the separated person is divided into a predetermined number of partial regions (S400), and an integrated histogram is calculated for each of the partial regions (S500). The integral histogram can derive histograms of other subregions only by using the histogram values of one subregion, thereby improving the computation speed.

또한, 이미지 픽셀의 모든 위치(x,y)에서 이미지 적분 값을 저장하는 구조를 가지고 있다. In addition, it has a structure that stores the image integration value at all positions (x, y) of the image pixel.

또한, 상기 부분영역들로 분할하는 이유는 인물의 움직임에 따라 오류가 생기는 것을 최소화하기 위한 것이다.In addition, the reason for dividing into the partial regions is to minimize the error caused by the movement of the person.

상기 부분영역들의 적분히스토그램은 상기 IHLS 정보를 이용하여 도출되며 아래의 수학식 2로 표현된다.The integral histogram of the partial regions is derived using the IHLS information and is represented by Equation 2 below.

Figure 112007010306539-pat00002
Figure 112007010306539-pat00002

여기서

Figure 112007010306539-pat00003
와
Figure 112007010306539-pat00004
는 각각 픽셀 x의 색상과 채도 값이고,
Figure 112007010306539-pat00005
는 크로네커(Kronecer) 델타 함수이다. 따라서 상기 수학식 2로 도출되는 일차원 히스토그램으로 상기 부분영역 및 객체의 컬러 정보를 알 수 있다.here
Figure 112007010306539-pat00003
Wow
Figure 112007010306539-pat00004
Are the color and saturation values of pixel x, respectively,
Figure 112007010306539-pat00005
Is the Kronecer delta function. Therefore, the color information of the partial region and the object may be known using a one-dimensional histogram derived from Equation 2.

또한, 상기 히스토그램의 정보를 이용함으로써 상기 부분영역들 사이의 유사성을 평가하는 시간을 줄일 수 있다.In addition, by using the information of the histogram it is possible to reduce the time to evaluate the similarity between the partial regions.

다음, 상기 부분영역들의 모임인 객체 모델을 도출하고(S600) 상기 객체 모델에 이름을 부여하는 레이블링 단계를 거친다(S700).Next, an object model that is a collection of the partial regions is derived (S600), and a labeling step of naming the object model is performed (S700).

상기 레이블링 단계는 각각의 인물들로부터 도출된 객체들 간의 구분을 용이하게 하도록 해준다. The labeling step facilitates differentiation between objects derived from each person.

다음, 상기 레이블링된 객체 모델의 추적이 개시된다(S800).Next, tracking of the labeled object model is started (S800).

상기 객체 추적 단계(S800)는 추적 개시 이후에 움직이는 객체의 부분영역들의 적분 히스토그램 값을 갱신하는 단계를 포함한다.The object tracking step S800 may include updating an integrated histogram value of subregions of a moving object after tracking start.

상기 갱신되는 히스토그램의 구조와 깊이는 아래의 수학식 3으로 표현된다.The structure and depth of the updated histogram are represented by Equation 3 below.

Figure 112007010306539-pat00006
Figure 112007010306539-pat00006

상기 α는 갱신 비율이고 κ는 히스토그램의 빈(bin)이다. 깊이와 컬러 히스토그램은 서로 다른 α를 가진다. 왜냐하면 각각 서로 다른 비율로 변화하기 때문이다.Α is the update rate and κ is the bin of the histogram. Depth and color histograms have different α. Because they change at different rates.

또한, 상기 갱신된 부분영역의 적분 히스토그램 값이 갱신되기 전의 부분영 역 적분 히스토그램 값과 가장 유사한 객체에 추적이 유지된다.In addition, the tracking is maintained in the object most similar to the partial region integral histogram value before the updated partial region integral histogram value is updated.

상기 유사성 판단은 보트 맵을 이용하는데 엘엠이디에스 타입 에스티매이터(LMedS-Type Estimator)를 이용한 통계를 사용한다.The similarity determination uses statistics using an LMedS-Type Estimator to use a boat map.

따라서 상기 부분영역들의 히스토그램을 비교할 때 적은 연산 비용으로 빠르게 객체의 추적이 가능하다.Therefore, when comparing the histograms of the partial regions, it is possible to quickly track an object with low computational cost.

도 2 는 본 발명의 일실시예에 따른 스테레오 시각 정보를 이용한 복수 인물 추적 시스템의 구성도이다.2 is a block diagram of a multiple person tracking system using stereo visual information according to an embodiment of the present invention.

도 2 를 참조하면, 본 발명의 일실시예에 따른 스테레오 시각 정보를 이용한 복수 인물 추적 시스템은 스테레오 카메라(100), 인물 분리수단(200), 영상 시차 검출수단(300), 객체 모델 도출 수단(400), 객체 모델 레이블링 수단(500) 및 객체 추적 수단(600)을 포함한다.Referring to FIG. 2, the multiple person tracking system using stereo visual information according to an embodiment of the present invention includes a stereo camera 100, a person separating means 200, an image parallax detecting means 300, an object model deriving means ( 400, object model labeling means 500 and object tracking means 600.

상기 스테레오 카메라(100)는 두 대의 카메라를 포함하며, 배경을 초당 30프레임의 속도로 촬영한다. 또한 인물 분리 수단(200) 및 영상 시차 검출 수단(300)과 연결되어 영상 데이터를 송신한다.The stereo camera 100 includes two cameras and photographs a background at a rate of 30 frames per second. In addition, it is connected to the person separating means 200 and the image parallax detecting means 300 to transmit the image data.

또한, 상기 스테레오 카메라(100)를 사용함으로써, 상기 배경에 움직이는 인물이 촬영되면 상기 스테레오 카메라(100)와 상기 인물 간의 거리를 구할 수 있고, 상기 거리를 바탕으로 상기 인물의 크기를 구할 수 있는 것이다.In addition, by using the stereo camera 100, when a moving person is photographed on the background, the distance between the stereo camera 100 and the person can be obtained, and the size of the person can be obtained based on the distance. .

상기 인물 분리수단(200)은 상기 스테레오 카메라(100)로부터 영상 데이터를 수신하며, 상기 영상 데이터의 픽셀 중 색상의 변화가 있는 픽셀의 정보를 추출하여 상기 인물에 대한 색상정보만을 남겨두고 배경에 대한 영상 데이터는 삭제한다.The person separating means 200 receives the image data from the stereo camera 100, extracts the information of the pixel of the color change of the pixel of the image data to leave only the color information of the person and the background The video data is deleted.

이때, IHLS(Improved Hue Lightness Saturation)를 이용한 가우시언 믹스쳐 모델(GMM:Gaussian Mixture Model)을 사용하여 배경을 삭제하고 상기 인물에 대한 색상 정보만 남겨둔다.In this case, a background is deleted using a Gaussian Mixture Model (GMM) using an Improved Hue Lightness Saturation (IHLS), and only color information of the person is left.

상기 영상 시차 검출 수단(300)은 상기 스테레오 카메라(100)에 촬영된 좌.우 영상들을 이용하여 시차 정보와 상기 시차 정보를 이용하여 도출된 인물의 크기를 객체 모델 도출 수단(400)으로 전송한다.The image parallax detecting means 300 transmits the parallax information and the size of the person derived using the parallax information to the object model deriving means 400 using the left and right images captured by the stereo camera 100. .

상기 객체 모델 도출 수단(400)은 상기 인물 분리 수단(200)으로 부터 전송된 인물의 색상정보와 상기 영상 시차 검출 수단(300)으로부터 전송된 시차 정보로부터 하나의 객체 모델을 도출한다.The object model deriving means 400 derives one object model from color information of the person transmitted from the person separating means 200 and parallax information transmitted from the image parallax detecting means 300.

또한, 상기 인물을 다수개의 조각들로 구분하고 상기 구분된 부분 영역(fragment)별로 적분 히스토그램을 구하여 상기 부분 영역들의 모임인 객체 모델을 도출하게 된다.In addition, the object is divided into a plurality of pieces and an integral histogram is obtained for each of the divided partial regions to derive an object model that is a collection of the partial regions.

따라서, 상기 객체 모델 도출은 상기 적분 히스토그램을 사용하여 연산비용 및 시간을 절감시킬 수 있다. 또한 영상 시차 정보가 포함되므로 강인한 객체 모델을 도출할 수 있는 것이다.Thus, the object model derivation can reduce computational cost and time by using the integral histogram. In addition, since image parallax information is included, a robust object model can be derived.

상기 객체 모델 레이블링 수단(500)은 상기 도출된 객체 모델에 이름을 부여한다. 또한 상기 객체 모델에 기준이 되는 값이 설정되는 것이다.The object model labeling means 500 gives a name to the derived object model. In addition, a value that is a reference to the object model is set.

본 발명의 일실시예에서는 정수 형태 (1,2,3....n)의 이름을 부여하였다. 그러나 다른 형태의 이름을 부여할 수도 있다.In one embodiment of the present invention, the names of the integer forms (1, 2, 3... However, other forms of names may be given.

상기 객체 추적 수단(600)은 상기 레이블링된 객체 모델의 움직임에 따라 상 기 객체 모델의 적분 히스토그램을 갱신하고 이전의 적분 히스토그램과 비교하여 가장 유사한 객체 모델을 추적한다.The object tracking means 600 updates the integral histogram of the object model according to the movement of the labeled object model and tracks the most similar object model in comparison with the previous integral histogram.

상기 적분 히스토그램의 비교는 상기 부분영역을 기준으로 행해진다. 따라서 공간 정보와 형상정보를 동시에 활용할 수 있어 객체와 객체의 겹침, 물체가 사람을 가리는 경우 등 종래에는 불가능하였던 복잡 상황에서의 인물추적이 가능하게 된다.The comparison of the integral histogram is performed based on the partial region. Therefore, the spatial information and the shape information can be used at the same time, so that it is possible to track a person in a complicated situation that was not possible in the past, such as when an object overlaps an object and an object covers a person.

또한, 상기 유사성 판단은 보트 맵을 이용하는데 엘엠이디에스 타입 에스티매이터(LMedS-Type Estimator)를 이용한 통계를 사용한다. In addition, the similarity determination uses statistics using an LMedS-Type Estimator to use a boat map.

도 3 은 본 발명의 일실시예에 따른 객체 모델의 부분영역을 보여주는 도면이다.3 illustrates a partial region of an object model according to an embodiment of the present invention.

도 3 을 참조하면 배경(800)과 인물(700)이 부분영역(900a)에 기반한 객체(900)로 분리됨을 알 수 있다.Referring to FIG. 3, it can be seen that the background 800 and the person 700 are separated into the object 900 based on the partial region 900a.

따라서, 상기 본 발명의 스테레오 시각 정보를 이용한 복수 인물 추적 시스템은 상기 객체(900)의 추출이나 추적 과정이 상기 부분영역(900a)에 기반하므로 시스템의 오차를 최소화할 수 있다. Therefore, in the multiple person tracking system using the stereoscopic visual information of the present invention, since the extraction or tracking of the object 900 is based on the partial region 900a, the error of the system can be minimized.

도 4 는 본 발명의 일실시예에 따른 객체 추적 결과를 보여주는 도면이다.4 is a view showing an object tracking result according to an embodiment of the present invention.

도 4 를 참조하면 본 발명의 일실시예에 따른 스테레오 시각 정보를 이용한 복수 인물 추적 시스템이 레이블링(500a)된 객체들(900)을 추적하고 있다.Referring to FIG. 4, the multiple person tracking system using stereo visual information according to an embodiment of the present invention tracks the objects 900 labeled 500a.

또한, 상기 사진 c를 참조하면 1로 레이블링된 객체와 2로 레이블링된 객체의 겹침 현상이 발생 되었다.In addition, referring to the photograph c, an overlapping phenomenon of an object labeled 1 and an object labeled 2 has occurred.

따라서 다수의 사람을 인식하는 방법이 개선된 것을 알 수 있고 지속적인 레이블링과 객체 추적이 가능하다.As a result, the method of recognizing a large number of people is improved, and continuous labeling and object tracking are possible.

이상에서, 본 발명의 구성 및 동작을 상기한 설명 및 도면에 따라 도시하였지만, 이는 예를 들어 설명한 것에 불과하며 본 발명의 기술적 사상 및 범위를 벗어나지 않는 범위 내에서 다양한 변화 및 변경이 가능함은 물론이다In the above, the configuration and operation of the present invention has been shown in accordance with the above description and drawings, but this is merely described, for example, and various changes and modifications are possible without departing from the spirit and scope of the present invention.

상술한 바와 같이 본 발명에 따르면, 본 발명은 상기의 문제점들을 해결하기 위해 창안된 것으로 본 발명은 인물과 인물 간의 또는 인물과 사물 간의 겹침을 구분할 수 있는 복수 인물 추적 방법을 제공할 수 있는 효과가 있다.As described above, according to the present invention, the present invention was devised to solve the above problems, and the present invention has an effect of providing a plurality of person tracking methods that can distinguish the overlap between a person and a person or between a person and an object. have.

또한, 본 발명은 부분영역 단위에 기반하여 적분 히스토그램을 이용한 복수 인물 추적 시스템을 제공함으로써 객체의 히스토그램 연산비용을 줄이고 객체의 움직임에 따른 계산오류를 최소화할 수 있는 효과가 있다.In addition, the present invention has an effect of reducing the histogram calculation cost of the object and minimizing the calculation error according to the movement of the object by providing a multi-person tracking system using the integral histogram on the basis of the partial region unit.

또한, 본 발명은 스테레오 시각 정보를 이용하여 객체 추적시에 객체 히스토그램의 유사성 비교를 효과적으로 할 수 있는 효과가 있다.In addition, the present invention has an effect that can effectively compare the similarity of the object histogram during object tracking using stereo visual information.

또한, 본 발명은 객체 추적시에 보트 맵을 활용하여 최적의 유사성 비교를 할 수 있으므로 추적의 정확도는 늘리고 시간비용을 줄일 수 있는 복수 인물 추적 시스템을 제공할 수 있는 효과가 있다.In addition, the present invention has the effect of providing a multi-person tracking system that can increase the accuracy of tracking and reduce the time cost because the optimal similarity can be compared by using the boat map at the time of object tracking.

Claims (7)

삭제delete 스테레오 카메라를 이용하여 배경의 영상을 일정한 초당 프레임으로 촬영하는 단계;Capturing a background image at a predetermined frame per second using a stereo camera; 상기 프레임에 움직이는 인물의 영상이 촬영되어 상기 인물의 색상 정보가 추출되는 색상 정보 추출 단계;A color information extraction step of extracting an image of a person moving in the frame to extract color information of the person; 상기 추출된 인물의 색상 정보를 이용하여 상기 배경과 상기 인물이 분리되는 단계;Separating the background and the person by using color information of the extracted person; 상기 촬영된 인물의 영상을 이용하여 영상 시차를 검출하는 단계;Detecting image parallax using an image of the photographed person; 상기 분리된 인물을 일정한 개수의 부분영역들로 분할하는 단계;Dividing the separated person into a predetermined number of partial regions; 상기 부분영역들 별로 적분 히스토그램을 연산하는 단계;Calculating an integral histogram for each of the partial regions; 상기 부분영역들의 히스토그램을 이용하여 객체 모델을 도출하는 단계;Deriving an object model using histograms of the partial regions; 상기 도출된 객체에 이름을 부여하는 레이블링 단계; 및Labeling the derived object; And 상기 레이블링된 객체를 추적하는 객체 추적 단계를 포함하며,An object tracking step of tracking the labeled object, 상기 배경과 인물을 분리하는 단계는 특정 프레임의 색상 정보가 상기 특정 프레임의 이전 프레임의 색상 정보와 동일할 경우 배경으로 정의되고 동일하지 않을 경우 인물으로 정의되어 상기 배경과 상기 인물이 분리되는 것을 특징으로 하는 스테레오 시각 정보를 이용한 복수 인물 추적 방법.The separating of the background from the person may include defining the background when the color information of the specific frame is the same as the color information of the previous frame of the specific frame and defining the person when the background information is not the same. A multiple person tracking method using stereo visual information. 제 2 항에 있어서,The method of claim 2, 상기 영상 시차를 검출하는 단계는 상기 스테레오 카메라에 촬영된 인물의 좌 영상 및 우 영상을 이용하여 상기 스테레오 카메라와 상기 인물 간의 거리를 검출하는 것을 특징으로 하는 스테레오 시각 정보를 이용한 복수 인물 추적 방법.The detecting of the image parallax may include detecting a distance between the stereo camera and the person by using a left image and a right image of a person photographed by the stereo camera. 제 2 항에 있어서,The method of claim 2, 상기 객체 추적 단계 이후에 상기 움직이는 객체의 부분영역 적분 히스토그램 값을 갱신하는 단계를 포함하며,Updating the partial region integral histogram value of the moving object after the object tracking step, 상기 갱신된 부분영역 적분 히스토그램 값이 상기 갱신되기 전의 부분영역 적분 히스토그램 값과 가장 유사하거나 비 유사한 히스토그램을 검출하여 객체별로 추적이 유지되는 것을 특징으로 하는 스테레오 시각 정보를 이용한 복수 인물 추적 방법.The updated partial area integral histogram value detects a histogram that is most similar or similar to the partial area integral histogram value before the update, and tracking is maintained for each object. 배경 및 인물을 촬영하는 스테레오 카메라;A stereo camera for photographing backgrounds and figures; 상기 촬영된 배경과 인물을 분리하는 인물 분리 수단;Person separation means for separating the person from the photographed background; 상기 스테레오 카메라에 의해 촬영된 영상들을 이용하여 상기 스테레오 카메라와 상기 인물 간의 거리를 검출하는 영상 시차 검출 수단;Image parallax detecting means for detecting a distance between the stereo camera and the person by using the images photographed by the stereo camera; 상기 인물 분리 수단과 영상 시차 검출 수단에 의해 검출된 인물을 일정한 크기의 부분영역으로 나누고 상기 부분영역들의 적분 히스토그램을 구하여 객체 모델을 도출하는 객체 모델 도출 수단;Object model derivation means for dividing the person detected by the person separating means and the image parallax detecting means into sub-areas of a constant size and obtaining an integrated histogram of the sub-areas to derive an object model; 상기 도출된 객체에 이름을 부여하는 객체 모델 레이블링 수단; 및Object model labeling means for assigning a name to the derived object; And 상기 레이블링된 객체의 움직임을 추적하는 객체 추적 수단을 포함하며,Object tracking means for tracking the movement of the labeled object, 상기 인물 분리 수단은 특정 프레임의 색상 정보가 상기 특정 프레임의 이전 프레임의 색상 정보와 동일할 경우 배경으로 정의되고 동일하지 않을 경우 인물으로 정의되어 상기 배경과 상기 인물이 분리되는 것 것을 특징으로 하는 스테레오 시각 정보를 이용한 복수 인물 추적 시스템.The person separating means may be defined as a background when the color information of a specific frame is the same as the color information of a previous frame of the specific frame, and is defined as a person when the same is not the same. Multiple person tracking system using visual information. 제 5 항에 있어서,The method of claim 5, wherein 상기 객체는 다수개의 객체를 포함하며,The object includes a plurality of objects, 상기 객체 추적 수단은 상기 레이블링된 객체의 적분 히스토그램 값과 가장 유사한 적분 히스토그램을 확률적으로 연산하여 가장 높은 확률을 가지는 객체에 대해 추적하는 것을 특징으로 하는 스테레오 시각 정보를 이용한 복수 인물 추적 시스템.And the object tracking means tracks an object having the highest probability by probably calculating an integral histogram most similar to an integral histogram value of the labeled object. 삭제delete
KR1020070011105A 2007-02-02 2007-02-02 Multiple People Tracking Method Using Stereo Vision and System Thereof KR100853267B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070011105A KR100853267B1 (en) 2007-02-02 2007-02-02 Multiple People Tracking Method Using Stereo Vision and System Thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070011105A KR100853267B1 (en) 2007-02-02 2007-02-02 Multiple People Tracking Method Using Stereo Vision and System Thereof

Publications (2)

Publication Number Publication Date
KR20080072394A KR20080072394A (en) 2008-08-06
KR100853267B1 true KR100853267B1 (en) 2008-08-20

Family

ID=39882732

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070011105A KR100853267B1 (en) 2007-02-02 2007-02-02 Multiple People Tracking Method Using Stereo Vision and System Thereof

Country Status (1)

Country Link
KR (1) KR100853267B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101030257B1 (en) * 2009-02-17 2011-04-22 한남대학교 산학협력단 Method and System for Vision-Based People Counting in CCTV
KR101064927B1 (en) * 2010-08-10 2011-09-16 주식회사 유니온커뮤니티 People count system using image analysis and method thereof
KR101448392B1 (en) * 2013-06-21 2014-10-13 호서대학교 산학협력단 People counting method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000048211A (en) * 1998-07-31 2000-02-18 Matsushita Electric Ind Co Ltd Movile object tracking device
KR20020062429A (en) * 2001-01-20 2002-07-26 삼성전자 주식회사 Apparatus and method for generating object label images in video sequence
KR20050114817A (en) * 2004-06-02 2005-12-07 김상훈 Automatic detection method of human facial objects for the digital video surveillance

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000048211A (en) * 1998-07-31 2000-02-18 Matsushita Electric Ind Co Ltd Movile object tracking device
KR20020062429A (en) * 2001-01-20 2002-07-26 삼성전자 주식회사 Apparatus and method for generating object label images in video sequence
KR20050114817A (en) * 2004-06-02 2005-12-07 김상훈 Automatic detection method of human facial objects for the digital video surveillance

Also Published As

Publication number Publication date
KR20080072394A (en) 2008-08-06

Similar Documents

Publication Publication Date Title
KR101971866B1 (en) Method and apparatus for detecting object in moving image and storage medium storing program thereof
US6404900B1 (en) Method for robust human face tracking in presence of multiple persons
CN102087702B (en) Image processing device, image processing method
EP2490171B1 (en) Person image search starting from clothing query text.
KR101758684B1 (en) Apparatus and method for tracking object
JP6482195B2 (en) Image recognition apparatus, image recognition method, and program
US20080013837A1 (en) Image Comparison
US11176679B2 (en) Person segmentations for background replacements
CN110796074B (en) Pedestrian re-identification method based on space-time data fusion
WO2008020598A1 (en) Subject number detecting device and subject number detecting method
CN106295640A (en) The object identification method of a kind of intelligent terminal and device
CN105744152A (en) Object Tracking Apparatus, Control Method Therefor And Storage Medium
JP5937823B2 (en) Image collation processing apparatus, image collation processing method, and image collation processing program
WO2016031573A1 (en) Image-processing device, image-processing method, program, and recording medium
KR20170053807A (en) A method of detecting objects in the image with moving background
KR100853267B1 (en) Multiple People Tracking Method Using Stereo Vision and System Thereof
CN104504162B (en) A kind of video retrieval method based on robot vision platform
KR102270009B1 (en) Method for detecting moving object and estimating distance thereof based on artificial intelligence algorithm of multi channel images
CN106611417B (en) Method and device for classifying visual elements into foreground or background
Li et al. Detecting and tracking human faces in videos
JP6555940B2 (en) Subject tracking device, imaging device, and method for controlling subject tracking device
JP2016081095A (en) Subject tracking device, control method thereof, image-capturing device, display device, and program
JP2006010652A (en) Object-detecting device
JP2004145592A (en) Motion vector extraction device, method and program, and its recording medium
JP2011043863A (en) Apparatus, method, program for determining/tracking object region, and apparatus for determining object region

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120702

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20130806

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee