KR102370228B1 - Method for multiple moving object tracking using similarity between probability distributions and object tracking system thereof - Google Patents

Abstract

본 발명은 확률분포 간의 유사도를 이용한 객체 추적 기술에 관한 것으로, 다중 이동 객체를 추적하는 방법은, 복수 개의 객체를 포함하는 영상을 입력받아 움직임 영역을 추출하고, 추출된 움직임 영역으로부터 라벨링(labeling)을 통해 복수 개의 이동 객체를 추출하고, 추출된 이동 객체별로 추적을 위한 특징점을 설정하고 색상 정보에 관한 확률분포를 산출하며 산출된 확률분포 간의 유사도를 측정함으로써 복수 개의 이동 객체를 구분하여 인식하고, 인식된 이동 객체의 특징점을 기준으로 이동 객체 각각의 이동 경로를 추출하고, 추출된 이동 경로를 이용하여 이동 객체들 간의 겹침(overlap)을 감지하며, 겹침이 감지된 이동 객체 각각의 이동 방향 및 이동 객체별 색상 정보에 관한 확률분포 간의 유사도 중 적어도 하나를 이용하여 이동 객체를 추적한다.The present invention relates to an object tracking technique using a similarity between probability distributions, and a method for tracking a multi-moving object receives an image including a plurality of objects, extracts a motion region, and labels from the extracted motion region. By extracting a plurality of moving objects through Extracting movement paths of each moving object based on the recognized feature points of moving objects, detecting overlap between moving objects using the extracted moving paths, and moving directions and movements of each of the moving objects for which overlap is detected A moving object is tracked using at least one of the similarities between probability distributions regarding color information for each object.

Description

확률분포 간의 유사도를 이용한 다중 이동 객체 추적 방법 및 그 방법에 따른 객체 추적 시스템{Method for multiple moving object tracking using similarity between probability distributions and object tracking system thereof}Method for multiple moving object tracking using similarity between probability distributions and object tracking system thereof

본 발명은 영상 내에서 이동하는 다수의 객체를 추적하는 기술에 관한 것으로, 특히 동영상 내에 다수의 객체와 배경이 혼재되어 움직이고 있는 상황에서 추적하고자 하는 객체에 대한 사전 정보가 부족한 경우에 객체들 간의 겹침 및 분리가 발생하더라도 목표 객체를 인식하여 지속적으로 추적하는 방법, 그 방법을 컴퓨터에 실행하기 위한 컴퓨터 프로그램, 및 그 방법에 따른 객체 추적 시스템에 관한 것이다.The present invention relates to a technique for tracking a plurality of moving objects in an image, and in particular, overlap between objects when there is insufficient prior information on the object to be tracked in a situation in which a plurality of objects and a background are mixed in a moving image. and a method of recognizing and continuously tracking a target object even when separation occurs, a computer program for executing the method on a computer, and an object tracking system according to the method.

영상 감시 시스템은 범죄예방, 재난감시 등 국민의 생명과 재산을 보호하기 위한 시스템으로 카메라, 전송장치, 저장 및 재생장치로 구성된다. 최근 CCTV(Closed Circuit Television) 설치 대수의 증가에 비해 모니터링 요원은 한정되어 있는 상황이며 영상 감시 및 적절한 대응 조치에 한계가 나타나고 있다. 이와 같은 문제를 해결하기 위해 지능형 영상처리 기술이 연구되고 있다. 지능형 영상처리 기술이란 CCTV 또는 IP 카메라를 이용하여 수집되는 영상을 지능적으로 분석하여 상황을 판단하는 영상 감시 기술을 말한다. 지능형 영상 감시에서 영상 내 이동 객체를 추적하는 기술은 가장 핵심적인 기술이며, 다수의 객체를 지속적으로 추적하기 위해서는 객체의 이동 과정에서 발생하는 다양한 변화에 대응할 수 있어야 한다. 다양한 변화에는 추적 객체의 급격한 움직임 변화, 객체의 겹침 현상 등이 있으며 이를 해결하기 위한 강인한 추적 기술이 연구되고 있다.The video surveillance system is a system for protecting people's lives and property, such as crime prevention and disaster monitoring, and consists of a camera, a transmission device, and a storage and playback device. Compared to the recent increase in the number of CCTV (Closed Circuit Television) installed, the number of monitoring personnel is limited, and there are limits to video surveillance and appropriate countermeasures. In order to solve this problem, intelligent image processing technology is being researched. Intelligent image processing technology refers to video surveillance technology that intelligently analyzes images collected using CCTV or IP cameras to determine the situation. In intelligent video surveillance, the technology to track a moving object in an image is the most essential technology, and in order to continuously track a large number of objects, it must be able to respond to various changes that occur during the movement of an object. Various changes include rapid movement changes of tracking objects and overlapping of objects, and robust tracking technology is being researched to solve these problems.

영상에서 객체를 추적하기 위해서는 객체를 추출하고 인식하는 과정이 필요하다. 이동 객체를 추출하기 위한 대표적인 방법은 입력 영상의 배경과 객체 사이의 광학 플로우(Optical Flow) 차이를 가지고 객체만을 추출하는 방법이 있으며, 이동 객체를 인식하는 방법에는 이전 프레임과 현재 프레임의 특징점 차이를 활용하여 이동 객체를 인식하는 방법, CNN(Convolution Neural Network)과 같이 심층 신경망을 활용하여 다수의 객체를 인식하는 방법 등이 있다. In order to track an object in an image, it is necessary to extract and recognize the object. A representative method for extracting a moving object is a method of extracting only an object with a difference in optical flow between the background and the object of the input image. There are a method of recognizing a moving object by utilizing

이하에서 제시되는 선행기술문헌에는 다음과 같이 객체를 추적하는 기술이 제안되었다. 첫째, 객체를 추적하는 대표적인 기술에는 개선된 CAM-Shift(Continuously Adaptive Mean-shift)방법이 있다. 이 방법은 CAM-Shift에 필요한 계산 비용이 적어 우수한 실시간 성능을 나타낸다. 둘째, KCF(Kernelized Correlation Filters) 방법은 추적하고자 하는 객체 이미지의 상관 필터링 값이 객체 중심의 형태로 나오도록 필터를 학습한다. 상기된 두 가지 방법 모두 높은 추적 성능을 달성하지만 객체의 겹침 현상에서 발생하는 추적 실패를 해결하지 못하였다는 약점을 노출하였다.In the prior art literature presented below, a technique for tracking an object has been proposed as follows. First, a representative technology for tracking an object includes an improved CAM-Shift (Continuously Adaptive Mean-shift) method. This method shows excellent real-time performance because the computational cost required for CAM-Shift is low. Second, the KCF (Kernelized Correlation Filters) method learns the filter so that the correlation filtering value of the object image to be tracked comes out in the form of an object center. Although both of the above-described methods achieved high tracking performance, they exposed the weakness of not being able to solve the tracking failure occurring in the overlapping phenomenon of objects.

H. Xie, Z. Tan, W. Mao, Z, Liu and M. Liu, "High precision indoor positioning method based on visible light communication using improved Camshift tracking algorithm", Optics Communications, 2020.H. Xie, Z. Tan, W. Mao, Z, Liu and M. Liu, "High precision indoor positioning method based on visible light communication using improved Camshift tracking algorithm", Optics Communications, 2020. J. F. Henriques, R. Caseiro, P. Martins and J. Batista, "High-speed tracking with kernelized correlation filters", IEEE transactions on pattern analysis and machine intelligence, Vol. 37, pp. 583-96, 2014.J. F. Henriques, R. Caseiro, P. Martins and J. Batista, “High-speed tracking with kernelized correlation filters”, IEEE transactions on pattern analysis and machine intelligence, Vol. 37, pp. 583-96, 2014.

본 발명이 해결하고자 하는 기술적 과제는, 종래의 객체 추적 기술이 다수의 객체가 혼재되어 있는 상황에서 이동 객체 간의 겹침 현상이 발생한 경우 각각의 객체들을 지속적으로 추적하지 못하는 문제를 해결하고, 특히 추적하고자 하는 객체에 대한 정보가 사전에 충분히 주어지지 않은 경우에 객체 추적에 상당한 어려움을 겪고 있는 기술적 한계를 극복하고자 한다.The technical problem to be solved by the present invention is to solve the problem that the conventional object tracking technology cannot continuously track each object when overlapping between moving objects occurs in a situation in which a plurality of objects are mixed, and in particular to track To overcome the technical limitation of having a lot of difficulty in tracking an object when information about the object to be used is not sufficiently provided in advance.

상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 다중 이동 객체의 추적 방법은, (a) 객체 추적 시스템이 복수 개의 객체를 포함하는 영상을 입력받아 움직임 영역을 추출하는 단계; (b) 상기 객체 추적 시스템이 추출된 상기 움직임 영역으로부터 라벨링(labeling)을 통해 복수 개의 이동 객체를 추출하는 단계; (c) 상기 객체 추적 시스템이 추출된 상기 이동 객체별로 추적을 위한 특징점을 설정하고 색상 정보에 관한 확률분포를 산출하며 산출된 확률분포 간의 유사도를 측정함으로써 복수 개의 이동 객체를 구분하여 인식하는 단계; (d) 상기 객체 추적 시스템이 인식된 상기 이동 객체의 상기 특징점을 기준으로 이동 객체 각각의 이동 경로를 추출하는 단계; (e) 상기 객체 추적 시스템이 추출된 상기 이동 경로를 이용하여 이동 객체들 간의 겹침(overlap)을 감지하는 단계; 및 (f) 상기 객체 추적 시스템이 겹침이 감지된 이동 객체 각각의 이동 방향 및 상기 이동 객체별 색상 정보에 관한 확률분포 간의 유사도 중 적어도 하나를 이용하여 이동 객체를 추적하는 단계;를 포함한다.In order to solve the above technical problem, a multi-moving object tracking method according to an embodiment of the present invention includes the steps of: (a) extracting a motion region by an object tracking system receiving an image including a plurality of objects; (b) extracting, by the object tracking system, a plurality of moving objects from the extracted movement region through labeling; (c) distinguishing and recognizing a plurality of moving objects by the object tracking system setting feature points for tracking for each extracted moving object, calculating a probability distribution related to color information, and measuring a similarity between the calculated probability distributions; (d) extracting, by the object tracking system, a movement path of each moving object based on the feature point of the recognized moving object; (e) detecting, by the object tracking system, an overlap between moving objects using the extracted moving path; and (f) tracking, by the object tracking system, a moving object using at least one of a similarity between the moving direction of each moving object for which overlap is detected and a probability distribution regarding color information for each moving object.

일 실시예에 따른 다중 이동 객체의 추적 방법에서 움직임 영역을 추출하는 상기 (a) 단계는, (a1) 복수 개의 객체를 포함하는 영상으로부터 가우시안 혼합 모델(Gaussian Mixture Model, GMM)을 이용하여 배경을 제거함으로써 전경에 해당하는 움직임 영역을 추출하는 단계; 및 (a2) 추출된 상기 움직임 영역에 대해 모폴로지(morphology) 연산을 통해 미세한 움직임 또는 조도 변화로 인하여 발생하는 잡음을 제거하는 단계;를 포함할 수 있다.The step (a) of extracting a motion region in the method for tracking multiple moving objects according to an embodiment includes (a1) a background using a Gaussian Mixture Model (GMM) from an image including a plurality of objects. extracting a motion region corresponding to the foreground by removing it; and (a2) removing noise generated due to minute movement or illuminance change through morphology calculation for the extracted movement region.

일 실시예에 따른 다중 이동 객체의 추적 방법에서 이동 객체를 추출하는 상기 (b) 단계는, (b1) 인접하는 픽셀(pixel)을 하나의 군집으로 정의하는 라벨링을 이용하여 복수 개의 라벨을 생성하는 단계; 및 (b2) 생성된 복수 개의 라벨 중 인접한 라벨이 미리 설정된 인체 비율을 만족하지 않는 손실된 영역인지 여부를 검사하여 인체 비율을 만족하는 하나의 라벨로 병합함으로써 영상 내에 존재하는 하나의 이동 객체로 설정하는 단계;를 포함할 수 있다.The step (b) of extracting a moving object in the method for tracking multiple moving objects according to an embodiment includes (b1) generating a plurality of labels using labeling that defines adjacent pixels as one group. step; and (b2) checking whether an adjacent label among a plurality of generated labels is a lost area that does not satisfy a preset human body ratio, and merging it into one label satisfying the human body ratio to set it as one moving object existing in the image may include;

또한, 하나의 라벨로 병합하는 상기 (b2) 단계는, 인접한 라벨의 가로축의 최대값과 최소값의 차이 및 상기 인접한 라벨의 세로축의 최대값과 최소값의 차이로부터 미리 설정된 인체 모델의 신장 및 어깨 길이의 비율을 만족하는지 여부를 검사함으로써 라벨의 병합을 결정할 수 있다.In addition, in the step (b2) of merging into one label, the height and shoulder length of the human body model set in advance from the difference between the maximum and minimum values of the horizontal axis of the adjacent labels and the maximum and minimum values of the vertical axes of the adjacent labels. The merging of labels can be determined by checking whether the ratio is satisfied.

일 실시예에 따른 다중 이동 객체의 추적 방법에서, 복수 개의 이동 객체를 구분하여 인식하는 상기 (c) 단계는, (c1) 추출된 상기 이동 객체로부터 인체 비율에 기초하여 머리 영역을 추출하고 상기 머리 영역에 대한 무게중심(center of gravity, COG)을 산출하여 추적의 기준인 특징점으로 설정하는 단계; (c2) 추출된 상기 이동 객체에 대해 RGB(Red-Green-Blue) 히스토그램(histogram) 정보를 HSV(Hue-Saturation-Value)로 변환하여 색상 채널별로 저장하는 단계; 및 (c3) 색상 채널별로 저장된 상기 히스토그램 정보로부터 서로 다른 이동 객체 간의 히스토그램 유사도를 비교함으로써 비교 결과에 따라 이동 객체들을 구별하는 단계;를 포함할 수 있다.In the multi-moving object tracking method according to an embodiment, the step (c) of distinguishing and recognizing a plurality of moving objects includes: (c1) extracting a head region from the extracted moving object based on a human body ratio, and calculating a center of gravity (COG) for the region and setting it as a feature point that is a reference point for tracking; (c2) converting RGB (Red-Green-Blue) histogram information with respect to the extracted moving object into HSV (Hue-Saturation-Value) and storing each color channel; and (c3) comparing the histogram similarities between different moving objects from the histogram information stored for each color channel, thereby discriminating the moving objects according to the comparison result.

또한, 히스토그램 유사도를 비교하는 상기 (c3) 단계는, 비교하고자 하는 서로 다른 이동 객체의 히스토그램 정보의 바타차야(Bhattacharrya) 계수를 이용하여 각 색상 채널에서의 헬링거 거리(Hellinger distance)를 산출하고, 히스토그램 정보로부터 산출된 헬링거 거리의 평균과 상기 각 색상 채널에서의 헬링거 거리의 편차로부터 히스토그램 유사도를 판단할 수 있다.In addition, in the step (c3) of comparing the histogram similarity, a Hellinger distance in each color channel is calculated using a Bhattacharrya coefficient of histogram information of different moving objects to be compared, The histogram similarity may be determined from the average of the Hellinger distances calculated from the histogram information and the deviation of the Hellinger distances in the respective color channels.

일 실시예에 따른 다중 이동 객체의 추적 방법에서 이동 객체 각각의 이동 경로를 추출하는 상기 (d) 단계는, 인식된 상기 이동 객체의 상기 특징점의 좌표축으로부터 이동 객체 각각의 이동 경로를 추출하되, 칼만 필터(Kalman filter)의 상태 방정식과 측정 방정식을 이용하여 상기 이동 경로의 오차를 보정할 수 있다.The step (d) of extracting the movement path of each moving object in the tracking method of multiple moving objects according to an embodiment includes extracting the movement path of each moving object from the coordinate axes of the feature points of the recognized moving object, but Kalman The error of the movement path may be corrected using the state equation and the measurement equation of the filter (Kalman filter).

일 실시예에 따른 다중 이동 객체의 추적 방법에서 이동 객체들 간의 겹침을 감지하는 상기 (e) 단계는, 이동 객체들 각각에 대해 추출된 이동 경로의 좌표축 간의 차이가 미리 설정된 임계값보다 작은지 여부를 검사함으로써 이동 객체들의 겹침을 판단할 수 있다.The step (e) of detecting overlap between moving objects in the tracking method for multiple moving objects according to an embodiment includes whether a difference between the coordinate axes of the moving paths extracted for each of the moving objects is smaller than a preset threshold value By examining , it is possible to determine the overlap of moving objects.

일 실시예에 따른 다중 이동 객체의 추적 방법에서 이동 객체를 추적하는 상기 (f) 단계는, (f1) 이동 객체의 특징점의 시계열적인 움직임으로부터 겹침이 감지된 이동 객체 각각의 이동 방향을 산출하여 산출된 상기 이동 방향으로부터 오차 범위를 설정하는 단계; (f2) 겹쳐진 이동 객체가 서로 분리된 후에 산출되는 이동 방향이 상기 오차 범위 내에 존재하는지 여부를 검사함으로써 같은 이동 방향을 갖는 이동 객체인지를 판단하는 단계; 및 (f3) 겹쳐진 이동 객체가 서로 분리된 후에 분리된 이동 객체별 색상 정보에 관한 확률분포 간의 유사도를 이용하여 겹침 전/후의 이동 객체의 동일성을 판단하는 단계;를 포함할 수 있다.The step (f) of tracking a moving object in the method for tracking multiple moving objects according to an embodiment includes (f1) calculating the movement direction of each of the moving objects in which overlap is detected from the time-series movement of the feature points of the moving object. setting an error range from the moving direction; (f2) determining whether the moving objects having the same moving direction are the same by checking whether the moving directions calculated after the overlapping moving objects are separated from each other exist within the error range; and (f3) after the overlapping moving objects are separated from each other, determining the identity of the moving objects before/after the overlap by using the similarity between the probability distributions regarding the color information for each separated moving object.

나아가, 일 실시예에 따른 다중 이동 객체의 추적 방법에서 이동 객체를 추적하는 상기 (f) 단계는, (f4) 상기 (f2) 단계의 판단 결과 및 상기 (f3) 단계의 판단 결과 중 적어도 하나를 이용하여 겹침 후 분리된 이동 객체를 지속적으로 추적하는 단계;를 더 포함할 수 있다.Furthermore, in the step (f) of tracking a moving object in the method for tracking multiple moving objects according to an embodiment, (f4) at least one of the determination result of the step (f2) and the determination result of the step (f3) It may further include; continuously tracking the separated moving object after the overlap by using it.

한편, 이하에서는 상기 기재된 다중 이동 객체의 추적 방법을 컴퓨터에서 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램을 제공한다.Meanwhile, in the following, a computer program stored in a medium for executing the above-described method for tracking multiple moving objects in a computer is provided.

상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 다중 이동 객체의 추적 시스템은, 복수 개의 객체를 포함하는 영상을 입력받는 입력부; 입력된 영상 내에 포함된 다중 이동 객체를 인식하고 추적하는 객체 추적 프로그램을 저장하는 메모리; 및 상기 객체 추적 프로그램을 구동하는 적어도 하나의 프로세서를 포함하되, 상기 메모리에 저장된 객체 추적 프로그램은, 입력된 영상으로부터 움직임 영역을 추출하고, 추출된 상기 움직임 영역으로부터 라벨링(labeling)을 통해 복수 개의 이동 객체를 추출하고, 추출된 상기 이동 객체별로 추적을 위한 특징점을 설정하고 색상 정보에 관한 확률분포를 산출하며 산출된 확률분포 간의 유사도를 측정함으로써 복수 개의 이동 객체를 구분하여 인식하고, 인식된 상기 이동 객체의 상기 특징점을 기준으로 이동 객체 각각의 이동 경로를 추출하고, 추출된 상기 이동 경로를 이용하여 이동 객체들 간의 겹침(overlap)을 감지하며, 겹침이 감지된 이동 객체 각각의 이동 방향 및 상기 이동 객체별 색상 정보에 관한 확률분포 간의 유사도 중 적어도 하나를 이용하여 이동 객체를 추적하는 명령어를 포함한다.In order to solve the above technical problem, a multi-moving object tracking system according to an embodiment of the present invention includes: an input unit for receiving an image including a plurality of objects; a memory for storing an object tracking program for recognizing and tracking multiple moving objects included in the input image; and at least one processor for driving the object tracking program, wherein the object tracking program stored in the memory extracts a motion region from an input image and performs a plurality of movements through labeling from the extracted motion region. By extracting an object, setting feature points for tracking for each extracted moving object, calculating a probability distribution related to color information, and measuring the similarity between the calculated probability distributions, a plurality of moving objects are distinguished and recognized, and the recognized movement Extracting a movement path of each moving object based on the feature point of the object, detecting an overlap between moving objects using the extracted movement path, and detecting the overlapping movement direction and the movement of each moving object and a command for tracking a moving object using at least one of similarities between probability distributions regarding color information for each object.

일 실시예에 따른 다중 이동 객체의 추적 시스템에서, 상기 메모리에 저장된 객체 추적 프로그램은, 복수 개의 객체를 포함하는 영상으로부터 가우시안 혼합 모델(Gaussian Mixture Model, GMM)을 이용하여 배경을 제거함으로써 전경에 해당하는 움직임 영역을 추출하고, 추출된 상기 움직임 영역에 대해 모폴로지(morphology) 연산을 통해 미세한 움직임 또는 조도 변화로 인하여 발생하는 잡음을 제거하는 명령어를 포함할 수 있다.In the tracking system for multiple moving objects according to an embodiment, the object tracking program stored in the memory corresponds to the foreground by removing the background using a Gaussian Mixture Model (GMM) from an image including a plurality of objects. It may include a command for extracting a motion region to be used, and removing noise generated due to minute movement or illuminance change through a morphology operation on the extracted motion region.

일 실시예에 따른 다중 이동 객체의 추적 시스템에서, 상기 메모리에 저장된 객체 추적 프로그램은, 인접하는 픽셀(pixel)을 하나의 군집으로 정의하는 라벨링을 이용하여 복수 개의 라벨을 생성하고, 생성된 복수 개의 라벨 중 인접한 라벨이 미리 설정된 인체 비율을 만족하지 않는 손실된 영역인지 여부를 검사하여 인체 비율을 만족하는 하나의 라벨로 병합함으로써 영상 내에 존재하는 하나의 이동 객체로 설정하는 명령어를 포함할 수 있다. 또한, 상기 메모리에 저장된 객체 추적 프로그램은, 인접한 라벨의 가로축의 최대값과 최소값의 차이 및 상기 인접한 라벨의 세로축의 최대값과 최소값의 차이로부터 미리 설정된 인체 모델의 신장 및 어깨 길이의 비율을 만족하는지 여부를 검사함으로써 라벨의 병합을 결정할 수 있다.In the multi-moving object tracking system according to an embodiment, the object tracking program stored in the memory generates a plurality of labels using labeling that defines adjacent pixels as a group, and the generated plurality of It may include a command to check whether an adjacent label among the labels is a lost area that does not satisfy a preset human body ratio and merge it into one label that satisfies the human body ratio to set it as one moving object existing in the image. In addition, the object tracking program stored in the memory satisfies the preset ratio of height and shoulder length of the human body model from the difference between the maximum and minimum values of the horizontal axis of the adjacent label and the difference between the maximum and minimum values of the vertical axis of the adjacent label. By checking whether or not the label is merged, it can be decided.

일 실시예에 따른 다중 이동 객체의 추적 시스템에서, 상기 메모리에 저장된 객체 추적 프로그램은, 추출된 상기 이동 객체로부터 인체 비율에 기초하여 머리 영역을 추출하고 상기 머리 영역에 대한 무게중심(center of gravity, COG)을 산출하여 추적의 기준인 특징점으로 설정하고, 추출된 상기 이동 객체에 대해 RGB(Red-Green-Blue) 히스토그램(histogram) 정보를 HSV(Hue-Saturation-Value)로 변환하여 색상 채널별로 저장하며, 색상 채널별로 저장된 상기 히스토그램 정보로부터 서로 다른 이동 객체 간의 히스토그램 유사도를 비교함으로써 비교 결과에 따라 이동 객체들을 구별하는 명령어를 포함할 수 있다. 또한, 상기 메모리에 저장된 객체 추적 프로그램은, 비교하고자 하는 서로 다른 이동 객체의 히스토그램 정보의 바타차야(Bhattacharrya) 계수를 이용하여 각 색상 채널에서의 헬링거 거리(Hellinger distance)를 산출하고, 히스토그램 정보로부터 산출된 헬링거 거리의 평균과 상기 각 색상 채널에서의 헬링거 거리의 편차로부터 히스토그램 유사도를 판단할 수 있다.In the multi-moving object tracking system according to an embodiment, the object tracking program stored in the memory extracts a head region from the extracted moving object based on a human body proportion, and extracts a center of gravity for the head region from the extracted moving object. COG) is calculated and set as a feature point as a reference point for tracking, and RGB (Red-Green-Blue) histogram information for the extracted moving object is converted into HSV (Hue-Saturation-Value) and stored for each color channel. and comparing the histogram similarity between different moving objects from the histogram information stored for each color channel, and thereby distinguishing moving objects according to the comparison result. In addition, the object tracking program stored in the memory calculates a Hellinger distance in each color channel using a Bhattacharrya coefficient of histogram information of different moving objects to be compared, and calculates a Hellinger distance from the histogram information. The histogram similarity may be determined from the calculated average of the Hellinger distances and the deviation of the Hellinger distances in the respective color channels.

일 실시예에 따른 다중 이동 객체의 추적 시스템에서, 상기 메모리에 저장된 객체 추적 프로그램은, 인식된 상기 이동 객체의 상기 특징점의 좌표축으로부터 이동 객체 각각의 이동 경로를 추출하되, 칼만 필터(Kalman filter)의 상태 방정식과 측정 방정식을 이용하여 상기 이동 경로의 오차를 보정할 수 있다.In the tracking system for multiple moving objects according to an embodiment, the object tracking program stored in the memory extracts a movement path of each moving object from the coordinate axes of the feature points of the recognized moving object, but The error of the movement path may be corrected using the state equation and the measurement equation.

일 실시예에 따른 다중 이동 객체의 추적 시스템에서, 상기 메모리에 저장된 객체 추적 프로그램은, 이동 객체들 각각에 대해 추출된 이동 경로의 좌표축 간의 차이가 미리 설정된 임계값보다 작은지 여부를 검사함으로써 이동 객체들의 겹침을 판단할 수 있다.In the tracking system for multiple moving objects according to an embodiment, the object tracking program stored in the memory checks whether a difference between coordinate axes of a moving path extracted for each of the moving objects is smaller than a preset threshold by checking whether the moving object is smaller than a preset threshold. The overlap of them can be judged.

일 실시예에 따른 다중 이동 객체의 추적 시스템에서, 상기 메모리에 저장된 객체 추적 프로그램은, 이동 객체의 특징점의 시계열적인 움직임으로부터 겹침이 감지된 이동 객체 각각의 이동 방향을 산출하여 산출된 상기 이동 방향으로부터 오차 범위를 설정하고, 겹쳐진 이동 객체가 서로 분리된 후에 산출되는 이동 방향이 상기 오차 범위 내에 존재하는지 여부를 검사함으로써 같은 이동 방향을 갖는 이동 객체인지를 판단하며, 겹쳐진 이동 객체가 서로 분리된 후에 분리된 이동 객체별 색상 정보에 관한 확률분포 간의 유사도를 이용하여 겹침 전/후의 이동 객체의 동일성을 판단하는 명령어를 포함할 수 있다.In the multi-moving object tracking system according to an embodiment, the object tracking program stored in the memory calculates the movement direction of each of the moving objects in which overlap is detected from the time-series movement of the feature points of the moving object, from the calculated movement direction. It is determined whether the moving objects have the same moving direction by setting an error range, and checking whether the moving directions calculated after the overlapping moving objects are separated from each other exist within the error range, and separating the overlapping moving objects after they are separated from each other It may include a command for determining the identity of the moving objects before/after the overlap by using the similarity between the probability distributions regarding the color information for each moving object.

나아가, 일 실시예에 따른 다중 이동 객체의 추적 시스템에서, 상기 메모리에 저장된 객체 추적 프로그램은, 상기 같은 이동 방향을 갖는 이동 객체인지를 판단한 결과 및 상기 겹침 전/후의 이동 객체의 동일성을 판단한 결과 중 적어도 하나를 이용하여 겹침 후 분리된 이동 객체를 지속적으로 추적하는 명령어를 더 포함할 수 있다.Furthermore, in the system for tracking multiple moving objects according to an embodiment, the object tracking program stored in the memory includes a result of determining whether the moving object has the same moving direction and a result of determining the identity of the moving object before/after the overlapping. It may further include a command for continuously tracking the separated moving object after the overlap using at least one.

본 발명의 실시예들은, 다수의 객체와 배경이 혼재된 영상에서 이동 경로 및 확률분포의 유사도를 이용한 히스토그램 매칭을 통해 다중 이동 객체를 각각 인식하고 추적함으로써, 겹침 내지 분리 현상이 발생한 경우에도 강인한 객체 추적을 달성할 수 있고, 특히 추적하고자 하는 객체에 대한 정보가 사전에 충분히 주어지지 않은 경우에도 지속적으로 이동 객체의 추적이 가능하다.Embodiments of the present invention recognize and track multiple moving objects through histogram matching using the similarity of movement paths and probability distributions in an image in which a plurality of objects and backgrounds are mixed. Tracking can be achieved, and in particular, even when information on an object to be tracked is not sufficiently provided in advance, it is possible to continuously track a moving object.

도 1은 본 발명의 실시예들이 제안하는 다중 이동 객체의 인식 및 추적 시스템의 전반적인 처리 과정을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 확률분포 간의 유사도를 이용한 다중 이동 객체 추적 방법을 도시한 흐름도이다.
도 3은 이동 객체를 추출하는 과정을 설명하기 위한 예시도이다.
도 4는 본 발명의 일 실시예에 따른 다중 이동 객체 추정 방법에서 라벨링(labeling)을 통해 복수 개의 이동 객체를 추출하는 과정을 도시한 흐름도이다.
도 5는 동양인의 평균 인체 비율을 예시한 도면이다.
도 6은 라벨 병합 과정을 설명하기 위한 예시도이다.
도 7은 이동 객체의 특징을 추출하는 과정을 설명하기 위한 예시도이다.
도 8은 확률분포 간의 유사도 비교를 통해 객체를 인식하는 과정을 설명하기 위한 예시도이다.
도 9는 이동 경로를 보정하는 과정을 설명하기 위한 예시도이다.
도 10은 이동 객체의 겹침 및 분리 과정을 설명하기 위한 예시도이다.
도 11은 본 발명의 일 실시예에 따른 다중 이동 객체 추정 방법에서 이동 객체를 추적하는 과정을 도시한 흐름도이다.
도 12는 이동 객체의 이동 방향을 산출을 위한 기하학을 도시한 도면이다.
도 13은 확률분포 간의 유사도 비교를 통해 겹쳐진 이동 객체를 식별하는 과정을 설명하기 위한 예시도이다.
도 14는 본 발명의 일 실시예에 따른 확률분포 간의 유사도를 이용한 다중 이동 객체 추적 시스템을 도시한 블록도이다.1 is a diagram illustrating an overall processing process of a multi-moving object recognition and tracking system proposed by embodiments of the present invention.
2 is a flowchart illustrating a multi-moving object tracking method using a degree of similarity between probability distributions according to an embodiment of the present invention.
3 is an exemplary diagram for explaining a process of extracting a moving object.
4 is a flowchart illustrating a process of extracting a plurality of moving objects through labeling in a method for estimating multiple moving objects according to an embodiment of the present invention.
5 is a diagram illustrating an average human body proportion of Asians.
6 is an exemplary diagram for explaining a label merging process.
7 is an exemplary diagram for explaining a process of extracting a feature of a moving object.
8 is an exemplary diagram for explaining a process of recognizing an object through a similarity comparison between probability distributions.
9 is an exemplary diagram for explaining a process of correcting a movement path.
10 is an exemplary diagram for explaining a process of overlapping and separating moving objects.
11 is a flowchart illustrating a process of tracking a moving object in a method for estimating multiple moving objects according to an embodiment of the present invention.
12 is a diagram illustrating a geometry for calculating a moving direction of a moving object.
13 is an exemplary diagram for explaining a process of identifying an overlapping moving object through a similarity comparison between probability distributions.
14 is a block diagram illustrating a system for tracking multiple moving objects using similarity between probability distributions according to an embodiment of the present invention.

본 발명의 실시예들을 설명하기에 앞서, 이동 객체를 추적하기 위해 활용되는 기술들에서 발생하는 문제점들을 개괄적으로 살펴보고, 이들 문제점을 해결하기 위해 본 발명의 실시예들이 채택하고 있는 기술적 수단을 순차적으로 소개하도록 한다.Prior to describing the embodiments of the present invention, problems occurring in techniques used to track a moving object are overviewed, and technical means adopted by embodiments of the present invention to solve these problems are sequentially described. to be introduced as

앞서 소개한 객체 추적 기술에 더하여, 이동 객체의 겹침 현상을 해결하기 위하여 템플릿 매칭(template matching) 기반의 시각적 개체 추적 알고리즘을 고려할 수 있다. 이러한 템플릿 매칭 기반의 시각적 개체 추적 알고리즘이 일반적으로 템플릿을 수동으로 갱신해야 하는 반면, 병렬 가속 기능을 갖춘 적응형 템플릿 매칭 기반 단일 객체 추적 알고리즘을 활용함으로써 온라인으로 템플릿을 갱신하여 객체를 추적하는 방법이 활용 가능하다. 이러한 방법에서는 템플릿 매칭의 장점을 활용하여 겹침 현상이 발생해도 이동 객체를 높은 확률로 추적할 수 있지만, 이동 객체가 미리 템플릿에 저장되지 않은 변화를 보이면 추적에 실패하는 문제점을 노출하였다.In addition to the object tracking technology introduced above, a template matching-based visual object tracking algorithm may be considered to solve the overlapping phenomenon of moving objects. While these template matching-based visual object tracking algorithms usually require manual template updates, there is no way to track objects by updating templates online by utilizing an adaptive template matching-based single object tracking algorithm with parallel acceleration. can be used In this method, it is possible to track a moving object with high probability even when an overlap occurs by utilizing the advantage of template matching, but it exposes a problem that tracking fails if the moving object shows a change that is not saved in the template in advance.

따라서, 이하에서 기술되는 본 발명의 실시예들은 이러한 문제점 인식에서 안출된 것으로, 본 발명의 실시예들에서는 이동 객체를 지속적으로 인식 및 추적하기 위한 방법으로 확률분포 간의 유사도를 이용하여 다중 객체를 추적하는 방법을 제안한다. 제안하는 방법은 가우시안 혼합 모델(Gaussian Mixture Model, GMM)과 라벨링(Labelling) 병합, 히스토그램 매칭을 이용한 이동 객체 인식과 인식한 이동 객체의 겹침 현상 판단, 이동 방향 분석, 그리고, 확률분포 거리 기반 유사도 분석을 통해 이동 객체를 지속적으로 추적하는 기술적 수단을 제공하고자 한다.Accordingly, the embodiments of the present invention described below are devised in recognition of this problem, and in the embodiments of the present invention, multiple objects are tracked using the similarity between probability distributions as a method for continuously recognizing and tracking a moving object. suggest how to The proposed method is merging Gaussian Mixture Model (GMM) and labeling, recognizing moving objects using histogram matching, determining overlap of recognized moving objects, analyzing movement direction, and analyzing similarity based on probability distribution distance. It is intended to provide a technical means to continuously track moving objects through

이하에서는 도면을 참조하여 본 발명의 실시예들을 구체적으로 설명하도록 한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 덧붙여, 명세서 전체에서, 어떤 구성 요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. However, detailed descriptions of well-known functions or configurations that may obscure the gist of the present invention in the following description and accompanying drawings will be omitted. In addition, throughout the specification, 'including' a certain component does not exclude other components unless otherwise stated, but means that other components may be further included.

본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present invention are only used to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as "comprise" or "have" are intended to designate that the described feature, number, step, operation, component, part, or a combination thereof exists, but one or more other features or numbers , it is to be understood that it does not preclude the possibility of the existence or addition of steps, operations, components, parts, or combinations thereof.

특별히 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless specifically defined otherwise, all terms used herein, including technical and scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted to have meanings consistent with the context of the related art, and are not to be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present application. .

도 1은 본 발명의 실시예들이 제안하는 다중 이동 객체의 인식 및 추적 시스템의 전반적인 처리 과정을 도시한 도면으로서, 크게 입력된 영상(110)에 대해 이동 객체를 인식하는 과정(120), 그리고 이동 객체를 추적하는 과정(130)의 2개의 블록으로 구성되어 최종적으로 다중 이동 객체의 추적(140)이라는 결과를 달성한다. 도 1을 참조하여 전체 과정을 개괄적으로 소개하면 다음과 같다.1 is a view showing the overall processing process of the multi-moving object recognition and tracking system proposed by the embodiments of the present invention. It is composed of two blocks of the process 130 of tracking an object, and finally achieves a result of tracking 140 of a multi-moving object. An overview of the entire process with reference to FIG. 1 is as follows.

먼저, 이동 객체 인식 블록(120)에서는 입력되는 영상에 GMM 기법을 이용하여 배경을 제거하고 움직임이 존재하는 영역을 추출한다. 추출된 움직임 영역에서 모폴로지(morphology) 연산을 이용하여 잡음을 제거하고, 라벨링(labeling)을 통해 이동 객체를 추출한다. 추출한 이동 물체에서 라벨 병합을 통해 깨진 영역을 하나의 객체로 추출한다. 라벨 병합을 통해 추출한 객체의 고유 특징 정보를 추출하기 위해 이동 객체의 히스토그램을 추출하고, 머리 부분의 무게 중심을 추출하여 추적의 기준점으로 정의한다. 추출한 히스토그램을 이용하여 헬링거 거리를 기반으로 한 유사도 비교를 통해 이동 객체를 인식한다.First, the moving object recognition block 120 removes a background from an input image by using the GMM technique and extracts a region in which motion exists. Noise is removed from the extracted motion region using morphology operation, and a moving object is extracted through labeling. From the extracted moving object, the broken area is extracted as a single object through label merging. To extract the unique characteristic information of the extracted object through label merging, the histogram of the moving object is extracted, and the center of gravity of the head is extracted and defined as a reference point for tracking. Using the extracted histogram, a moving object is recognized through similarity comparison based on the Hellinger distance.

다음, 이동 객체 추적 블록(130)에서는 이동 객체의 무게 중심을 기준으로 객체를 추적한다. 추적 과정에서 발생하는 잡음으로 인한 위치 오차를 최소화하기 위해 칼만 필터(Kalman filter)를 이용하여 이동 객체의 이동 경로를 추출한다. 추출한 경로를 기반으로 이동 객체의 겹침 및 분리 상황을 판단하고, 객체의 이동 방향과 히스토그램의 유사성 판별을 다시 수행하여 이동 객체들을 지속적으로 추적한다.Next, the moving object tracking block 130 tracks the object based on the center of gravity of the moving object. In order to minimize the position error due to noise generated during the tracking process, the movement path of the moving object is extracted using a Kalman filter. Based on the extracted path, the overlapping and separation status of the moving objects is determined, and the moving objects are continuously tracked by determining the similarity between the moving direction of the object and the histogram again.

도 2는 본 발명의 일 실시예에 따른 확률분포 간의 유사도를 이용한 다중 이동 객체 추적 방법을 도시한 흐름도로서, 도 1의 개괄적인 처리 과정을 보다 구체적으로 기술하도록 한다.2 is a flowchart illustrating a multi-moving object tracking method using a degree of similarity between probability distributions according to an embodiment of the present invention. The general process of FIG. 1 will be described in more detail.

S210 단계에서, 객체 추적 시스템은 복수 개의 객체를 포함하는 영상을 입력받아 움직임 영역을 추출한다. 이때, 영상은 배경 또한 함께 포함하고 있으며, 복수 개의 객체는 서로 상이한 방향과 경로에 따라 움직일 수 있다. 따라서, 이 과정에서는 객체와 배경이 혼재된 상황에서 우선적으로 움직임이 없는 영역을 배제함으로써 움직임 영역을 획득할 수 있다.In step S210, the object tracking system receives an image including a plurality of objects and extracts a motion region. In this case, the image also includes the background, and the plurality of objects may move in different directions and paths. Therefore, in this process, a motion region can be obtained by excluding a non-moving region preferentially in a situation in which an object and a background are mixed.

S220 단계에서, 상기 객체 추적 시스템은 S210 단계를 통해 추출된 상기 움직임 영역으로부터 라벨링(labeling)을 통해 복수 개의 이동 객체를 추출한다. 움직임 영역에 대해 라벨을 부여하여 이동 객체 인식을 위한 기초 자료로서 활용하는데, 물리적으로 하나의 이동 객체임에도 불구하고 둘 이상의 움직임 영역으로 인식되어 둘 이상의 라벨이 부여되는 경우가 존재한다. 따라서, 이 과정에서는 실제로는 물리적인 하나의 이동 객체(예를 들어, 한 명의 사람)에 하나의 라벨이 부여될 수 있도록 각각의 라벨을 검사하여 필요에 따라(예를 들어, 한 명의 사람에 둘 이상의 라벨이 부여된 경우) 라벨 병합을 수행하게 된다.In step S220, the object tracking system extracts a plurality of moving objects through labeling from the motion region extracted in step S210. Although a label is assigned to a moving area and used as basic data for recognizing a moving object, there are cases in which two or more labels are assigned because it is recognized as two or more moving areas even though it is physically one moving object. Therefore, in this process, each label is checked so that one label can be assigned to one physical moving object (for example, one person) and as necessary (for example, two for one person). If more than one label is given), label merging is performed.

S230 단계에서, 상기 객체 추적 시스템이 S220 단계를 통해 추출된 상기 이동 객체별로 추적을 위한 특징점을 설정하고 색상 정보에 관한 확률분포를 산출하며 산출된 확률분포 간의 유사도를 측정함으로써 복수 개의 이동 객체를 구분하여 인식한다. 앞서, 종래의 객체 추적 기술들이 이동 객체의 겹침에서 인식 오류를 발생시키거나 또는 객체에 대해 미리 주어진 정보가 부족할 때 객체 추적에 어려움을 겪어왔음을 소개한 바 있다. 따라서, 본 발명의 실시예들에서는 상기된 문제를 해결하기 위해 이동 객체 각각으로부터 산출된 색상 정보에 관한 확률분포로부터 이동 객체 간의 확률분포의 유사도를 측정함으로써 다수의 이동 객체를 구분하여 인식하고자 하였다. 확률분포의 유사도를 측정하는 보다 구체적인 과정은 이후 도 8을 통해 기술하도록 한다.In step S230, the object tracking system sets a feature point for tracking for each moving object extracted in step S220, calculates a probability distribution related to color information, and measures the similarity between the calculated probability distributions to classify a plurality of moving objects to recognize Previously, it has been introduced that conventional object tracking techniques have experienced difficulties in tracking objects when they cause a recognition error in overlapping moving objects or when information given in advance about an object is insufficient. Accordingly, in order to solve the above-described problem, in the embodiments of the present invention, a plurality of moving objects were distinguished and recognized by measuring the similarity of the probability distribution between the moving objects from the probability distribution regarding the color information calculated from each of the moving objects. A more detailed process for measuring the similarity of the probability distribution will be described later with reference to FIG. 8 .

S240 단계에서, 상기 객체 추적 시스템이 S230 단계를 통해 인식된 상기 이동 객체의 상기 특징점을 기준으로 이동 객체 각각의 이동 경로를 추출한다. 이제 인식된 이동 객체에 대한 추적을 진행하되, 이동 객체의 움직임으로 인해 나타나는 경로의 오차를 지속적으로 보정하면서 이동 경로를 추출한다.In step S240, the object tracking system extracts a movement path of each moving object based on the feature point of the moving object recognized in step S230. Now, the recognized moving object is tracked, but the moving path is extracted while continuously correcting the error of the path that appears due to the movement of the moving object.

S250 단계에서, 상기 객체 추적 시스템이 S240 단계를 통해 추출된 상기 이동 경로를 이용하여 이동 객체들 간의 겹침(overlap)을 감지한다. 이 과정에서는 앞서 추출된 이동 경로의 좌표축을 활용하여 이동 객체들 간의 겹침을 판단하게 되며, 특히 구현의 관점에서 겹침이 발생하는 상황을 보다 유연하게 해석할 수 있는 판단의 여유분을 마련하여 일정한 크기를 갖는 이동 객체들이 겹쳐지는 상황을 적절하게 파악할 수 있도록 설계하였다.In step S250, the object tracking system detects an overlap between moving objects using the movement path extracted in step S240. In this process, the overlap between moving objects is determined by using the coordinate axes of the previously extracted movement paths. In particular, from an implementation point of view, a certain size is obtained by providing a margin for interpreting the overlapping situation more flexibly. It is designed to properly understand the situation in which moving objects with moving objects overlap.

S260 단계에서, 상기 객체 추적 시스템이 겹침이 감지된 이동 객체 각각의 이동 방향 및 상기 이동 객체별 색상 정보에 관한 확률분포 간의 유사도 중 적어도 하나를 이용하여 이동 객체를 추적한다. 만약 이동 객체들 간의 겹침이 발생하였다면, 겹쳐진 이후에 지속적인 추적을 위해 겹쳐지기 전/후의 이동 객체들을 적절히 매칭하여 인식할 필요가 있다. 이를 위해 본 발명의 실시예들에서는 크게 두 가지 방법을 제안하고 있는데, 첫째는 이동 객체 각각의 이동 방향이고, 둘째는 이동 객체별 색상 정보에 관한 확률분포이다. 즉, 겹침 전의 이동 객체의 이동 방향을 고려하여 겹침 후의 이동 객체가 무엇인지를 식별할 수 있다. 또한, 색상 정보에 관한 확률분포의 유사도를 이용하여 겹침 후의 이동 객체가 무엇인지를 식별할 수 있다. 이러한 두 가지 방법은 구현상의 필요에 따라 선택적으로 또는 순차적으로 검사할 수 있으며, 검사를 통해 판단이 모호한 경우 상호 보완적인 방식으로 활용될 수 있다.In step S260, the object tracking system tracks the moving object using at least one of a similarity between the moving direction of each moving object for which overlap is detected and a probability distribution regarding the color information for each moving object. If overlapping between moving objects occurs, it is necessary to properly match and recognize moving objects before/after overlapping for continuous tracking after overlapping. To this end, two methods are largely proposed in the embodiments of the present invention. The first is a movement direction of each moving object, and the second is a probability distribution regarding color information for each moving object. That is, it is possible to identify the moving object after the overlap in consideration of the moving direction of the moving object before the overlap. In addition, it is possible to identify the moving object after the overlap by using the similarity of the probability distribution with respect to the color information. These two methods can be checked selectively or sequentially according to the needs of implementation, and can be utilized in a complementary manner when the judgment is ambiguous through the check.

본 발명의 실시예들에서는, 움직임 영역을 추출함에 있어서, 복수 개의 객체를 포함하는 영상으로부터 가우시안 혼합 모델(Gaussian Mixture Model, GMM)을 이용하여 배경을 제거함으로써 전경에 해당하는 움직임 영역을 추출할 수 있다. 그런 다음, 추출된 상기 움직임 영역에 대해 모폴로지(morphology) 연산을 통해 이동 객체와 영상의 미세한 움직임 또는 조도 변화로 인하여 발생하는 잡음을 제거할 수 있다. 이러한 잡음은 이동 객체를 인식할 때 불필요한 정보이며 인식률을 떨어뜨릴 수 있으므로 모폴로지 기법 중 침식(erosion) 및 팽창(dilation) 연산 등을 통하여 잡음을 최소화하고 이동 객체만을 추출한다.In the embodiments of the present invention, in extracting the motion region, the motion region corresponding to the foreground may be extracted by removing the background using a Gaussian Mixture Model (GMM) from an image including a plurality of objects. there is. Then, noise generated due to minute movements of the moving object and the image or changes in illuminance may be removed through morphology calculation for the extracted movement region. Since such noise is unnecessary information when recognizing a moving object and may decrease the recognition rate, noise is minimized through erosion and dilation operations among morphological techniques and only the moving object is extracted.

도 3은 이동 객체를 추출하는 과정을 설명하기 위한 예시도이다. 도 3의 (A)는 이동 객체가 존재하는 입력 영상이고, 도 3의 (B)는 가우시안 혼합 모델을 이용하여 모델링된 배경을 제거하고 움직임 영역만을 추출한 것이며, 도 3의 (C)는 모폴로지 연산을 통해 잡음을 제거한 영상을 나타낸다.3 is an exemplary diagram for explaining a process of extracting a moving object. 3A is an input image in which a moving object exists, FIG. 3B is a background modeled using a Gaussian mixture model and only a motion region is extracted, and FIG. 3C is a morphological operation shows the image from which the noise has been removed.

도 4는 본 발명의 일 실시예에 따른 다중 이동 객체 추정 방법에서 라벨링(labeling)을 통해 복수 개의 이동 객체를 추출하는 과정(S220)을 도시한 흐름도이다.4 is a flowchart illustrating a process (S220) of extracting a plurality of moving objects through labeling in a method for estimating multiple moving objects according to an embodiment of the present invention.

먼저, S221 단계에서는, 인접하는 픽셀(pixel)을 하나의 군집으로 정의하는 라벨링을 이용하여 복수 개의 라벨을 생성한다. First, in step S221, a plurality of labels are generated using labeling that defines adjacent pixels as one group.

그런 다음, S222 단계를 통해 생성된 복수 개의 라벨 중 인접한 라벨이 미리 설정된 인체 비율을 만족하지 않는 손실된 영역인지 여부를 검사한다. 만약 손실된 영역이라면, S223 단계로 진행하여 인체 비율을 만족하는 하나의 라벨로 병합함으로써 영상 내에 존재하는 하나의 이동 객체로 설정한다. 검사 결과 손실된 영역이 아니라면, S224 단계에서 해당 라벨을 온전한 하나의 이동 객체로 설정한다.Then, it is checked whether an adjacent label among the plurality of labels generated through step S222 is a lost area that does not satisfy a preset human body ratio. If it is a lost area, it proceeds to step S223 and sets it as one moving object existing in the image by merging it into one label that satisfies the human body proportion. If the inspection result is not a lost area, the corresponding label is set as a single moving object in step S224.

도 4를 참조하면, 잡음을 제거한 움직임 영역에서 이동 객체를 추출하기 위해서 인접하는 픽셀을 하나의 군집으로 정의하는 라벨링을 이용하였다. 그러나, 배경과 이동 객체의 정보가 유사한 경우 추출된 이동 객체의 정보는 일부분 손실된 상태로 추출되며, 하나의 이동 객체로 판단하기 어려운 상황이 발생한다. 따라서, 본 발명의 실시예들서는 일부 손실된 상태로 추출된 객체를 하나의 객체로 인식하기 위해 인체 비율을 활용하여 라벨을 병합하는 방법을 제안한다.Referring to FIG. 4 , in order to extract a moving object from a motion region from which noise has been removed, labeling for defining adjacent pixels as one group is used. However, when the background and the moving object information are similar, the extracted moving object information is partially lost, and it is difficult to determine it as a single moving object. Accordingly, the embodiments of the present invention propose a method of merging labels using a human body ratio in order to recognize an object extracted in a partially lost state as one object.

도 5는 인체에 대한 이상적인 비율을 나타낸 것으로, 동양인의 평균 인체 비율을 예시하였다. 동양인의 이상적인 신장 비율은 7등신이며, 다음 수학식 1은 인체의 비율에 관한 관계식을 나타낸다.5 shows the ideal proportions to the human body, and illustrates the average human proportions of Asians. The ideal height ratio for Asians is 7 heads, and Equation 1 below represents the relational expression for the proportions of the human body.

수학식 1에서 인간의 어깨 비율은 한국인의 인체 치수 조사에 관한 통계청의 자료에 따라 20대부터 30대까지 성인 남성의 몸 전체 길이의 평균 L_body와 어깨 너비 평균 L_sholder를 비교한 결과 약 4.32로 나눈 것과 유사하다는 것을 나타낸다. 다음 수학식 2와 수학식 3은 인체의 비율을 이용하여 라벨을 병합하는 과정을 나타낸다.In Equation 1, the human shoulder ratio is about 4.32 as a result of comparing the average L _body of the total body length and the average shoulder width L _sholder of adult males in their 20s to 30s according to the data of the National Statistical Office on the Survey of Human Body Sizes in Korea. It indicates that it is similar to dividing. Equations 2 and 3 below show the process of merging labels using the proportions of the human body.

수학식 2는 병합하고자 하는 라벨의 크기를 구하는 과정을 나타내며 Label_x, Label_y는 병합하고자 하는 n개의 라벨의 x, y축 최소값을 의미하고, Label_w, Label_h는 병합하고자 하는 n개의 라벨의 x, y축 최대값을 의미한다. 수학식 3은 수학식 2의 라벨이 인체 비율을 만족하는 경우 하나의 라벨로 병합하고 OB로 정의함을 나타낸다.Equation 2 shows the process of obtaining the size of the labels to be merged, Label _x and Label _y mean the minimum values of the x and y axes of n labels to be merged, and Label _w and Label _h are the values of the n labels to be merged. It means the maximum value on the x and y axes. Equation 3 indicates that when the labels of Equation 2 satisfy the human body ratio, they are merged into one label and defined as OB.

도 6은 인체 비율을 활용하여 이동 객체의 일부 영역이 손실되었을 때 하나의 라벨로 병합하는 과정을 설명하기 위한 예시도이다.6 is an exemplary diagram for explaining a process of merging into one label when a partial area of a moving object is lost by using a human body ratio.

이를 위해, 본 발명의 실시예들은, 상기된 수학식 2 및 수학식 3을 이용하여 인접한 라벨의 가로축의 최대값과 최소값의 차이 및 상기 인접한 라벨의 세로축의 최대값과 최소값의 차이로부터 미리 설정된 인체 모델의 신장 및 어깨 길이의 비율을 만족하는지 여부를 검사함으로써 라벨의 병합을 결정할 수 있다.To this end, embodiments of the present invention provide a human body preset from the difference between the maximum and minimum values of the horizontal axis of the adjacent label and the difference between the maximum and minimum values of the vertical axis of the adjacent label using Equations 2 and 3 above. The merging of labels can be determined by checking whether the model's height and shoulder length ratios are satisfied.

도 6의 (A)는 추출한 움직임 영역을 나타내고, 도 6의 (B)는 객체의 일부가 손실되어 하나의 객체가 2개의 라벨로 분할된 상태를 볼 수 있다. 도 6의 (C)는 수학식 2와 수학식 3을 이용하여 2개의 라벨을 병합함으로써 하나의 객체로 추출한 영상이다. 하지만, 병합된 객체를 보면 약간의 손실된 영역이 발생하는 것을 볼 수 있다. 6A shows the extracted motion region, and FIG. 6B shows a state in which one object is divided into two labels because a part of the object is lost. 6C is an image extracted as one object by merging two labels using Equations 2 and 3. However, if you look at the merged object, you can see that some lost areas occur.

본 발명의 실시예들에서는 라벨 병합 과정을 통해 추출한 객체들을 영상 내 존재하는 이동 객체로 정의한다. 이렇게 정의된 이동 객체들 각각을 구분하여 인식하기 위한 절차를 진행한다. 이동 객체들의 위치를 지속적으로 추적하고 식별하기 위해서는 이동 객체만의 고유한 특징들을 추출할 필요가 있다.In embodiments of the present invention, objects extracted through the label merging process are defined as moving objects existing in the image. A procedure for distinguishing and recognizing each of the moving objects defined in this way is performed. In order to continuously track and identify the location of moving objects, it is necessary to extract unique characteristics of moving objects.

본 발명의 실시예들에서는 이동 객체의 추적 및 식별을 위해 이동 객체의 머리를 기준으로 특징점을 추출하고 이동 객체가 가지는 고유의 히스토그램을 추출한다. 먼저, 추출된 상기 이동 객체로부터 인체 비율에 기초하여 머리 영역을 추출하고 상기 머리 영역에 대한 무게중심(center of gravity, COG)을 산출하여 추적의 기준인 특징점으로 설정한다. 추출한 머리 부분에, 예를 들어, Contour 알고리즘을 적용하여 무게중심을 찾을 수 있다. 수학식 4는 Contour 알고리즘을 적용한 모멘트 계산 과정을 나타낸다.In the embodiments of the present invention, for tracking and identification of a moving object, feature points are extracted based on the head of the moving object, and a unique histogram of the moving object is extracted. First, a head region is extracted from the extracted moving object based on a human body ratio, a center of gravity (COG) for the head region is calculated and set as a feature point as a reference for tracking. To the extracted head, for example, the Contour algorithm can be applied to find the center of gravity. Equation 4 shows the moment calculation process to which the contour algorithm is applied.

여기서, OB_Head,N은 N번 객체의 머리 부분을 의미하며, M_i,j는 픽셀 a, b에서의 모멘트 값이며 I는 픽셀의 강도를 의미한다. W_C는 모멘트를 통해 구한 무게중심 값이다. 모멘트를 통해 계산한 무게중심은 이동 객체의 특징으로서 추적을 위한 기준점이다.Here, OB _Head,N means the head of object N, M _i,j are moment values in pixels a and b, and I means the intensity of the pixel. W _C is the value of the center of gravity obtained through the moment. The center of gravity calculated through the moment is a feature of a moving object and is a reference point for tracking.

도 7은 이동 객체의 특징을 추출하는 과정을 설명하기 위한 예시도이다. 도 7의 (A)는 인식된 이동 객체를 나타내고, 도 7의 (B)는 인체 비율을 적용하여 라벨을 분할한 영상을 나타낸다. 도 7의 (C)는 추출한 머리 부분의 무게 중심을 보여준다.7 is an exemplary diagram for explaining a process of extracting a feature of a moving object. 7(A) shows a recognized moving object, and FIG. 7(B) shows an image in which a label is divided by applying a human body ratio. 7C shows the center of gravity of the extracted head.

다음으로, 추출된 상기 이동 객체에 대해 RGB(Red-Green-Blue) 히스토그램(histogram) 정보를 HSV(Hue-Saturation-Value)로 변환하여 색상 채널별로 저장한다. 그러면, 색상 채널별로 저장된 상기 히스토그램 정보로부터 서로 다른 이동 객체 간의 히스토그램 유사도를 비교함으로써 비교 결과에 따라 이동 객체들을 구별할 수 있다. 특히, 비교하고자 하는 서로 다른 이동 객체의 히스토그램 정보의 바타차야(Bhattacharrya) 계수를 이용하여 각 색상 채널에서의 헬링거 거리(Hellinger distance)를 산출하고, 히스토그램 정보로부터 산출된 헬링거 거리의 평균과 상기 각 색상 채널에서의 헬링거 거리의 편차로부터 히스토그램 유사도를 판단할 수 있다. 이때, 헬링거 거리는 비교하고자 하는 두 특징점이 모두 가우시안 분포를 가지고 있을 때 서로 유사도를 측정하기 위해 사용한다.Next, RGB (Red-Green-Blue) histogram information for the extracted moving object is converted into HSV (Hue-Saturation-Value) and stored for each color channel. Then, by comparing the histogram similarity between different moving objects from the histogram information stored for each color channel, the moving objects can be distinguished according to the comparison result. In particular, the Hellinger distance in each color channel is calculated using the Bhattacharrya coefficients of the histogram information of different moving objects to be compared, and the average of the Hellinger distances calculated from the histogram information and the The histogram similarity may be determined from the deviation of the Helllinger distance in each color channel. In this case, the Helllinger distance is used to measure the similarity between two feature points to be compared when both feature points have a Gaussian distribution.

다음의 수학식 5는 HSV로 변환된 히스토그램 정보를 채널별로 저장하는 과정을 나타낸다.Equation 5 below shows a process of storing the histogram information converted into HSV for each channel.

여기서, Ch는 색상 채널을 의미하고, val은 각 색상영역의 값을 나타내며, OB(x,y)는 이동 객체의 픽셀 데이터 값을 나타내고, Hist_val[Ch]는 색상 채널별 저장된 히스토그램 데이터를 의미한다.Here, Ch means the color channel, val represents the value of each color area, OB(x,y) represents the pixel data value of the moving object, and Hist _val [Ch] means the histogram data stored for each color channel. do.

한편, 본 발명의 실시예들에서는 헬링거 거리를 이용하여 이동 객체의 히스토그램 유사도를 비교함으로써 이동 객체들을 지속적으로 인식하는 방법을 제안한다. 헬링거 거리는 바타차야(Bhattacharrya) 계수를 이용하여 두 개의 확률분포 간의 유사성을 확인하는 방법으로, 매개 변수의 위치에 따라 변화하는 결과값을 측정하는데 적합하다. 다음의 수학식 6 내지 수학식 8은 헬링거 거리를 이용하여 히스토그램의 유사성을 비교하는 과정을 나타낸다.Meanwhile, embodiments of the present invention propose a method of continuously recognizing moving objects by comparing the histogram similarity of the moving objects using the Helllinger distance. The Hellinger distance is a method to check the similarity between two probability distributions using the Bhattacharrya coefficient, and is suitable for measuring the result value that changes according to the location of the parameter. Equations 6 to 8 below show a process of comparing the similarity of histograms using the Helllinger distance.

수학식 6에서 히스토그램 U와 G는 수학식 5에서 구한 색상 채널별로 저장된 히스토그램 데이터이다. BC(U, G)는 비교하고자 하는 이동 객체의 히스토그램 U와 G의 바타차야 계수를 나타낸다. 수학식 7에서 H_ch(U, G)는 각 채널 ch에서의 헬링거 거리를 의미한다.In Equation 6, histograms U and G are histogram data stored for each color channel obtained in Equation 5. BC(U, G) represents the batachaya coefficients of the histograms U and G of the moving object to be compared. In Equation 7, H _ch (U, G) means the Helllinger distance in each channel ch.

여기서, 헬링거 거리는 '0'부터 '1' 사이의 결과 값을 가지며, '0'에 가까울수록 비교하는 히스토그램 U와 G가 유사하다는 것을 의미한다. 수학식 8에서 H_mean는 히스토그램에서 구한 헬링거 거리의 평균을 의미하고, 해당 편차가 작으면 작을수록 두 히스토그램이 유사함을 뜻한다. Here, the Hellinger distance has a result value between '0' and '1', and the closer to '0', the more similar the histograms U and G to compare. In Equation 8, H _mean means the average of the Hellinger distances obtained from the histogram, and the smaller the corresponding deviation, the more similar the two histograms are.

도 8은 헬링거 거리를 이용하여 확률분포(히스토그램) 간의 유사도 비교를 통해 객체를 인식하는 과정을 설명하기 위한 예시도이다.8 is an exemplary diagram for explaining a process of recognizing an object through a similarity comparison between probability distributions (histograms) using Hellinger distance.

도 8의 (A)는 15 프레임 전의 이동 객체 추출 영상을 나타내며, 도 8의 (B)는 현 프레임의 이동 객체 추출 영상을 나타낸다. 도 8의 (C)는 헬링거 거리를 이용하여 히스토그램 H 영역의 유사도를 비교한 영상을 나타낸다. 여기서, x축은 헬링거 거리의 편차를 의미하고, y축은 히스토그램을 나타낸다. 파란선은 15 프레임 전의 객체와 현 프레임의 동일 객체를 순차적으로 누적 비교한 결과이며, 붉은선은 15 프레임 전의 객체와 현 프레임의 다른 객체를 순차적으로 누적 비교한 결과를 나타낸다. 헬링거 거리는 편차가 적을수록 높은 유사도를 가진다. 그러므로 파란선이 가지는 유사도가 높다는 것을 알 수 있다. 도 8의 (D)는 히스토그램 유사도 비교 과정을 통한 이동 객체 인식 결과를 나타낸다.Fig. 8(A) shows the extracted moving object image of the previous frame 15, and Fig. 8(B) shows the moving object extracted image of the current frame. 8C shows an image comparing the similarity of the histogram region H using the Hellinger distance. Here, the x-axis represents the deviation of the Hellinger distance, and the y-axis represents the histogram. The blue line shows the result of sequentially cumulative comparison of the object before frame 15 and the same object of the current frame, and the red line shows the result of sequentially cumulative comparison of the object before frame 15 and other objects of the current frame. The smaller the Helllinger distance, the higher the similarity. Therefore, it can be seen that the similarity of the blue line is high. 8(D) shows a moving object recognition result through a histogram similarity comparison process.

이상에서 이동 객체가 인식되었다면, 인식된 이동 객체를 지속적으로 추적하는 과정이 수행된다. 본 발명의 실시예들에서는, 우선 인식된 상기 이동 객체의 상기 특징점의 좌표축으로부터 이동 객체 각각의 이동 경로를 추출하되, 칼만 필터(Kalman filter)의 상태 방정식과 측정 방정식을 이용하여 상기 이동 경로의 오차를 보정한다.If the moving object is recognized in the above, the process of continuously tracking the recognized moving object is performed. In embodiments of the present invention, first, a movement path of each moving object is extracted from the coordinate axis of the feature point of the recognized moving object, and the error of the movement path is obtained by using the state equation and measurement equation of a Kalman filter. to correct

이동 객체는 매 프레임마다 형태가 변화하여 객체의 특징점을 추적하는 과정에서 불안정한 오차를 포함한다. 따라서, 이동하는 객체의 경로 오차를 개선하기 칼만 필터를 통해 이동 경로를 보정한다. 본 발명의 실시예들에서 칼만 필터를 적용하는 과정은 다음 수학식 9 내지 수학식 12와 같다.The moving object changes its shape every frame, and includes an unstable error in the process of tracking the feature point of the object. Therefore, to improve the path error of the moving object, the moving path is corrected through the Kalman filter. The process of applying the Kalman filter in the embodiments of the present invention is as shown in Equations 9 to 12 below.

수학식 9에서 F_x와 F_y는 추적하고자 하는 기준점의 x축과 y축을 의미한다. 수학식 10은 시간 t에 대한 상태 방정식과 측정 방정식을 나타내며, 상태 방정식에서 A는 상태 변환행렬을 나타내며, 시스템 노이즈 W_t는 0.004로 정의한다. 측정 방정식에서 H는 측정벡터의 변환행렬을 나타내며, 측정 노이즈 V_t는 0.25로 정의한다. 수학식 11과 수학식 12는 칼만 필터의 상태 방정식과 측정 방정식을 나타내며 Δt는 영상에서의 프레임 차를 의미한다. In Equation 9, F _x and F _y mean the x-axis and y-axis of the reference point to be tracked. Equation 10 shows a state equation and a measurement equation for time t, in the state equation, A denotes a state transformation matrix, and system noise W _t is defined as 0.004. In the measurement equation, H represents the transformation matrix of the measurement vector, and the measurement noise V _t is defined as 0.25. Equations 11 and 12 represent the state equation and measurement equation of the Kalman filter, and Δt means the frame difference in the image.

도 9는 이동 경로에 칼만 필터를 적용하여 보정한 결과를 x축과 y축으로 나누어 나타낸 예시도이다.9 is an exemplary diagram illustrating a result of applying a Kalman filter to a movement path and dividing it into an x-axis and a y-axis.

도 9의 (A)와 (B)의 그래프에서 x축은 데이터의 길이를 나타내고, y축은 이동 객체 특징점의 좌표와 좌표를 나타낸다. 빨간색 실선은 칼만 필터를 적용하기 전의 특징점 좌표를 나타내고, 파란색 실선은 칼만 필터를 적용한 후의 특징점 좌표를 나타낸다. 도 9의 (A)에서 이동 객체의 특징점 위치가 불안정하였지만, 칼만 필터를 적용한 결과 불안정한 오차가 많이 감소한 것을 볼 수 있다. 도 9의 (B)는 일정 구간 불안정한 오차가 있는 것을 볼 수 있으며, 칼만 필터를 적용한 결과 도 9의 (A)와 같이 오차가 많이 감소한 것을 볼 수 있다.In the graphs of (A) and (B) of FIG. 9 , the x-axis indicates the length of the data, and the y-axis indicates the coordinates and coordinates of the feature point of the moving object. The red solid line indicates the coordinates of the key points before applying the Kalman filter, and the blue solid line indicates the coordinates of the key points after applying the Kalman filter. Although the position of the feature point of the moving object is unstable in (A) of FIG. 9 , it can be seen that the unstable error is greatly reduced as a result of applying the Kalman filter. It can be seen that there is an unstable error in a certain section in (B) of FIG. 9, and as a result of applying the Kalman filter, it can be seen that the error is greatly reduced as shown in (A) of FIG. 9 .

한편, 다수의 이동 객체를 추적할 때 객체들끼리 겹치는 상황이 일어날 수 있다. 이때 겹쳐진 객체를 하나의 객체로 오인식하는 상황이 발생하게 되어 객체를 지속적으로 추적하는데 어려움이 발생한다. 따라서, 다수의 이동 객체를 추적할 때에는 객체끼리의 겹침을 판단하고, 겹침 이후 객체들이 분리되었을 때 기존에 존재하던 동일 객체로서 인식되어 지속적으로 추적하는 방법이 필요하다.Meanwhile, when tracking a plurality of moving objects, a situation in which the objects overlap may occur. At this time, a situation arises in which the overlapping object is mistakenly recognized as a single object, and thus it is difficult to continuously track the object. Therefore, when tracking a plurality of moving objects, it is necessary to determine the overlap between the objects, and when the objects are separated after the overlap, they are recognized as the same existing object and continuously tracked.

도 10은 이동 객체들이 움직이면서 발생하는 겹침 및 분리 과정을 설명하기 위한 예시도이다. 도 10의 (A)는 영상에 존재하는 이동 객체 A, B, C를 인식한 것을 나타내고, 도 10의 (B)는 B와 C 객체가 이동 중에 겹침 현상이 발생한 것을 나타내며, 도 10의 (C)는 겹침이 발생한 두 객체가 분리 후에 동일 객체로써 인식될 수 있도록 판단하는 과정이며, 도 10의 (D)는 겹침이 발생한 두 객체가 분리 후에 지속적으로 추적이 가능함을 나타낸다.10 is an exemplary diagram for explaining an overlapping and separation process occurring while moving objects move. (A) of FIG. 10 shows that moving objects A, B, and C existing in the image are recognized, and (B) of FIG. 10 shows that objects B and C overlap while moving, and in FIG. 10 (C) ) is a process of determining that two overlapping objects can be recognized as the same object after separation, and (D) of FIG. 10 shows that two overlapping objects can be continuously tracked after separation.

본 발명의 실시예들에서는 이동 객체 사이의 겹침 현상을 판단하기 위해서 이동 객체의 이동 경로를 비교한다. 이를 위해, 이동 객체들 각각에 대해 추출된 이동 경로의 좌표축 간의 차이가 미리 설정된 임계값보다 작은지 여부를 검사함으로써 이동 객체들의 겹침을 판단할 수 있다.In the embodiments of the present invention, the moving paths of the moving objects are compared in order to determine the overlapping phenomenon between the moving objects. To this end, it is possible to determine the overlap of the moving objects by examining whether a difference between the coordinate axes of the moving paths extracted for each of the moving objects is smaller than a preset threshold value.

이하의 수학식 13은 이동 객체의 겹침 현상을 판단하는 기준을 나타낸다.Equation 13 below represents a criterion for determining the overlapping phenomenon of moving objects.

여기서,

와

는 칼만 필터로 보정된 이동 객체 추적 경로의 x축과 y축을 나타내며, 이 차이가 임계값 α와 β보다 작을 때 겹침이 발생했다고 판단한다. 본 발명의 일 실시예에 따른 구현예에서는 α를 40, β를 20의 값으로 정의한다.here,

Wow

represents the x-axis and y-axis of the moving object tracking path corrected by the Kalman filter, and when the difference is smaller than the thresholds α and β, it is determined that overlap has occurred. In the embodiment according to an embodiment of the present invention, α is defined as a value of 40 and β is defined as a value of 20.

도 11은 본 발명의 일 실시예에 따른 다중 이동 객체 추정 방법에서 이동 객체를 추적하는 과정(S260)을 도시한 흐름도이다. 이동 객체의 추적을 위해 활용할 수 있는 방법은 크게 두 가지로서, 첫째는 이동 방향이고, 둘째는 확률분포의 유사도이다.11 is a flowchart illustrating a process (S260) of tracking a moving object in a method for estimating multiple moving objects according to an embodiment of the present invention. There are mainly two methods that can be used to track a moving object. The first is the movement direction, and the second is the similarity of the probability distribution.

먼저, S261 단계에서는 이동 객체의 특징점의 시계열적인 움직임으로부터 겹침이 감지된 이동 객체 각각의 이동 방향을 산출하여 산출된 상기 이동 방향으로부터 오차 범위를 설정한다. S262 단계에서, 겹쳐진 이동 객체가 서로 분리된 후에 산출되는 이동 방향이 상기 오차 범위 내에 존재하는지 여부를 검사함으로써 같은 이동 방향을 갖는 이동 객체인지를 판단한다. 만약, 이동 방향이 오차 범위 내라면 S264 단계로 진행하여 동일한 이동 객체로 식별하고, 그렇지 않다면 S263 단계로 진행하여 상이한 이동 객체로 식별한다.First, in step S261, a movement direction of each moving object in which overlap is detected is calculated from the time-series movement of feature points of the moving object, and an error range is set from the calculated movement direction. In step S262, it is determined whether the moving objects have the same moving direction by checking whether the moving directions calculated after the overlapping moving objects are separated from each other exist within the error range. If the moving direction is within the error range, the process proceeds to step S264 to identify the same moving object, otherwise proceeds to step S263 to identify a different moving object.

한편, S265 단계에서는 겹쳐진 이동 객체가 서로 분리된 후에 분리된 이동 객체별 색상 정보에 관한 확률분포 간의 유사도를 이용하여 겹침 전/후의 이동 객체의 동일성을 판단한다. S266 단계에서, 분리된 이동 객체별 색상 정보에 관한 확률분포 간의 유사도 편차가 임계 범위 내에 존재하는지 여부를 검사함으로써 이동 객체의 동일성 여부를 판단한다. 만약, 유사도 편차가 임계 범위 내라면 S267 단계로 진행하여 동일한 이동 객체로 식별하고, 그렇지 않다면 S268 단계로 진행하여 상이한 이동 객체로 식별한다.Meanwhile, in step S265, after the overlapping moving objects are separated from each other, the identity of the moving objects before/after the overlap is determined by using the degree of similarity between the probability distributions regarding the color information for each separated moving object. In step S266, it is determined whether the moving objects are identical by checking whether a similarity deviation between the probability distributions regarding the separated color information for each moving object exists within a threshold range. If the similarity deviation is within the threshold range, the process proceeds to step S267 to identify the same moving object, otherwise proceeds to step S268 to identify different moving objects.

마지막으로, 겹침 후 분리된 이동 객체의 판정 내지 식별이 완료되었다면, S269 단계를 통해 해당 이동 객체를 지속적으로 추적한다.Finally, if the determination or identification of the moving object separated after the overlap is completed, the corresponding moving object is continuously tracked through step S269.

나아가, 상기된 이동 방향 및 확률분포의 유사도를 이용한 두 가지 판단 방식은 둘 중 적어도 하나를 이용하여 겹침 후 분리된 이동 객체를 지속적으로 추적하는 것이 바람직하다. 이러한 두 가지 방식은 구현상의 필요에 따라 선택적으로 또는 순차적으로 검사를 수행할 수 있으며, 검사를 통해 판단이 모호한 경우 상호 보완적인 방식으로 활용될 수 있다.Furthermore, in the two determination methods using the similarity of the movement direction and the probability distribution, it is preferable to continuously track the separated moving object after the overlap by using at least one of the two determination methods. These two methods may selectively or sequentially perform the inspection according to the need for implementation, and may be utilized in a complementary manner when the judgment is ambiguous through the inspection.

이동 경로는 객체가 이동한 흔적과 이동한 방향에 대한 정보를 가지고 있기 때문에 본 발명의 실시예들에서는 겹침 현상이 발생한 후 객체를 분리하기 위해서 이동 경로의 방향을 활용하는 방법을 제안하였다. Since the movement path has information on the moving trace and the moving direction of the object, embodiments of the present invention propose a method of utilizing the direction of the movement path to separate the object after the overlapping phenomenon occurs.

도 12는 이동 객체의 이동 방향을 산출을 위한 기하학을 도시한 도면이다. 도 12에서 이동 객체의 특징점은 시간의 추이에 따라 m-4, m-3, ..., m의 순서대로 이동하며, 마지막으로 추출된 특징점과 이전의 추출된 특징점 간의 역삼각함수 정의를 활용하여 이동 방향을 구하는 것을 나타낸다. 수학식 14는 객체의 이동 경로를 나타내며, 수학식 15는 이동 방향을 계산하는 과정을 나타낸다.12 is a diagram illustrating a geometry for calculating a moving direction of a moving object. In Fig. 12, the feature points of the moving object move in the order of m-4, m-3, ..., m according to the passage of time, and the inverse trigonometric function definition between the last extracted feature point and the previously extracted feature point is used. to find the direction of movement. Equation 14 represents a movement path of an object, and Equation 15 represents a process of calculating a movement direction.

수학식 14에서

와

은 칼만 필터로 보정된 이동 경로에서 m번째와 m-2 번째 위치의 차이를 의미한다. 수학식 15에서 θ_OB는 위치 차이를 통해 계산한 이동 방향각을 나타낸다. 겹침 상황이 발생할 때 객체의 이동 방향과 객체가 분리된 후 생성되는 방향을 비교하였을 때 다음의 수학식 16과 같이 오차 범위 내에 존재하게 되면 같은 방향을 가지는 이동 객체라고 판단할 수 있다.in Equation 14

Wow

is the difference between the mth and m-2th positions in the movement path corrected by the Kalman filter. In Equation 15, θ _OB represents the movement direction angle calculated through the position difference. When an overlapping situation occurs, when the moving direction of the object is compared with the direction created after the object is separated, if it exists within the error range as in Equation 16 below, it can be determined that the moving object has the same direction.

여기서, θ_OB는 겹침 상황 전의 이동 방향이고, θ_New는 새롭게 생성된 이동 방향을 나타낸다. θ_OB가 θ_New의 오차 범위 내에 존재하게 되면 같은 이동 방향을 가지는 이동 객체라고 판단한다. 이동 객체의 방향을 판단함으로써 겹침 상황 전후에 같은 방향으로 진행하는 이동 객체는 지속적으로 추적이 가능하다. 하지만 이동 방향 판단만으로는 겹침 후 이동 방향이 바뀌는 객체를 추적하기 어려운 상황이 발견되었다.Here, θ _OB is a movement direction before the overlapping situation, and θ _New indicates a newly created movement direction. If θ _OB exists within the error range of θ _New , it is determined as a moving object having the same movement direction. By judging the direction of the moving object, it is possible to continuously track a moving object moving in the same direction before and after an overlap situation. However, it was found that it was difficult to track an object whose movement direction is changed after overlapping only by determining the movement direction.

따라서, 본 발명의 실시예들에서는 이동 방향 판단만으로 객체를 추적하기 어려운 상황을 앞서 제안한 확률분포의 유사도 판단(예를 들어, 헬링거 거리를 활용할 수 있다.)을 통해 해결하는 방법을 제안한다.Accordingly, embodiments of the present invention propose a method of solving a situation in which it is difficult to track an object only by determining the moving direction through determining the similarity of the previously proposed probability distribution (eg, the Helllinger distance may be used).

도 13은 확률분포 간의 유사도 비교를 통해 겹쳐진 이동 객체를 식별하는 과정을 설명하기 위한 예시도로서, 겹침 상황 전후 객체의 HSV 히스토그램 정보를 나타낸다. 도 13의 (A)는 동일 객체(A1 및 A2)의 유사도 비교를 위해 추출한 히스토그램 정보이고, 도 13의 (B)은 다른 객체(B1 및 B2)와 유사도 비교를 위해 추출한 히스토그램 정보이다.13 is an exemplary diagram for explaining a process of identifying an overlapping moving object through a similarity comparison between probability distributions, and shows HSV histogram information of an object before and after an overlapping situation. 13(A) is histogram information extracted for similarity comparison of the same objects A1 and A2, and FIG. 13(B) is histogram information extracted for similarity comparison with other objects B1 and B2.

다음의 표 1은 도 13의 히스토그램 정보를 입력으로 유사도를 판단한 결과를 나타낸다.Table 1 below shows the results of determining the degree of similarity by inputting the histogram information of FIG. 13 .

유사도 비교 결과의 평균 값 차이가 0.023으로 근소한 차이를 보이고 있으나 각 채널 값의 차이는 평균 값 차이보다 많은 차이를 보이고 있음을 알 수 있다. Although the average value difference of the similarity comparison result is 0.023, which is a slight difference, it can be seen that the difference in each channel value shows a greater difference than the average value difference.

도 14는 본 발명의 일 실시예에 따른 확률분포 간의 유사도를 이용한 다중 이동 객체 추적 시스템을 도시한 블록도로서, 도 2의 각 단계에서 수행되는 구성을 하드웨어의 관점에서 재구성한 것이다. 따라서, 여기서는 설명의 중복을 피하고자 그 개요만을 약술하도록 한다.14 is a block diagram illustrating a multi-moving object tracking system using similarity between probability distributions according to an embodiment of the present invention. The configuration performed in each step of FIG. 2 is reconstructed from a hardware point of view. Therefore, in order to avoid duplication of description, only an outline thereof is briefly summarized herein.

입력부(11)는 카메라(20) 등의 영상 취득 수단을 통해 획득된 복수 개의 객체를 포함하는 영상을 입력받는다. 메모리(13)는 입력된 영상 내에 포함된 다중 이동 객체를 인식하고 추적하는 객체 추적 프로그램을 저장하고, 프로세서(15)는 상기 객체 추적 프로그램을 구동하는 구성이다.The input unit 11 receives an image including a plurality of objects acquired through an image acquisition means such as the camera 20 . The memory 13 stores an object tracking program for recognizing and tracking multiple moving objects included in the input image, and the processor 15 is configured to drive the object tracking program.

여기서, 상기 메모리(13)에 저장된 객체 추적 프로그램은, 입력된 영상으로부터 움직임 영역을 추출하고, 추출된 상기 움직임 영역으로부터 라벨링(labeling)을 통해 복수 개의 이동 객체를 추출하고, 추출된 상기 이동 객체별로 추적을 위한 특징점을 설정하고 색상 정보에 관한 확률분포를 산출하며 산출된 확률분포 간의 유사도를 측정함으로써 복수 개의 이동 객체를 구분하여 인식하고, 인식된 상기 이동 객체의 상기 특징점을 기준으로 이동 객체 각각의 이동 경로를 추출하고, 추출된 상기 이동 경로를 이용하여 이동 객체들 간의 겹침(overlap)을 감지하며, 겹침이 감지된 이동 객체 각각의 이동 방향 및 상기 이동 객체별 색상 정보에 관한 확률분포 간의 유사도 중 적어도 하나를 이용하여 이동 객체를 추적하는 명령어를 포함한다.Here, the object tracking program stored in the memory 13 extracts a motion region from an input image, extracts a plurality of moving objects from the extracted motion region through labeling, and extracts a plurality of moving objects for each extracted moving object. By setting a feature point for tracking, calculating a probability distribution related to color information, and measuring the similarity between the calculated probability distributions, a plurality of moving objects are distinguished and recognized, and based on the feature point of the recognized moving object, each of the moving objects is Extracting a moving path, detecting overlap between moving objects using the extracted moving path, and the similarity between the moving direction of each moving object for which the overlap is detected and the probability distribution regarding the color information for each moving object and instructions for tracking a moving object using at least one.

메모리(13)에 저장된 객체 추적 프로그램은, 복수 개의 객체를 포함하는 영상으로부터 가우시안 혼합 모델(Gaussian Mixture Model, GMM)을 이용하여 배경을 제거함으로써 전경에 해당하는 움직임 영역을 추출하고, 추출된 상기 움직임 영역에 대해 모폴로지(morphology) 연산을 통해 미세한 움직임 또는 조도 변화로 인하여 발생하는 잡음을 제거하는 명령어를 포함할 수 있다.The object tracking program stored in the memory 13 extracts a motion region corresponding to the foreground by removing the background using a Gaussian Mixture Model (GMM) from an image including a plurality of objects, and the extracted motion It may include a command for removing noise generated due to a minute movement or illuminance change through a morphology operation with respect to the region.

메모리(13)에 저장된 객체 추적 프로그램은, 인접하는 픽셀(pixel)을 하나의 군집으로 정의하는 라벨링을 이용하여 복수 개의 라벨을 생성하고, 생성된 복수 개의 라벨 중 인접한 라벨이 미리 설정된 인체 비율을 만족하지 않는 손실된 영역인지 여부를 검사하여 인체 비율을 만족하는 하나의 라벨로 병합함으로써 영상 내에 존재하는 하나의 이동 객체로 설정하는 명령어를 포함할 수 있다. 또한, 상기 메모리(13)에 저장된 객체 추적 프로그램은, 인접한 라벨의 가로축의 최대값과 최소값의 차이 및 상기 인접한 라벨의 세로축의 최대값과 최소값의 차이로부터 미리 설정된 인체 모델의 신장 및 어깨 길이의 비율을 만족하는지 여부를 검사함으로써 라벨의 병합을 결정할 수 있다.The object tracking program stored in the memory 13 generates a plurality of labels using labeling that defines adjacent pixels as a group, and an adjacent label among the generated plurality of labels satisfies a preset human body ratio It may include a command to set as one moving object existing in the image by checking whether it is a lost area that is not lost and merging it into one label that satisfies the human body ratio. In addition, the object tracking program stored in the memory 13, the ratio of the height and shoulder length of the human body model preset from the difference between the maximum and minimum values of the horizontal axis of the adjacent label and the difference between the maximum and minimum values of the vertical axis of the adjacent label It is possible to determine label merging by checking whether .

메모리(13)에 저장된 객체 추적 프로그램은, 추출된 상기 이동 객체로부터 인체 비율에 기초하여 머리 영역을 추출하고 상기 머리 영역에 대한 무게중심(center of gravity, COG)을 산출하여 추적의 기준인 특징점으로 설정하고, 추출된 상기 이동 객체에 대해 RGB(Red-Green-Blue) 히스토그램(histogram) 정보를 HSV(Hue-Saturation-Value)로 변환하여 색상 채널별로 저장하며, 색상 채널별로 저장된 상기 히스토그램 정보로부터 서로 다른 이동 객체 간의 히스토그램 유사도를 비교함으로써 비교 결과에 따라 이동 객체들을 구별하는 명령어를 포함할 수 있다. 또한, 상기 메모리(13)에 저장된 객체 추적 프로그램은, 비교하고자 하는 서로 다른 이동 객체의 히스토그램 정보의 바타차야(Bhattacharrya) 계수를 이용하여 각 색상 채널에서의 헬링거 거리(Hellinger distance)를 산출하고, 히스토그램 정보로부터 산출된 헬링거 거리의 평균과 상기 각 색상 채널에서의 헬링거 거리의 편차로부터 히스토그램 유사도를 판단할 수 있다.The object tracking program stored in the memory 13 extracts a head region based on the human body ratio from the extracted moving object and calculates a center of gravity (COG) for the head region as a feature point as a reference for tracking. set, converts RGB (Red-Green-Blue) histogram information for the extracted moving object into HSV (Hue-Saturation-Value), stores them for each color channel, and stores each color channel from the histogram information stored for each color channel. Comparing the histogram similarity between different moving objects may include a command for distinguishing moving objects according to a comparison result. In addition, the object tracking program stored in the memory 13 calculates a Hellinger distance in each color channel by using the Bhattacharrya coefficient of histogram information of different moving objects to be compared, The histogram similarity may be determined from the average of the Hellinger distances calculated from the histogram information and the deviation of the Hellinger distances in the respective color channels.

메모리(13)에 저장된 객체 추적 프로그램은, 인식된 상기 이동 객체의 상기 특징점의 좌표축으로부터 이동 객체 각각의 이동 경로를 추출하되, 칼만 필터(Kalman filter)의 상태 방정식과 측정 방정식을 이용하여 상기 이동 경로의 오차를 보정할 수 있다.The object tracking program stored in the memory 13 extracts a movement path of each moving object from the coordinate axes of the feature points of the recognized moving object, and uses the state equation and measurement equation of a Kalman filter to determine the movement path. error can be corrected.

메모리(13)에 저장된 객체 추적 프로그램은, 이동 객체들 각각에 대해 추출된 이동 경로의 좌표축 간의 차이가 미리 설정된 임계값보다 작은지 여부를 검사함으로써 이동 객체들의 겹침을 판단할 수 있다.The object tracking program stored in the memory 13 may determine the overlap of the moving objects by checking whether a difference between the coordinate axes of the moving paths extracted for each of the moving objects is smaller than a preset threshold value.

메모리(13)에 저장된 객체 추적 프로그램은, 이동 객체의 특징점의 시계열적인 움직임으로부터 겹침이 감지된 이동 객체 각각의 이동 방향을 산출하여 산출된 상기 이동 방향으로부터 오차 범위를 설정하고, 겹쳐진 이동 객체가 서로 분리된 후에 산출되는 이동 방향이 상기 오차 범위 내에 존재하는지 여부를 검사함으로써 같은 이동 방향을 갖는 이동 객체인지를 판단하며, 겹쳐진 이동 객체가 서로 분리된 후에 분리된 이동 객체별 색상 정보에 관한 확률분포 간의 유사도를 이용하여 겹침 전/후의 이동 객체의 동일성을 판단하는 명령어를 포함할 수 있다. 나아가, 상기 메모리(13)에 저장된 객체 추적 프로그램은, 상기 같은 이동 방향을 갖는 이동 객체인지를 판단한 결과 및 상기 겹침 전/후의 이동 객체의 동일성을 판단한 결과 중 적어도 하나를 이용하여 겹침 후 분리된 이동 객체를 지속적으로 추적하는 명령어를 더 포함할 수 있다.The object tracking program stored in the memory 13 calculates the movement direction of each moving object in which overlap is detected from the time-series movement of the feature points of the moving object, sets an error range from the calculated movement direction, and sets the error range between the overlapping moving objects. It is determined whether the moving object has the same moving direction by examining whether the moving direction calculated after separation exists within the error range, and between the probability distributions regarding the color information for each separated moving object after the overlapping moving objects are separated from each other. It may include a command to determine the identity of the moving object before/after the overlap by using the similarity. Furthermore, the object tracking program stored in the memory 13 uses at least one of a result of determining whether a moving object has the same moving direction and a result of determining the identity of a moving object before/after the overlap to move separated after overlapping It may further include a command for continuously tracking the object.

상기된 본 발명의 실시예들에 따르면, 다수의 객체와 배경이 혼재된 영상에서 이동 경로 및 확률분포의 유사도를 이용한 히스토그램 매칭을 통해 다중 이동 객체를 각각 인식하고 추적함으로써, 겹침 내지 분리 현상이 발생한 경우에도 강인한 객체 추적을 달성할 수 있고, 특히 추적하고자 하는 객체에 대한 정보가 사전에 충분히 주어지지 않은 경우에도 지속적으로 이동 객체의 추적이 가능하다.According to the above-described embodiments of the present invention, overlap or separation occurs by recognizing and tracking multiple moving objects through histogram matching using the similarity of movement paths and probability distributions in an image in which a plurality of objects and a background are mixed. Even in this case, robust object tracking can be achieved, and in particular, it is possible to continuously track a moving object even when information on an object to be tracked is not sufficiently given in advance.

한편, 본 발명은 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.Meanwhile, embodiments of the present invention can be implemented as computer-readable codes on a computer-readable recording medium. The computer-readable recording medium includes all types of recording devices in which data readable by a computer system is stored.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like. In addition, the computer-readable recording medium is distributed in a computer system connected to a network, so that the computer-readable code can be stored and executed in a distributed manner. And functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers in the technical field to which the present invention pertains.

이상에서 본 발명에 대하여 그 다양한 실시예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.In the above, the present invention has been looked at focusing on various embodiments thereof. Those of ordinary skill in the art to which the present invention pertains will understand that the present invention can be implemented in modified forms without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments are to be considered in an illustrative rather than a restrictive sense. The scope of the present invention is indicated in the claims rather than the foregoing description, and all differences within the scope equivalent thereto should be construed as being included in the present invention.

10: 다중 이동 객체 추적 시스템
11: 입력부
13: 메모리
15: 프로세서
20: 카메라10: Multi-moving object tracking system
11: input
13: memory
15: processor
20: camera

Claims (21)

(a) 객체 추적 시스템이 복수 개의 객체를 포함하는 영상을 입력받아 움직임 영역을 추출하는 단계;
(b) 상기 객체 추적 시스템이 추출된 상기 움직임 영역으로부터 라벨링(labeling)을 통해 복수 개의 이동 객체를 추출하는 단계;
(c) 상기 객체 추적 시스템이 추출된 상기 이동 객체별로 추적을 위한 특징점을 설정하고 색상 정보에 관한 확률분포를 산출하며 산출된 확률분포 간의 유사도를 측정함으로써 복수 개의 이동 객체를 구분하여 인식하는 단계;
(d) 상기 객체 추적 시스템이 인식된 상기 이동 객체의 상기 특징점을 기준으로 이동 객체 각각의 이동 경로를 추출하는 단계;
(e) 상기 객체 추적 시스템이 추출된 상기 이동 경로를 이용하여 이동 객체들 간의 겹침(overlap)을 감지하는 단계; 및
(f) 상기 객체 추적 시스템이 겹침이 감지된 이동 객체 각각의 이동 방향 및 상기 이동 객체별 색상 정보에 관한 확률분포 간의 유사도 중 적어도 하나를 이용하여 이동 객체를 추적하는 단계;를 포함하고,
상기 (b) 단계는,
(b1) 인접하는 픽셀(pixel)을 하나의 군집으로 정의하는 라벨링을 이용하여 복수 개의 라벨을 생성하는 단계; 및
(b2) 생성된 복수 개의 라벨 중 인접한 라벨이 미리 설정된 인체 비율을 만족하지 않는 손실된 영역인지 여부를 검사하여 인체 비율을 만족하는 하나의 라벨로 병합함으로써 영상 내에 존재하는 하나의 이동 객체로 설정하는 단계;를 포함하되,
상기 (b2) 단계는,
인접한 복수 개의 라벨의 세로축의 최대값과 최소값의 차이로부터 병합하고자 하는 영역의 세로 길이를 산출하고, 상기 인접한 복수 개의 라벨의 가로축의 최대값과 최소값의 차이로부터 병합하고자 하는 영역의 가로 길이를 산출하며, 상기 세로 길이를 미리 설정된 인체 모델의 신장 및 어깨 길이의 비율로 제산하고, 제산한 값이 상기 가로 길이보다 크거나 같은지 여부의 조건을 검사하여, 상기 조건을 만족하는 경우 상기 인접한 복수 개의 라벨을 하나의 라벨로 병합하는, 다중 이동 객체의 추적 방법.(a) extracting a motion region by receiving an image including a plurality of objects by the object tracking system;
(b) extracting, by the object tracking system, a plurality of moving objects from the extracted movement region through labeling;
(c) distinguishing and recognizing a plurality of moving objects by the object tracking system setting feature points for tracking for each extracted moving object, calculating a probability distribution related to color information, and measuring a similarity between the calculated probability distributions;
(d) extracting, by the object tracking system, a movement path of each moving object based on the feature point of the recognized moving object;
(e) detecting, by the object tracking system, an overlap between moving objects using the extracted moving path; and
(f) tracking, by the object tracking system, a moving object using at least one of a similarity between the moving direction of each moving object for which overlap is detected and a probability distribution regarding color information for each moving object;
The step (b) is,
(b1) generating a plurality of labels using labeling defining adjacent pixels as a group; and
(b2) Checking whether an adjacent label among a plurality of generated labels is a lost area that does not satisfy the preset human body proportions and merging them into one label that satisfies the human body proportions to set as one moving object in the image step; including,
The step (b2) is,
Calculate the vertical length of the area to be merged from the difference between the maximum and minimum values of the vertical axis of a plurality of adjacent labels, and calculate the horizontal length of the area to be merged from the difference between the maximum and minimum values of the horizontal axis of the plurality of adjacent labels, , dividing the vertical length by the ratio of the height and shoulder length of the human body model set in advance, and checking whether the divided value is greater than or equal to the horizontal length, if the condition is satisfied, the adjacent plurality of labels A method of tracking multiple moving objects, merging them into one label. 제 1 항에 있어서,
상기 (a) 단계는,
(a1) 복수 개의 객체를 포함하는 영상으로부터 가우시안 혼합 모델(Gaussian Mixture Model, GMM)을 이용하여 배경을 제거함으로써 전경에 해당하는 움직임 영역을 추출하는 단계; 및
(a2) 추출된 상기 움직임 영역에 대해 모폴로지(morphology) 연산을 통해 미세한 움직임 또는 조도 변화로 인하여 발생하는 잡음을 제거하는 단계;를 포함하는, 다중 이동 객체의 추적 방법.The method of claim 1,
The step (a) is,
(a1) extracting a motion region corresponding to a foreground by removing a background from an image including a plurality of objects using a Gaussian Mixture Model (GMM); and
(a2) removing noise generated due to minute movement or illuminance change through morphology calculation for the extracted movement region; 삭제delete 제 1 항에 있어서,
상기 미리 설정된 인체 모델의 신장 및 어깨 길이의 비율은 소정 통계 자료에 따른 몸 전체 길이의 평균을 어깨 너비의 평균으로 제산한 값으로 4.32인 것을 특징으로 하는, 다중 이동 객체의 추적 방법.The method of claim 1,
The ratio of the height to the shoulder length of the preset human body model is a value obtained by dividing the average of the total body length according to the predetermined statistical data by the average of the shoulder width, and is 4.32, the multi-moving object tracking method. 제 1 항에 있어서,
상기 (c) 단계는,
(c1) 추출된 상기 이동 객체로부터 인체 비율에 기초하여 머리 영역을 추출하고 상기 머리 영역에 대한 무게중심(center of gravity, COG)을 산출하여 추적의 기준인 특징점으로 설정하는 단계;
(c2) 추출된 상기 이동 객체에 대해 RGB(Red-Green-Blue) 히스토그램(histogram) 정보를 HSV(Hue-Saturation-Value)로 변환하여 색상 채널별로 저장하는 단계; 및
(c3) 색상 채널별로 저장된 상기 히스토그램 정보로부터 서로 다른 이동 객체 간의 히스토그램 유사도를 비교함으로써 비교 결과에 따라 이동 객체들을 구별하는 단계;를 포함하는, 다중 이동 객체의 추적 방법.The method of claim 1,
Step (c) is,
(c1) extracting a head region based on the human body ratio from the extracted moving object, calculating a center of gravity (COG) for the head region, and setting it as a feature point as a reference for tracking;
(c2) converting RGB (Red-Green-Blue) histogram information with respect to the extracted moving object into HSV (Hue-Saturation-Value) and storing each color channel; and
(c3) comparing the histogram similarity between different moving objects from the histogram information stored for each color channel, thereby discriminating the moving objects according to the comparison result; 제 5 항에 있어서,
상기 (c3) 단계는,
비교하고자 하는 서로 다른 이동 객체의 히스토그램 정보의 바타차야(Bhattacharrya) 계수를 이용하여 각 색상 채널에서의 헬링거 거리(Hellinger distance)를 산출하고, 히스토그램 정보로부터 산출된 헬링거 거리의 평균과 상기 각 색상 채널에서의 헬링거 거리의 편차로부터 히스토그램 유사도를 판단하는, 다중 이동 객체의 추적 방법.6. The method of claim 5,
The step (c3) is,
The Hellinger distance in each color channel is calculated using the Bhattacharrya coefficient of the histogram information of different moving objects to be compared, and the average of the Hellinger distance calculated from the histogram information and each color A method for tracking multiple moving objects, determining the histogram similarity from the deviation of the Helllinger distance in a channel. 제 1 항에 있어서,
상기 (d) 단계는,
인식된 상기 이동 객체의 상기 특징점의 좌표축으로부터 이동 객체 각각의 이동 경로를 추출하되, 칼만 필터(Kalman filter)의 상태 방정식과 측정 방정식을 이용하여 상기 이동 경로의 오차를 보정하는, 다중 이동 객체의 추적 방법.The method of claim 1,
Step (d) is,
Extracting the movement path of each moving object from the coordinate axis of the characteristic point of the recognized moving object, and correcting the error of the movement path by using the state equation and measurement equation of a Kalman filter, tracking of multiple moving objects method. 제 1 항에 있어서,
상기 (e) 단계는,
이동 객체들 각각에 대해 추출된 이동 경로의 좌표축 간의 차이가 미리 설정된 임계값보다 작은지 여부를 검사함으로써 이동 객체들의 겹침을 판단하는, 다중 이동 객체의 추적 방법.The method of claim 1,
Step (e) is,
A method for tracking multiple moving objects, which determines the overlap of moving objects by examining whether a difference between the coordinate axes of the moving paths extracted for each of the moving objects is smaller than a preset threshold. 제 1 항에 있어서,
상기 (f) 단계는,
(f1) 이동 객체의 특징점의 시계열적인 움직임으로부터 겹침이 감지된 이동 객체 각각의 이동 방향을 산출하여 산출된 상기 이동 방향으로부터 오차 범위를 설정하는 단계;
(f2) 겹쳐진 이동 객체가 서로 분리된 후에 산출되는 이동 방향이 상기 오차 범위 내에 존재하는지 여부를 검사함으로써 같은 이동 방향을 갖는 이동 객체인지를 판단하는 단계; 및
(f3) 겹쳐진 이동 객체가 서로 분리된 후에 분리된 이동 객체별 색상 정보에 관한 확률분포 간의 유사도를 이용하여 겹침 전/후의 이동 객체의 동일성을 판단하는 단계;를 포함하는, 다중 이동 객체의 추적 방법.The method of claim 1,
The step (f) is,
(f1) calculating a movement direction of each moving object in which overlap is detected from the time-series movement of feature points of the moving object, and setting an error range from the calculated movement direction;
(f2) determining whether the moving objects having the same moving direction are the same by checking whether the moving directions calculated after the overlapping moving objects are separated from each other exist within the error range; and
(f3) after the overlapping moving objects are separated from each other, determining the identity of the moving objects before/after the overlap using the similarity between the probability distributions regarding the color information for each separated moving object; . 제 9 항에 있어서,
상기 (f) 단계는,
(f4) 상기 (f2) 단계의 판단 결과 및 상기 (f3) 단계의 판단 결과 중 적어도 하나를 이용하여 겹침 후 분리된 이동 객체를 지속적으로 추적하는 단계;를 더 포함하는, 다중 이동 객체의 추적 방법.10. The method of claim 9,
The step (f) is,
(f4) using at least one of the determination result of the step (f2) and the determination result of the step (f3) to continuously track the separated moving object after the overlap; . 제 1 항, 제 2 항, 제 4 항 내지 제 10 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium recording a program for executing the method of any one of claims 1, 2, and 4 to 10 on a computer. 복수 개의 객체를 포함하는 영상을 입력받는 입력부;
입력된 영상 내에 포함된 다중 이동 객체를 인식하고 추적하는 객체 추적 프로그램을 저장하는 메모리; 및
상기 객체 추적 프로그램을 구동하는 적어도 하나의 프로세서를 포함하되,
상기 메모리에 저장된 객체 추적 프로그램은,
입력된 영상으로부터 움직임 영역을 추출하고, 추출된 상기 움직임 영역으로부터 라벨링(labeling)을 통해 복수 개의 이동 객체를 추출하고, 추출된 상기 이동 객체별로 추적을 위한 특징점을 설정하고 색상 정보에 관한 확률분포를 산출하며 산출된 확률분포 간의 유사도를 측정함으로써 복수 개의 이동 객체를 구분하여 인식하고, 인식된 상기 이동 객체의 상기 특징점을 기준으로 이동 객체 각각의 이동 경로를 추출하고, 추출된 상기 이동 경로를 이용하여 이동 객체들 간의 겹침(overlap)을 감지하며, 겹침이 감지된 이동 객체 각각의 이동 방향 및 상기 이동 객체별 색상 정보에 관한 확률분포 간의 유사도 중 적어도 하나를 이용하여 이동 객체를 추적하는 명령어를 포함하고,
상기 라벨링을 통해 복수 개의 이동 객체를 추출하는 명령어는,
인접하는 픽셀(pixel)을 하나의 군집으로 정의하는 라벨링을 이용하여 복수 개의 라벨을 생성하고, 생성된 복수 개의 라벨 중 인접한 라벨이 미리 설정된 인체 비율을 만족하지 않는 손실된 영역인지 여부를 검사하여 인체 비율을 만족하는 하나의 라벨로 병합함으로써 영상 내에 존재하는 하나의 이동 객체로 설정하는 명령어를 포함하되,
인접한 복수 개의 라벨의 세로축의 최대값과 최소값의 차이로부터 병합하고자 하는 영역의 세로 길이를 산출하고, 상기 인접한 복수 개의 라벨의 가로축의 최대값과 최소값의 차이로부터 병합하고자 하는 영역의 가로 길이를 산출하며, 상기 세로 길이를 미리 설정된 인체 모델의 신장 및 어깨 길이의 비율로 제산하고, 제산한 값이 상기 가로 길이보다 크거나 같은지 여부의 조건을 검사하여, 상기 조건을 만족하는 경우 상기 인접한 복수 개의 라벨을 하나의 라벨로 병합하는, 다중 이동 객체의 추적 시스템.an input unit for receiving an image including a plurality of objects;
a memory for storing an object tracking program for recognizing and tracking multiple moving objects included in the input image; and
Comprising at least one processor running the object tracking program,
The object tracking program stored in the memory,
A motion region is extracted from the input image, a plurality of moving objects are extracted from the extracted moving region through labeling, a feature point for tracking is set for each extracted moving object, and a probability distribution regarding color information is obtained. By calculating and measuring the similarity between the calculated probability distributions, a plurality of moving objects are distinguished and recognized, a movement path of each moving object is extracted based on the characteristic point of the recognized moving object, and the extracted movement path is used to Detecting overlap between moving objects, and tracking the moving object using at least one of a similarity between the moving direction of each moving object for which the overlap is detected and a probability distribution regarding the color information for each moving object. ,
The command for extracting a plurality of moving objects through the labeling is,
A plurality of labels are generated using labeling that defines adjacent pixels as a group, and it is checked whether an adjacent label among the generated labels is a lost area that does not satisfy a preset human body ratio. Including a command to set as one moving object existing in the image by merging into one label that satisfies the ratio,
Calculate the vertical length of the area to be merged from the difference between the maximum and minimum values of the vertical axis of a plurality of adjacent labels, and calculate the horizontal length of the area to be merged from the difference between the maximum and minimum values of the horizontal axis of the plurality of adjacent labels, , dividing the vertical length by the ratio of the height and shoulder length of the human body model set in advance, and checking whether the divided value is greater than or equal to the horizontal length, if the condition is satisfied, the adjacent plurality of labels A tracking system for multiple moving objects, merging them into one label. 제 12 항에 있어서,
상기 메모리에 저장된 객체 추적 프로그램은,
복수 개의 객체를 포함하는 영상으로부터 가우시안 혼합 모델(Gaussian Mixture Model, GMM)을 이용하여 배경을 제거함으로써 전경에 해당하는 움직임 영역을 추출하고,
추출된 상기 움직임 영역에 대해 모폴로지(morphology) 연산을 통해 미세한 움직임 또는 조도 변화로 인하여 발생하는 잡음을 제거하는 명령어를 포함하는, 다중 이동 객체의 추적 시스템.13. The method of claim 12,
The object tracking program stored in the memory,
Extracting a motion region corresponding to the foreground by removing the background using a Gaussian Mixture Model (GMM) from an image including a plurality of objects,
A system for tracking multiple moving objects, comprising a command for removing noise caused by minute movement or illuminance change through morphology calculation for the extracted movement region. 삭제delete 제 12 항에 있어서,
상기 미리 설정된 인체 모델의 신장 및 어깨 길이의 비율은 소정 통계 자료에 따른 몸 전체 길이의 평균을 어깨 너비의 평균으로 제산한 값으로 4.32인 것을 특징으로 하는, 다중 이동 객체의 추적 시스템.13. The method of claim 12,
The preset ratio of the height and shoulder length of the human body model is a value obtained by dividing the average of the total body length according to the predetermined statistical data by the average of the shoulder width, and is 4.32, a tracking system for multiple moving objects. 제 12 항에 있어서,
상기 메모리에 저장된 객체 추적 프로그램은,
추출된 상기 이동 객체로부터 인체 비율에 기초하여 머리 영역을 추출하고 상기 머리 영역에 대한 무게중심(center of gravity, COG)을 산출하여 추적의 기준인 특징점으로 설정하고,
추출된 상기 이동 객체에 대해 RGB(Red-Green-Blue) 히스토그램(histogram) 정보를 HSV(Hue-Saturation-Value)로 변환하여 색상 채널별로 저장하며,
색상 채널별로 저장된 상기 히스토그램 정보로부터 서로 다른 이동 객체 간의 히스토그램 유사도를 비교함으로써 비교 결과에 따라 이동 객체들을 구별하는 명령어를 포함하는, 다중 이동 객체의 추적 시스템.13. The method of claim 12,
The object tracking program stored in the memory,
Extracting a head region based on the human body ratio from the extracted moving object, calculating a center of gravity (COG) for the head region, and setting it as a feature point as a reference for tracking,
For the extracted moving object, RGB (Red-Green-Blue) histogram information is converted into HSV (Hue-Saturation-Value) and stored for each color channel,
and a command for distinguishing moving objects according to a comparison result by comparing the histogram similarity between different moving objects from the histogram information stored for each color channel. 제 16 항에 있어서,
상기 메모리에 저장된 객체 추적 프로그램은,
비교하고자 하는 서로 다른 이동 객체의 히스토그램 정보의 바타차야(Bhattacharrya) 계수를 이용하여 각 색상 채널에서의 헬링거 거리(Hellinger distance)를 산출하고, 히스토그램 정보로부터 산출된 헬링거 거리의 평균과 상기 각 색상 채널에서의 헬링거 거리의 편차로부터 히스토그램 유사도를 판단하는, 다중 이동 객체의 추적 시스템.17. The method of claim 16,
The object tracking program stored in the memory,
The Hellinger distance in each color channel is calculated using the Bhattacharrya coefficient of the histogram information of different moving objects to be compared, and the average of the Hellinger distance calculated from the histogram information and each color A tracking system for multiple moving objects, which determines the histogram similarity from the deviation of the Helllinger distance in the channel. 제 12 항에 있어서,
상기 메모리에 저장된 객체 추적 프로그램은,
인식된 상기 이동 객체의 상기 특징점의 좌표축으로부터 이동 객체 각각의 이동 경로를 추출하되, 칼만 필터(Kalman filter)의 상태 방정식과 측정 방정식을 이용하여 상기 이동 경로의 오차를 보정하는, 다중 이동 객체의 추적 시스템.13. The method of claim 12,
The object tracking program stored in the memory,
Extracting the movement path of each moving object from the coordinate axis of the characteristic point of the recognized moving object, and correcting the error of the movement path by using the state equation and measurement equation of a Kalman filter, tracking of multiple moving objects system. 제 12 항에 있어서,
상기 메모리에 저장된 객체 추적 프로그램은,
이동 객체들 각각에 대해 추출된 이동 경로의 좌표축 간의 차이가 미리 설정된 임계값보다 작은지 여부를 검사함으로써 이동 객체들의 겹침을 판단하는, 다중 이동 객체의 추적 시스템.13. The method of claim 12,
The object tracking program stored in the memory,
A tracking system for multiple moving objects that determines the overlap of moving objects by examining whether a difference between the coordinate axes of the moving paths extracted for each of the moving objects is smaller than a preset threshold. 제 12 항에 있어서,
상기 메모리에 저장된 객체 추적 프로그램은,
이동 객체의 특징점의 시계열적인 움직임으로부터 겹침이 감지된 이동 객체 각각의 이동 방향을 산출하여 산출된 상기 이동 방향으로부터 오차 범위를 설정하고,
겹쳐진 이동 객체가 서로 분리된 후에 산출되는 이동 방향이 상기 오차 범위 내에 존재하는지 여부를 검사함으로써 같은 이동 방향을 갖는 이동 객체인지를 판단하며,
겹쳐진 이동 객체가 서로 분리된 후에 분리된 이동 객체별 색상 정보에 관한 확률분포 간의 유사도를 이용하여 겹침 전/후의 이동 객체의 동일성을 판단하는 명령어를 포함하는, 다중 이동 객체의 추적 시스템.13. The method of claim 12,
The object tracking program stored in the memory,
Set an error range from the calculated movement direction by calculating the movement direction of each moving object in which overlap is detected from the time-series movement of the feature point of the moving object,
It is determined whether a moving object having the same moving direction is determined by checking whether the moving direction calculated after the overlapping moving objects are separated from each other is within the error range,
After the overlapping moving objects are separated from each other, using the similarity between the probability distributions regarding the color information for each separated moving object, comprising a command for determining the identity of the moving objects before/after the overlapping, a tracking system for multiple moving objects. 제 20 항에 있어서,
상기 메모리에 저장된 객체 추적 프로그램은,
상기 같은 이동 방향을 갖는 이동 객체인지를 판단한 결과 및 상기 겹침 전/후의 이동 객체의 동일성을 판단한 결과 중 적어도 하나를 이용하여 겹침 후 분리된 이동 객체를 지속적으로 추적하는 명령어를 더 포함하는, 다중 이동 객체의 추적 시스템.21. The method of claim 20,
The object tracking program stored in the memory,
Using at least one of a result of determining whether the moving object has the same moving direction and a result of determining the identity of the moving object before/after the overlap, further comprising a command for continuously tracking the moving object separated after the overlap, Multi-movement Object tracking system.

Images