KR101406334B1

KR101406334B1 - System and method for tracking multiple object using reliability and delayed decision

Info

Publication number: KR101406334B1
Application number: KR1020130043174A
Authority: KR
Inventors: 유혁민; 박동선; 윤숙; 라정진
Original assignee: 전북대학교산학협력단; 주식회사 헤드아이티; 목포대학교산학협력단
Priority date: 2013-04-18
Filing date: 2013-04-18
Publication date: 2014-06-19

Abstract

According to the present invention, a system for tracking multiple objects may be provided. The system includes a background removal unit that updates a background model when an image is input, produces a new background image from the image, and obtains a foreground image that has been background-removed through image differencing between the image and the background image; a characteristic point determination unit that determines a characteristic point represented on the image and the foreground image with reference to a characteristic tree and extracts a determined characteristic point; a situation selection unit that uses the characteristic point extracted through the characteristic point determination unit to select the situation of an object represented on the image as any one of pre-classified situations; an object determination unit that compares a pre-stored object model with a characteristic point extracted from the image having occlusion when the state of the object is selected as occlusion, separates the object and determines the motion of the object; and an object tracking unit that updates the motion of the object determined through the object determination unit, predicts the motion of the object and then transfers the motion of the predicted object of the object to the situation selection unit through tracking inform.

Description

신뢰도와 지연된 결정을 활용한 다중 객체 추적 시스템 및 방법{SYSTEM AND METHOD FOR TRACKING MULTIPLE OBJECT USING RELIABILITY AND　DELAYED DECISION}[0001] SYSTEM AND METHOD FOR TRACKING MULTIPLE OBJECT USING RELIABILITY AND DELAYED DECISION [0002]

본 발명은 다중 객체 추적 시스템 및 방법에 관한 것으로, 보다 상세히 다중으로 구성된 카메라 환경 하에서 실시간으로 객체를 추적하고 모니터링 할 수 있는 다중 객체 추적 시스템 및 방법에 관한 것이다. The present invention relates to a multi-object tracking system and method, and more particularly, to a multi-object tracking system and method capable of tracking and monitoring objects in real time under a multi-camera environment.

최근 범죄와 사고의 예방 및 신속한 해결을 위해 영상 감시 시스템의 수요가 증가하고 이와 관련된 시장도 증가하고 있는 실정이다. 영상 감시 시스템은 항공해양 및 산불감시부터 학교, 아파트, 은행, 기업, 지하철, 백화점 같은 지역에 이르기까지 다양한 분야에서 사용되고 있다. 이와 같이 영상 감시 시스템의 설치 지역 및 용도가 다양해지면서 사용자는 보다 지능화된 영상 감시 시스템을 요구하고 있다. 영상 감시 시스템 업체는 이러한 요구에 따라 다중 객체 및 다중 카메라 환경에서 객체의 추적을 이용하여 객체의 이벤트 기록 및 사람의 행동 분석 등의 복잡한 기능을 가진 지능형 영상 감시 시스템 개발에 많은 노력을 하고 있다.Recently, the demand for video surveillance system is increasing and the related market is increasing to prevent and solve crimes and accidents. Video surveillance systems are used in a variety of fields ranging from aeronautical and maritime surveillance to schools, apartments, banks, businesses, subways, and department stores. As the installation area and usage of the video surveillance system is diversified, the user is demanding a more intelligent video surveillance system. The video surveillance system company is making efforts to develop intelligent video surveillance system with complicated functions such as object recording and human behavior analysis using object tracking in multi-object and multi-camera environments.

지능형 영상 감시 시스템은 감시 시스템에 영상이 입력되면 영상의 변화를 감지하여 영상에 나타난 객체를 검출하고 분류한다. 분류된 객체는 식별 정보를 결정한 후에 객체를 추적한다. 이러한 과정을 통해 이벤트 분류 및 사람의 행동 분석과 같은 복잡한 응용에 적용이 가능하다.The intelligent video surveillance system senses the change of the video when the video is input to the surveillance system, and detects and classifies the objects displayed on the video. The classified object tracks the object after determining the identification information. This process can be applied to complex applications such as event classification and human behavior analysis.

복잡한 기능을 가진 지능형 감시 시스템을 개발하기 위해서는 기존의 영상 감시 시스템의 객체 분류 및 객체 인식, 객체 추적과 같은 세부 알고리즘의 성능 향상이 필요하다. 특히 지능형 영상 감시 시스템은 객체 추적을 통해 객체의 이벤트를 기록하고 객체의 행동을 결정할 수 있기 때문에 정확한 객체 추적이 필수적이다. 또한 지능형 영상 감시 시스템은 다수의 객체가 동시에 나타나고 움직일 수 있기 때문에 단일 객체뿐만 아니라 다중 객체를 추적할 수 있어야 한다. In order to develop intelligent surveillance systems with complex functions, it is necessary to improve the performance of detailed algorithms such as object classification, object recognition and object tracking in existing video surveillance systems. Especially, intelligent video surveillance system is able to record the events of an object through object tracking and determine the behavior of the object, so accurate object tracking is essential. In addition, the intelligent video surveillance system should be able to track multiple objects as well as a single object because multiple objects can appear and move at the same time.

다중 객체 추적은 추적하는 객체의 수가 많고 그 수가 고정되어 있지 않기 때문에 단일 객체 추적보다 상황이 복잡하고 다양해진다. 주어진 시간 안에 객체의 추적을 성공적으로 완료하려면 몇 가지 고려해야 할 점들이 생긴다. 첫 번째로 다중 객체 추적은 단일 객체 추적에 비하여 얻을 수 있는 객체의 정보가 한정되기 때문에 객체 간의 오크루젼(Occlusion)이 발생할 경우에 오크루젼을 해결할 수 있어야하며 두 번째로 객체의 수와 사용하는 특징에 따라 시간을 효율적으로 사용하여 최대한의 추적 정확도를 제공하는 실시간 처리가 이루어져야 한다.Multi-object tracking is more complex and diverse than single object tracking because the number of objects to track and the number of objects are not fixed. There are a few things to consider in order to successfully complete tracking of objects within a given time frame. First, multi-object tracking can solve the occlusion when occlusion occurs between objects because the information of the object is limited compared to single object tracking. Second, Real-time processing must be done to provide maximum tracking accuracy using time efficiently, depending on the characteristics of the system.

종래의 다중 객체 추적에 관한 연구는 추적의 정확도 향상과 실시간 처리를 위하여 다양한 방법으로 이루어지고 있다. 다중 객체를 추적하기 위해서 일반적으로는 블랍(Blob) 기반의 객체 추적 방법을 많이 사용한다. 그러나 블랍 기반의 객체 추적 방법은 객체가 장애물에 의해 가려지거나 분리되는 상황과 여러 개의 객체가 겹쳐진 상황에서 객체를 정상적으로 추적하지 못하는 오크루젼 해결 문제가 많이 나타난다. 따라서 이런 문제를 해결하기 위해 외형(Appearance) 기반의 추적 방법이 개발되었다. Conventional multi - object tracking research has been carried out in various ways to improve tracking accuracy and real - time processing. In order to track multiple objects, we usually use blob-based object tracking methods. However, the blob-based object tracking method is problematic in that objects are obscured or separated by obstacles and ocrusion resolution problems in which objects are not normally tracked in a situation where multiple objects are overlapped. Therefore, Appearance based tracking method was developed to solve this problem.

외형 기반의 추적 방법은 오크루젼 문제를 어느 정도 해결하였지만 여전히 오크루젼 문제는 다중 객체 추적에 있어 가장 중요한 문제점이다. 또한 외형 기반의 추적 방법은 오크루젼을 인지하지 못하거나 정상적으로 해결하지 못하는 경우 객체 모델에 잘못된 정보로 갱신하여 추적 전체에 문제가 발생할 수 있고, 추적의 정확도 향상을 위해 연산량을 높이거나 추적하는 객체의 수가 너무 많아지면 실시간으로 객체 추적이 필요한 응용에서 객체 추적 자체가 실패할 수 있다. 따라서 새로운 다중 객체 추적 방법은 정확하게 오크루젼 해결 문제를 해결하면서 주어진 시간 안에 연산이 이루어져야 하는 과제를 가지고 있다.Observer-based tracking methods solved the ocrusion problem to a certain extent, but the occlusion problem is still the most important problem for multi-object tracking. In addition, the outline-based tracking method can update the object model with incorrect information if it can not recognize the ocursion or can not resolve it normally. In this case, the problem may occur in the entire tracking. In order to improve the accuracy of the tracking, If the number of objects is too large, object tracking itself may fail in applications that require object tracking in real time. Therefore, the new multi-object tracking method has a problem to be solved within a given time while solving the problem of acuculation solving correctly.

다중 객체 추적의 정확도를 향상하기 위해 M.Azari이 제안한 방법은 가우시안 혼합 모델(GMM, Gaussian Mixture Model) 배경 제거 알고리즘을 사용하여 검출된 블랍의 위치정보와 이전 프레임에서 칼만 필터에 의해 연산된 추정 위치정보를 비교하여 거리를 계산하는 방법이다. 이 결과를 이용하여 현재의 상황을 5가지로 분류할 수 있다. 이 때 하나의 블랍에 두 개 이상의 추정정보가 정합이 되면 오크루젼 상황으로 판단한다. 오크루젼 상황인 블랍은 템플릿 정합을 사용하여 오크루젼을 해결한다. 이 방법은 연산이 비교적 빠르지만 객체의 외형이 다른 객체나 장애물에 의해 변하는 경우에 오크루젼의 해결이 어렵다는 문제점을 가지고 있다.In order to improve the accuracy of multi-object tracking, M.Azari proposed a method that uses the Gaussian Mixture Model (GMM) background removal algorithm to estimate the position of the blob and the estimated position It is a method of calculating distance by comparing information. Using these results, the current situation can be classified into five categories. At this time, if two or more pieces of estimated information are matched to one blob, it is judged as an occlusion condition. The blob, an occlusion situation, resolves the occlusion using template matching. This method has a problem that although the operation is relatively fast, it is difficult to solve the occlusion when the appearance of the object is changed by another object or an obstacle.

GC.Chao는 이런 문제를 해결할 수 있는 방법을 제시하였다. GC.Chao은 외형 모델을 이용하여 영상에 템플릿 정합 시켜서 객체의 블랍을 검출한다. 검출된 블랍은 파티클 필터에 의해 연산된 위치정보를 이용하여 현재의 상황을 3가지로 분류한다. 분류 결과 오크루젼 상황인 블랍은 겹쳐진 객체들의 외형 모델을 사용하여 오크루젼을 해결한다. 이 방법은 M.Azari이 제안하는 방법보다 많은 양의 데이터를 사용하기 때문에 객체가 많이 변하는 경우에도 덜 민감하게 반응하여 보다 정확한 겹침 해결 결과를 제공한다. 그러나 이 방법은 상황의 분류가 매우 간단하고, 영상 전체에 템플릿 정합을 적용하여 추적하는 객체를 검출하기 때문에 연산에 많은 시간이 소요되는 문제점이 있다.GC.Chao suggested a way to solve this problem. GC.Chao detects the blob of an object by template matching the image using an external model. The detected blobs classify the current situation into three by using the position information calculated by the particle filter. Classification Result The occlusion situation blob solves the occlusion by using the contour model of the overlapping objects. This method uses a larger amount of data than M.Azari suggests, so it reacts less sensitively even when the object changes greatly, thus providing more accurate overlap resolution results. However, this method has a problem that the classification of the situation is very simple, and the object to be tracked is detected by applying the template matching to the entire image, so that it takes much time to perform the operation.

C.Zhang은 객체 모델의 색상정보와 특징점의 수, 움직이는 방향을 고려하여 오크루젼을 검출하였다. 이 방법에서 사용한 특징점은 KLT(Kanade?Lucas?Tomasi)이며 M.Azari와 마찬가지로 현재 프레임의 블랍은 배경 제거를 통해 검출하였다. 오크루젼을 해결하기 위해 KLT 특징점을 파티클 필터를 사용하여 예측된 위치정보를 블랍에 적용한 후에 K-평균 알고리즘을 이용하여 오크루젼을 해결하였다. 특징점을 이용하는 방법에서 복잡한 연산의 특징점을 사용하면 정확도는 향상되지만 전체 시스템이 느려져서 실시간으로 객체를 추적할 수 없고, 반대로 단순한 연산의 특징점을 사용하면 시스템의 속도는 향상되지만 정확한 오크루젼 해결이 어렵기 때문에 응용에 적합한 특징점을 선택해야 한다.C.Zhang detected ocursion by considering the color information of the object model, the number of feature points, and the direction of movement. The feature point used in this method is KLT (Kanade? Lucas? Tomasi) and like M.Azari, the blob of the current frame is detected by background subtraction. To solve the occlusion, the KLT feature points were applied to the blob using predicted position information using the particle filter, and then the ocursion was solved using K-means algorithm. In the method using minutiae points, using the minutiae points of complex operations improves the accuracy, but the whole system slows down and the object can not be tracked in real time. On the contrary, when using the minutiae of simple operations, the speed of the system is improved, Therefore, it is necessary to select the feature points suitable for the application.

앞에 소개한 기존의 다중 객체 추적 알고리즘들은 정확한 다중 객체 추적을 위해 주어진 상황을 미리 정의된 상황으로 분류하였다. 그러나 칼만 필터나 파티클 필터의 정확하지 않은 예측정보로 인해 이런 상황에 포함되지 않는 복잡한 상황이 발생할 수 있지만 이를 고려하고 있지 않다. 또한 오크루젼 상황의 경우 오크루젼 해결 결과가 애매한 경우에 즉시 상황을 해결하기 때문에 많은 오류가 발생한다. 오크루젼 해결 결과가 잘못된 경우 객체 모델의 정보가 잘못 갱신 될 수 있고 결과적으로 객체의 추적에 실패할 수 있다. 그러나 추적의 성공을 위해 오크루젼을 완전하게 해결하려 무리한 연산을 수행하게 되면 객체 추적의 연산 시간이 길어지고 결국 실시간 추적이 필요한 응용 분야에서는 사용이 불가능하다는 문제점을 피할 수 없다.Previously, the existing multi - object tracking algorithms classify a given situation into a predefined situation for accurate multi - object tracking. However, the inaccurate prediction information of the Kalman filter or the particle filter can cause complicated situations that are not included in this situation, but this is not considered. Also, in the case of the occlusion situation, many errors occur because the situation is resolved immediately when the occlusion resolution result is ambiguous. If the ocrusion resolution result is incorrect, the information in the object model may be incorrectly updated and, as a result, the tracking of the object may fail. However, it is impossible to avoid the problem that the calculation time of the object tracking becomes long and it can not be used in the application field requiring real-time tracking if the excessive operation is performed to completely solve the ocursion for the tracking success.

상기 문제점을 해결하기 위하여 안출된 본 발명은 객체의 수, 특징들의 특성, 현재 신뢰도 수준을 참고하여 주어진 시간 동안 최대한의 정확도를 향상시킬 수 있는 특징을 소요되는 비용에 따라 체계화된 특징 트리에서 선택하여 사용함으로서 객체의 실시간 추적이 가능해질 수 있도록 하는 다중 객체 추적 시스템 및 방법을 제공하는 것을 목적으로 한다.According to an aspect of the present invention, there is provided a method of estimating a feature of a feature tree, the method comprising the steps of: So that the object can be tracked in real time.

또한 본 발명은 객체 식별 결정이 애매한 경우를 대비해 결정이 지연된 식별 결정 상황을 추가하여 현재 프레임에서 객체의 식별이 애매한 경우에 즉시 결정하지 않고 다음 프레임의 정보를 이용하여 객체 식별을 결정할 수 있도록 하여 잘못된 식별 결정으로 인한 추적의 실패 확률을 낮출 수 있게 하는 다중 객체 추적 시스템 및 방법을 제공하는 것을 또 다른 목적으로 한다.In addition, the present invention adds an identification determination situation in which a determination is delayed in preparation for a case where an object identification decision is ambiguous, so that the object identification can be determined using the information of the next frame without determining immediately when the object identification is ambiguous in the current frame, It is another object of the present invention to provide a multi-object tracking system and method that can lower the probability of failure of tracking due to an identification decision.

상기 목적을 달성하기 위한 본 발명에 의하면, 영상이 입력되면 배경 모델을 갱신하여, 상기 영상으로부터 새로운 배경 영상을 생성하고, 상기 영상과 상기 배경 영상의 차연산을 통해 배경을 제거한 전경영상을 획득하는 배경제거부; 특징 트리를 참조하여 상기 영상과 상기 전경영상에 나타난 특징점을 결정하고, 결정된 특징점을 추출하는 특징점 결정부; 상기 특징점 결정부를 통하여 추출된 특징점을 이용하여 영상에 나타난 객체의 상황을 기 분류된 상황 중 어느 하나로 선택하는 상황 선택부; 상기 객체의 상태가 오크루젼으로 선택될 경우 기 저장된 객체 모델과 오크루젼이 발생한 상기 영상에서 추출한 특징점을 비교하여 상기 객체를 분리하고 상기 객체의 움직임을 결정하는 객체 결정부; 및 상기 객체 결정부를 통하여 결정된 상기 객체의 움직임을 업데이트하고, 상기 객체의 움직임을 예측한 후 예측된 객체의 움직임을 추적 인폼(Inform)을 통해 상기 상황 선택부로 전달하는 객체 추적부를 포함하는 다중 객체 추적 시스템이 제공될 수 있다.According to an aspect of the present invention, there is provided a method of generating a background image by updating a background model when a video is input, generating a new background image from the image, and obtaining a foreground image from which the background is removed through a difference operation between the image and the background image Background removal; A feature point determining unit for determining a feature point represented by the image and the foreground image with reference to a feature tree, and extracting the determined feature point; A situation selector for selecting a situation of the object displayed in the image using one of the pre-classified situations using the extracted feature points through the feature point determining unit; An object determining unit for determining a motion of the object by comparing the pre-stored object model and the minutiae extracted from the image generated by the occlusion to separate the object and determining the motion of the object when the state of the object is selected as the occlusion; And an object tracking unit for updating the motion of the object determined through the object deciding unit and for predicting the motion of the object and transmitting the motion of the predicted object to the situation selecting unit via a tracking information form (Inform) System can be provided.

더욱 상세히, 상기 배경제거부는 기대치 최대화(Expectation Maximization) 알고리즘을 사용하여 갱신되는 가우시안 혼합 모델(Gaussian Mixture Model)을 이용하여 차연산을 수행하여 전경영상을 획득하는 것을 특징으로 한다.In more detail, the background removal unit performs a difference operation using a Gaussian mixture model updated using an Expectation Maximization algorithm to acquire a foreground image.

또한, 상기 특징 트리는 복수의 특징들을 연산 시간을 기반으로 연산비용에 따라 복수의 단계로 분류하여 저장하는 것을 특징으로 한다.The feature tree is characterized in that a plurality of features are classified and stored in a plurality of stages according to the calculation cost based on the operation time.

더더욱 상세히, 상기 특징 트리는 물리적인 거리, 또는 색상의 히스토그램을 포함하는 저비용 특징, 기울기 정보, 또는 텍스쳐를 포함하는 중간 비용 특징, 코너, 또는 블랍을 포함하는 고비용 특징으로 단계화되는 것을 특징으로 한다.More particularly, the feature tree is characterized in that it is stepped into a high cost feature comprising a medium distance feature, a corner, or a blob, including a physical distance, or a low cost feature including a color histogram, slope information, or texture.

또한, 상기 상황 선택부는 우선 저비용의 특징점을 이용하여 상황을 선택한 후 추가적인 연산이 필요한 경우 단계적으로 점차 고비용의 특징점을 이용하여 상황을 선택하는 것을 특징으로 한다.In addition, the situation selector selects a situation using a low-cost feature point, and then selects a situation using gradually higher cost feature points in a stepwise manner when an additional operation is required.

한편, 상기 기 분류된 상황이란 객체의 사라짐, 새로운 객체, 정상적인 추적, 오크루젼, 객체의 분리, 지연된 결정으로 분류되는 것을 특징으로 한다.Meanwhile, the pre-classified situation is classified into a disappearance of an object, a new object, a normal tracking, an occlusion, an object separation, and a delayed determination.

더욱 상세히, 하나의 추적 정보와 정합되는 블랍이 없는 경우 상기 사라짐, 하나의 블랍과 정합되는 추적 정보가 없는 경우 상기 새로운 객체, 하나의 추적 정보와 하나의 블랍이 정합되는 경우 상기 정상적인 추적, 두 개의 블랍이 하나의 추적 정보와 정합되는 경우 상기 오크루젼, 하나의 블랍에 두 개의 추적 정보가 정합되는 경우 상기 객체의 분리, 두 개 이상의 추적 정보와 두 개 이상의 블랍이 정합되는 경우 상기 지연된 결정으로 판단되는 것을 특징으로 한다.More specifically, if there is no blob matching the one tracking information, the disappearing, the new object if there is no tracking information matched to one blob, the normal tracking if one blob matches the one, If the blob is matched with one tracking information, the ocursion, the separation of the object if two tracking information is matched to one blob, the two or more tracking information, and the delayed decision if two or more blobs are matched .

또한, 객체의 상황 분류에 허용된 모든 시간 또는 특징을 사용하고도 상기 상황의 신뢰도가 소정 임계치(Threshold)를 넘지 않는 경우 연결정(Soft Decision)을 적용하여 지연된 결정으로 분류하는 것을 특징으로 한다.In addition, when the reliability of the situation does not exceed a predetermined threshold even though all the time or features allowed for the classification of the situation of the object are used, it is classified into a delayed decision by applying a soft decision.

또한 본 발명에 의하면, 배경제거부에서 영상이 입력되면 배경 모델을 갱신하여, 상기 영상으로부터 새로운 배경 영상을 생성하고, 상기 영상과 상기 배경 영상의 차연산을 통해 배경을 제거한 전경영상을 획득하는 단계; 특징점 결정부에서 특징 트리를 참조하여 상기 영상과 상기 전경영상에 나타난 특징점을 결정하고, 결정된 특징점을 추출하는 단계; 상황 선택부에서 상기 특징점 결정부를 통하여 추출된 특징점을 이용하여 영상에 나타난 객체의 상황을 기 분류된 상황 중 어느 하나로 선택하는 단계; 객체 결정부에서 상기 객체의 상태가 오크루젼으로 선택될 경우 기 저장된 객체 모델과 오크루젼이 발생한 상기 영상에서 추출한 특징점을 비교하여 상기 객체를 분리하고 상기 객체의 움직임을 결정하는 단계; 및 객체 추적부에서 상기 객체 결정부를 통하여 결정된 상기 객체의 움직임을 업데이트하고, 상기 객체의 움직임을 예측한 후 예측된 객체의 움직임을 추적 인폼(Inform)을 통해 상기 상황 선택부로 전달하는 단계를 포함하는 다중 객체 추적 방법이 제공될 수 있다.According to another aspect of the present invention, there is provided a method of generating a background image, the method comprising: generating a background image from the image by updating a background model when an image is input in the background removal unit; ; Determining a feature point indicated in the image and the foreground image by referring to the feature tree in the feature point determination unit, and extracting the determined feature point; Selecting a situation of the object displayed in the image using one of the pre-classified situations using the feature points extracted through the feature point determining unit in the situation selecting unit; Comparing a pre-stored object model with a feature point extracted from the image in which the ocurrence occurred, separating the object and determining the motion of the object when the state of the object is selected as the occlusion; And a step of updating the motion of the object determined by the object determining unit in the object tracking unit and transmitting the motion of the predicted object to the situation selecting unit via a tracking form after informing the motion of the object, A multi-object tracking method can be provided.

더욱 상세히, 상기 특징 트리는 복수의 특징들을 연산 시간을 기반으로 연산비용에 따라 복수의 단계로 분류하여 저장하는 것을 특징으로 한다.More specifically, the feature tree is characterized in that a plurality of features are classified and stored in a plurality of stages according to operation costs based on operation time.

더더욱 상세히, 상기 상황 선택부는 우선 저비용의 특징점을 이용하여 상황을 선택한 후 추가적인 연산이 필요한 경우 단계적으로 점차 고비용의 특징점을 이용하여 상황을 선택하는 것을 특징으로 한다.More particularly, the situation selector selects a situation using a low-cost feature point, and then selects a situation by gradually using the feature points that are costly, when an additional operation is required.

또한, 상기 기 분류된 상황이란 객체의 사라짐, 새로운 객체, 정상적인 추적, 오크루젼, 객체의 분리, 지연된 결정으로 분류되는 것을 특징으로 한다.In addition, the pre-classified situation is classified into a disappearance of an object, a new object, normal tracking, ocursion, separation of objects, and delayed determination.

또한, 본 발명에 의하면, 위 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체가 제공될 수 있다.Further, according to the present invention, a computer readable recording medium on which a computer program for executing the above method is recorded can be provided.

본 발명은 객체를 추적함에 있어서 주어진 시간 동안 최대한의 정확도를 향상시킬 수 있는 특징을 소요되는 비용에 따라 체계화한 특징 트리에서 선택하여 사용함으로서 객체의 실시간 추적이 가능해질 수 있다.The present invention enables real-time tracking of an object by selecting a feature that can improve the maximum accuracy during a given time in a feature tree that is structured according to a required cost.

또한 본 발명은 객체 식별 결정이 애매한 경우를 대비해 결정이 지연된 식별 결정 상황을 추가하여 현재 프레임에서 객체의 식별이 애매한 경우에 즉시 결정하지 않고 다음 프레임의 정보를 이용하여 객체 식별을 결정할 수 있도록 하여 잘못된 식별 결정으로 인한 추적의 실패 확률을 낮출 수 있게 된다.In addition, the present invention adds an identification determination situation in which a determination is delayed in preparation for a case where an object identification decision is ambiguous, so that the object identification can be determined using the information of the next frame without determining immediately when the object identification is ambiguous in the current frame, It is possible to lower the probability of failure of the tracking due to the identification determination.

도 1은 본 발명의 바람직한 일 실시예에 따른 다중 객체 추적 시스템을 도시한 도면이다.
도 2는 본 발명의 바람직한 일 실시예에 따른 실제 데이터와 가우시안의 개수에 따른 정합을 보여는 도면이다.
도 3은 본 발명의 바람직한 일 실시예에 따른 영상의 배경제거에 가장 많이 사용되는 GMM 알고리즘과 OpenCV 에서 제공하는 FGD(ForeGround Detection) 배경제거 알고리즘을 실제 영상에 적용하여 전경의 객체를 검출한 영상을 나타낸 도면이다.
도 4는 본 발명의 바람직한 일 실시예에 따른 특징점의 종류를 구분하여 설명한 도면이다.
도 5는 본 발명의 바람직한 일 실시예에 따른 색상(Hue) 정보 히스토그램의 평가 결과를 나타낸 도면이다.
도 6은 본 발명의 바람직한 일 실시예에 따른 텍스쳐 기반의 특징 중의 하나인 LBP를 이용하는 경우 상관관계를 나타낸 도면이다.
도 7은 본 발명의 바람직한 일 실시예에 따른 템플릿 정합을 이용한 경우의 상관관계를 나타낸 도면이다.
도 8은 본 발명의 바람직한 일 실시예에 따른 코너 특징점 기반의 특징인 FAST의 실험결과를 나타낸 도면이다.
도 9는 본 발명의 바람직한 일 실시예에 따른 실질적인 알고리즘의 구성을 도시한 도면이다.
도 10 본 발명의 바람직한 일 실시예에 따른 새로운 객체 추가를 예시한 도면이다.
도 11은 본 발명의 바람직한 일 실시예에 따른 객체의 사라짐을 예시한 도면이다.
도 12는 본 발명의 바람직한 일 실시예에 따른 객체의 정상적인 추적을 예시한 도면이다.
도 13은 본 발명의 바람직한 일 실시예에 따른 객체의 오크루젼을 예시한 도면이다.
도 14는 본 발명의 바람직한 일 실시예에 따른 오크루젼된 객체의 분리를 예시한 도면이다.
도 15는 본 발명의 바람직한 일 실시예에 따른 객체의 식별 결정이 지연된 상황을 예시한 도면이다.
도 16은 본 발명의 바람직한 일 실시예에 따른 3차원으로 구성된 정합 행렬의 예시를 도시한 도면이다.
도 17은 본 발명의 바람직한 일 실시예에 따른 현재 상황 결정 행렬을 도시한 도면이다.
도 18은 본 발명의 바람직한 일 실시예에 따른 객체 식별 결정 알고리즘이 동작하여 지연된 객체 식별 결정을 상황에서의 프레임별 알고리즘의 흐름을 도시한 도면이다.
도 19는 본 발명의 바람직한 일 실시예에 따른 다중 객체 추적 알고리즘을 실험한 MOTA 결과를 나타낸 도면이다.
도 20은 본 발명의 바람직한 일 실시예에 따른 다중 객체 추적 알고리즘의 MOTP 결과를 나타낸 도면이다.
도 21은 M.D. Breitenstein, Alex Leykin, P.K. Sharma, J. Yang, J. Berclaz의 연구 결과를 보여주는 도면이다.
도 22는 본 발명의 바람직한 일 실시예에 따른 다중 객체 추적에 필요한 시간을 나타낸 도면이다.
도 23은 본 발명의 바람직한 일 실시예에 따른 하나의 프레임에서 객체를 추적하는데 걸리는 시간을 기록한 도면이다.
도 24는 본 발명의 일 실시예에 따른 현재 상황의 MOTA와 MOTP 값을 나타낸 도면이다.
도 25는 본 발명의 바람직한 일 실시예에 따른 프레임율에 따른 MOTA와 MOTP 값을 나타낸 도면이다.1 is a diagram illustrating a multi-object tracking system according to a preferred embodiment of the present invention.
FIG. 2 is a diagram showing matching according to actual data and the number of Gaussian according to a preferred embodiment of the present invention.
FIG. 3 is a flowchart illustrating a method of detecting an object in a foreground by applying a GMM algorithm, which is most frequently used for image background removal according to an exemplary embodiment of the present invention, and an FGD (ForeGround Detection) background removal algorithm provided by OpenCV, Fig.
FIG. 4 is a diagram illustrating types of minutiae according to a preferred embodiment of the present invention.
5 is a diagram showing the evaluation result of a hue information histogram according to a preferred embodiment of the present invention.
FIG. 6 is a diagram illustrating a correlation when using LBP, which is one of the texture-based features of the preferred embodiment of the present invention.
FIG. 7 is a diagram showing a correlation when template matching according to a preferred embodiment of the present invention is used.
FIG. 8 is a diagram illustrating experimental results of FAST, which is a feature based on a corner feature point, in accordance with a preferred embodiment of the present invention.
FIG. 9 is a diagram showing a configuration of a practical algorithm according to a preferred embodiment of the present invention.
10 is a diagram illustrating a new object addition according to a preferred embodiment of the present invention.
11 is a diagram illustrating disappearance of an object according to an exemplary embodiment of the present invention.
12 is a diagram illustrating normal tracking of an object according to an exemplary embodiment of the present invention.
13 is a diagram illustrating ocurrence of an object according to an exemplary embodiment of the present invention.
FIG. 14 is a diagram illustrating separation of an occluded object according to a preferred embodiment of the present invention.
FIG. 15 is a diagram illustrating a situation in which an object identification determination is delayed according to a preferred embodiment of the present invention.
16 is a diagram illustrating an example of a matrix composed of three dimensions according to a preferred embodiment of the present invention.
17 is a diagram illustrating a current situation determination matrix according to a preferred embodiment of the present invention.
FIG. 18 is a diagram illustrating a flow of a frame-by-frame algorithm in a situation where an object identification determination algorithm according to a preferred embodiment of the present invention operates to determine a delayed object identification.
FIG. 19 is a diagram illustrating an MOTA result of an experiment of a multi-object tracking algorithm according to a preferred embodiment of the present invention.
20 is a diagram illustrating MOTP results of a multi-object tracking algorithm according to a preferred embodiment of the present invention.
FIG. 21 is a drawing showing the results of MD Breitenstein, Alex Leykin, PK Sharma, J. Yang, and J. Berclaz.
FIG. 22 is a diagram illustrating time required for multi-object tracking according to a preferred embodiment of the present invention.
FIG. 23 is a diagram illustrating a time taken to track an object in one frame according to an exemplary embodiment of the present invention.
FIG. 24 is a diagram illustrating MOTA and MOTP values in the current situation according to an embodiment of the present invention.
25 is a diagram showing MOTA and MOTP values according to a frame rate according to a preferred embodiment of the present invention.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.The following detailed description of the invention refers to the accompanying drawings, which illustrate, by way of illustration, specific embodiments in which the invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the invention. It should be understood that the various embodiments of the present invention are different, but need not be mutually exclusive. For example, certain features, structures, and characteristics described herein may be implemented in other embodiments without departing from the spirit and scope of the invention in connection with an embodiment. It is also to be understood that the position or arrangement of the individual components within each disclosed embodiment may be varied without departing from the spirit and scope of the invention. The following detailed description is, therefore, not to be taken in a limiting sense, and the scope of the present invention is to be limited only by the appended claims, along with the full scope of equivalents to which such claims are entitled, if properly explained. In the drawings, like reference numerals refer to the same or similar functions throughout the several views.

이하에서는, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings, so that those skilled in the art can easily carry out the present invention.

전체 시스템 구조Overall system structure

도 1은 본 발명의 바람직한 일 실시예에 따른 다중 객체 추적 시스템을 도시한 도면이다.1 is a diagram illustrating a multi-object tracking system according to a preferred embodiment of the present invention.

도 1을 참조하면, 본 발명의 다중 객체 추적 시스템은 배경제거부(100), 특징점 결정부(200), 상황 선택부(300), 객체 결정부(400) 및 객체 추적부(500)를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 배경제거부(100), 특징점 결정부(200), 상황 선택부(300), 객체 결정부(400) 및 객체 추적부(500)는 그 중 적어도 일부가 상호 통신하는 프로그램 모듈들일 수 있다. 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 다중 객체 추적 시스템에 포함될 수 있으며, 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 또한, 이러한 프로그램 모듈들은 다중 객체 추적 시스템과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 한정되지는 않는다.1, the multi-object tracking system of the present invention includes a background removal unit 100, a minutia determination unit 200, a status selection unit 300, an object determination unit 400, and an object tracking unit 500 can do. According to an embodiment of the present invention, the background removal unit 100, the minutia determination unit 200, the status selection unit 300, the object determination unit 400, Program modules that communicate with each other. These program modules may be included in a multi-object tracking system in the form of an operating system, application program modules, and other program modules, and may be physically stored on a variety of known memory devices. Such program modules may also be stored in a remote storage device capable of communicating with a multi-object tracking system. These program modules include, but are not limited to, routines, subroutines, programs, objects, components, data structures, etc. that perform particular tasks or implement particular abstract data types as described below in accordance with the present invention.

상기 배경제거부(100)는 배경 모델(110)을 이용하여 배경을 제거한다. 보다 상세히, 초기에 입력된 영상을 이용하여 배경 모델을 생성하고, 초기 배경 모델을 생성 후에 새로운 영상이 입력되면 배경 모델을 갱신하여, 새롭게 입력된 영상에서 사용할 새로운 배경 영상을 생성한다. 다음으로 배경 모델을 통하여 상기 배경 영상과 새롭게 입력된 영상과의 차연산을 통해 배경을 제거하게 된다. 이와 같이 배경을 제거하여 전경 영상을 획득하게 된다. 객체의 블랍 검출을 위해 본 발명에 따른 다중 객체 추적 시스템은 배경제거 알고리즘을 사용한다. 배경제거 방법은 다른 객체 검출 방법에 비해 방법이 단순하고 연산량이 적은 장점이 있다.The background removal unit 100 removes the background using the background model 110. [ More specifically, a background model is generated using an initially input image, a background model is updated when a new image is input after generating an initial background model, and a new background image to be used in a newly input image is generated. Next, the background is removed through a difference operation between the background image and the newly input image through the background model. Thus, the foreground image is obtained by removing the background. A multi-object tracking system according to the present invention uses a background removal algorithm for blob detection of objects. The background removal method has advantages of simpler method and less computation amount than other object detection methods.

상기 특징점 결정부(200)는 상기 배경제거부(100)를 통하여 획득된 전경 영상에 있어 특징점을 추출하여 결정한다. 보다 상세히, 특징 트리(210)를 참조하여 상기 입력된 영상과 상기 전경 영상에 나타난 특징점을 결정하고, 결정된 특징점을 추출하게 된다.The minutia determination unit 200 extracts minutiae from the foreground image obtained through the background removal unit 100 and determines the extracted minutiae. In more detail, the input image and the feature points appearing in the foreground image are determined by referring to the feature tree 210, and the determined feature points are extracted.

상기 상황 선택부(300)는 상기 특징점 결정부(200)를 통하여 추출된 특징점을 이용하여 영상에 나타난 객체의 상황을 6가지 경우로 분류된 상황 중 어느 하나로 선택하게 된다. 상기 6가지 경우란 객체의 사라짐, 새로운 객체, 정상적인 추적, 오크루젼, 객체의 분리, 지연된 결정일 수 있다.The situation selector 300 selects the situation of the object displayed in the image using one of the six classified situations using the extracted minutiae through the minutia determination unit 200. [ The six cases can be the disappearance of an object, a new object, normal tracking, occlusion, separation of objects, delayed decision.

한편 상기 객체 결정부(400)는 상기 6가지 경우 중 객체의 상태가 오크루젼, 객체의 분리, 지연된 결정 중 어느 하나로 선택될 경우 객체 모델(410)을 참조하여 상기 객체의 움직임을 결정한다.Meanwhile, the object determining unit 400 determines the motion of the object by referring to the object model 410 when the state of the object among the six cases is selected as the object of ocursion, separation of object, or delayed determination.

상기 객체 추적부(500)는 상기 객체 결정부(400)를 통하여 결정된 객체의 움직임을 업데이트 하고, 객체의 움직임을 예측한다. 예측된 객체의 움직임은 추적 인폼(Inform)(510)을 통해 상기 상황 선택부(300)로 전달된다. 상기 결정된 객체들의 다음 영상에서의 위치정보를 예측하기 위해 칼만 필터나 파티클 필터 같은 추적 알고리즘을 사용할 수 있다.The object tracking unit 500 updates the motion of the object determined through the object determining unit 400 and predicts the motion of the object. The predicted motion of the object is transmitted to the situation selector 300 through a tracking form (Inform) 510. A tracking algorithm such as a Kalman filter or a particle filter may be used to predict position information on the next image of the determined objects.

이와 같은 본 발명은 실시간 처리와 추적의 정확도 향상에 초점을 맞춘 새로운 객체 추적 시스템을 제공할 수 있다. 본 발명에서 제안하는 시스템은 크게 3 가지의 특징을 가지고 있다. The present invention can provide a new object tracking system focusing on improving the accuracy of real-time processing and tracking. The system proposed in the present invention has three characteristics.

첫 번째로 실시간 추적 시스템을 지원하고 추적의 정확도를 높이기 위해 특징 트리(Feature Tree)를 구성하여 사용한다. 다양한 특징들을 특성과 연산 시간을 기반으로 분류하여 특징 트리를 생성한 후에, 사용 가능한 특징을 선택하여 연산을 수행하여 객체의 식별 정보를 갱신한다. 하드웨어의 성능에 따라 실시간으로 처리가 가능하도록 설계되었기 때문에 임베디드 시스템과 같이 하드웨어 성능이 제한된 곳에서도 시스템의 큰 변경 없이 적용이 가능하다. 하드웨어의 성능이 떨어지는 경우 객체 추적의 정확도는 낮아질 수 있으나, 주어진 시간을 초과하여 시스템 전체에 영향을 미치는 경우는 발생하지 않는다. First, a feature tree is constructed and used to support the real-time tracking system and increase the accuracy of tracking. After generating the feature tree by classifying the various features based on the characteristics and the computation time, the feature is selected and the computation is performed to update the identification information of the object. Because it is designed to be able to process in real time according to the performance of hardware, it can be applied without major changes in system where hardware performance is limited like embedded system. If the hardware performance is degraded, the accuracy of object tracking may be lowered, but it does not occur if it does not affect the entire system beyond a given time.

두 번째로 저비용 특징들을 이용하여 현재 상황을 결정하는 방법을 제공한다. M.Azari는 블랍과 칼만 필터의 예측 위치를 정합하여 얻어진 결과로 5가지의 현재 상황을 제안하였다. 그러나 본 발명에서는 객체 식별 결정이 애매한 경우를 위해 결정이 지연된 식별 결정 상황(Delayed Decision)을 추가하여 잘못된 식별 결정이 일어나 추적이 실패할 확률을 낮출 수 있다. 또한 상황을 좀 더 세분화하기 위해 추적의 종류를 단일 객체 추적과 다중 객체 추적으로 분류하여 처리한다. 결과적으로 본 발명에서는 결정이 지연된 상황을 포함하여 6개의 상황으로 분류하며, 추적의 종류에 따라 현재 상황을 세분화할 수 있다. 객체 추적 중에 객체 식별 정보가 애매한 경우 지연된 결정 상황으로 분류하여 정확하게 객체의 식별이 결정되도록 진행하여 추적의 실패를 방지하게 된다.Second, we provide a method to determine the current situation using low-cost features. M.Azari proposed five current situations as a result of matching the predicted positions of blob and Kalman filter. However, in the present invention, a delayed decision (Delayed Decision) may be added to the case where the object identification decision is ambiguous, so that the probability of the false decision due to the false decision can be reduced. To further refine the situation, we classify the types of tracking into single object tracking and multiple object tracking. As a result, according to the present invention, the situation is classified into six situations including a delayed state, and the current situation can be subdivided according to the type of the tracing. If the object identification information is ambiguous during object tracking, it is classified into a delayed decision state, so that identification of the object is accurately determined, thereby preventing the tracking failure.

마지막으로 추적의 정확도를 높이기 위해 객체의 오크루젼을 해결하는 경우 발생하는 애매함을 해결하기 위한 새로운 알고리즘을 제공한다. 상황이 결정되면 각각의 상황에 따라 객체의 추적 정보를 갱신하기 위해 추적하는 객체의 식별을 결정해야 한다. 객체 식별 결정 중에 객체의 식별 결정이 애매한 경우가 발생할 수 있고 이는 두 가지 경우로 나누어 생각할 수 있다. 현재 프레임에서 주어진 객체 정보가 부족한 경우와, 객체 정보를 연산할 시간이 부족한 경우이다.Finally, we provide a new algorithm to solve ambiguity in solving the occlusion of an object in order to increase the accuracy of the tracking. Once the situation is determined, it is necessary to determine the identity of the tracking object in order to update the tracking information of the object according to each situation. There may be a case where the object identification decision is ambiguous during the object identification decision, which can be divided into two cases. The case where the object information given in the current frame is insufficient and the time to calculate the object information is insufficient.

본 발명에서는 특징 트리를 이용하여 주어진 시간동안 다양한 특징들을 선택하여 객체 식별 정보로 활용하기 위해 신뢰도 기반의 객체 식별 결정 방법을 사용한다. 객체 식별 결정이 애매한 경우 특징 트리의 고비용 특징들을 이용하여 신뢰도 수준을 갱신하며, 신뢰도가 일정한 임계치(Threshold)를 달성하면 그 객체의 식별 결정을 완료하게 된다. In the present invention, a reliability-based object identification decision method is used to select various features and utilize them as object identification information for a given time using a feature tree. When the object identification decision is ambiguous, the reliability level is updated using the high cost features of the feature tree, and when the reliability reaches a certain threshold value, the determination of the object is completed.

그러나 영상 감시 시스템에서 추적 연산을 위해 주어진 시간은 한정되어 있다. 추적의 정확도를 향상하기 위해서 무조건 많은 정보를 획득하여 사용하면 늘어난 연산시간으로 인하여 실시간으로 객체 추적이 불가능하게 된다. 본 발명에 따른 추적 방법에서는 특징 트리에서 특징을 선택하는 경우 객체의 수, 특징들의 특성, 현재 신뢰도 수준을 참고하여 현재 주어진 시간 동안 최대한의 정확도를 향상시킬 수 있는 실시간 객체 추적 시스템을 사용한다.However, in video surveillance systems, the time allowed for tracking operations is limited. In order to improve the tracking accuracy, it is impossible to track the object in real time due to the increased computation time when unconditionally acquiring a lot of information. In the tracking method according to the present invention, when selecting a feature in the feature tree, a real-time object tracking system that can improve the maximum accuracy during a given time is used by referring to the number of objects, characteristics of characteristics, and current reliability level.

또한 현재 프레임에서 사용할 수 있는 모든 시간과 특징을 사용하고도 객체 식별이 애매한 경우에 객체 식별 결정을 할 수 있는 방법이 필요하다. 기존의 방법들은 객체의 식별 결정을 현재의 프레임에서 경결정(Hard Decision)하였으나 제안하는 방법에서는 연결정(Soft Decision)을 적용하여 현재 프레임에서 객체의 식별이 애매한 경우에 즉시 결정하지 않고 다음 프레임의 정보를 이용하여 객체 식별을 결정할 수 있도록 한다. 이런 방법은 잘못된 객체식별의 결정으로 인해 추적이 실패하는 경우를 방지하여 결과적으로 객체 추적의 정확도를 높이게 된다. Also, there is a need for a method that can make the object identification decision when all the time and features available in the current frame are used and the object identification is ambiguous. In the conventional method, the decision of object identification is hard decision in the current frame. However, in the proposed method, when the object identification is ambiguous in the current frame by applying the soft decision, Information can be used to determine object identification. This method prevents the case where the tracking is failed due to the determination of the wrong object identification, and consequently increases the accuracy of the object tracking.

이하에서는 도면을 참조로 하여 본 발명에 따른 다중 객체 시스템에 사용되는 배경제거 알고리즘, 객체 추적 알고리즘, 특징의 종류 분석, 신뢰도 갱신 방법에 대해 보다 상세히 설명하도록 하겠다.
Hereinafter, the background removal algorithm, the object tracking algorithm, the type analysis of features, and the reliability updating method used in the multi-object system according to the present invention will be described in detail with reference to the drawings.

배경제거 알고리즘Background removal algorithm

감시 영상에서 움직이는 객체를 추적하기 위해서는 먼저 객체의 움직임을 감지하여 객체를 검출해야 한다. 객체를 검출하는 방법으로는 포인트 검출기(Point Detectors)를 이용한 방법, 분할(Segmentation)을 이용한 방법, 배경제거 (Background Subtraction)를 이용한 방법, 학습 분류기(Supervised Classifiers)를 이용한 방법이 있다. 이 중에서 배경제거 방법은 움직이는 객체의 감지와 검출이 동시에 가능하고 상대적으로 연산량이 적기 때문에 많은 객체 추적 알고리즘에서 객체 검출을 위한 방법으로 사용하고 있다. 배경제거 방법은 순차적으로 입력받은 영상에서 배경을 제거하여 전경의 객체를 검출하는 방법으로 아래 수학식 1과 같이 표현될 수 있다.In order to track moving objects in the surveillance image, the object must first be detected by detecting the movement of the object. Methods for detecting objects include point detector methods, segmentation methods, background subtraction methods, and supervised classifiers. Among them, the background removal method is used as a method for object detection in many object tracking algorithms because it can simultaneously detect and detect moving objects and has a relatively small amount of computation. The background removal method is a method of sequentially detecting a foreground object by removing a background from an input image, and can be expressed as Equation 1 below.

상기 수학식 1에서

는 입력 영상의 현재 프레임 번호를 나타내며

는 연산된 화소가 전경인지 배경인지를 결정하기 위한 문턱값(Threshold)이다. 화소별 연산 결과가 문턱값보다 크면 전경으로 결정되고 아니면 배경으로 결정된다.In Equation (1)

Represents the current frame number of the input image

Is a threshold value for determining whether the computed pixel is the foreground or background. If the pixel-by-pixel operation result is larger than the threshold value, it is determined as foreground or as background.

그러나 배경 영상은 시간에 따라 일정하지 않고 주위 환경에 따라 변할 수 있다. 배경 영상에 영향을 주는 변화는 조명의 변화, 움직임의 변화, 기하학 변화로 구분할 수 있다. However, the background image may not be constant with time but may change depending on the surrounding environment. The changes affecting the background image can be classified into illumination change, movement change, and geometry change.

첫 번째로 조명의 변화는 고정된 카메라 환경에서 장시간 배경을 촬영하면 해가 뜨고 짐에 따라 조명이 서서히 변하는 점진적인 조명의 변화와 구름이나 비행체가 해를 가리거나 자동차의 전조등 등에 의해 조명이 급격하게 변하는 갑작스런 조명의 변화가 있다. 두 번째로 움직임의 변화는 고정된 카메라가 바람이나 지진에 의해 순간적으로 흔들리거나 바람에 의해 흔들리는 나뭇가지와 바다의 파도와 같이 배경이 지속적으로 반복적인 움직임을 보이는 배경 객체가 있는 경우에 발생한다. 마지막으로 기하학적 변화는 배경에 속해 있던 객체가 사라지거나 새로 나타난 객체가 오랜 시간 동안 움직이지 않아 배경에 포함되어 배경이 변경되는 경우이다. Firstly, the change of illumination is caused by the gradual change of illumination where the illumination gradually changes as the sun goes down and when the background is photographed for a long time in the fixed camera environment, and when the cloud or the flying object hits the sun or the light of the car suddenly changes Sudden changes in lighting. Second, movement changes occur when a fixed camera is momentarily shaken by wind or earthquake, or when there is a background object with continuous and repetitive movement of the background, such as twigs and ocean waves that are shaken by the wind. Finally, a geometric change occurs when an object that belongs to a background disappears, or when a newly created object does not move for a long time and is included in the background to change the background.

배경제거 방법을 사용하여 영상에서 객체를 검출하는 경우 배경 영상을 정확하게 생성해야 객체 검출도 정확하게 검출 할 수 있다.따라서 배경 영상을 생성할 때 위와 같은 변화들을 고려하여 배경 변화에 적응할 수 있는 배경 모델링 방법이 필요하다. In this paper, we propose a background modeling method that can adapt to background changes by considering the above changes when generating background image. Is required.

배경제거 알고리즘의 가장 기본적인 방법은 아래 수학식 2에 나타난 바와 같이 이전 프레임을 배경 영상으로 계산하는 영상 차분(Frame difference) 방법이다. 이 방법은 작은 변화에도 민감하게 작용하기 때문에 객체의 움직이는 속도와 영상의 프레임율이 특정한 환경인 경우에서만 사용할 수 있으며, 문턱값에 따라 결과가 상이한 단점을 가지고 있다.The most basic method of the background removal algorithm is a frame difference method in which a previous frame is calculated as a background image as shown in Equation (2) below. Since this method is sensitive to small changes, it can be used only when the moving speed of the object and the frame rate of the image are in a specific environment, and the result is different according to the threshold value.

이런 단점을 극복하기 위해 이전의 n개의 프레임의 평균 또는 중간값을 배경 영상으로 사용하는 방법이 제안되었다. 이러한 방법들은 처리 속도가 상당히 빠른 편이지만 n개의 프레임을 저장할 수 있는 많은 양의 메모리가 필요하게 된다. 따라서 메모리의 낭비를 막기 위해 배경 모델을 사용하는 방법이 일반적으로 사용되고 있다. In order to overcome this drawback, a method of using the average or median value of the previous n frames as a background image has been proposed. Although these methods are fairly fast, they require a large amount of memory to store n frames. Therefore, a method of using a background model is generally used to prevent waste of memory.

종래 알려진 배경 모델을 이용하는 배경제거 방법에는 이동 평균, 선택적 이동 평균, 가우시안 혼합 모델, 시간적 중간값 필터, KDE(Kernel Density Estimation), Eigen background, SKDA(Sequential Kernel Density Approximation), Mean Shift 알고리즘 등을 예로 들 수 있으며, 이와 같은 배경제거 알고리즘을 비교한 결과 가우시안 혼합 모델 알고리즘이 상대적으로 속도가 빠르면서 정확도도 높고 적은 양의 메모리를 요구하는 것을 알 수 있다. 실질적으로 가우시안 혼합 모델을 이용하는 배경 제거 방법은 영상처리 분야에서 보편적으로 사용되고 있는 기술이며 본 발명에서 제공하는 객체 추적 시스템에서도 객체 검출을 위해 사용하였다.Background removal methods using a known background model include moving average, selective moving average, Gaussian mixture model, temporal median filter, Kernel Density Estimation (KDE), Eigen background, Sequential Kernel Density Approximation (SKDA) As a result of comparing these background removal algorithms, it can be seen that the Gaussian mixture model algorithm requires relatively high speed, high accuracy and small amount of memory. The background removal method using the Gaussian mixture model is a technique that is commonly used in the image processing field and is also used for object detection in the object tracking system provided by the present invention.

앞서 언급한 가우시안 이동 평균 알고리즘은 배경 모델에 하나의 가우시안 분포를 사용하기 때문에 복잡한 배경에 적용할 수 없는 단점을 가졌다. 이런 단점을 해결하기 위해

개의 가우시안을 혼합해서 사용하는 아래 수학식 3과 같은 가우시안 혼합 모델(GMM, Gaussian Mixture Model) 방법이 개발되었다.The Gaussian moving average algorithm mentioned above has a disadvantage that it can not be applied to complex background because it uses one Gaussian distribution in the background model. To solve these shortcomings

A Gaussian Mixture Model (GMM) method as shown in Equation (3) below is developed.

이 방법은 다양한 배경 분포를 사용할 수 있지만, 사용할 가우시안의 개수를 미리 정의해야하며(일반적으로 2~5개의 가우시안 분포를 사용) 가우시안의 초기화 방법과 갱신 방법을 결정해야 한다. GMM은 매 프레임마다

_i를 갱신하거나 표준화해야 한다.

와

는 이동 평균 알고리즘을 사용하여 갱신된다. This method can use a variety of background distributions, but you must predefine the number of Gaussian you want to use (typically 2 to 5 Gaussian distributions) and decide how to initialize and update Gaussian. Each GMM frame

_i should be updated or standardized.

Wow

Is updated using a moving average algorithm.

그러나 최근에 개발된 GMM 알고리즘은 이동 평균 알고리즘을 대신하여 기대치 최대화(Expectation Maximization, EM) 알고리즘을 사용하여 갱신한다. EM 알고리즘은 보이지 않은 잠재 변수에 의존하는 확률모델에서 특징들의 최대우도 (Maximum Likelihood) 추정치를 찾는 알고리즘이다. 도 2는 본 발명의 바람직한 일 실시예에 따른 실제 데이터와 가우시안의 개수에 따른 정합을 보여는 도면이다.However, recently developed GMM algorithm is updated by using Expectation Maximization (EM) algorithm instead of moving average algorithm. The EM algorithm is an algorithm to find maximum likelihood estimates of features in probabilistic models that depend on invisible latent variables. FIG. 2 is a diagram showing matching according to actual data and the number of Gaussian according to a preferred embodiment of the present invention.

한편, 도 3은 본 발명의 바람직한 일 실시예에 따른 영상의 배경제거에 가장 많이 사용되는 GMM 알고리즘과 OpenCV 에서 제공하는 FGD(ForeGround Detection) 배경제거 알고리즘을 실제 영상에 적용하여 전경의 객체를 검출한 영상을 나타낸 도면이다.FIG. 3 is a flowchart illustrating a method of detecting a foreground object by applying a GMM algorithm, which is most frequently used for image background removal according to an embodiment of the present invention, and an FGD (ForeGround Detection) background removal algorithm provided by OpenCV, Fig.

도 3을 참조하면, 검출된 객체에 모폴로지 연산을 적용하여 객체의 외형을 정리하였고, 객체를 블랍 형태로 구성하기 위해 Connect Component 방법을 적용하였다. (a)는 입력된 영상이며 순서대로 (b)와 (c)는 FGD와 GMM을 적용한 배경제거 결과이다. 실험 영상을 보면 GMM을 이용한 배경제거 알고리즘이 FGD 알고리즘을 이용한 방법보다 정확성 측면에서 성능이 더 뛰어나며 GMM을 이용한 경우가 더 자연스럽게 전경을 표현하는 것을 확인할 수 있다. 따라서 본 발명에서는 움직이는 객체를 감지하고 검출하기 위해서 GMM 알고리즘을 사용하여, 객체 검출 성능이 좋으면서도 다른 객체 검출 방법과 비교하여 연산 시간을 줄였다. Referring to FIG. 3, a morphology operation is applied to the detected object, and the appearance of the object is summarized. In order to construct the object in a blob form, the Connect Component method is applied. (a) is the input image, and (b) and (c) are background removal results using FGD and GMM in order. Experimental images show that the background removal algorithm using GMM is superior to the FGD algorithm in terms of accuracy, and GMM is a more natural representation of the foreground. Therefore, in the present invention, the GMM algorithm is used to detect and detect a moving object, thereby reducing the calculation time compared to other object detection methods with good object detection performance.

GMM 알고리즘을 이용하여 배경 영상을 만들고 입력된 영상에서 배경을 제거하면 현재 프레임에서 움직이는 객체들로 이루어진 전경을 얻을 수 있다. 이렇게 검출된 블랍은 고유의 번호를 가지게 되며 이전 프레임에 있던 객체의 번호와 정합하여 현재 상황을 결정하는 알고리즘에 사용한다.
If we create a background image using GMM algorithm and remove the background from the input image, we can get a panorama consisting of moving objects in the current frame. The detected blob has a unique number and is used in an algorithm that matches the number of the object in the previous frame and determines the current situation.

객체 추적 알고리즘Object tracking algorithm

지능형 감시 시스템의 성능을 향상하기 위해서는 기존의 객체 분류 및 객체 인식, 객체 추적 알고리즘의 성능 향상이 필요하다. 특히 지능형 영상 감시시스템은 객체 추적을 통해 객체의 움직임을 관찰하고 객체의 행동을 결정할 수 있기 때문에 정확하게 객체를 추적해야 한다. 감시 영상에서 객체를 추적하면 객체의 이벤트 기록, 피감시자의 행동 분석, 피감시자의 동선 분석 같은 응용을 사용할 수 있다. 반대로 객체 추적이 실패하면 이와 같은 응용에서 치명적인 오류를 일으킬 수 있다. 따라서 객체 추적에 대한 개발은 오래전부터 꾸준하게 이루어지고 있고, 그 성능은 날로 향상되고 있다. 영상에서 단일 객체를 추적하는 알고리즘은 다양하다. 단일 객체 추적 알고리즘들은 포인트 추적, 커널 추적, 실루엣 추적으로 분류될 수 있다. In order to improve the performance of the intelligent surveillance system, it is necessary to improve the performance of existing object classification, object recognition and object tracking algorithms. In particular, intelligent video surveillance systems must track objects precisely because they can observe the motion of the object through object tracking and determine the behavior of the object. Tracking an object in a surveillance image can be used to record the event of the object, analyze the behavior of the observer, and analyze the motion of the observer. Conversely, failure of object tracking can cause fatal errors in such applications. Therefore, object tracking has been developed for a long time, and its performance is improving day by day. There are various algorithms for tracking a single object in an image. Single object tracking algorithms can be classified as point tracking, kernel tracking, and silhouette tracking.

포인트 추적은 연속된 프레임에서 포인트로 표현되는 객체를 포인트 정합을 통하여 추적하는 방법이고, 커널 추적은 커널-객체의 모양, 형태, 외형(Appearance, 관련된 히스토그램을 가지고 있는 사각형 템플릿이나 타원모양) 연속된 프레임에서 커널의 움직임(변형, 회전, 어파인)을 계산함으로써 추적하는 방법이다. 마지막으로 실루엣 추적은 객체 영역(외형 밀도와 형태 모델)안에서 인코딩된 정보를 사용하는 방법으로 주어진 객체 모델이 있을 때 실루엣은 형태 정합이나 외곽선 진화에 의해 추적된다. Point tracking is a method of tracking objects represented by points in consecutive frames through point matching. Kernel tracking is a method of tracking kernel-object shapes, shapes, and contours (a square template or ellipse with an associated histogram) It is a method of tracking by calculating the movement (deformation, rotation, affine) of the kernel in a frame. Finally, silhouette tracking is a method of using encoded information in the object domain (contour density and morphology model). When there is a given object model, the silhouette is traced by shape matching or outline evolution.

최근에는 시스템의 하드웨어의 성능이 향상됨에 따라 알고리즘이 복잡하고 연산량이 많아지더라도 객체 추적의 정확도를 높일 수 있는 방향으로 새로운 알고리즘들이 많이 개발되고 있다. 객체 추적 알고리즘의 성능은 지속된 연구를 통하여 점차 향상되고 있지만 여전히 객체 추적 알고리즘에는 다음과 같은 몇 가지의 문제점들이 있다.Recently, as the hardware performance of the system has been improved, new algorithms have been developed in order to increase the accuracy of object tracking even though the algorithm is complicated and the computation amount increases. Although the performance of the object tracking algorithm has been gradually improved through continuous research, there are still some problems with the object tracking algorithm as follows.

감시 카메라를 통하여 입력된 영상은 3D로 구성된 영상을 2D로 영사되기 때문에 많은 정보가 손실된다. The image input through the surveillance camera is projected in 2D so that much information is lost.

영상에 나타나는 노이즈와 조명의 변화로 인하여 객체를 추출하는데 오류가 생겨서 객체 추적에 문제가 생길 수 있다. Due to the noise and illumination changes in the image, there is an error in extracting the object, which may cause object tracking problems.

여러 개의 객체를 추적하는 경우 객체가 겹치면 추적 정보가 다른 객체와 바뀌어 오류가 발생할 수 있다. When tracking multiple objects, if the objects are overlapped, the tracking information may be replaced with another object and errors may occur.

추적의 정확도를 높이기 위하여 추적 방법을 복잡하게 하면 연산량이 많아져서 실시간 추적이 불가능해지거나 임베디드 시스템에 사용할 수 없다. To increase the accuracy of tracking, complicated tracking method increases the amount of computation and makes real time tracking impossible or can not be used in embedded systems.

이러한 문제점들을 해결하기 위해 여러 가지 방향으로 개발이 진행되고 있다. 먼저 번 문제를 해결하기 위해서는 Stereo 카메라를 설치하여 객체간의 거리를 계산하여 3D로 표현하여 정보의 손실을 최소화 할 수 있다. 번 문제를 해결하기 위해서는 객체 추적의 전처리 과정으로 사용되는 배경 제거 알고리즘의 성능을 향상시켜야 한다. 결국 번과 번 문제점은 객체 추적 알고리즘 외적으로 해결이 가능한 문제이며, 실제로 객체 추적 알고리즘을 개발하는데 있어서 가장 큰 문제점은 번과 번이다.In order to solve these problems, development is proceeding in various directions. In order to solve the first problem, we can install Stereo camera to calculate the distance between objects and express it in 3D, so that loss of information can be minimized. We need to improve the performance of the background removal algorithm, which is used as a preprocessing process for object tracking. As a result, the problem of time and number is solved out of the object tracking algorithm. In fact, the biggest problem in developing the object tracking algorithm is the number of times.

최근에 다중 객체 추적에 대한 연구에서는 번 문제를 해결하기 위해 많은 연구가 이루어지고 있으며, 번 문제를 해결하기 위해 실시간으로 다중 객체를 추적 할 수 있는 알고리즘도 많이 연구되고 있다.Recently, many studies have been made to solve the problem of multi - object tracking, and many algorithms have been studied to track multiple objects in real time to solve the problem.

지능형 영상 감시 시스템에서는 여러 개의 객체가 한 영상에서 나타나고 움직일 수 있기 때문에 다중 객체의 추적이 가능한 알고리즘이 사용되어야 한다. 다중 객체 추적을 위해 일반적으로 단일 객체 추적 알고리즘을 확장하여 사용하지만 객체의 모양이나 색상이 비슷한 경우에 객체를 올바르게 식별하지 못하는 경우가 자주 발생한다. In an intelligent video surveillance system, since multiple objects can appear and move in one image, an algorithm that can track multiple objects should be used. In general, a single object tracking algorithm is extensively used for multi-object tracking, but it often happens that the object is not correctly identified when the shape or color of the object is similar.

다중 객체 추적은 두 개 이상의 객체가 겹쳐지는 오크루젼 상황이 자주 발생한다. 계속하여 객체를 추적하기 위해서는 오크루젼된 객체를 식별하여 분리할 수 있는 알고리즘이 필요하다. 만약에 오크루젼된 객체를 정상적으로 분리하지 못하는 경우 객체의 추적을 실패할 수 있기 때문에 오크루젼을 해결하는 방법은 다중 객체 추적에서 매우 중요한 부분이다.Multi-object tracking often involves occlusion situations where two or more objects overlap. To keep track of objects, we need an algorithm that can identify and isolate objects that are occluded. The solution to ocursion is a very important part of multi-object tracking, because it can fail to trace the object if it can not properly isolate the object from the occlusion.

두 개 이상의 객체가 오크루젼된 상황에서 가장 정확하게 객체를 분리하여 오크루젼을 해결할 수 있는 방법은 다시점 영상을 사용하는 방법이다. 그러나 다시점 영상을 사용하기 위해서는 2대 이상의 영상 감시 카메라가 사용되기 때문에 시스템을 새로 설치하는 경우에 설치비용이 높으며 이미 1대의 카메라가 설치된 영상 감시 시스템을 업그레이드하는 경우에도 많은 비용이 소요된다. 또한 객체의 거리를 구하는 연산에도 많은 시간이 소요되기 때문에 시스템의 속도 역시 느리다.In a situation where two or more objects are occluded, the most accurate way to separate objects and solve ocursion is to use multi-view images. However, since two or more video surveillance cameras are used to use the multi-view video, the installation cost is high when the system is newly installed, and it is also expensive to upgrade the video surveillance system in which one camera is already installed. The speed of the system is also slow because it takes much time to calculate the distance of the object.

따라서 대부분의 다중 객체 추적 시스템에서 오크루젼 상황을 해결하기 위하여 템플릿 정합, 움직임의 방향 또는 색상 히스토그램을 이용한다. 이러한 방법들은 구현이 쉽고 연산속도가 빠르지만 오크루젼을 정확하게 해결하지 못하는 경우가 많다. 또한 객체의 수가 많거나 주어진 상황이 복잡해지면 오크루젼 해결이 어려워져서 추적의 정확도가 낮아진다.Therefore, most multi-object tracking systems use template matching, motion direction, or color histogram to solve the occlusion situation. Although these methods are easy to implement and operate at high speed, they often fail to accurately resolve occlusion. Also, if the number of objects is large or the complexity of a given situation becomes difficult, it is difficult to solve the occlusion and the accuracy of the tracking is lowered.

이러한 단점을 보완하기 위해 최근의 몇몇 연구에서는 오크루젼 해결을 새로운 방법으로 접근하고 있다. 가장 활발하게 연구가 이루어지는 방법은 특징점을 이용하여 객체를 분리하는 방법이다. 객체의 추적 중에 객체의 특징점을 추출하여 객체 모델을 생성한 후, 영상에서 오크루젼이 발생하는 경우 저장된 객체 모델과 오크루젼이 발생한 영상에서 추출한 특징점을 비교하여 객체를 분리하여 식별한다. 이런 방법은 이전의 방법들에 비해 정확도가 높지만 특징점을 추출하고 비교하는데 많은 시간이 소요되기 때문에 객체 추적 시스템 전체가 느려지는 경우가 발생할 수 있다. 본 발명 역시 특징점을 이용하여 객체를 분리하는 방법을 사용한다.To overcome these drawbacks, several recent studies have been approaching new approaches to solve ocrusions. The most active method is to separate objects using feature points. When the object model is generated by extracting the feature points of the object during the tracking of the object, if the ocursion occurs in the image, the object is separated and identified by comparing the stored object model with the minutiae extracted from the generated image. This method is more accurate than the previous methods, but it takes a long time to extract and compare feature points, which may cause the whole object tracking system to be slowed down. The present invention also uses a method of separating objects using minutiae points.

도 4는 본 발명의 바람직한 일 실시예에 따른 특징점의 종류를 구분하여 설명한 도면이다.FIG. 4 is a diagram illustrating types of minutiae according to a preferred embodiment of the present invention.

도 4를 참조하면, 객체 추적에서 사용가능한 특징은 물리적인 거리, 색상의 히스토그램, 기울기 정보, 텍스쳐, 코너, 블랍과 같이 6가지로 분류될 수 있고, 연산시간에 따라 저비용 특징, 중간 비용 특징, 고비용 특징의 3단계로 분류할 수 있다.Referring to FIG. 4, the features available in object tracking can be classified into six categories such as physical distance, histogram of color, slope information, texture, corner, and blob, and a low cost feature, And high-cost features.

먼저 저비용 특징에는 유클리디언(Euclidean) 거리와 해밍(Hamming) 거리와 같은 물리적인 거리를 계산하여 특징으로 사용하는 방법과 색상의 히스토그램을 특징으로 사용하는 방법이 있다. 색상의 히스토그램을 특징으로 사용하는 경우에는 조명의 변화와 무관하게 색을 표현하는 Hue(색상)값을 사용한다. 이런 특징들은 연산량이 매우 작기 때문에 제안하는 다중 객체 추적 시스템에서 현재 상황을 결정하기 위해 사용한다.First, low-cost features include a method of calculating physical distances such as Euclidean distances and Hamming distances, and a method of using them as features and using histograms of colors. When using a color histogram as a feature, use a Hue (color) value that represents the color regardless of the change in illumination. These features are used to determine the current situation in the proposed multi-object tracking system because the computation is very small.

중간비용 특징과 고비용 특징은 객체의 식별을 결정하기 위해서 부가적인 정보가 필요한 경우에 사용하며, 주어진 시간에 연산이 가능한 특징을 선택하여 사용한다. 중간비용 특징으로 사용할 수 있는 특징은 LoG와 DoG 같은 기울기 정보나 LBP와 Template Matching 같은 텍스쳐 기반의 특징을 사용하며 고비용 특징은 Harris와 FAST 같은 코너의 특징점을 검출하여 정합하는 알고리즘들과 SIFT와 SURF 같은 블랍의 특징점을 검출하여 정합하는 알고리즘들을 사용한다.The intermediate cost feature and the high cost feature are used when additional information is needed to determine the object identification, and the feature that can be operated at a given time is selected and used. Features that can be used for intermediate cost features include gradient based information such as LoG and DoG, texture based features such as LBP and Template Matching, and high cost features such as Harris and FAST to detect feature matching points and matching algorithms such as SIFT and SURF We use matching algorithms to detect feature points of blobs.

앞에서 설명한 특징들을 사용하여 트리를 구성하기 위해서는 특징들의 특성과 연산 시간 및 정확도를 분석해야 한다. 표 1은 특징들의 특성과 연산 시간을 간단한 실험을 통하여 정리한 것이다. 여기에서 분석한 결과는 제안하는 객체 추적 시스템에서 사용하는 특징 트리를 구성하는데 사용한다.In order to construct a tree using the features described above, the characteristics of the features, the computation time and the accuracy must be analyzed. Table 1 summarizes the characteristics and computation time of the features through a simple experiment. The result of the analysis is used to construct the feature tree used in the proposed object tracking system.

특징들은 각각 다른 특성을 가지고 있으며, 표 1의 특징 특성에 사용한 기호 중 S는 Scale의 약자로 크기 변화를, R은 Rotation의 약자로 회전 변화를, I는 Illumination의 약자로 조명 변화를, V는 Viewpoint의 약자로 방향 변화를, A는 Affine의 약자로 벡터 공간 변화를, T는 Transition의 약자로 이동 변화를, O는 Occlusion의 약자로 객체의 겹침을, N은 Noise의 약자로 영상의 잡음을 각 의미한다. 각각의 기호에 표시된 o표시는 주어진 특성에 강함을 의미하며 다양한 특징들을 동일한 측정방법으로 연산 시간을 평가하기는 어렵기 때문에 각각의 특성에 맞는 방법으로 연산 시간을 평가하였다.S is the abbreviation of the scale, R is the abbreviation of rotation, I is the abbreviation of illumination, and V is the abbreviation of illumination. Viewpoint is the abbreviation of the direction, A is the abbreviation of the affine, vector space is the change, T is the abbreviation of the transition, O is the abbreviation of occlusion, overlaps the object and N is the abbreviation of noise. Each means. The symbol o in each symbol means strong to a given characteristic, and it is difficult to evaluate the calculation time by using the same measurement method for various features. Therefore, the calculation time is evaluated by a method corresponding to each characteristic.

알고리즘algorithm 특징 형식Feature type 특징 특성Features 연산 시간Operation time 측정 방법How to measure SS RR II VV AA TT OO NN EuclideanEuclidean 거리Street 0.062
[us/point]0.062
[us / point] SSDSSD HammingHamming 거리Street 0.272
[us/point]0.272
[us / point] XORXOR Color(Hue)Color (Hue) 히스토그램Histogram OO 0.029
[ms/patch]0.029
[ms / patch] SimilaritySimilarity LoGLoG 기울기inclination OO OO 3.100
[ms/patch]3.100
[ms / patch] ConvolutionConvolution DoGDoG 기울기inclination OO OO 0.160
[ms/patch]0.160
[ms / patch] DifferenceDifference LBPLBP 텍스쳐texture OO 15.500
[ms/patch]15.500
[ms / patch] 8-Neighborhood difference8-Neighborhood difference Template matchingTemplate matching 텍스쳐texture OO 1.500
[ms/patch]1.500
[ms / patch] SimilaritySimilarity HarrisHarris 코너corner OO 0.852 [ms/keypoint]0.852 [ms / keypoint] Eigen valueEigen value TomasiTomasi 코너corner OO 0.426 [ms/keypoint]0.426 [ms / keypoint] Minimum
Eigen valueMinimum
Eigen value FASTFAST 코너corner OO 0.005 [ms/keypoint]0.005 [ms / keypoint] ID3ID3 ORBORB 코너corner OO OO OO OO OO OO 0.021 [ms/keypoint]0.021 [ms / keypoint] oFASToFAST FREAKFREAK 코너corner OO OO OO OO OO OO OO 0.111
[ms/keypoint]0.111
[ms / keypoint] AGASTAGAST MSERMSER 블랍Blah OO OO OO OO OO 0.945 [ms/keypoint]0.945 [ms / keypoint] ThresholdingThresholding SIFTSIFT 블랍Blah OO OO OO OO OO OO OO OO 0.424 [ms/keypoint]0.424 [ms / keypoint] DoGDoG SURFSURF 블랍Blah OO OO OO OO OO OO OO 0.290 [ms/keypoint]0.290 [ms / keypoint] HessianHessian

또한 특징들이 객체를 얼마나 정확하게 표현하는지 평가하기 위해 간단한 실험을 통해 분석하였다. 색상의 히스토그램, 기울기 정보, 텍스쳐, 코너, 블랍을 대표하는 알고리즘을 하나씩 선정하여 정확도를 평가하였다. 이 실험은 영상에서 하나의 객체를 선택한 후, 그 객체가 포함된 다른 영상에서 객체를 얼마나 정확하게 검출할 수 있는가를 평가한 방법으로 평가지표는 상관관계(Correlation)를 사용하였다.We also analyzed through simple experiments to evaluate how accurately the features represent the object. The histogram of the color, the slope information, the texture, the corner, and the algorithm representing the blob were selected one by one and the accuracy was evaluated. In this experiment, we selected one object from the image and then evaluated how accurately the object can be detected from the other images containing the object. Correlation was used for the evaluation index.

도 5는 본 발명의 바람직한 일 실시예에 따른 색상(Hue) 정보 히스토그램의 평가 결과를 나타낸 도면이다. 5 is a diagram showing the evaluation result of a hue information histogram according to a preferred embodiment of the present invention.

도 5를 참조하면, 색상 정보의 히스토그램을 이용한 경우 평균 0.8 이상의 높은 수준의 상관관계를 보여주었다. 색상 정보의 히스토그램은 연산 비용이 다른 특징들을 사용하는 것보다 훨씬 낮으면서도 정확하게 객체를 식별할 수 있는 특징이다. 그러나 151 프레임과 같이 비슷한 색상을 가진 다른 객체가 나타나는 경우 정확도가 급격하게 떨어지는 단점을 가지고 있다.Referring to FIG. 5, when the histogram of the color information is used, a high correlation of 0.8 or more is shown. The histogram of color information is a feature that can accurately identify an object while the computational cost is much lower than using other features. However, if another object with a similar color appears at 151 frames, the accuracy of the object falls sharply.

도 6은 본 발명의 바람직한 일 실시예에 따른 텍스쳐 기반의 특징 중의 하나인 LBP를 이용하는 경우 상관관계를 나타낸 도면이다.FIG. 6 is a diagram illustrating a correlation when using LBP, which is one of the texture-based features of the preferred embodiment of the present invention.

도 6을 참조하면, 색상 정보를 이용하는 경우보다 평균적인 정확도는 낮지만 색상 히스토그램과는 다르게 비교적 높은 정확도를 지속적으로 보여주고 있다.Referring to FIG. 6, although the average accuracy is lower than that in the case of using the color information, the histogram shows a relatively high accuracy, unlike the color histogram.

도 7은 본 발명의 바람직한 일 실시예에 따른 템플릿 정합을 이용한 경우의 상관관계를 나타낸 도면이다.FIG. 7 is a diagram showing a correlation when template matching according to a preferred embodiment of the present invention is used.

도 7을 참조하면, 텍스쳐 기반의 다른 특징인 템플릿 정합을 이용하는 경우는 색상 정보 히스토그램이나 LBP 특징보다 높은 수준의 상관관계를 보여주었다. 실험 결과 템플릿 정합은 평균적으로 0.9 이상의 높은 상관관계를 지속적으로 보여주고 있다. 그러나 템플릿 정합은 정합하는 영상의 크기에 따라 연산 시간이 급격하게 늘어나기 때문에 제안하는 객체 추적 시스템에서는 특징을 추출하려는 객체의 크기가 작은 경우에만 사용하였다.Referring to FIG. 7, in the case of using template matching, which is another feature of the texture base, a correlation level higher than that of the color information histogram or the LBP feature is shown. The experimental results show that the template matching shows a high correlation of 0.9 or more on average. However, since template matching increases the computation time according to the matching image size, the proposed object tracking system is used only when the size of the object to be extracted is small.

마지막으로 도 8은 본 발명의 바람직한 일 실시예에 따른 코너 특징점 기반의 특징인 FAST의 실험결과를 나타낸 도면이다.Finally, FIG. 8 is a diagram illustrating experimental results of FAST, which is a feature based on a corner feature point according to a preferred embodiment of the present invention.

도 8을 참조하면, 특징점을 기반으로 하는 코너 기반의 특징들과 블랍 기반의 특징들은 상관관계로는 정확도를 평가하기 어렵다. 따라서 이런 특징들을 제대로 평가하기 위해서는 특징점의 밀집도를 분석하는 방법으로 평가를 해야 하지만 다른 특징과의 비교를 위해 같은 방법으로 평가했기 때문에 실험에 사용된 다른 특징들보다 상관관계 값이 상당히 떨어지는 것을 볼 수 있다. Referring to FIG. 8, it is difficult to evaluate the accuracy by correlation between corner-based features based on minutiae points and blob-based features. Therefore, in order to properly evaluate these features, it is necessary to evaluate the method of analyzing the density of the feature points. However, since the same method is used for comparison with other features, it can be seen that the correlation value is significantly lower than other features used in the experiment have.

위와 같은 특징을 이용하여 상황을 결정한 후에 상황에 따라 추가적인 연산이 필요한 경우에는 그 보다 연산량이 많은 기울기 정보와 텍스쳐를 이용한다. 객체의 정확한 결정을 위하여 추가적인 연산이 더 필요하다면 코너와 블랍으로 구성되는 특징점 추출을 이용한다. 그러나 여기에서 주의할 점이 있다. 높은 연산량을 요구하는 특징을 이용하는 것이 높은 정확도를 제공하는 것은 아니다. 영상의 환경에 따라서 연산량이 가장 적은 물리적인 거리나 색상 정보 등이 더 좋은 정확도를 제공할 수도 있다. 따라서 본 발명에서 제공하는 특징 트리는 정확도와는 무관하게 연산량과 특징의 특성에 따른 구성을 제공한다. After determining the situation using the above characteristics, if additional computation is required depending on the situation, the tilt information and the texture which have a larger computational amount are used. If additional operations are needed to determine the object accurately, we use feature point extraction, which consists of a corner and a blob. However, there is something to be noted here. Using features that require high computational complexity does not provide high accuracy. Depending on the environment of the image, the physical distance and color information with the least amount of computation may provide better accuracy. Therefore, the feature tree provided by the present invention provides a configuration according to the characteristics of the computation amount and the feature irrespective of the accuracy.

도 9는 본 발명의 바람직한 일 실시예에 따른 실질적인 알고리즘의 구성을 도시한 도면이다.FIG. 9 is a diagram showing a configuration of a practical algorithm according to a preferred embodiment of the present invention.

도 9를 참조하면, 상황을 결정하기 위한 저비용 특징으로 유클리디언(Euclidean) 거리와 색상 정보(Hue) 히스토그램을 사용한다. 상황이 결정되면 추가적인 연산을 사용하여 객체의 식별을 결정한다. 객체의 식별에 사용하는 특징은 텍스쳐 기반의 템플릿 정합과 LBP를 사용한다. 만약 색상 정보 히스토그램 결과가 좋지 않은 경우 색상 정보를 더 이상 사용하는 것은 무의미하기 때문에 조명에 민감하지 않은 LBP를 사용하고 색상 정보 히스토그램 결과가 좋은 경우에는 템플릿 정합을 사용한다. 텍스쳐 기반의 특징을 사용한 후에도 객체의 식별이 애매한 경우에는 ORB와 FAST같은 코너 기반의 특징을 사용한다. FAST 알고리즘은 코너를 추출하는 알고리즘으로 최근에 빠른 속도로 인해 많은 곳에 적용이 되고 있으며, FAST를 변형한 알고리즘인 ORB는 다양한 특성에 강하다. 마지막으로 남은 유휴시간을 계산한 후에 상황에 따라 SIFT와 SURF 같은 블랍 기반의 특징 알고리즘을 사용하여 특징점을 추출하여 정합한다. SURF나 SIFT 같은 알고리즘은 연산량이 많지만 블랍 전체의 특징점을 추출하여 정합하기 때문에 정확도는 상당히 높은 편이다. SURF 알고리즘이 SIFT 알고리즘보다 연산량이 적기 때문에 남은 시간에 따라 알고리즘을 선택하여 사용할 수 있다. 그러나 사람과 같이 객체의 모습이 크게 달라지는 경우에는 비효율적일 수 있다. 따라서 본 발명에서 SURF와 SIFT는 객체 식별 결정을 위해 신뢰도를 향상시키는 도구로만 사용한다.Referring to FIG. 9, Euclidean distance and color information (Hue) histograms are used as low-cost features for determining the situation. Once the situation is determined, additional operations are used to determine the identity of the object. The features used to identify objects use texture-based template matching and LBP. If the result of the color information histogram is not good, use LBP that is not sensitive to the light because it is meaningless to use the color information anymore. If the color information histogram result is good, use template matching. Even if you use texture-based features, you can use corner-based features such as ORB and FAST in cases where object identification is ambiguous. The FAST algorithm is a corner extraction algorithm. Recently, it has been applied to many places because of its high speed. The ORB, which is a modification of FAST, is strong in various characteristics. Finally, after computing the remaining idle time, feature points are extracted and matched using a blob-based feature algorithm such as SIFT and SURF according to the situation. Algorithms such as SURF and SIFT have high computational complexity, but the accuracy is very high because they extract and match feature points of the entire blob. Since the SURF algorithm has less computation than the SIFT algorithm, the algorithm can be selected and used according to the remaining time. However, it can be inefficient if the appearance of objects such as a person is greatly changed. Therefore, in the present invention, SURF and SIFT are used only as a tool for improving reliability for object identification determination.

본 발명에서는 다중 객체 추적을 위해 현재의 상황을 결정하는 알고리즘을 사용한다. 저비용 특징을 사용하여 이전 프레임의 객체 예측 정보와 정합을 연산한다. In the present invention, an algorithm for determining the current situation is used for multi-object tracking. And computes the match with the object prediction information of the previous frame using the low cost feature.

본 발명에서 사용하는 현재 상황은 6가지로 분류한다. 먼저 이전 프레임에 없었던 객체가 새로 나타나는 상황은 객체의 나타남(Appearance)으로 정의하며, 이전 프레임에 있던 객체가 사라지는 상황은 객체의 사라짐(Disappearance)으로 정의한다. 또한 이전 프레임에 나타난 객체가 현재 프레임에도 정상적으로 나타나는 상황은 정상적인 추적(Normal)으로 정의한다. 이런 상황들은 추가적인 연산 없이 바로 다음 과정을 진행 할 수 있다. 그 외의 상황으로 오크루젼(Occlusion)상황과, 객체의 분리(Separation)상황이 있다. 일반적으로 오크루젼 상황에서는 이전 프레임의 두 개 이상의 추정 정보와 하나의 블랍이 정합되는 경우이며, 객체의 분리 상황은 하나의 추정 정보가 두 개 이상의 블랍과 정합되는 경우이다. 또한 본 발명에서는 그 외의 상황으로 지연된 결정(Delayed Decision) 상황을 사용한다. 지연된 결정 상황은 객체의 결정이 애매한 경우에 나타나며 일반적으로 2개 이상의 추정 정보와 2개 이상의 블랍이 정합되는 경우이다.The current situation used in the present invention is classified into six types. First, the situation where an object that did not exist in the previous frame newly appears is defined as an object appearance (Appearance), and a situation in which an object in the previous frame disappears is defined as a disappearance of the object. In addition, the condition that the object displayed in the previous frame normally appears in the current frame is defined as normal tracking. These situations can proceed directly without further computation. There are occlusion situations and object separation situations in other situations. Generally, in the occlusion situation, two or more estimation information of the previous frame is matched with one blob, and the object separation state is one in which the estimation information is matched with two or more blobs. The present invention also uses a delayed decision situation in other situations. A delayed decision situation occurs when the decision of an object is ambiguous and is generally a case where two or more estimated information and two or more blobs are matched.

본 발명에서는 저비용 특징을 사용하여 간단하게 객체 추적이 가능한 객체에 소비되는 시간을 줄이고, 객체의 식별이 애매한 경우를 지연된 결정 상황으로 만들어서 남은 시간을 이용하여 최대한 정확하게 식별을 결정할 수 있도록 한다.In the present invention, the time spent on an object that can be easily tracked is reduced by using a low-cost feature, and a case where the object is ambiguous is determined as a delayed decision state so that the identification can be determined as accurately as possible using the remaining time.

또한 현재 상황을 결정하기 위해 트랙의 종류를 구분한다. 이러한 분류는 현재 상황 결정뿐 아니라, 현재 상황을 좀 더 세부적으로 만들기 위해 사용할 수 있다. 본 발명에서 사용하는 트랙의 분류는 다음과 같다.It also identifies the type of track to determine the current situation. This classification can be used not only to determine the current situation, but also to make the current situation more detailed. Track classification used in the present invention is as follows.

(1) 0 (NULL Track) : 객체가 사라진 트랙(1) 0 (NULL Track): track where the object disappears

(2) 1 (NORMAL Track) : 정상적인 1:1 트랙(2) 1 (NORMAL Track): Normal 1: 1 track

(3) 2 (INIT Track) : 초기화 중인 정상 트랙(3) 2 (INIT Track): Normal track being initialized

(4) 3 (TEMP Track) : 객체가 결정되지 못한 임시 트랙(4) 3 (TEMP Track): Temporary track where object can not be determined

(5) 4 (OCCLUSION Track) : 오크루젼된 트랙(5) 4 (OCCLUSION Track): OCCLUSIONED TRACK

(6) 5 (VIRTUAL Track) : 오크루젼된 객체의 가상 트랙(6) 5 (VIRTUAL Track): virtual track of the object that is being crouch

도 10 본 발명의 바람직한 일 실시예에 따른 새로운 객체 추가를 예시한 도면이고, 도 11은 본 발명의 바람직한 일 실시예에 따른 객체의 사라짐을 예시한 도면이고, 도 12는 본 발명의 바람직한 일 실시예에 따른 객체의 정상적인 추적을 예시한 도면이고, 도 13은 본 발명의 바람직한 일 실시예에 따른 객체의 오크루젼을 예시한 도면이고, 도 14는 본 발명의 바람직한 일 실시예에 따른 오크루젼된 객체의 분리를 예시한 도면이고, 도 15는 본 발명의 바람직한 일 실시예에 따른 객체의 식별 결정이 지연된 상황을 예시한 도면이다.FIG. 11 is a diagram illustrating disappearance of an object according to an exemplary embodiment of the present invention, and FIG. 12 is a flowchart illustrating an exemplary embodiment of the present invention. FIG. 13 is a diagram illustrating an example of ocursion of an object according to an exemplary embodiment of the present invention, and FIG. 14 is a diagram illustrating an example of tracking an object according to an exemplary embodiment of the present invention. FIG. 15 is a diagram illustrating a situation in which the determination of an object is delayed according to a preferred embodiment of the present invention.

도 10 내지 15를 참조하면, P_Track은 이전 프레임에 있는 객체의 번호이며 트랙의 종류에 따라 형식을 부여하였다. 객체는 현재 프레임에 나타난 블랍의 임시 번호이며, N_Track은 식별이 결정된 현재 프레임의 객체의 번호와 종류를 나타낸다. 객체가 새로 나타나 객체 정보가 초기화되지 않은 경우에는 형식 2번의 임시 트랙을 사용하며 객체 식별 결정 알고리즘을 통해 객체가 확실하게 식별되지 않은 경우에는 형식 3번의 임시 트랙을 사용한다.Referring to FIGS. 10 to 15, P_Track is a number of an object in a previous frame and is given a format according to the type of track. The object is a temporary number of the blob that appears in the current frame, and N_Track represents the number and type of the object of the current frame for which the identification is determined. If the object is newly created and the object information is not initialized, the temporary track of format 2 is used. If the object is not identified by the object identification decision algorithm, the temporary track of format 3 is used.

본 발명에서 사용하는 현재 상황 결정은 먼저 저비용 특징을 이용하여 이전 프레임의 객체 정보와 현재 프레임의 블랍의 정합 정보를 연산해야 한다. 본 발명에서는 물리적인 거리와 객체 간의 겹치는 면적 및 색상의 히스토그램을 사용한다.The current situation determination used in the present invention must first calculate the object information of the previous frame and the matching information of the blob of the current frame using the low-cost feature. In the present invention, the physical distance and the overlapping area between the objects and the histogram of the color are used.

도 16은 본 발명의 바람직한 일 실시예에 따른 3차원으로 구성된 정합 행렬의 예시를 도시한 도면이고, 도 17은 본 발명의 바람직한 일 실시예에 따른 현재 상황 결정 행렬을 도시한 도면이다.FIG. 16 is a view showing an example of a three-dimensional matching matrix according to a preferred embodiment of the present invention, and FIG. 17 is a diagram illustrating a current situation determination matrix according to a preferred embodiment of the present invention.

도 16 및 도 17을 참조하면, 현재 상황을 결정하기 위해서 블랍과 추정정보의 정합 개수로 이루어진 행렬을 사용한다. 하나의 추적 정보와 정합되는 블랍이 없다면 그 객체는 현재 프레임에서 사라진 객체이며, 하나의 블랍과 정합되는 추적 정보가 없다면 새로운 객체가 나타난 것이며, 하나의 추적 정보와 하나의 블랍이 정합되면 정상적으로 하나의 객체가 추적되는 경우이다. Referring to FIGS. 16 and 17, a matrix consisting of the number of matched blobs and estimated information is used to determine the current situation. If there is no blob that matches one tracking information, then the object is an object that has disappeared from the current frame. If there is no tracking information matched to one blob, a new object is present. If one tracking information and one blob are matched, The object is tracked.

또한 두 개의 블랍이 하나의 추적 정보와 정합된다면 이전 프레임의 두 개의 객체가 현재 프레임에서 겹쳐진 경우이며, 하나의 블랍에 두 개의 추적 정보가 정합된다면 이전 프레임에서 겹쳐졌던 객체가 분리된 경우이다. 마지막으로 두 개 이상의 추적 정보와 두 개 이상의 블랍이 정합되는 지연된 결정 경우로 분류한다.Also, if two blobs are matched with one piece of tracking information, two objects of the previous frame are overlapped in the current frame. If two pieces of tracking information are matched to one blob, the object that overlapped in the previous frame is separated. Finally, it is classified as a delayed decision case in which two or more tracking information and two or more blobs are matched.

이런 현재 상황은 위에서 설명한 트랙 분류를 이용하면 6개로 분류된 현재 상황을 세부적으로 나누어서 구성도 가능하다. 본 발명에서는 6개의 주어진 상황을 트랙의 종류에 따라 13가지의 상황으로 분류하였다. 트랙의 종류는 크게 단일 객체(1, 2, 3 번 타입)와 집합 객체(4번 타입)로 구분하여 분류한다. 본 발명에서 사용하는 전체 상황은 표 2와 같다.This current situation can be divided into 6 sections using the track classification described above, and it is also possible to divide the current situation in detail. In the present invention, six given situations are classified into thirteen situations according to the types of tracks. The types of tracks are classified into a single object (types 1, 2 and 3) and a set object (type 4). Table 2 shows the overall situation used in the present invention.

현재 상황current situation 세부 상황Detailed situation 내용Contents 새로운 객체(Appearance)New objects (Appearance) 새로운 트랙 지정 (2번 트랙)New track assignment (track 2) 객체의 사라짐(Disappearance)Disappearance of objects 1번 트랙Track 1 객체 제거Remove object 4번 트랙Track 4 객체 제거 및 가상 트랙도 제거Remove objects and remove virtual tracks 정상적인 추적(Normal)Normal tracking (Normal) 1번 트랙Track 1 정상 추적 (객체 갱신)Normal tracking (object update) 4번 트랙Track 4 정상 추적
(가상 추적의 객체 갱신)Normal track
(Update object of virtual trace) 오크루젼(Occlusion)Occlusion (1,1) 트랙(1,1) track Occlusion (2개의 객체)Occlusion (two objects) (1,4) 트랙 (1,4) track Occlusion (1+n개의 객체) n >= 2Occlusion (1 + n objects) n> = 2 (4,4) 트랙(4,4) track Occlusion (n+n개의 객체) n >= 2Occlusion (n + n objects) n> = 2 객체의 분리(Separation)Separation of Objects 1번 트랙Track 1 장애물에 객체가 가려진 경우 When an object is covered by an obstacle 4번 트랙Track 4 Occlusion된 객체를 분리Separate occlusioned objects 지연된 결정(Delayed Decision)Delayed Decision (1,1) 트랙(1,1) track 객체 두 개를 분리Separate two objects (1,4) 트랙(1,4) track 객체 한 개와 한 그룹으로 분리Separate one object and one group (4,4) 트랙(4,4) track 두 개의 그룹으로 분리Separate into two groups

저비용 특징을 사용하여 상황을 결정한 후에 오크루젼, 객체의 분리, 지연된 결정 상황인 경우에는 추가적인 연산이 필요하다. 이와 같은 상황은 객체가 명확하게 결정되지 않거나, 하나의 블랍을 다수의 객체로 분리해야 하는 경우이다. 주어진 시간 동안에 이런 작업을 마치려면 연산의 우선순위를 정하여 중요한 일부터 처리해야 한다. 본 발명에서는 고비용 특징을 사용하여 객체의 식별을 결정하는 과정에서 다음과 같은 연산 순서를 따른다.After determining the situation using low-cost features, additional computation is required for occlusion, object separation, and delayed decision situations. This is the case when an object is not explicitly determined or a blob must be split into multiple objects. To complete this task for a given period of time, you must prioritize the operations and deal with the important ones. In the present invention, the following calculation procedure is followed in the process of determining the object identification using the high cost feature.

(1) 전 프레임에서 결정되지 않은 지연된 결정 상황의 객체(1) an object of a delayed decision situation not determined in the previous frame

(2) 현재 프레임이 지연된 결정 상황인 경우 객체 결정(2) Determination of the object when the current frame is delayed

(3) 전 프레임에서 분리되었지만 결정되지 않은 객체(3) an object that was detached but not determined in the previous frame

(4) 현재 프레임에서 분리된 객체(4) Objects separated from the current frame

(5) 현재 프레임의 겹쳐진 객체의 가상 정보 갱신을 위한 분리(5) Separation for updating the virtual information of the overlapped object of the current frame

주어진 시간 안에서 위의 순서에 따라 연산이 진행되며 식별이 애매한 객체를 결정하기 위해서 신뢰도 기반의 객체 식별 결정 알고리즘을 사용한다. 다중 객체를 추적하는 중에 객체가 다중으로 정합이 되거나 겹쳐진 객체가 분리되는 경우에 객체의 식별 결정이 애매한 경우가 있다. 이러한 객체 식별의 애매함은 두 가지로 분류할 수 있다. 첫 번째는 추가적인 객체의 정보를 얻을 수 있는 연산 시간이 부족하여 객체의 식별을 확신하지 못하는 경우이다. 이 경우에는 다른 특징들을 사용하여 객체 정보를 향상시킬 수 있기 때문에 다음 프레임에서 추가적인 연산을 할 수 있도록 해야 한다.In the given time, the computation proceeds according to the above sequence and a reliability-based object identification decision algorithm is used to determine the obscure object. When tracking multiple objects, it is sometimes ambiguous to identify the object when the object is multi-aligned or overlapping objects are separated. The ambiguity of such object identification can be classified into two types. The first is the case where there is insufficient computation time to obtain the information of the additional object, so that it is not certain to identify the object. In this case, since the object information can be improved by using other features, it is necessary to perform additional operations in the next frame.

두 번째로 연산시간이 충분하여 사용할 수 있는 모든 특징들을 연산하여 객체 정보로 사용하였지만, 객체의 식별을 확신하지 못하는 경우이다. 이런 경우에는 많은 시간이 추가적으로 주어지더라도 더 이상의 객체 정보의 향상이 없다. 따라서 연산 시간이 남더라도 다음 프레임으로 객체 식별 결정 역할을 넘겨야 한다. 다음 프레임에서는 객체 식별 결정을 위해 새로운 영상에 특징들을 적용하여 새로운 객체 정보를 획득하여 객체 식별을 결정한다. Secondly, all the features that can be used are computed and used as object information because the computation time is sufficient, but it is the case that the object identification is not confirmed. In this case, even if a lot of time is given, there is no further improvement of object information. Therefore, even if the computation time remains, it is necessary to pass the role of object identification to the next frame. In the next frame, object identification is determined by acquiring new object information by applying features to a new image to determine object identification.

객체 식별의 애매함을 제거하기 위해서는 이웃의 정보, 즉 다음 프레임의 정보를 사용해야 한다. 객체 식별이 애매한데도 객체 식별을 결정하면 결국 추적에 오류가 발생하여 추적이 실패하거나, 최악의 경우 객체 모델의 손상까지 일으킬 수 있다. 따라서 다음 프레임의 객체 정보를 사용하기 위해 발명에서는 신뢰도 기반의 객체 결정 알고리즘을 사용한다. In order to eliminate the ambiguity of object identification, information of the neighbor, that is, the information of the next frame, should be used. If object identification is ambiguous, determining the object identification will eventually lead to an error in the tracking, which can lead to a failure of the tracking, or even worse, corruption of the object model. Therefore, in order to use the object information of the next frame, the invention uses a reliability-based object determination algorithm.

본 발명에서 객체의 식별 정보의 신뢰도를 향상시키기 위해서 연속되는 프레임을 이웃 값을 참조한다(실질적으로는 다음 프레임의 값을 참조한다). 제안하는 알고리즘은 객체 식별 결정이 애매한 상황이 발생하면서부터 객체가 완전하게 식별될 때까지 유지된다. 그러나 감시 영상은 상황이 급변하기 때문에 정확성을 위해 너무 오랫동안 객체 식별 결정 알고리즘을 진행할 수 없기 때문에 빠른 시간 안에 객체 식별을 결정해야한다.
In order to improve the reliability of the identification information of an object in the present invention, a contiguous frame is referred to a neighboring value (actually, the value of the next frame is referred to). The proposed algorithm is maintained until the object is completely identified from when the object identification decision is ambiguous. However, since the surveillance image can not proceed with the object identification decision algorithm for too long for accuracy, the object identification must be determined in a short period of time because the situation is rapidly changing.

신뢰도 갱신 방법Reliability update method

도 18은 본 발명의 바람직한 일 실시예에 따른 객체 식별 결정 알고리즘이 동작하여 지연된 객체 식별 결정을 상황에서의 프레임별 알고리즘의 흐름을 도시한 도면이다.FIG. 18 is a diagram illustrating a flow of a frame-by-frame algorithm in a situation where an object identification determination algorithm according to a preferred embodiment of the present invention operates to determine a delayed object identification.

도 18을 참조하면, t는 알고리즘이 시작한 이후의 프레임 번호이며 알고리즘이 시작하면 0부터 시작하여 최대 max(t)까지 연산할 수 있다. Referring to FIG. 18, t is a frame number after the algorithm starts, and it can be computed from 0 to max (t) when the algorithm starts.

제시된 객체 식별 결정 알고리즘의 동작을 간단하게 설명하면 현재 프레임에서 객체 상황 결정이 끝나면 남은 시간동안 고비용 특징을 이용하여 객체의 신뢰도를 갱신하며 결과값이 문턱값을 넘으면 즉시 결정을 하고 알고리즘을 종료한다. 그렇지 않은 경우, max(t) 시간동안 알고리즘을 진행하여 신뢰도를 갱신하며 결정이 되지 않는 경우에는 마지막 프레임에서의 결과값을 이용하여 객체를 결정하게 된다. 알고리즘이 다음 프레임으로 진행되는 경우에 상황 결정을 위해 사용되는 저비용 특징의 연산으로 객체의 식별이 확실해지면 더 이상의 갱신을 하지 않고 바로 종료 시킬 수 있다.The operation of the proposed object identification decision algorithm is briefly described. When the object situation is determined in the current frame, the reliability of the object is updated using the high cost feature for the remaining time. When the result value exceeds the threshold value, the decision is made immediately and the algorithm is terminated. Otherwise, the algorithm proceeds for max (t) time to update the reliability. If no decision is made, the object is determined using the result of the last frame. In the case where the algorithm proceeds to the next frame, if the identification of the object is confirmed by the operation of the low-cost feature used for determining the situation, it can be terminated without further updating.

본 발명에 따른 객체 식별 결정 알고리즘을 아래와 같다. 먼저 조명에 대한 특성과 남은 시간을 고려하여 알고리즘이 진행되며 현재 프레임에서 시간이 부족한 경우는 트랙의 형식을 임시 트랙으로 지정하여 다음 프레임에서 추가적으로 얻어지는 정보를 이용하여 객체의 식별을 완전하게 결정하게 된다.The object identification decision algorithm according to the present invention is as follows. First, the algorithm proceeds in consideration of the characteristics of the illumination and the remaining time. When the time is short in the current frame, the format of the track is designated as a temporary track, and the identification of the object is completely determined using information further obtained in the next frame .

객체 결정 알고리즘이 시작되면 먼저 신뢰도를 초기화해야 한다. 신뢰도가 지정한 문턱값보다 작으면 먼저 주어진 남은 시간을 계산한다. 남은 시간이 다른 연산하기 충분하다면, 연산 가능한 특징을 선택하게 된다. 선택된 특징을 연산하여 신뢰도를 갱신하여 문턱값과 다시 비교하기를 반복한다. 만약에 시간이 부족한 경우엔 임시 트랙으로 지정해 두고 다음 프레임으로 객체 식별 결정을 지연한다.When the object decision algorithm is started, the reliability must first be initialized. If the reliability is less than the threshold value specified, the remaining time is calculated first. If the remaining time is sufficient to perform another operation, the computable feature is selected. The selected feature is computed, reliability is updated, and the threshold value is compared again. If there is insufficient time, it is designated as a temporary track and the object identification is delayed to the next frame.

다음 프레임에서 계산된 저비용 특징을 이용하여 새로운 신뢰도를 구하여 문턱값과 비교한다. 만약에 문턱값을 넘게 되면 객체를 결정하고 종료하게 되지만 그렇지 않으면, 결과값을 이용하여 신뢰도를 갱신 한다. 그리고 다시 문턱값과 비교하고 이전 프레임에서 했던 일을 반복하게 된다. The new reliability is calculated using the low cost feature calculated in the next frame and compared with the threshold value. If the threshold value is exceeded, the object is determined and terminated. Otherwise, the reliability is updated using the result value. It then compares again with the threshold and repeats what it did in the previous frame.

그러나 max(t) 동안에 결정이 되지 않는 경우에는 최종 프레임에서의 신뢰도를 기반으로 객체를 임의로 결정하게 된다. 이 경우에 추적의 오류가 발생할 수 있지만 우리에게 주어진 시간이 충분하다면 이러한 알고리즘을 사용하여 확실하게 객체를 결정하는 것도 가능하다. 신뢰도를 갱신하는 알고리즘을 수식으로 나타내면 수학식 4와 같다.However, if the decision is not made during max (t), the object is arbitrarily determined based on the reliability in the final frame. In this case, trace errors can occur, but if we have enough time, it is also possible to determine the object with certainty using these algorithms. Expression of the algorithm for updating the reliability is expressed by Equation (4).

여기에서

은 알고리즘이 시작한 후 t시간이 지난 상황에서 오크루젼된 블랍 k와 오크루젼된 트랙 n과의 객체 식별 정도의 신뢰성을 나타낸다. 만약에 갱신된

이면 k블랍과 n트랙의 정합을 확신하게 되며 객체 식별 결정을 완료하게 된다. 반대로

이면 k블랍과 n트랙은 정합되지 않는다고 결정하며 알고리즘을 완료한다. 여기에서

은 즉시 객체 식별 결정을 완료하기 위한 문턱값이며,

은 즉시 객체 식별을 무효하기 위한 문턱값으로 연산에 사용한 블랍과 트랙은 관계가 없는 것으로 결정하고 알고리즘을 완료한다. 객체 식별 결정 알고리즘에 사용된 변수는 아래와 같이 사용한다.From here

Indicates the reliability of the degree of object recognition between the occluded blob k and the occluded track n in a situation where the time lapses after the algorithm starts. If the updated

It is ensured that the k blob and the n track are matched and the object identification decision is completed. Contrary

It determines that the k blob and the n track are not matched and completes the algorithm. From here

Is a threshold for completing an object identification immediately,

Is a threshold for invalidating object identification immediately and determines that the blob and track used in the operation are irrelevant and completes the algorithm. The variables used in the object identification decision algorithm are used as follows.

(1)

, max(t) : 최대 연산 프레임(One)

, max (t): maximum operation frame

(2)

, number(features) : 사용하는 특징의 수(2)

, number (features): Number of features to use

(3)

, (3)

,

number(OcclusionBlobs) 2 : 오크루젼된 블랍의 수 number (OcclusionBlobs) 2: Number of occulted blobs

(4)

number(OcclusionTracks) 2 : 오크루젼된 트랙(객체)의 수 number (OcclusionTracks) 2: Number of track (objects) that are occluded

은 f번째 특징의 가중치 값이며 사용한 특징에 따라 신뢰도의 갱신 값이 달라진다. 만약에 가중치가 높은 특징을 사용하는 경우 객체의 식별 결정에 영향을 크게 미친다. 일반적으로 가중치가 높은 특징들은 색상 정보와 위치 정보 같이 연산량이 적은 특징들이 선택된다. 이러한 특징들은 오크루젼에 취약한 것으로 알려져 있지만 반대로 이러한 특징들에서 완벽하게 분리가 된다면 가장 정확한 식별 정보가 될 수 있다.

Is the weight value of the f-th feature and the update value of the reliability is changed according to the used feature. If weights feature is used, it affects the decision of object identification. In general, features with a high weight are selected with features of low computation such as color information and position information. These features are known to be vulnerable to occlusion, but conversely they can be the most accurate identification information if they are completely separated from these features.

객체가 결정이 되면 시스템은 추적의 종류를 갱신 한다. 그 후에 현재 프레임에서 객체가 다음 프레임에서 어떻게 변화하는지 예측하기 위해 트래커를 이용한다. 일반적으로 다중 객체 추적을 위해서 칼만 필터와 파티클 필터가 많이 사용된다. 파티클 필터는 칼만 필터에 비해 비교적 좋은 추적 성능을 보이지만 연산시간이 많이 소요된다. 본 발명에서 제안하는 방법에서는 시간이 중요하기 때문에 칼만 필터를 이용하는 것이 더 적합하다. When the object is determined, the system updates the type of tracking. It then uses the tracker to predict how the object changes in the next frame in the current frame. Generally, Kalman filter and particle filter are used for multi-object tracking. Particle filters have relatively good tracking performance compared to Kalman filters, but take longer to compute. In the method proposed by the present invention, it is more suitable to use the Kalman filter because time is important.

칼만 필터는 위치 제어, 영상 처리 등의 분야에서 시스템의 주요 변수를 예측하는데 사용하는 방법이다. 영상 감시에서는 추적하는 객체의 위치를 예측하기 위해 사용한다. 칼만 필터는 일반적으로 선형 시스템이며, 상태를 예측해서 발생할 수 있는 오류를 최소화하면서 예측한다. 칼만 필터는 크게 정정(Correct)과 예측(Predict)으로 나눌 수 있으며 각각 측정값과 시간을 갱신 시킨다.Kalman filter is a method used to predict the main parameters of the system in the field of position control, image processing, and so on. In video surveillance, it is used to predict the position of the tracked object. The Kalman filter is generally a linear system and predicts the state to minimize errors that may occur. The Kalman filter is largely divided into a correction and a prediction, each of which updates the measured value and time.

본 발명에서는 측정값으로 객체의 x좌표와 y좌표를 이용한다. 즉 칼만 필터를 사용하여 영상에서 객체의 위치를 예측하는 것이다. 이렇게 구해진 예측 위치는 다음 프레임에서 나타나는 블랍과 거리를 측정하여 하나의 특징으로 사용된다.
In the present invention, the x-coordinate and the y-coordinate of the object are used as measurement values. That is, the Kalman filter is used to predict the position of the object in the image. The predicted position thus obtained is used as a feature by measuring the blob and distance appearing in the next frame.

성능시험결과Performance test results

본 발명에서 제안한 시스템을 이용하여 다수의 사람을 실시간으로 추적하는 응용 시스템을 구현하여 성능 시험을 실시하였다. 전체 시스템은 C++로 코딩되었으며, 프로그램 코딩 및 컴파일을 위해 Microsoft Visual Studio 2010을 사용하였다. 또한 OpenCV 2.4.3 버전을 이용하여 영상의 입출력 및 간단한 영상처리 알고리즘 등을 적용하였다. An application system that tracks a large number of people in real time using a system proposed in the present invention was implemented and performance tests were conducted. The entire system was coded in C ++, and Microsoft Visual Studio 2010 was used for program coding and compilation. In addition, OpenCV 2.4.3 version is applied to image input / output and simple image processing algorithm.

다중 객체 추적을 위한 실험 영상은 PETS 2009 데이터 셋을 사용하였다. PETS(Performance Evaluation of Tracking and Surveillance)는 추적과 감시의 성능 평가를 위한 국제 워크숍으로 영상을 이용하여 객체의 추적과 감시 알고리즘의 성능을 평가할 수 있는 데이터 셋을 제공하고 있으며 가장 최근에 발표한 데이터 셋이 PETS 2009이다.Experimental images for multi - object tracking were obtained from PETS 2009 dataset. PETS (Performance Evaluation of Tracking and Surveillance) is an international workshop for performance evaluation of tracking and surveillance. It provides a data set that can evaluate the performance of object tracking and monitoring algorithms using images. This is PETS 2009.

PETS 2009는 다양한 환경의 데이터를 제공한다. 본 발명에서는 그 중에서 사람의 추적을 위해서 제공하는 영상인 S2 데이터 셋을 사용하였다. 이 데이터 셋은 다수의 사람이 복잡하게 움직이는 영상으로 이루어져 있으며 다양한 상황이 존재하기 때문에 본 발명에서 제안한 시스템을 적용하기에 적당하다. PETS 2009 provides data for various environments. In the present invention, an S2 data set, which is an image provided for tracking a human, is used. This data set is suitable for applying the system proposed in the present invention because a large number of people are composed of complex moving images and various situations exist.

실험에 사용하는 데이터 셋에 포함된 영상은 Axis 223M 모델의 카메라를 사용하여 획득한 영상으로 768576개의 화소로 이루어져 있으며, JPEG으로 압축된 정지영상의 모음으로 제공되고 있다.The images contained in the data set used in the experiment are obtained by using the camera of Axis 223M model and consist of 768576 pixels and are provided as a collection of still images compressed by JPEG.

객체 추적 시스템의 성능의 평가지표로 가장 많이 사용되는 것은 추적의 정확도이다. 객체 추적 시스템의 정확도를 평가하는 방법은 매우 다양하지만 대부분의 평가 방법이 단일 객체 추적에 대한 평가이며, 다중 객체 추적에 대한 평가가 어렵다. 따라서 다중 객체 추적 시스템의 평가를 위한 연구가 진행되었고, CLEAR(the CLassification of Events, Activities, and Relationships) 2006, 2007 워크숍을 통해서 새로운 평가 방법이 제안되었다. 이 평가 방법은 CLEAR MOT 측정이라 불리며 다중 객체 추적의 정확성(Accuracy, Precision)을 평가한다.Tracking accuracy is most often used as an index of performance of object tracking systems. There are many ways to evaluate the accuracy of an object tracking system, but most of the evaluation methods are evaluations of single object tracking and evaluation of multi-object tracking is difficult. Therefore, a study was conducted to evaluate the multi-object tracking system, and a new evaluation method was proposed through the workshop of the 2006, 2007 CLEAR (Activities of the Classification of Events, Activities, and Relationships). This evaluation method is called CLEAR MOT measurement and evaluates the accuracy (precision, precision) of multi-object tracking.

본 발명에서 제안된 다중 객체 추적 시스템의 정확성을 평가하기 위해 CLEAR MOT Metrics를 사용한다. CLEAR MOT Metrics는 MODA(Multiple Object Detection Accuracy), MODP(Multiple Object Detection Precision), MOTA(Multiple Object Tracking Accuracy), MOTP(Multiple Object Tracking Precision)의 4가지 도구를 제공한다. 이 중에서 MODA와 MODP는 영상에서 다중 객 검출의 정확성을 평가하는 도구이기 때문에 본 발명에서는 평가하지 않는다.In order to evaluate the accuracy of the multi-object tracking system proposed in the present invention, CLEAR MOT Metrics is used. CLEAR MOT Metrics provides four tools: Multiple Object Detection Accuracy (MODA), Multiple Object Detection Precision (MODP), Multiple Object Tracking Accuracy (MOTA), and Multiple Object Tracking Precision (MOTP). Among them, MODA and MODP are not evaluated in the present invention because they are tools for evaluating the accuracy of multi-object detection in an image.

MOTA와 MOTP는 다중 객체 추적의 정확성을 평가하는 도구이며 두 가지 평가방법에는 차이가 있다. 먼저 MOTA는 주어진 지상 실측 정보(Ground Truth)와 객체 추적 시스템의 추적 정보 결과를 비교하여 추적 정보를 놓치는 경우(Missed Detects), 가긍정적 판단(False Positives)인 경우와 추적 정보가 다른 객체와 바뀌는 경우(Identification Switches)를 계산한다. 이렇게 계산된 결과를 아래와 같은 수학식 5에 적용하여 MOA를 구한다.MOTA and MOTP are tools for evaluating the accuracy of multi-object tracking, and there are differences between the two evaluation methods. First, the MOTA compares the given ground truth with the tracking information of the object tracking system to determine if the tracking information is missing (Missed Detects), when the false positive (false positive) and when the tracking information is changed (Identification Switches). The calculated result is applied to the following equation (5) to obtain MOA.

여기에서

는 연산에 사용된 총 프레임의 수이고,

는

프레임에서 추적 정보를 놓치는 경우의 수이고,

는

프레임에서 가긍정적 판단을 한 경우의 수이며,

는

프레임에 나타난 객체와

프레임에 나타난 객체의 식별번호(ID)가 바뀐 경우의 수를 나타낸다. 또한 MOTA에서는 각각의 경우에

과

d의 가중치를 적용하여 계산한다.

는 초기에 0이기 때문에 가중치

도 1로 시작한다.From here

Is the total number of frames used in the operation,

The

The number of times the tracking information is missed in the frame,

The

The number of cases in which a positive judgment is made in the frame,

The

The objects shown in the frame

Indicates the number of cases where the identification number (ID) of the object displayed in the frame has changed. In addition, in MOTA,

and

d is weighted.

Lt; RTI ID = 0.0 > 0 < / RTI &

1.

이와 반면에 MOTP는 주어진 지상 실측 정보(Ground Truth)와 객체 추적 시스템의 추적 정보 결과 사이의 시공간적으로 겹쳐진 부분을 계산한다. MOTP는 추적의 정확도를 제공할 뿐만 아니라 병합되거나 분할된 추적 정보의 기여를 보여준다. MOTP는 아래의 수학식 6을 이용하여 계산된다.On the other hand, the MOTP computes the temporal and spatial overlap between the given ground truth and the tracking information of the object tracking system. MOTP not only provides the accuracy of tracking, but also shows the contribution of the merged or segmented tracking information. The MOTP is calculated using the following equation (6).

여기에서

는 시스템에서 병합과 분할을 고려하여 추적이 정합된 모든 객체를 나타내며,

는

번째 프레임에서 정합된 객체의 수를 나타낸다.

는

번째 프레임에서

번째 객체의 지상 실측 정보(Ground Truth)를 나타내며

는

번째 프레임에서

번째 객체의 실험 결과를 나타낸다. From here

Represents all the objects whose traces are matched in consideration of merge and segmentation in the system,

The

Gt; frame, < / RTI >

The

In the ith frame

(Ground Truth) of the second object

The

In the ith frame

The result of the experiment of the ith object is shown.

MOTP는 추적하는 객체의 위치와 크기 그리고 객체의 식별번호(ID)가 얼마나 정확하게 일치하는지 계산하는 방법으로 객체의 추적뿐만 아니라 객체의 정확한 검출에도 많은 영향을 받는다.MOTP is a method of calculating how exactly the position and size of the object to be tracked and the ID number of the object are exactly matched.

PETS 2009 영상을 이용하여 다중 객체 추적의 정확도를 실험하였으며 결과는 MOTA와 MOTP로 계산되었다.The accuracy of multi - object tracking was tested using PETS 2009 images and the results were calculated as MOTA and MOTP.

도 19는 본 발명의 바람직한 일 실시예에 따른 다중 객체 추적 알고리즘을 실험한 MOTA 결과를 나타낸 도면이다. FIG. 19 is a diagram illustrating an MOTA result of an experiment of a multi-object tracking algorithm according to a preferred embodiment of the present invention.

도 19를 참조하면, 초반에는 정확한 추적을 하다가 객체가 오크루젼된 상태에서 가상 추적에 오류가 발생하였으나, 분리(Separation)된 상황에서 정상적으로 객체를 분리하였기 때문에 실제 실험 영상에서는 정상적으로 추적을 하고 있는 것으로 나타난다.Referring to FIG. 19, in the early stage, although an error occurred in the virtual tracking in the state where the object was occluded while being accurately tracked, since the object was normally separated in the separated state, .

또한 도 20은 본 발명의 바람직한 일 실시예에 따른 다중 객체 추적 알고리즘의 MOTP 결과를 나타낸 도면이다.20 is a diagram illustrating an MOTP result of the multi-object tracking algorithm according to an exemplary embodiment of the present invention.

도 20을 참조하면, MOTP는 객체의 크기와 위치를 함께 평가하기 때문에 객체 검출 알고리즘의 성능에 크게 좌우된다. 또한 본 발명에서는 객체가 배경에 가져지거나 오크루젼된 경우에 눈에 보이는 부분만을 객체로 결정했기 때문에 PETS 2009에서 제공하는 지상 실측 정보(Ground Truth)와는 많은 차이를 나타낸다. Referring to FIG. 20, since the MOTP evaluates the size and position of the object together, it greatly depends on the performance of the object detection algorithm. In the present invention, since the object is determined as an object only when the object is brought into the background or is occluded, there is a lot of difference from the ground truth provided in PETS 2009.

본 발명에서 제안한 시스템의 성능을 비교하기 위해 기존의 다중 객체 추적 시스템의 연구 결과 중에서 평가방법으로 CLEAR MOT Metrics를 사용하고 실험 데이터 셋을 PETS 2009를 사용한 방법들과 비교하였다. 비교에 사용한 발명들은 M.D. Breitenstein, Alex Leykin, P.K. Sharma, J. Yang, J. Berclaz가 연구한 발명들이며 도 21과 같은 결과를 보여주고 있다. In order to compare the performance of the proposed system, CLEAR MOT metrics were used as the evaluation method of the existing multi - object tracking system and the experimental data sets were compared with those using PETS 2009. The inventions used for the comparison are M.D. Breitenstein, Alex Leykin, P.K. Sharma, J. Yang, J. Berclaz, and the results are shown in FIG.

비교 결과 MOTA는 기존의 알고리즘에 비해 좋은 성능을 보여주고 있으나, MOTP는 기존의 알고리즘보다 성능이 나아졌지만 큰 차이는 보이지 못하고 있다. MOTP는 객체 추적의 성능보다는 객체 검출의 성능에 많은 영향을 받기 때문에 객체 검출 알고리즘의 성능을 높이면 좀 더 나은 성능을 보여줄 것이다. As a result of comparison, MOTA shows better performance than existing algorithms, but MOTP has better performance than existing algorithms, but shows no significant difference. Since MOTP is more influenced by object detection performance than object tracking performance, it will perform better with higher performance of object detection algorithm.

객체 추적 시스템의 성능의 평가지표로 정확도를 많이 사용하지만 본 발명에 따른 시스템은 실시간을 지향하기 때문에 시간에 대한 평가는 매우 중요하다. 실시간으로 처리를 한다는 의미는 주어진 시간 동안에 최선의 결과를 도출하여 시간이 초과해서 결과를 얻지 못하는 경우가 없음을 의미한다. 대부분의 실시간 추적 시스템에 대한 연구는 단순히 연산 시간을 감소시키는 것에만 초점을 맞추고 있으나, 본 발명에서는 주어진 시간을 효율적으로 이용하여 최선의 결과를 얻는다.Although the accuracy of the object tracking system is often used as an index of performance, evaluation of time is very important because the system according to the present invention is oriented in real time. The processing in real time means that the best result is obtained during a given time, and there is no case where the result is not obtained over time. Most of the real-time tracking systems are focused on reducing computation time, but in the present invention, the best results are obtained by efficiently using a given time.

본 발명에서 제안하는 다중 객체 추적 시스템은 실시간을 지향하기 때문에 한 프레임에 주어진 시간 동안에 객체 추적을 완료해야 한다. 따라서 제안하는 시스템에 사용되는 각각의 알고리즘의 연산 시간을 정확하게 파악해야 한다. 또한 연산 시간은 시스템의 H/W 성능에 따라 크게 달라질 수 있기 때문에 알고리즘들의 연산 시간을 시스템에 맞게 초기화를 해야 한다. Since the multi-object tracking system proposed in the present invention is directed to real time, object tracking must be completed within a given time in one frame. Therefore, the computation time of each algorithm used in the proposed system should be precisely grasped. Also, since the computation time can be greatly changed according to the hardware performance of the system, the computation time of the algorithms must be initialized according to the system.

도 22는 본 발명의 바람직한 일 실시예에 따른 다중 객체 추적에 필요한 시간을 나타낸 도면이다.FIG. 22 is a diagram illustrating time required for multi-object tracking according to a preferred embodiment of the present invention.

도 22를 참조하면, 영상을 한 프레임 입력받으면 먼저 GMM 배경 제거 알고리즘을 통하여 블랍을 생성하고 생성된 블랍과 이전 프레임에서 제공한 추적정보를 저비용 특징을 이용하여 현재 상황을 결정한다. 각각의 상황에 따라서 객체 결정 알고리즘을 실행하며, 칼만 필터를 통해 다음 프레임에서의 추정정보를 얻는다. GMM 배경 제거 알고리즘은 매 프레임에서 고정된 시간이 필요하며, 현재 상황 결정과 칼만 필터 예측은 현재 프레임의 객체의 개수에 따라 달라진다. 이러한 시간을 제외한 나머지 시간 동안에 객체 결정 알고리즘을 사용할 수 있다. 남은 시간이 많을수록 객체 결정의 정확도는 높아진다. 객체 추적 알고리즘에 사용되는 각각의 연산에 소요되는 시간은 아래의 표 3과 같다.Referring to FIG. 22, when one frame of an image is input, a blob is first generated through a GMM background removal algorithm, and the current situation is determined using the generated blob and the tracking information provided in the previous frame using a low-cost feature. An object determination algorithm is executed according to each situation, and estimation information in the next frame is obtained through a Kalman filter. The GMM background removal algorithm requires a fixed time in each frame, and the current situation determination and Kalman filter prediction depend on the number of objects in the current frame. The object decision algorithm can be used for the rest of the time except this time. The more time remaining, the higher the accuracy of object determination. The time required for each operation used in the object tracking algorithm is shown in Table 3 below.

연산 범위 Operation range 연산 내용Operation contents 시간time 배경 제거Remove background GMM 배경제거
모폴로지 연산GMM background removal
Morphology operation 30ms/Frame 30ms / Frame 전처리Pretreatment 블랍 정리Bubble clearance 0.1ms/Object 0.1ms / Object 상황 결정Situation determination 현재 상황 결정Determine the current situation 0.1~0.2ms
/TrackObject0.1 to 0.2 ms
/ TrackObject 객체 결정Object determination 객체 결정 알고리즘Object Decision Algorithm 특징 연산 시간 참조Feature Computation time reference 위치 예측Location prediction 다음 프레임 위치 예측Next frame position prediction 0.1ms/Track 0.1ms / Track 후처리After treatment 정보 및 영상 저장Information and video storage 3~4ms/Frame 3 ~ 4ms / Frame 화면 표시Display 0.1ms/Track 0.1ms / Track

7fps로 구성된 영상은 한 프레임 당 연산할 수 있는 시간이 140ms정도이다. 따라서 그 시간 안에 추적을 완료하지 않으면 실시간으로 객체 추적이 불가능하다.An image composed of 7 fps has about 140 ms of computation time per frame. Therefore, if you do not complete the trace within that time, object tracking in real time is impossible.

도 23은 본 발명의 바람직한 일 실시예에 따른 하나의 프레임에서 객체를 추적하는데 걸리는 시간을 기록한 도면이다. FIG. 23 is a diagram illustrating a time taken to track an object in one frame according to an exemplary embodiment of the present invention.

도 23을 참조하면, 보통 60 ~ 80ms의 시간이 소요되었으며, 객체가 많아지거나 상황이 복잡해지면 100ms 정도의 시간이 소요되는 것을 확인할 수 있다. 본 발명에서는 다중 객체 추적의 상황을 6개로 분류하였다. 상황별 추적의 정확도를 비교하기 위해 각각의 상황별 연산 시간의 평균을 계산하였다. 객체 결정 알고리즘을 사용하는 오크루젼, 객체의 분리, 지연된 결정의 3가지 상황에서는 객체를 결정하기 위해 몇 개의 프레임이 사용될 수 있지만 여기서는 하나의 프레임에서 소요되는 시간으로 계산한다. 또한 추적에 필요한 연산 시간은 상황이 결정된 이후부터 칼만 필터를 사용해서 다음 프레임의 예측 정보를 연산할 때까지 소요된 시간으로 정의한다. Referring to FIG. 23, it takes typically 60 to 80 ms, and it takes about 100 ms if the number of objects increases or the situation becomes complicated. In the present invention, the situation of the multi-object tracking is classified into six. To compare the accuracy of the contextual tracking, the average of the computation time for each context was calculated. In the three situations of ocursion, object separation, and delayed decision making using the object decision algorithm, several frames can be used to determine the object, but here, the time required in one frame is calculated. Also, the computation time required for tracking is defined as the time taken from when the situation is determined to when the prediction information of the next frame is calculated using the Kalman filter.

도 24는 본 발명의 일 실시예에 따른 현재 상황의 MOTA와 MOTP 값을 나타낸 도면이다.FIG. 24 is a diagram illustrating MOTA and MOTP values in the current situation according to an embodiment of the present invention.

도 24를 참조하면, 가로축은 현재의 상황을 나타내며 세로축은 MOTA와 MOTP의 값을 나타낸다. 각각의 상황을 표시한 기호 S1은 객체가 새로 나타남을 S2는 객체가 사라짐을, S3는 정상적인 추적을 S4는 오크루젼의 발생을, S5는 분리(Separation)의 발생을 S6는 복잡하고 다양한 상황을 의미한다. 실험 결과 객체가 새로 나타나는 상황에서 MOTA가 상대적으로 매우 낮은 결과를 보여주었다. 그 이유는 추적의 안정성을 위해 객체가 새로 나타나는 경우 일정 크기 이상의 객체 모습이 보여야 새로운 객체로 인정하는 알고리즘 때문일 것이라 분석된다. 또한 오크루젼 객체가 분리되거나 복잡한 상황에서도 비교적 낮은 MOTA 값을 보여주고 있다. MOTP도 마찬가지로 오크루젼 객체가 분리되거나 복잡한 상황에서 비교적 낮은 값을 보여주고 있지만, 큰 차이는 보이지 않는다.Referring to FIG. 24, the horizontal axis represents the current situation and the vertical axis represents the values of MOTA and MOTP. S6 represents the occurrence of separation, S5 represents the occurrence of separation, S6 represents a complex and diverse situation, and S6 represents the state of the object. . Experimental results show that MOTA is relatively low in the case of new objects. The reason for this is that when the object is newly displayed for tracking stability, it is analyzed that the object should be seen more than a certain size to be recognized as a new object. It also shows relatively low MOTA values even when the occlusion object is isolated or in complex situations. Similarly, MOTPs exhibit relatively low values for occluded objects or in complex situations, but there are no significant differences.

본 발명에서 제안한 다중 객체 추적 시스템은 실시간을 지향하기 때문에 주어진 시간 안에서 최대한의 연산을 수행한다. 즉, 주어진 시간이 많으면 더 정확한 추적이 가능하며 시간이 부족한 경우에는 정확도는 낮아지더라도 주어진 시간 동안 최선의 결과를 제공한다. 여기에서 주어진 시간은

이며 입력영상에 따라 달라진다.The multi-object tracking system proposed in the present invention performs maximum computation within a given time because it is oriented in real time. That is, more time is available for more accurate tracking, and in case of lack of time, the accuracy is lower, but it provides the best results for a given time. The time given here is

And depends on the input image.

이 실험에서는 PETS 2009 데이터 셋을 각각 다른 프레임율로 인코딩하여 MOTA와 MOTP의 결과를 비교한다. 실험에서 사용한 영상은 1.75

3.5

, 7

의 프레임율로 인코딩되었다.In this experiment, we compare the results of MOTA and MOTP by encoding PETS 2009 datasets at different frame rates. The image used in the experiment was 1.75

3.5

, 7

Lt; / RTI > frame rate.

도 25는 본 발명의 바람직한 일 실시예에 따른 프레임율에 따른 MOTA와 MOTP 값을 나타낸 도면이다.25 is a diagram showing MOTA and MOTP values according to a frame rate according to a preferred embodiment of the present invention.

도 25를 참조하면 프레임율이 낮아지면 MOTA와 MOTP 값이 낮아지는 것을 볼 수 있다. 특히 1.75fps과 같이 낮은 프레임율에서는 급격하게 MOTA와 MOTP가 낮아지고 있다. 그 이유는 프레임율이 낮은 경우에 현재 상황을 결정하기 위해서 저비용 특징인 물리적인 거리를 계산하면 예측범위와 오차가 커서 정합자체가 이루어지지 않아 상황 결정 자체가 불가하기 때문에 오류가 발생하는 것이다. 이러한 상황을 보완하기 위해서 칼만 필터를 수정하여 정확한 위치 예측을 해야 한다.Referring to FIG. 25, when the frame rate is lowered, the MOTA and MOTP values are lowered. Especially, at low frame rates such as 1.75 fps, MOTA and MOTP are rapidly lowered. The reason is that if the frame rate is low and the physical distance, which is a low cost feature, is determined in order to determine the current situation, error occurs because the prediction range and error are so large that the matching itself is not performed and the situation determination itself is impossible. To compensate for this situation, it is necessary to correct the Kalman filter to estimate the exact position.

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-optical Media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The embodiments of the present invention described above can be implemented in the form of program instructions that can be executed through various computer components and recorded on a computer-readable recording medium. The computer-readable recording medium may include program commands, data files, data structures, and the like, alone or in combination. The program instructions recorded on the computer-readable recording medium may be those specially designed and constructed for the present invention or may be those known and used by those skilled in the computer software arts. Examples of the computer-readable recording medium include magnetic media such as a hard disk, a floppy disk and a magnetic tape, optical recording media such as CD-ROM and DVD, magneto-optical media such as a floppy disk Media), and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those generated by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules for performing the processing according to the present invention, and vice versa.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, Those skilled in the art will appreciate that various modifications, additions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 보아야 할 것이다.Therefore, the spirit of the present invention should not be construed as being limited to the above-described embodiments, and all of the equivalents or equivalents of the claims, as well as the following claims, .

100: 배경제거부
110: 배경 모델
200: 특징점 결정부
210: 특징 트리
300: 상황 선택부
400: 객체 결정부
410: 객체 모델
500: 객체 추적부
510: 추적 인폼100: Background removal
110: background model
200: minutia point determining section
210: Feature Tree
300: situation selector
400:
410: object model
500: object tracking unit
510: Tracking Form

Claims

영상이 입력되면 배경 모델을 갱신하여, 상기 영상으로부터 새로운 배경 영상을 생성하고, 상기 영상과 상기 배경 영상의 차연산을 통해 배경을 제거한 전경영상을 획득하는 배경제거부;
특징 트리를 참조하여 상기 영상과 상기 전경영상에 나타난 특징점을 결정하고, 결정된 특징점을 추출하는 특징점 결정부;
상기 특징점 결정부를 통하여 추출된 특징점을 이용하여 영상에 나타난 객체의 상황을 기 분류된 상황 중 어느 하나로 선택하는 상황 선택부;
상기 객체의 상태가 오크루젼으로 선택될 경우 기 저장된 객체 모델과 오크루젼이 발생한 상기 영상에서 추출한 특징점을 비교하여 상기 객체를 분리하고 상기 객체의 움직임을 결정하는 객체 결정부; 및
상기 객체 결정부를 통하여 결정된 상기 객체의 움직임을 업데이트하고, 상기 객체의 움직임을 예측한 후 예측된 객체의 움직임을 추적 인폼(Inform)을 통해 상기 상황 선택부로 전달하는 객체 추적부를 포함하는 다중 객체 추적 시스템.A background removal unit that updates a background model when a video is input, generates a new background image from the image, and acquires a foreground image from which the background is removed through a difference operation between the image and the background image;
A feature point determining unit for determining a feature point represented by the image and the foreground image with reference to a feature tree, and extracting the determined feature point;
A situation selector for selecting a situation of the object displayed in the image using one of the pre-classified situations using the extracted feature points through the feature point determining unit;
An object determining unit for determining a motion of the object by comparing the pre-stored object model and the minutiae extracted from the image generated by the occlusion to separate the object and determining the motion of the object when the state of the object is selected as the occlusion; And
And an object tracking unit for updating the motion of the object determined through the object deciding unit and for predicting the motion of the object and transmitting the motion of the predicted object to the situation selecting unit via a tracking information form (Inform) .

제 1항에 있어서,
상기 배경제거부는 기대치 최대화(Expectation Maximization) 알고리즘을 사용하여 갱신되는 가우시안 혼합 모델(Gaussian Mixture Model)을 이용하여 차연산을 수행하여 전경영상을 획득하는 것을 특징으로 하는 다중 객체 추적 시스템.The method according to claim 1,
Wherein the background removal unit performs a difference operation using a Gaussian Mixture Model updated using an Expectation Maximization algorithm to obtain a foreground image.

제 1항에 있어서,
상기 특징 트리는 복수의 특징들을 연산 시간을 기반으로 연산비용에 따라 복수의 단계로 분류하여 저장하는 것을 특징으로 하는 다중 객체 추적 시스템.The method according to claim 1,
Wherein the feature tree classifies the plurality of features into a plurality of levels according to the computation cost based on the computation time.

제 3항에 있어서,
상기 특징 트리는 물리적인 거리, 또는 색상의 히스토그램을 포함하는 저비용 특징, 기울기 정보, 또는 텍스쳐를 포함하는 중간 비용 특징, 코너, 또는 블랍을 포함하는 고비용 특징으로 단계화되는 것을 특징으로 하는 다중 객체 추적 시스템.The method of claim 3,
Characterized in that the feature tree is stepped into a high cost feature comprising a medium distance feature, a corner, or a blob, including a physical distance, or a low cost feature including a color histogram, tilt information, or texture. .

제 4항에 있어서,
상기 상황 선택부는 우선 저비용의 특징점을 이용하여 상황을 선택한 후 추가적인 연산이 필요한 경우 단계적으로 점차 고비용의 특징점을 이용하여 상황을 선택하는 것을 특징으로 하는 다중 객체 추적 시스템.5. The method of claim 4,
Wherein the state selector selects a situation using a low-cost feature point, and then selects a situation using the high-cost feature point step by step when an additional operation is required.

제 1항에 있어서,
상기 기 분류된 상황이란 객체의 사라짐, 새로운 객체, 정상적인 추적, 오크루젼, 객체의 분리, 지연된 결정으로 분류되는 것을 특징으로 하는 다중 객체 추적 시스템.The method according to claim 1,
Wherein the pre-classified situation is classified into a disappearance of an object, a new object, a normal tracking, an occlusion, an object separation, and a delayed determination.

제 6항에 있어서,
하나의 추적 정보와 정합되는 블랍이 없는 경우 상기 사라짐, 하나의 블랍과 정합되는 추적 정보가 없는 경우 상기 새로운 객체, 하나의 추적 정보와 하나의 블랍이 정합되는 경우 상기 정상적인 추적, 두 개의 블랍이 하나의 추적 정보와 정합되는 경우 상기 오크루젼, 하나의 블랍에 두 개의 추적 정보가 정합되는 경우 상기 객체의 분리, 두 개 이상의 추적 정보와 두 개 이상의 블랍이 정합되는 경우 상기 지연된 결정으로 판단되는 것을 특징으로 하는 다중 객체 추적 시스템.The method according to claim 6,
If there is no blob matching the one tracking information, disappears; if there is no tracking information matched to one blob, the new object, the normal tracking if one blob matches the normal tracking, The separation of the object when two tracking information are matched to one blob, the determination of the delayed decision when two or more tracking information and two or more blobs match each other A multi - object tracking system characterized by.

제 1항에 있어서,
객체의 상황 분류에 허용된 모든 시간 또는 특징을 사용하고도 상기 상황의 신뢰도가 소정 임계치(Threshold)를 넘지 않는 경우 연결정(Soft Decision)을 적용하여 지연된 결정으로 분류하는 것을 특징으로 하는 다중 객체 추적 시스템. The method according to claim 1,
Wherein when the reliability of the situation does not exceed a predetermined threshold even if all the time or features allowed for classifying the object are used, the classification is classified into a delayed decision by applying soft decision system.

배경제거부에서 영상이 입력되면 배경 모델을 갱신하여, 상기 영상으로부터 새로운 배경 영상을 생성하고, 상기 영상과 상기 배경 영상의 차연산을 통해 배경을 제거한 전경영상을 획득하는 단계;
특징점 결정부에서 특징 트리를 참조하여 상기 영상과 상기 전경영상에 나타난 특징점을 결정하고, 결정된 특징점을 추출하는 단계;
상황 선택부에서 상기 특징점 결정부를 통하여 추출된 특징점을 이용하여 영상에 나타난 객체의 상황을 기 분류된 상황 중 어느 하나로 선택하는 단계;
객체 결정부에서 상기 객체의 상태가 오크루젼으로 선택될 경우 기 저장된 객체 모델과 오크루젼이 발생한 상기 영상에서 추출한 특징점을 비교하여 상기 객체를 분리하고 상기 객체의 움직임을 결정하는 단계; 및
객체 추적부에서 상기 객체 결정부를 통하여 결정된 상기 객체의 움직임을 업데이트하고, 상기 객체의 움직임을 예측한 후 예측된 객체의 움직임을 추적 인폼(Inform)을 통해 상기 상황 선택부로 전달하는 단계를 포함하는 다중 객체 추적 방법.Updating the background model when the image is input in the background removal unit, generating a new background image from the image, and obtaining a foreground image from which the background is removed through a difference operation between the image and the background image;
Determining a feature point indicated in the image and the foreground image by referring to the feature tree in the feature point determination unit, and extracting the determined feature point;
Selecting a situation of the object displayed in the image using one of the pre-classified situations using the feature points extracted through the feature point determining unit in the situation selecting unit;
Comparing a pre-stored object model with a feature point extracted from the image in which the ocurrence occurred, separating the object and determining the motion of the object when the state of the object is selected as the occlusion; And
Updating the motion of the object determined by the object determining unit in the object tracking unit, and estimating the motion of the object, and transmitting the motion of the predicted object to the situation selecting unit via a tracking information form (Inform) Object tracking method.

제 9항에 있어서,
상기 특징 트리는 복수의 특징들을 연산 시간을 기반으로 연산비용에 따라 복수의 단계로 분류하여 저장하는 것을 특징으로 하는 다중 객체 추적 방법.10. The method of claim 9,
Wherein the feature tree classifies the plurality of features into a plurality of stages according to the computation cost based on the computation time.

제 10항에 있어서,
상기 상황 선택부는 우선 저비용의 특징점을 이용하여 상황을 선택한 후 추가적인 연산이 필요한 경우 단계적으로 점차 고비용의 특징점을 이용하여 상황을 선택하는 것을 특징으로 하는 다중 객체 추적 방법.11. The method of claim 10,
Wherein the state selector selects a situation using a low-cost feature point, and then selects a situation using the high-cost feature point step by step when an additional operation is required.

제 9항에 있어서,
상기 기 분류된 상황이란 객체의 사라짐, 새로운 객체, 정상적인 추적, 오크루젼, 객체의 분리, 지연된 결정으로 분류되는 것을 특징으로 하는 다중 객체 추적 방법.10. The method of claim 9,
Wherein the pre-classified situation is classified into a disappearance of an object, a new object, a normal tracking, an occlusion, an object separation, and a delayed determination.

제 9항에 있어서,
객체의 상황 분류에 허용된 모든 시간 또는 특징을 사용하고도 상기 상황의 신뢰도가 소정 임계치(Threshold)를 넘지 않는 경우 연결정(Soft Decision)을 적용하여 지연된 결정으로 분류하는 것을 특징으로 하는 다중 객체 추적 방법.10. The method of claim 9,
Wherein when the reliability of the situation does not exceed a predetermined threshold even if all the time or features allowed for classifying the object are used, the classification is classified into a delayed decision by applying soft decision Way.

제 9항 내지 제 13항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.A computer program for executing the method according to any one of claims 9 to 13.