KR101768372B1

KR101768372B1 - Image based Hierarchical Multiple Object Tracking Method and System using a Relative Motion between Objects

Info

Publication number: KR101768372B1
Application number: KR1020160049083A
Authority: KR
Inventors: 윤주홍; 황영배; 최병호; 윤국진
Original assignee: 전자부품연구원; 광주과학기술원
Priority date: 2016-04-22
Filing date: 2016-04-22
Publication date: 2017-08-17

Abstract

An image-based hierarchical multiple object tracking method and system using relative motion information between objects is provided. The multiple object tracking method according to an embodiment of the present invention includes generating relative motion information between objects to be tracked, assigning measurement values to the objects based on the relative motion information, and tracking the movement path of the objects by connecting the assigned measurement values according to the objects. Accordingly, it is possible to perform multiple object tracking which is robust against detection errors and image blurring.

Description

객체 간의 상대 움직임 정보를 이용한 영상 기반 계층적 다중 객체 추적 방법 및 시스템{Image based Hierarchical Multiple Object Tracking Method and System using a Relative Motion between Objects}TECHNICAL FIELD The present invention relates to an image-based hierarchical multi-object tracking method and system using relative motion information between objects,

본 발명은 객체 추적 기술에 관한 것으로, 더욱 상세하게는 영상 기반으로 여러 객체들을 함께 추출하는 다중 객체 추적 방법 및 시스템에 관한 것이다.The present invention relates to an object tracking technology, and more particularly, to a multi-object tracking method and system for extracting multiple objects together on an image basis.

다중 객체 추적은 새롭게 검출된 측정(검출)치(detection)들을 해당 추적 객체들에 할당(assignment)하여 시간의 흐름에 따라 연결(linking) 함으로써 객체들의 이동경로를 추정하는데 목적을 둔다.The multi-object tracking aims at estimating the movement path of objects by assigning newly detected measurement (detection) to the corresponding tracking objects and linking them with the passage of time.

다중 객체 추적에서, 측정치들을 해당 객체들에 올바르게 할당하기 위해 데이터 연관(data association)을 통해 최적의 할당 결과를 추정한다. 도 1에는 현재 프레임 t에서 측정치들을 객체 1과 객체 2에 할당하는 예제를 나타내었다.In multi-object tracking, an optimal allocation result is estimated through a data association to correctly assign the measurements to the objects. Figure 1 shows an example of assigning measurements to object 1 and object 2 at current frame t.

다중 객체 추적에 있어, 객체 검출 에러[미검출(false negative), 오검출(false positive)]와 영상 흔들림으로 인한 객체 움직임 정보 손실 문제는 데이터 연관 성능을 저하시키며, 구체적으로는 다음과 같다.In multi-object tracking, object detection error (false negative, false positive) and loss of object motion information due to image blurring degrade data association performance.

① 영상 흔들림 문제① Image blur problem

차량이나 로봇 등과 같은 모바일 플랫폼에 장착된 싱글 단안 카메라를 이용하는 경우, 플랫폼이 움직이게 되면 추적하는 객체의 영상 내 움직임 정보가 영향을 받게 되어 그 전 시간까지 사용한 움직임 정보의 신뢰성은 하락하게 된다. 결과적으로 카메라가 움직이는 환경에서 기존의 움직임 정보를 활용하는 경우 데이터 연관 성능이 낮아지게 된다.In the case of using a single monocular camera mounted on a mobile platform such as a vehicle or a robot, motion information in an image of a tracking object is affected when the platform moves, and the reliability of the motion information used until the whole time is decreased. As a result, when using existing motion information in a moving camera environment, the data association performance becomes low.

② 검출 에러 문제② Detection error problem

검출기(detector)를 이용한 객체 검출 시 미검출과 오검출 문제가 일반적으로 발생하게 된다. 이런 경우 대부분의 데이터 연관 방법은 이전 프레임까지 추적하고 있는 객체를 놓치거나 인접한 다른 객체의 검출된 측정치나 오검출된 측정치에 잘못 연결(linking) 하는 문제점이 발생한다.In case of object detection using detector, undetected and false detection problems generally occur. In this case, most of the data association methods have a problem of missing the object tracking up to the previous frame, or linking to the detected or wrongly measured values of adjacent objects.

③ 계산량 문제③ Computational problem

추적 객체에 현재 프레임에서 검출된 측정치가 할당되는 경우의 수는 객체의 수와 측정치의 수가 늘어날수록 기하급수적으로 커지는 NP-hard 문제이므로 실시간 처리를 필요로 하는 산업에 적용하기가 어렵다.The number of cases in which the measured values are assigned to the tracking object in the current frame is NP-hard, which increases exponentially as the number of objects and the number of measurements increases.

이에, 본 발명은 검출 에러와 영상 흔들림에 강건한 다중 객체 추적을 해결하기 위한 방안의 모색이 요청된다.Accordingly, the present invention requires a search for a solution to solve the multi-object tracking which is robust against detection errors and image blurring.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 검출 에러와 영상 흔들림에 강건한 다중 객체 추적을 해결하기 위한 방안으로, 객체 간의 상대 움직임(relative motion) 정보에 기반을 둔 다중 객체 추적 방법 및 시스템을 제공함에 있다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and it is an object of the present invention to provide a method for solving multi-object tracking robust against detection errors and image blurring, and is based on relative motion information between objects And a method and system for tracking multiple objects.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 다중 객체 추적 방법은, 추적하고자 하는 객체들 간의 상대 움직임 정보들을 생성하는 단계; 상기 상대 움직임 정보들을 기초로, 측정치들을 상기 객체들에 할당하는 단계; 할당된 측정치들을 상기 객체들 별로 연결하여, 상기 객체들의 이동경로를 추적하는 단계;를 포함한다.According to an aspect of the present invention, there is provided a method for tracking multiple objects, the method comprising: generating relative motion information between objects to be tracked; Assigning measurements to the objects based on the relative motion information; And tracing the movement path of the objects by linking the allocated measurement values by the objects.

그리고, 상기 상대 움직임 정보들은, 상기 객체들 간의 위치 차이들과 속도 차이들 중 적어도 하나를 포함할 수 있다.The relative motion information may include at least one of position differences and velocity differences between the objects.

또한, 상기 할당 단계는, 상기 측정치들을 상기 객체들에 대해 가능한 모든 경우의 수로 할당해 가면서 계산한 비용 함수 값들을 기초로, 상기 측정치들을 상기 객체들에 할당할 수 있다.The allocating step may allocate the measurements to the objects based on the cost function values calculated while assigning the measurements to all possible cases for the objects.

그리고, 상기 비용 함수 값은, 객체와 상기 객체에 할당된 측정치의 크기 차이 값 및 외형 차이 값 중 적어도 하나를 포함하며, 상기 외형은, 컬러, 모양, 텍스쳐 중 적어도 하나를 포함할 수 있다.The cost function value may include at least one of a magnitude difference value and a magnitude difference value between the object and the measured value assigned to the object, and the outer shape may include at least one of a color, a shape, and a texture.

또한, 상기 비용 함수는, 기준 객체를 제외한 다른 객체들과 측정치들 간의 위치 차이 값들을 포함할 수 있다.In addition, the cost function may include position difference values between other objects and measurements except the reference object.

그리고, 상기 할당 단계는, 할당 결과가 동일한 비용 함수 값들의 평균이 가장 작은 할당 결과에 따라 상기 측정치들을 상기 객체들에 할당할 수 있다.And, the allocating step may allocate the measurements to the objects according to an allocation result in which the allocation result has the smallest average of the cost function values having the same allocation result.

또한, 본 발명의 실시예에 따른 다중 객체 추적 방법은, 측정치를 할당받지 못한 객체들의 위치들을 측정치를 할당 받은 객체들의 위치들로부터 예측하는 단계;를 더 포함할 수 있다.In addition, the multi-object tracking method according to an embodiment of the present invention may further include estimating positions of objects to which measurement values are not allocated from positions of objects to which measurement values are assigned.

그리고, 상기 할당 단계는, 이전 프레임에서 추적에 성공한 객체들의 측정치를 할당한 후에, 상기 이전 프레임에서 추적에 실패한 객체들의 측정치를 할당할 수 있다.The allocating step may allocate the measurement value of the objects that have failed to be tracked in the previous frame after allocating the measurement value of the objects that succeeded in tracking in the previous frame.

또한, 본 발명의 실시예에 따른 다중 객체 추적 방법은, 추적하고자 하는 객체들을 그룹핑하는 단계;를 더 포함하고, 상기 생성 단계는, 그룹 단위로 수행될 수 있다.Also, the multi-object tracking method according to an embodiment of the present invention may further include grouping objects to be traced, and the generating step may be performed on a group basis.

한편, 본 발명의 다른 실시예에 따른, 다중 객체 추적 시스템은, 영상 프레임을 입력받는 입력부; 및 상기 입력부를 통해 입력되는 영상 프레임에서 추적하고자 하는 객체들 간의 상대 움직임 정보들을 생성하고, 상기 상대 움직임 정보들을 기초로 측정치들을 상기 객체들에 할당하며, 할당된 측정치들을 상기 객체들 별로 연결하여, 상기 객체들의 이동경로를 추적하는 프로세서;를 포함한다.According to another aspect of the present invention, there is provided a multi-object tracking system including: an input unit receiving an image frame; And generating relative motion information between objects to be tracked in an image frame inputted through the input unit, allocating measurement values to the objects based on the relative motion information, connecting the allocated measurement values to the objects, And a processor for tracking the movement path of the objects.

한편, 본 발명의 다른 실시예에 따른, 다중 객체 추적 방법은, 추적하고자 하는 객체들과 측정치들을 그룹핑 하는 단계; 그룹 단위로 측정치들을 상기 객체들에 할당하는 단계; 및 할당된 측정치들을 상기 객체들 별로 연결하여, 상기 객체들의 이동경로를 추적하는 단계;를 포함한다.According to another aspect of the present invention, there is provided a multi-object tracking method comprising: grouping objects and measurement values to be tracked; Assigning measurements to the objects on a group basis; And tracing the movement path of the objects by connecting the allocated measurement values to the objects.

한편, 본 발명의 다른 실시예에 따른, 다중 객체 추적 시스템은, 영상 프레임을 입력받는 입력부; 및 상기 입력부를 통해 입력되는 영상 프레임에서 추적하고자 하는 객체들과 측정치들을 그룹핑 하고, 그룹 단위로 측정치들을 상기 객체들에 할당하며, 할당된 측정치들을 상기 객체들 별로 연결하여 상기 객체들의 이동경로를 추적하는 프로세서;를 포함한다.According to another aspect of the present invention, there is provided a multi-object tracking system including: an input unit receiving an image frame; And grouping the objects and the measurement values to be traced in the image frame input through the input unit, assigning measurement values to the objects on a group basis, connecting the allocated measurement values to the objects, And a processor.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 객체 간의 상대 움직임 정보에 기반을 둔 다중 객체 추적을 통해, 검출 에러와 영상 흔들림에 강건한 다중 객체 추적이 가능해진다.As described above, according to the embodiments of the present invention, multi-object tracking based on relative motion information between objects makes it possible to perform robust multi-object tracking against detection errors and image blurring.

또한, 본 발명의 실시예들에 따르면, 카메라가 고정된 플랫폼 뿐만 아니라 카메라가 움직이는 모바일 플랫폼 환경에 적용 가능하며, 카메라가 움직임에 영향을 적게 받는 객체의 상대 움직임 정보를 데이터 연관 과정에서 활용함으로써 플랫폼의 상태에 관계없이 다중 객체 추적이 가능하다.In addition, according to embodiments of the present invention, the camera can be applied not only to a fixed platform but also to a mobile platform environment in which a camera moves. By utilizing relative motion information of an object less influenced by a camera in a data association process, Multiple object tracking is possible regardless of the state of.

그리고, 본 발명의 실시예들에 따르면, 할당 사건 비용 융합 방법으로 상대 움직임 정보를 데이터 연관 제약 정보로 활용함으로써 추적 객체가 오검출된 측정치나 인접 객체의 측정치에 할당되는 것을 방지할 수 있기 때문에 검출 에러가 발생하는 복잡한 환경에 효과적이다.According to the embodiments of the present invention, since relative motion information is used as data association constraint information in the allocation event cost convergence method, the tracking object can be prevented from being assigned to a measurement value that is detected erroneously or a measurement value of an adjacent object, It is effective in complex environments where errors occur.

뿐만 아니라, 본 발명의 실시예들에 따르면, 데이터 연관에서 할당사건수를 간략화 하기 때문에, 실시간을 요구하는 다양한 분야[로봇, 감시 시스템, ADAS(advanced driver assistant system) 등]에 적용 가능하다.In addition, according to the embodiments of the present invention, since the number of assignment events in the data association is simplified, it can be applied to various fields requiring real time (robots, surveillance systems, advanced driver assistant system (ADAS), etc.).

도 1은 현재 프레임 t에서 측정치들을 객체 1과 객체 2에 할당하는 예제를 나타낸 도면,
도 2는 다중 객체 추적에 의한 객체의 이동경로 추정 과정을 나타낸 도면,
도 3 및 도 4는 객체의 상대 움직임 기반의 객체 추적의 설명에 제공되는 도면,
도 5는 오검출과 미검출 측정치에 의한 잘못된 측정치 할당 예를 제시한 도면,
도 6은 상대 움직임 네트워크 정보를 이용한 데이터 연관 방법의 설명에 제공되는 도면,
도 7은 상대 움직임 네트워크 정보를 이용한 미검출 객체 추적 방법의 설명에 제공되는 도면,
도 8은 분할 방법으로 데이터 연관을 위한 최적의 그룹을 생성하는 기법이 제시된 도면,
도 9는 상대 움직임 정보 신뢰성에 기반을 둔 계층적 다중 객체 추적 기법의 설명에 제공되는 도면, 그리고,
도 10은 본 발명의 다른 실시예에 따른 다중 객체 추적 시스템의 블럭도이다.1 illustrates an example of assigning measurements to object 1 and object 2 at current frame t,
FIG. 2 is a diagram illustrating a process of estimating a moving path of an object by multi-object tracking;
FIGS. 3 and 4 are diagrams that are provided in the description of object tracking based on relative motion of objects;
FIG. 5 is a view showing an example of an erroneous measurement value allocation by erroneous detection and undetected measurement values,
FIG. 6 is a view provided to explain a data associating method using relative motion network information,
7 is a view for explaining a non-detected object tracking method using relative motion network information,
FIG. 8 is a diagram illustrating a technique for creating an optimal group for data association by a division method; FIG.
FIG. 9 is a diagram provided for explanation of a hierarchical multi-object tracking technique based on relative motion information reliability,
10 is a block diagram of a multi-object tracking system according to another embodiment of the present invention.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in detail with reference to the drawings.

다중 객체 추적은 현재 프레임에서 검출기(detector)로부터 검출된 측정치들을 추적하는 객체들에 할당하여 시간에 따라 각 객체에 할당되는 측정치들을 지속적으로 연결하면서 객체의 이동경로를 추정하는 방법이다.Multi-object tracking is a method of estimating a moving path of an object by allocating the measured values detected from a detector in a current frame to the tracking objects and continuously connecting measured values assigned to the objects with time.

도 2에는 다중 객체 추적에 의한 객체의 이동경로 추정 과정을 나타낸 도면이다.FIG. 2 is a diagram illustrating a process of estimating a moving path of an object by multi-object tracking.

다중 객체 추적에서는 다중 객체들을 효과적으로 구별할 수 있는 특징들을 활용한다. 구체적으로 객체의 외형 정보와 움직임 정보를 활용하게 되는데, 외형 정보의 경우 같은 종류의 객체(예를 들어 보행자, 차량)를 추적하는데 있어서 외형의 유사성으로 인한 모호성이 나타난다. 이런 경우에는 객체를 효과적으로 구별하기 위해 움직임 정보를 이용할 수 있다.Multi-object tracking makes use of features that can effectively distinguish multiple objects. Specifically, the appearance information and the motion information of the object are utilized. In the case of the appearance information, ambiguity arises due to the similarity of the appearance in tracking the same kind of object (for example, a pedestrian, a vehicle). In this case, motion information can be used to effectively distinguish objects.

하지만, 영상 내의 객체 움직임 정보는 카메라가 움직이는 환경에서 임의적으로 변하기 때문에 객체들을 구별하는 정보로 사용하기에는 신뢰성이 떨어진다.However, since the object motion information in the image is arbitrarily changed in the moving environment of the camera, it is not reliable to use it as the information for distinguishing the objects.

이를 해결하기 위해 본 발명의 실시예에 따른 다중 객체 추적 방법에서는 객체의 상대 정보를 이용한다.In order to solve this problem, in the multi-object tracking method according to an embodiment of the present invention, object relative information is used.

도 3과 도 4는 객체의 상대 움직임 기반의 객체 추적을 나타낸 도면이다. 객체 간의 상대 움직임은 빨간 선으로 나타내었다. 지속적으로 추적되고 있는 객체는 빨간 박스로, 상대 움직임 정보를 이용하여 지속적으로 추적되는 객체로 미검출된 객체의 예측된 위치는 분홍 박스로 나타내었으며, 객체의 독립 움직임 정보로 예측한 객체의 위치는 녹색 박스로 나타내었다.3 and 4 are diagrams illustrating object tracking based on relative motion of an object. The relative movement between objects is indicated by a red line. The object that is continuously tracked is a red box. The object is tracked continuously using relative motion information. The predicted position of a non-detected object is represented by a pink box. The position of the object predicted by the independent motion information of the object is Green box.

도 3과 도 4를 통해, 측정치가 미검출(false negative) 되는 구간에서 카메라의 움직임이 발생하면, 객체의 독립 움직임에 의한 객체의 위치 예측은 실패하였지만, 상대 움직임에 의한 위치 예측은 정확하였음을 알 수 있다.Referring to FIGS. 3 and 4, when the camera moves in a region where the measured value is false negative, the position prediction of the object due to the independent motion of the object fails, but the position prediction by the relative motion is accurate Able to know.

이는, 객체 간의 상대 움직임(relative motion) 정보가 독립적인 객체 움직임 정보 보다 카메라 움직임에 영향을 적게 받음을 보여준다.This shows that relative motion information between objects is less affected by camera motion than independent motion information.

하지만, 상황에 따라서는, 도 5에 제시된 바와 같이, 검출된 측정치 에러(미검출, 오검출)에 의해 발생하는 근본적인 모호성을 해결하지 못하는 경우가 있을 수도 있다. 도 5는 오검출과 미검출 측정치에 의한 잘못된 측정치 할당 예를 제시한 도면이다.However, depending on the situation, there may be a case where the fundamental ambiguity caused by the detected measurement error (non-detection, false detection) may not be solved, as shown in Fig. FIG. 5 is a diagram showing an example of an erroneous measurement value allocation based on erroneous detection and undetected measurement values.

또한, 객체 추적을 위한 다중 객체에 측정치를 할당하는 문제는 객체의 수와 측정치가 수가 늘어남에 따라 그 경우의 수가 기하급수적으로 늘어나는 NP-hard 문제이므로 실시간 다중 객체 추적에 바로 적용하는 것은 좋지 않을 수 있다.In addition, the problem of assigning measurements to multiple objects for object tracking is NP-hard because the number of objects increases and the number of measurements increases exponentially. have.

본 발명의 실시예에서는 앞서 언급한 3가지 문제를 고려하며 다양한 환경과 분야에 적용 가능한 다중 객체 추적 방법을 제시한다.In the embodiment of the present invention, a multi-object tracking method applicable to various environments and fields is proposed considering the above-mentioned three problems.

1. 상대 1. Relative 모션motion 네트워크(relative motion network, Network (relative motion network, RMNRMN ))

객체 i의 상태는 객체의 위치, 객체의 속도, 그리고 객체의 크기로 구성되며, 다음 식 (1)과 같이 나타낸다. The state of an object i consists of the position of the object, the velocity of the object, and the size of the object, and is expressed by the following equation (1).

(1)

(One)

현재 시간에 추적되고 있는 모든 객체는

집합으로 표현한다. 식 (1)에서

는 객체의 위치,

는 객체의 속도, 그리고

는 객체의 사이즈를 표현한다. 객체 i와 객체 j 간의 상대 정보는 위치 차이와 속도 차이로 표현되며 다음 식 (2)와 같다.All objects being tracked at the current time

Expressed as a set. In equation (1)

The position of the object,

The speed of the object, and

Represents the size of the object. Relative information between object i and object j is expressed as position difference and velocity difference, and is expressed by the following equation (2).

(2)

식 (2)에서

는 객체 i와 객체 j의 상대 위치를 나타내며

은 각각 객체 i와 객체 j의 상대 속도를 나타낸다. 모든 객체들 간의 상대 움직임 집합은 상대 움직임 네트워크(relative motion network, RMN)

라고 정의하며 다음과 같이 나타낸다.In equation (2)

Represents the relative position of object i and object j

Represents the relative speed of object i and object j, respectively. The relative motion set between all objects is the relative motion network (RMN)

Is defined as follows.

,

(3)

,

(3)

2. 상대 움직임 네트워크 정보를 이용한 데이터 연관 방법2. Data association method using relative motion network information

다중 객체 추적에서는 검출기로부터 검출된 측정치들을 각 객체들에 할당하는 데이터 연관이 이용되어, 각 객체 당 최대 하나의 검출 측정치가 할당되게 한다. 본 발명의 실시예에서 검출 측정치

는 검출 객체의 위치, 넓이, 높이로 표현한다.

는 현재 시간에서 검출된 측정치들의 집합이다. 객체들과 검출된 측정치들 간의 일대일 대응 데이터 연관은 다음 식과 같이 표현한다.In multi-object tracking, a data association is used that assigns the measured values from the detector to each object, so that a maximum of one detection measure is allocated per object. In an embodiment of the present invention,

Is expressed by the position, width, and height of the detected object.

Is a set of measurements that are detected at the current time. The one-to-one correspondence data association between objects and detected measurements is expressed as:

(4)

위의 식 (4)에서 시간 인덱스 t는 생략한다. N과 M은 객체와 검출된 측정치 인덱스 집합이다.

는 객체와 검출 측정치와의 데이터 연관 결과이며 할당값(assignment indicator)

이면 검출 측정치 k가 객체 i에 할당됨을 표현하며 할당값

는 할당되지 않음을 나타낸다. 할당값

는 객체 i가 검출기로부터 측정되지 않은 경우를 나타내며 이 할당값의 전체 합은 객체 인덱스 수와 같다.In the above equation (4), the time index t is omitted. N and M are objects and a set of detected measure indexes.

Is the data association result between the object and the detected measurement,

Lt; RTI ID = 0.0 > k < / RTI > is assigned to object i,

Is not assigned. Assigned value

Represents the case where object i is not measured from the detector, and the total sum of these allocation values is equal to the number of object indexes.

본 발명의 실시예에서 제시하는 RMN을 이용한 데이터 연관 함수는 구조 제약비용 함수(structural constraint cost function)이라 하며 다음과 같이 수식화 한다.The data association function using the RMN proposed in the embodiment of the present invention is called a structural constraint cost function and is expressed as follows.

(5)

위의 식에서 제안된 제약 함수는 기준 할당(anchor assignment) 비용 함수(

)와 구조 제약 함수(structural constraint function,

)로 구성된다. 여기서 기준 할당이란 움직임 정보(객체 위치, 속도)에 관계없이 측정치 k가 객체 i에 할당됨을 가정한다. 그리고 구조 제약 함수에서는 기준 할당의 기준 객체와 RMN 정보를 이용하여 정해진 나머지 객체의 위치에서 측정치와의 비용(cost)을 연산한다. 제안된 구조 제약 비용 함수(structural constraint cost function)를 이용하면 데이터 연관에서 불확실한 카메라 움직임의 영향력을 최소화시킬 수 있다는 장점이 있다.The constraint function proposed in the above equation is an anchor assignment cost function (

) And a structural constraint function

). Here, it is assumed that a reference value k is assigned to an object i regardless of motion information (object position, velocity). In the structure constraint function, the cost of the measured object is calculated by using the reference object of the reference allocation and the RMN information. The proposed structure constraint cost function has the advantage of minimizing the influence of uncertain camera motion on the data association.

도 6의 좌측 부분에는 특정 측정치를 특정 객체에 기준 할당한 후 나머지 객체들에 모든 경우의 수에 따라 나머지 측정치들을 할당하면서 비용을 연산하는 과정이 나타나 있으며, 이 연산 과정이 모든 객체들에 대해 모든 경우의 수에 따라 기준 할당하면서 수행하는 과정이 나타나 있다.In the left part of FIG. 6, a process of calculating a cost by allocating a specific measurement value to a specific object and allocating remaining measurement values to the remaining objects according to the number of all cases is shown. The process of performing the reference assignment according to the number of cases is shown.

도 6에서 추적 객체는 빨간 박스, 측정치는 노란 박스, 오검출 측정치는 파란 박스, 미검출 객체는 분홍 박스로 표현하였다.In FIG. 6, the tracking object is represented by a red box, the measurement value by a yellow box, the false detection value by a blue box, and the non-detection object by a pink box.

기준 할당 비용 함수는 객체의 크기와 객체의 외형 정보를 이용하여 연산한다. 객체의 외형 정보로 컬러, 모양, 텍스쳐 등이 사용 가능하다.The reference allocation cost function is calculated by using the size of the object and the shape information of the object. Color, shape, texture, etc. can be used as object's appearance information.

(6)

위의 식 (6)에서

는 객체의 크기와 검출 측정치의 차이 값이며

객체와 검출 측정치의 외형 차이 값이다.In the above equation (6)

Is the difference between the size of the object and the measured value

It is the appearance difference value of object and detection measurement.

구조 제약 비용 함수

는 다음과 같이 수식화 한다.Structural Constraint Cost Function

Is formulated as follows.

(7)

위의 식에서 τ는 임계치(threshold)로 측정치를 할당 받지 않은 경우(q=0)의 비용이다. 측정치와의 데이터 연관 비용

은 기준 할당 객체 i와 RMN에 의해 정해진 객체 i와 측정치 q 간의 위치 차이값을 나타낸다. 기준 할당에 의해 객체 i의 위치는 측정치 k의 위치와 같다고 가정하고 RMN 정보를 이용하여 객체 j의 위치는 다음과 같이 정의한다.In the above equation, τ is the cost (q = 0) when no measurement is assigned as a threshold. Data association costs with measurements

Represents the position difference value between the object i and the measurement q defined by the reference assignment object i and the RMN. Assuming that the position of object i is equal to the position of measurement k by reference assignment, the position of object j is defined as follows using RMN information.

(8)

위의 식 (8)은 RMN과 기준 할당(anchor assignment)으로부터 정해진 객체 j의 위치에 의해 측정치 q와의 데이터 연관 비용(cost)

는 객체와 측정치의 템플릿(template)이 겹치는 영역의 비율로 다음과 같이 계산한다.The above equation (8) shows that the data association cost with the measured value q by the position of the object j determined from the RMN and the anchor assignment,

Is the ratio of the area where the object and the template of the measurement overlap, as follows.

(9)

여기서

와

는 영상 내에서의 객체와 측정치의 템플릿이다.here

Wow

Is a template of objects and measurements in an image.

4. 할당 사건 비용 융합 (assignment event cost aggregation)4. Assignment event cost aggregation

같은 할당 사건(assignment event,

) 이라 할지라도, 기준 할당에 따라 구조 제약 함수

의 비용(cost)이 달라진다. 이에 따라, 본 발명의 실시예에서 제시하는 할당 사건 비용 융합은 같은 할당 사건(assignment event)으로 표현되나 서로 다른 기준 할당(anchor assignment)에 의해 연산된 비용(cost)의 합으로 정의된다. 할당 사건 비용 융합은 다음과 같이 수식화 할 수 있다.The same assignment event (assignment event,

), The structure constraint function

The cost of the system is changed. Accordingly, the allocation event cost convergence presented in the embodiment of the present invention is defined as the sum of costs calculated by the same assignment event (an event assignment), but calculated by different anchor assignments. Assignment Event Cost Fusion can be formulated as follows.

(10)

위의 식 (10)은 할당사건

을 갖는 모든 비용의 합을 표현한다. 최종적으로 최적의 할당 결과는 비용의 합을 사건의 수로 나누어 구한 평균 값들 중 데이터 연관 비용을 최소화하는 할당 결과가 선택된다.The above equation (10)

&Lt; / RTI > Finally, the optimal allocation result is the allocation result that minimizes the data association cost among the average values obtained by dividing the sum of costs by the number of events.

(11)

이 과정은 도 6의 우측 부분에 나타나 있다.This process is shown in the right part of FIG.

5. 상대 움직임 네트워크 정보를 이용한 미검출 객체 추적 방법5. Non-detection object tracking method using relative motion network information

RMN을 이용할 경우 미검출된 객체의 위치도 예측 가능하며 해당 객체가 다시 검출될 경우 재인식이 가능하다. 미검출 객체의 데이터 연관 결과도 객체와 측정치간의 일대일 대응으로 가정한다.When RMN is used, the position of an object that has not yet been detected can be predicted and re-recognition is possible when the object is detected again. The data association result of the undetected object is also assumed to be a one-to-one correspondence between the object and the measured value.

(12)

위의 식 (12)에서

는 측정치가 할당되어 성공적으로 추적된 객체들의 집합이다.

는 이전 시간에서 측정치를 할당받지 못하여 추적에 실패한 객체들의 집합이며,

는 성공적으로 추적한 객체와 추적이 실패한 객체 간의 상대 움직임의 집합이다.

는

에 속한 객체들에 할당된 측정치를 제외한 측정치들의 집합이다. 식 (12)의 비용 함수는 다음과 같이 수식화한다.In the above equation (12)

Is a set of objects that have been successfully tracked with assigned measurements.

Is a set of objects that failed to track because they were not assigned a measure at the previous time,

Is a set of relative movements between a successfully tracked object and a failed tracked object.

The

Is a set of measurements excluding measurements that are assigned to objects belonging to a group. The cost function of equation (12) is formulated as follows.

(13)

위의 식(13)에서 τ는 임계치(threshold)로 측정치를 할당받지 않은 경우(q=0)의 비용(cost)이다. 미검출 객체의 데이터 연관 비용 함수

는 크기 비용

, 외형 비용

, 그리고 상대 움직임 기반 비용

의 합으로 연산된다.In the above equation (13), τ is the cost when the measured value is not assigned as the threshold value (q = 0). Data association cost function of undetected object

The cost of size

, External cost

, And relative motion-based cost

.

식 (13)에서 상대 움직임 기반 비용

는 식 (9)와 유사하게 예측된 객체의 위치에서 템플릿(template)과 측정치의 템플릿 간의 겹치는 비율에 기반 한다.In Equation (13), the relative motion-based cost

Is based on the overlap ratio between the template and the measured template at the location of the predicted object, similar to equation (9).

(14)

도 7에는 추적에 성공한 객체(빨간 박스)로부터 미검출로 인하여 추적에 실패한 객체들의 위치를 예측(녹색 점선 박스)하는 기법이 나타나 있다. 도 7에서 파란 박스는 현재 프레임에서 검출된 측정치를 표현한다.FIG. 7 shows a technique of predicting the position of objects that failed to be tracked due to non-detection from a tracked object (red box) (green dotted line box). In Figure 7, the blue box represents the measured value detected in the current frame.

도 7에 제시된 바와 같이, 예측된 객체의 위치가 두 개 이상인 경우, 상대 움직임 변화가 가장 작은 상대 움직임(J)으로 예측된 객체의 위치를 이용한다.As shown in FIG. 7, when the position of the predicted object is two or more, the position of the predicted object with the relative motion J having the smallest relative motion change is used.

7. 상대 움직임 업데이트7. Relative movement update

각 객체들은 움직임 변화가 다르기 때문에 객체들 간의 상대 위치도 변하게 된다. 본 발명의 실시예에서는 상대 움직임 변화는 구분적인 선형(piecewise linear) 변화를 따른다고 가정한다. 상대 움직임 벡터

의 변화는 다음과 같이 수식화 할 수 있다.Since each object has different motion change, the relative position between objects also changes. In the embodiment of the present invention, it is assumed that the relative motion change follows a piecewise linear change. Relative motion vector

Can be formulated as follows.

(15)

여기서 T는 등속운동 모델이며 ω는 움직임 모델 에러로 가우시안(Gaussian)분포를 따른다. 상대 움직임 벡터를 업데이트하기 위해서 칼만 필터(Kalman filter)를 이용한다.Where T is the constant velocity model and ω is the motion model error followed by a Gaussian distribution. A Kalman filter is used to update the relative motion vector.

8. 할당사건(assignment event) 최소화 방법8. How to minimize assignment events

다중 객체 추적을 효율적으로 하기 위해서는 객체와 측정치 간의 할당 사건 경우의 수를 최소화가 필요하다. 최소화를 위해 게이팅(Gating) 기술과 분할(partitioning) 기술을 이용한다. 게이팅은 각 객체의 위치를 중심으로 일정 영역 내에 존재하는 측정치를 제외한 측정치와의 데이터 연관을 방지한다. 이를 위해 객체의 위치와 크기 값을 활용하며 다음과 같이 수식화한다.In order to efficiently perform multi-object tracking, it is necessary to minimize the number of allocation event cases between object and measurement. Gating and partitioning techniques are used for minimization. Gating prevents data associations with measured values except for measurements existing within a certain area centered on the position of each object. To do this, we use the position and size values of the object and formulate it as follows.

(16)

여기서

와

는 객체와 측정치의 영상내의 위치이다.

는 객체와 측정치 간의 크기의 유사도이며 일정 유사도 이상인 경우만 데이터 연관에서 고려한다. 더 나아가 객체의 수가 일정 수 이상일 때 객체들 그룹핑(grouping) 하여 분할(partitioning)을 수행한다. here

Wow

Is the position in the image of the object and the measurement.

Is a similarity measure of the size between the object and the measured value, and is considered in the data association only when the degree of similarity is higher than the certain degree of similarity. Furthermore, when the number of objects is equal to or more than a predetermined number, object grouping is performed to perform partitioning.

도 8은 게이팅으로 일정 역역 내의 측정치만을 고려하기 위해, 분할 방법으로 데이터 연관을 위한 최적의 그룹을 생성하는 기법이 제시되어 있다.FIG. 8 shows a technique of generating an optimum group for data association in a dividing method, in order to consider only the measurement within a predetermined range with gating.

9. 상대 움직임 정보를 이용한 다중 객체 추적방법 프레임워크9. Multi-Object Tracking Framework Using Relative Motion Information

상대 움직임 네트워크를 효율적으로 이용하기 위해 계층적(hierarchical) 다중 객체 추적 방법을 제시한다.We propose a hierarchical multi - object tracking method for efficient use of relative movement network.

객체들 간의 상대 움직임은 시간의 변화에 따라 지속적으로 변하므로 이전 프레임에 추적된 객체들 간의 상대 움직임의 신뢰성은, 추적에 실패한 객체와 추적에 성공한 객체 간의 상대 움직임보다 높다.Since the relative motion between objects changes continuously with time, the reliability of the relative motion between the objects traced in the previous frame is higher than the relative motion between the object that failed to track and the object that succeeded in tracking.

이런 이유로 Step 1에서는 추적에 성공한 객체들 간의 상대 움직임 정보를 이용하여 본 발명의 실시예에서 제시하는 구조 제약 비용 함수와 할당 사건 비용 융합 기반의 데이터 연관 방법으로 객체에 알맞은 측정치를 할당하고 객체의 상태 벡터를 추정한다. 이전 프레임과 Step 2에서 추적에 실패한 객체는 Step 1에서 추적에 성공한 객체와 상대 움직임 정보를 이용하여 재인식을 수행한다.For this reason, in Step 1, the relative motion information between the successfully tracked objects is used to assign a suitable measurement value to the object in accordance with the data structure of the structure constraint cost function and the allocation event cost convergence based on the embodiment of the present invention, Estimate the vector. The object which failed to track in the previous frame and the step 2 performs the re-recognition using the tracked object and relative motion information in Step 1.

Step 2에서는 식 (12)와 (13)에서 제안된 데이터 연관 방법을 이용하며 해당 데이터 연관의 콘셉트는 도 7에 제시한 바 있다.In Step 2, the data association method proposed in Equations (12) and (13) is used and the concept of the corresponding data association is shown in FIG.

도 9는 상대 움직임 정보 신뢰성에 기반을 둔 계층적 다중 객체 추적 기법의 설명에 제공되는 도면이다.FIG. 9 is a diagram provided for explanation of a hierarchical multi-object tracking technique based on relative motion information reliability.

10. 다중 객체 추적 시스템10. Multi-object tracking system

도 10은 본 발명의 다른 실시예에 따른 다중 객체 추적 시스템의 블럭도이다. 본 발명의 실시예에 따른 다중 객체 추적 시스템은, 도 10에 도시된 바와 같이, 영상 입력부(110), 프로세서(120), 저장부(130) 및 출력부(140)를 포함한다.10 is a block diagram of a multi-object tracking system according to another embodiment of the present invention. The multi-object tracking system according to an embodiment of the present invention includes an image input unit 110, a processor 120, a storage unit 130, and an output unit 140, as shown in FIG.

영상 입력부(110)는 카메라를 통해 촬영되는 영상을 실시간으로 입력받고, 입력되는 영상을 프로세서(120)에 인가한다.The image input unit 110 receives an image captured through a camera in real time and applies the input image to the processor 120. [

영상 입력부(110)에 입력되는 영상은 실시간 영상이 아니어도 무방하다. 즉, 외부 기기/네트워크에 저장된 영상이 영상 입력부(110)에 입력되어 프로세서(120)에 인가되는 경우도, 본 발명의 기술적 사상이 적용될 수 있다.The image input to the image input unit 110 may not be a real-time image. That is, the technical idea of the present invention can also be applied to a case where an image stored in an external device / network is input to the image input unit 110 and then applied to the processor 120.

프로세서(120)는 위에서 설명한 다중 객체 추적 방법을 실행하기 위한 GPU와 CPU를 포함한다. 저장부(130)는 프로세서(120)가 다중 객체 추적을 수행함에 있어 필요한 저장 공간을 제공한다.The processor 120 includes a GPU and a CPU for executing the multi-object tracking method described above. The storage unit 130 provides storage space necessary for the processor 120 to perform multi-object tracking.

출력부(140)는 프로세서(120)에 의해 수행된 다중 객체 추적 결과를 표시하기 위한 디스플레이와 외부 기기/네트워크로 전달하기 위한 통신 인터페이스를 포함한다.The output unit 140 includes a display for displaying multi-object tracking results performed by the processor 120 and a communication interface for communicating to an external device / network.

한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.It goes without saying that the technical idea of the present invention can also be applied to a computer-readable recording medium having a computer program for performing the functions of the apparatus and method according to the present embodiment. In addition, the technical idea according to various embodiments of the present invention may be embodied in computer-readable code form recorded on a computer-readable recording medium. The computer-readable recording medium is any data storage device that can be read by a computer and can store data. For example, the computer-readable recording medium may be a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical disk, a hard disk drive, or the like. In addition, the computer readable code or program stored in the computer readable recording medium may be transmitted through a network connected between the computers.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and detail may be made therein without departing from the spirit and scope of the present invention.

110 : 영상 입력부
120 : 프로세서
130 : 저장부
140 : 출력부110:
120: Processor
130:
140:

Claims

추적하고자 하는 객체들 간의 상대 움직임 정보들을 생성하는 단계;
상기 상대 움직임 정보들을 기초로, 측정치들을 상기 객체들에 할당하는 단계;
할당된 측정치들을 상기 객체들 별로 연결하여, 상기 객체들의 이동경로를 추적하는 단계;를 포함하고,
상대 움직임 정보들은,
상기 추적하고자 하는 객체들 중 어느 하나와 다른 하나 간 움직임 정보의 차이들인 것을 특징으로 하는 다중 객체 추적 방법.
Generating relative motion information between objects to be tracked;
Assigning measurements to the objects based on the relative motion information;
And tracing the movement path of the objects by connecting the allocated measurements by the objects,
The relative motion information,
Wherein the motion information is a difference between any one of the objects to be tracked and motion information between the other objects.

청구항 1에 있어서,
상기 상대 움직임 정보들은,
상기 객체들 간의 위치 차이들과 속도 차이들 중 적어도 하나를 포함하는 것을 특징으로 하는 다중 객체 추적 방법.
The method according to claim 1,
Wherein the relative motion information comprises:
And at least one of position differences and speed differences between the objects.

청구항 1에 있어서,
상기 할당 단계는,
상기 측정치들을 상기 객체들에 대해 할당해 가면서 계산한 비용 함수 값들을 기초로, 상기 측정치들을 상기 객체들에 할당하는 것을 특징으로 하는 다중 객체 추적 방법.
The method according to claim 1,
Wherein the allocating step comprises:
And assigning the measurements to the objects based on the cost function values calculated while assigning the measurements to the objects.

청구항 3에 있어서,
상기 비용 함수 값은,
객체와 상기 객체에 할당된 측정치의 크기 차이 값 및 외형 차이 값 중 적어도 하나를 포함하며,
상기 외형은, 컬러, 모양, 텍스쳐 중 적어도 하나를 포함하는 것을 특징으로 하는 다중 객체 추적 방법.
The method of claim 3,
The cost function value may be expressed as:
A size difference value and an appearance difference value of an object and a measurement assigned to the object,
Wherein the outer shape includes at least one of a color, a shape, and a texture.

청구항 3에 있어서,
상기 비용 함수는,
기준 객체를 제외한 다른 객체들과 측정치들 간의 위치 차이 값들을 포함하는 것을 특징으로 하는 다중 객체 추적 방법.
The method of claim 3,
The cost function,
Wherein the position information includes position difference values between other objects and measurement values except for the reference object.

청구항 3에 있어서,
상기 할당 단계는,
할당 결과가 동일한 비용 함수 값들의 평균이 가장 작은 할당 결과에 따라 상기 측정치들을 상기 객체들에 할당하는 것을 특징으로 하는 다중 객체 추적 방법.
The method of claim 3,
Wherein the allocating step comprises:
And allocating the measurements to the objects in accordance with an allocation result having the smallest average of the cost function values as the allocation result.

청구항 1에 있어서,
측정치를 할당받지 못한 객체들의 위치들을 측정치를 할당 받은 객체들의 위치들로부터 예측하는 단계;를 더 포함하는 것을 특징으로 하는 다중 객체 추적 방법.
The method according to claim 1,
And estimating positions of the objects to which the measured values are not allocated from the positions of the objects to which the measured values are assigned.

청구항 7에 있어서,
상기 할당 단계는,
이전 프레임에서 추적에 성공한 객체들의 측정치를 할당한 후에, 상기 이전 프레임에서 추적에 실패한 객체들의 측정치를 할당하는 것을 특징으로 하는 다중 객체 추적 방법.
The method of claim 7,
Wherein the allocating step comprises:
Assigning a measure of objects that have been successfully tracked in a previous frame, and then assigning a measure of objects that failed to track in the previous frame.

청구항 1에 있어서,
추적하고자 하는 객체들을 그룹핑하는 단계;를 더 포함하고,
상기 생성 단계는, 그룹 단위로 수행되는 것을 특징으로 하는 다중 객체 추적 방법.
The method according to claim 1,
And grouping the objects to be tracked,
Wherein the generating step is performed on a group basis.

영상 프레임을 입력받는 입력부;
상기 입력부를 통해 입력되는 영상 프레임에서 추적하고자 하는 객체들 간의 상대 움직임 정보들을 생성하고, 상기 상대 움직임 정보들을 기초로 측정치들을 상기 객체들에 할당하며, 할당된 측정치들을 상기 객체들 별로 연결하여, 상기 객체들의 이동경로를 추적하는 프로세서;를 포함하고,
상대 움직임 정보들은,
상기 추적하고자 하는 객체들 중 어느 하나와 다른 하나 간 움직임 정보의 차이들인 것을 특징으로 하는 다중 객체 추적 시스템.
An input unit for receiving an image frame;
Wherein the motion estimator generates relative motion information between objects to be tracked in an image frame input through the input unit, allocates measurement values to the objects based on the relative motion information, And a processor for tracking the movement path of the objects,
The relative motion information,
Wherein the motion information is a difference between any one of the objects to be tracked and motion information between the other objects.

추적하고자 하는 객체들 간의 상대 움직임 정보들을 생성하는 단계;
상기 추적하고자 하는 객체들과 측정치들을 그룹핑 하는 단계;
그룹 단위로, 상기 상대 움직임 정보들을 기초로 측정치들을 상기 객체들에 할당하는 단계; 및
할당된 측정치들을 상기 객체들 별로 연결하여, 상기 객체들의 이동경로를 추적하는 단계;를 포함하고,
상대 움직임 정보들은,
상기 추적하고자 하는 객체들 중 어느 하나와 다른 하나 간 움직임 정보의 차이들인 것을 특징으로 하는 다중 객체 추적 방법.
Generating relative motion information between objects to be tracked;
Grouping the objects and measurements to be tracked;
Assigning, on a group basis, measurements to the objects based on the relative motion information; And
And tracing the movement path of the objects by connecting the allocated measurements by the objects,
The relative motion information,
Wherein the motion information is a difference between any one of the objects to be tracked and motion information between the other objects.

영상 프레임을 입력받는 입력부;
상기 입력부를 통해 입력되는 영상 프레임에서 추적하고자 하는 객체들 간의 상대 움직임 정보들을 생성하고, 상기 추적하고자 하는 객체들과 측정치들을 그룹핑 하고, 그룹 단위로 상기 상대 움직임 정보들을 기초로 측정치들을 상기 객체들에 할당하며, 할당된 측정치들을 상기 객체들 별로 연결하여 상기 객체들의 이동경로를 추적하는 프로세서;를 포함하고,
상대 움직임 정보들은,
상기 추적하고자 하는 객체들 중 어느 하나와 다른 하나 간 움직임 정보의 차이들인 것을 특징으로 하는 다중 객체 추적 시스템.
An input unit for receiving an image frame;
Wherein the motion information generation unit generates relative motion information between objects to be tracked in an image frame inputted through the input unit, groups the measured objects and measured values, and measures the measured values based on the relative motion information And a processor for tracking the movement path of the objects by associating the allocated measurement values with the objects,
The relative motion information,
Wherein the motion information is a difference between any one of the objects to be tracked and motion information between the other objects.