KR20220066245A - Target tracking method and apparatus, electronic device and storage medium - Google Patents

Abstract

본 발명은 타깃 추적 방법 및 장치, 전자 기기 및 저장 매체에 관한 것이다. 상기 타깃 추적 방법은, 추적 영역에서 타깃 대상 간의 거리에 따라, 서로 충돌하는 복수 개의 타깃 대상을 결정하는 단계; 상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 복수 개의 타깃 대상에서의 다른 타깃 대상이 더 이상 충돌하지 않는 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출하는 단계; 상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하는 단계 - 상기 복수 개의 기준 특징은 상기 복수 개의 타깃 대상이 서로 충돌하기 이전, 각각 상기 복수 개의 타깃 대상에 대해 추출한 특징임 - ; 및 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징에 대응되는 식별자 정보를, 상기 타깃 대상의 식별자 정보로 결정하는 단계를 포함한다.The present invention relates to a method and apparatus for tracking a target, an electronic device and a storage medium. The target tracking method includes: determining a plurality of target targets that collide with each other according to a distance between the target targets in a tracking area; extracting a current feature of the target object in response to a case in which one target object in the plurality of target objects and another target object in the plurality of target objects no longer collide; determining a reference characteristic matching a current characteristic of the target object based on a plurality of reference characteristics corresponding to the plurality of target objects, wherein the plurality of reference characteristics are determined before the plurality of target objects collide with each other, respectively Features extracted for the plurality of target objects; and determining identifier information corresponding to a reference feature matching the current feature of the target object as identifier information of the target object.

Description

타깃 추적 방법 및 장치, 전자 기기 및 저장 매체Target tracking method and apparatus, electronic device and storage medium

[관련 출원의 상호 참조][Cross-reference to related applications]

본 발명은 출원 번호가 202011256801.6이고, 출원일이 2020년 11월 11일인 중국 특허 출원에 기반하여 제출하였고, 상기 중국 특허 출원의 우선권을 주장하는 바, 상기 중국 특허 출원의 모든 내용은 참조로서 본 발명에 인용된다.The present invention is filed based on a Chinese patent application with an application number of 202011256801.6 and an filing date of November 11, 2020, and claims the priority of the Chinese patent application, all contents of the Chinese patent application are incorporated herein by reference. are cited

본 발명은 컴퓨터 비전 기술 분야에 관한 것이며, 특히 타깃 추적 방법 및 장치, 전자 기기 및 저장 매체에 관한 것이다.The present invention relates to the field of computer vision technology, and more particularly to a method and apparatus for tracking a target, an electronic device and a storage medium.

타깃 추적은 연속된 비디오 프레임에서 동일한 타깃 대상(예를 들어 보행자, 차량 등)을 추적하는 것을 가리킨다. 컴퓨터 시각 기술의 발전에 따라, 타깃 추적 알고리즘은 보안 영역 등에 널리 응용되고, 스마트 라이프를 구축하는데 중요한 가치가 있다. 타깃 대상이 비교적 밀집한 경우, 타깃 추적 과정에서, 타깃 대상의 식별자(Identity document, ID)의 일관성은 좋지 않다.Target tracking refers to tracking the same target object (eg, pedestrian, vehicle, etc.) in successive video frames. With the development of computer vision technology, the target tracking algorithm is widely applied in security areas and the like, and has an important value in building a smart life. When the target target is relatively dense, in the target tracking process, the consistency of an identity document (ID) of the target target is not good.

본 발명은 타깃 추적 기술 방안을 제공한다.The present invention provides a target tracking technology method.

본 발명의 일 측면에 따르면, 타깃 추적 방법을 제공하고, 상기 타깃 추적 방법은, According to one aspect of the present invention, there is provided a target tracking method, the target tracking method comprising:

추적 영역에서 타깃 대상 간의 거리에 따라, 서로 충돌하는 복수 개의 타깃 대상을 결정하는 단계; determining a plurality of target objects colliding with each other according to a distance between the target objects in the tracking area;

상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 복수 개의 타깃 대상에서의 다른 타깃 대상이 더 이상 충돌하지 않는 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출하는 단계;extracting a current feature of the target object in response to a case in which one target object in the plurality of target objects and another target object in the plurality of target objects no longer collide;

상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하는 단계 - 상기 복수 개의 기준 특징은 상기 복수 개의 타깃 대상이 서로 충돌하기 이전, 각각 상기 복수 개의 타깃 대상에 대해 추출한 특징임 - ; 및 determining a reference characteristic matching a current characteristic of the target object based on a plurality of reference characteristics corresponding to the plurality of target objects, wherein the plurality of reference characteristics are determined before the plurality of target objects collide with each other, respectively Features extracted for the plurality of target objects; and

상기 타깃 대상의 현재 특징과 매칭되는 기준 특징에 대응되는 식별자 정보를, 상기 타깃 대상의 식별자 정보로 결정하는 단계를 포함한다.and determining identifier information corresponding to a reference feature matching the current feature of the target object as identifier information of the target object.

본 발명의 실시예에 있어서, 추적 영역에서 타깃 대상 간의 거리에 따라, 서로 충돌하는 복수 개의 타깃 대상을 결정하고, 상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 복수 개의 타깃 대상에서의 다른 타깃 대상이 더 이상 충돌하지 않는 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출하고, 상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하며, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징에 대응되는 식별자 정보를, 상기 타깃 대상의 식별자 정보로 결정하는 것을 통해, 타깃 대상의 식별자 정보의 일관성을 유지할 수 있고, 즉, 동일한 타깃 대상이 충돌 영역을 출입할 경우의 식별자 정보의 일관성을 유지함으로써, 복수 개의 타깃 추적의 정확성을 향상시킬 수 있다.In an embodiment of the present invention, a plurality of target objects that collide with each other are determined according to the distance between the target objects in the tracking area, and one target object in the plurality of target objects and another target object in the plurality of target objects are determined. In response to the case that no longer collides, a current feature of the target object is extracted, and a reference feature matching the current feature of the target object is determined based on a plurality of reference features corresponding to the plurality of target objects and by determining the identifier information corresponding to the reference characteristic matching the current characteristic of the target object as the identifier information of the target object, the consistency of the identifier information of the target object can be maintained, that is, the same target object By maintaining the consistency of identifier information when entering and exiting the collision area, it is possible to improve the accuracy of tracking a plurality of targets.

일 가능한 구현 방식에 있어서, 서로 충돌 하는 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 상기 복수 개의 타깃 대상에서의 다른 적어도 하나의 타깃 대상 간의 거리는 거리 임계값보다 작거나 같으며; In one possible implementation manner, a distance between a target object in a plurality of target objects colliding with each other and at least one other target object in the plurality of target objects is less than or equal to a distance threshold value;

상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 복수 개의 타깃 대상에서의 다른 타깃 대상이 더 이상 충돌하지 않는 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출하는 단계는, In response to a case in which one target object in the plurality of target objects and another target object in the plurality of target objects no longer collide, extracting the current feature of the target object comprises:

상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상에 대해, 상기 타깃 대상과 상기 복수 개의 타깃 대상에서의 다른 타깃 대상 간의 거리가 모두 상기 거리 임계값보다 큰 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출하는 단계를 포함한다.In response to, for any one of the plurality of target objects, the distance between the target object and another target object in the plurality of target objects is greater than the distance threshold, the current characteristic of the target object is determined. It includes the step of extracting.

상기 구현 방식에 따라 타깃 대상 간의 충돌 관계를 결정하고, 이를 기반으로 타깃 추적을 수행하면, 타깃 추적의 정확성 및 효율을 향상시키는데 도움이 된다.Determining a collision relationship between target objects according to the above implementation method and performing target tracking based on this determination helps to improve accuracy and efficiency of target tracking.

일 가능한 구현 방식에 있어서, 상기 방법은, In one possible implementation manner, the method comprises:

어느 한 타깃 대상에 대해, 상기 타깃 대상이 복수 개의 카메라에 대응되는 제1 좌표를 결정하는 단계 - 상기 타깃 대상이 어느 한 카메라에 대응되는 제1 좌표는 상기 카메라가 수집한 이미지에 따라 얻은 상기 타깃 대상의 제1 좌표를 나타내기 위한 것임 - ; determining, for a target object, first coordinates of the target object corresponding to a plurality of cameras, wherein the first coordinates of the target object corresponding to a certain camera are obtained according to the image collected by the camera to indicate the first coordinates of the object - ;

상기 타깃 대상이 상기 복수 개의 카메라에 대응되는 제1 좌표에 따라, 상기 타깃 대상이 상기 추적 영역에서 위치한 서브 영역을 결정하는 단계 - 상기 추적 영역은 복수 개의 서브 영역을 포함함 - ; 및 determining a sub-region in which the target object is located in the tracking area according to first coordinates in which the target object corresponds to the plurality of cameras, wherein the tracking area includes a plurality of sub-areas; and

상기 복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도에 따라, 상기 타깃 대상이 상기 복수 개의 카메라에 대응되는 제1 좌표에 대해 융합을 수행하여, 상기 타깃 대상의 융합 좌표를 얻는 단계를 더 포함하고,The plurality of cameras perform fusion on the first coordinates corresponding to the plurality of cameras according to the reliability of the sub-region in which the target object is located, thereby obtaining the fusion coordinates of the target object. including,

상기 추적 영역에서 타깃 대상 간의 거리에 따라, 서로 충돌하는 복수 개의 타깃 대상을 결정하는 단계 이전, 상기 단계는, Before the step of determining a plurality of target objects colliding with each other according to a distance between the target objects in the tracking area, the step includes:

상기 추적 영역에서 타깃 대상의 융합 좌표에 따라, 상기 추적 영역에서 타깃 대상 간의 거리를 결정하는 단계를 더 포함한다.The method further includes determining, according to the fusion coordinates of the target object in the tracking area, a distance between the target objects in the tracking area.

상기 구현 방식에 있어서, 타깃 대상이 상기 복수 개의 카메라에 대응되는 제1 좌표를 결합하는 것을 통해, 상기 타깃 대상의 융합 좌표를 얻고, 상기 타깃 대상의 융합 좌표에 기반하여 타깃 추적을 하여, 이로써 더욱 정확한 좌표에 기반하여 타깃 추적을 하는 것을 얻을 수 있음으로써, 타깃 추적의 정확성을 향상시키는데 도움이 된다.In the above implementation manner, the target object obtains the fusion coordinates of the target object by combining the first coordinates corresponding to the plurality of cameras, and performs target tracking based on the fusion coordinates of the target object, thereby further Being able to achieve target tracking based on precise coordinates helps to improve the accuracy of target tracking.

일 가능한 구현 방식에 있어서, 상기 타깃 대상의 현재 특징을 추출하는 단계는, In one possible implementation manner, the step of extracting the current feature of the target object comprises:

상기 타깃 대상이 상기 추적 영역에서 위치한 서브 영역을 결정하는 단계; determining a sub-region in which the target object is located in the tracking area;

복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도에 따라, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라를 결정하는 단계; 및 determining, by a plurality of cameras, a camera for extracting a current feature of the target object according to the reliability of the sub-region in which the target object is located; and

상기 타깃 대상의 현재 특징을 추출하기 위한 카메라가 수집한 비디오 프레임에 따라, 상기 타깃 대상의 현재 특징을 추출하는 단계를 더 포함한다.The method further includes extracting the current feature of the target object according to the video frame collected by the camera for extracting the current feature of the target object.

상기 구현 방식에 있어서, 복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도에 따라, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라를 결정하고, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라가 수집한 비디오 프레임에 따라, 상기 타깃 대상의 현재 특징을 추출하는 것을 통해, 추출된 상기 타깃 대상의 현재 특징이 더욱 풍부한 비전 정보를 가지게 하고, 따라서, 상기 구현 방식에 따라 추출한 상기 타깃 대상의 현재 특징에 따라 타깃 매칭하여, 타깃 매칭의 정확성을 향상시킬 수 있다.In the above implementation method, a plurality of cameras determine a camera for extracting the current feature of the target object according to the reliability of the sub-region in which the target object is located, and a camera for extracting the current feature of the target object is provided. By extracting the current feature of the target object according to the collected video frame, the extracted current feature of the target object has richer vision information, and thus the current feature of the target object extracted according to the implementation method According to the target matching method, the accuracy of target matching can be improved.

일 가능한 구현 방식에 있어서, 상기 복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도에 따라, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라를 결정하는 단계는, In one possible implementation manner, the plurality of cameras determining the camera for extracting the current feature of the target object according to the reliability of the sub-region in which the target object is located comprises:

복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도, 및 상기 복수 개의 카메라가 수집한 비디오 프레임에서 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임 간의 중첩 정보에 따라, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라를 결정하는 단계를 포함한다.According to the reliability of the sub-region in which the target object is located by a plurality of cameras, and overlap information between the detection frame of the target object and the detection frame of another target object in the video frame collected by the plurality of cameras, the current status of the target object determining a camera for extracting features.

상기 구현 방식에 있어서, 복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도, 및 상기 복수 개의 카메라가 수집한 비디오 프레임에서 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임 간의 중첩 정보에 따라, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라를 결정하고, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라가 수집한 비디오 프레임에 따라, 상기 타깃 대상의 현재 특징을 추출하는 것을 통해, 추출된 상기 타깃 대상의 현재 특징이 더욱 풍부한 비전 정보를 가지게 하고, 따라서, 상기 구현 방식에 따라 추출한 상기 타깃 대상의 현재 특징에 따라 타깃 매칭하여, 타깃 매칭의 정확성을 추가로 향상시킬 수 있다.In the implementation method, according to the reliability of the sub-region in which the target object is located by a plurality of cameras, and overlapping information between the detection frame of the target object and the detection frame of another target object in the video frame collected by the plurality of cameras, , determining a camera for extracting the current feature of the target object, and extracting the current feature of the target object according to the video frame collected by the camera for extracting the current feature of the target object. The current characteristic of the target object has richer vision information, and thus, target matching is performed according to the current characteristic of the target object extracted according to the implementation method, thereby further improving the accuracy of target matching.

일 가능한 구현 방식에 있어서, 상기 중첩 정보는, 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임의 IOU(Intersection over Union)를 포함하고; In one possible implementation manner, the overlapping information includes an intersection over union (IOU) of a detection frame of the target object and a detection frame of a different target object;

상기 복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도, 및 상기 복수 개의 카메라가 수집한 비디오 프레임에서 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임 간의 중첩 정보에 따라, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라를 결정하는 단계는, According to the reliability of the sub-region in which the target object is located by the plurality of cameras, and overlapping information between the detection frame of the target object and the detection frame of another target object in the video frames collected by the plurality of cameras, the detection of the target object The step of determining a camera for extracting the current feature is,

중첩 조건을 만족하는 카메라로부터, 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도가 가장 높은 카메라를 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라로 결정하는 단계 - 상기 중첩 조건은 상기 현재 수집한 비디오 프레임에서 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임의 IOU가 모두 기설정된 임계값보다 작은 것을 표시함 - 를 포함한다.determining, from the cameras satisfying the overlapping condition, a camera having the highest reliability for the sub-region in which the target object is located as a camera for extracting the current feature of the target object - The overlapping condition is determined from the currently collected video frame indicating that both the IOU of the detection frame of the target object and the detection frame of the other target object are smaller than a preset threshold value.

상기 구현 방식에 있어서, 상기 복수 개의 카메라에서 현재 수집한 비디오 프레임이 중첩 조건을 만족하는 카메라에서, 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도가 가장 높은 카메라를 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라로 결정하고, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라가 수집한 비디오 프레임에 따라, 상기 타깃 대상의 현재 특징을 추출하는 것을 통해, 추출된 상기 타깃 대상의 현재 특징이 더욱 풍부한 비전 정보를 가지게 하고, 따라서, 상기 구현 방식에 따라 추출한 상기 타깃 대상의 현재 특징에 따라 타깃 매칭하여, 타깃 매칭의 정확성을 추가로 향상시킬 수 있다.In the above implementation method, from the cameras in which the video frames currently collected by the plurality of cameras satisfy the overlapping condition, the camera having the highest reliability for the sub-region in which the target object is located is used for extracting the current feature of the target object. By extracting the current feature of the target object according to the video frame collected by the camera for determining the camera and extracting the current feature of the target object, the extracted current feature of the target object is richer in vision information Accordingly, by performing target matching according to the current characteristics of the target target extracted according to the implementation method, the accuracy of target matching can be further improved.

일 가능한 구현 방식에 있어서, 상기 방법은, In one possible implementation manner, the method comprises:

상기 복수 개의 카메라에서의 어느 한 카메라에 대해, 상기 카메라와 상기 추적 영역의 복수 개의 서브 영역 간의 거리에 따라, 상기 카메라가 상기 복수 개의 서브 영역에 대한 신뢰도를 결정하는 단계를 더 포함한다.The method further comprising: for one camera in the plurality of cameras, determining, by the camera, reliability of the plurality of sub-regions according to a distance between the camera and the plurality of sub-regions of the tracking area.

상기 구현 방식에 있어서 상기 복수 개의 카메라에서의 어느 한 카메라에 대해, 상기 카메라와 상기 추적 영역의 복수 개의 서브 영역 간의 거리에 따라, 상기 카메라가 상기 복수 개의 서브 영역에 대한 신뢰도를 결정하고, 이로써 결정된 신뢰도에 기반하여 좌표 융합 및/또는 타깃 대상의 현재 특징을 추출하는 카메라를 결정함으로써, 타깃 추적의 정확성을 향상시키는데 도움이 된다.In the implementation manner, for one camera in the plurality of cameras, according to the distance between the camera and the plurality of sub-regions of the tracking area, the camera determines the reliability of the plurality of sub-regions, and the determined By determining which camera to extract coordinates fusion and/or current features of the target object based on reliability, it helps to improve the accuracy of target tracking.

일 가능한 구현 방식에 있어서, 상기 복수 개의 카메라가 상기 복수 개의 서브 영역에 대한 신뢰도를 결정하는 단계 이후, 상기 방법은, In one possible implementation manner, after the plurality of cameras determine the reliability of the plurality of sub-regions, the method comprises:

상기 복수 개의 카메라에서의 어느 한 카메라에 대해, 상기 카메라가 수집한 비디오 프레임에서 타깃 대상 간의 평균 거리에 따라, 상기 카메라가 상기 복수 개의 서브 영역에 대한 신뢰도를 조정하는 단계를 더 포함한다.The method may further include adjusting, by the camera, reliability of the plurality of sub-regions for any one of the plurality of cameras according to an average distance between target objects in video frames collected by the camera.

상기 구현 방식에 있어서, 상기 복수 개의 카메라에서의 어느 한 카메라에 대해, 상기 카메라가 수집한 비디오 프레임에서 타깃 대상 간의 평균 거리에 따라, 상기 카메라가 상기 복수 개의 서브 영역에 대한 신뢰도를 동적으로 조정하고, 결정된 신뢰도에 기반하여 좌표 융합 및/또는 타깃 대상의 현재 특징을 추출하는 카메라를 결정함으로써, 타깃 추적의 정확성을 향상시키는데 도움이 된다.In the above implementation manner, for any one camera in the plurality of cameras, the camera dynamically adjusts the reliability of the plurality of sub-regions according to the average distance between target objects in the video frames collected by the camera, and , which helps to improve the accuracy of target tracking by determining a camera that extracts coordinates fusion and/or current features of the target object based on the determined reliability.

일 가능한 구현 방식에 있어서, 상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하는 단계는, In one possible implementation manner, based on a plurality of reference features corresponding to the plurality of target objects, determining a reference characteristic matching a current characteristic of the target object includes:

상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징으로부터, 상기 타깃 대상의 현재 특징과 유사도가 가장 높은 기준 특징을 결정하는 단계; 및 determining, from a plurality of reference features corresponding to the plurality of target objects, a reference feature having the highest similarity to the current feature of the target object; and

상기 유사도가 가장 높은 기준 특징과 상기 타깃 대상의 현재 특징 간의 유사도가 유사도 임계값보다 크거나 같은 경우에 응답하여, 상기 유사도가 가장 높은 기준 특징을 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징으로 결정하는 단계를 포함한다.In response to a case in which the similarity between the reference feature having the highest similarity and the current feature of the target object is greater than or equal to a similarity threshold, the reference feature having the highest similarity is determined as the reference feature matching the current feature of the target object including the steps of

상기 구현 방식에 있어서, 상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징으로부터, 상기 타깃 대상의 현재 특징과 유사도가 가장 높은 기준 특징을 결정하고, 상기 유사도가 가장 높은 기준 특징과 상기 타깃 대상의 현재 특징 간의 유사도가 유사도 임계값보다 크거나 같은 경우에 응답하여, 상기 유사도가 가장 높은 기준 특징을 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징으로 결정하는 것을 통해, 상기 타깃 대상과 복수 개의 타깃 대상에서의 다른 타깃 대상이 더 이상 충돌하지 않는 경우, 먼저 상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에 기반하여 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 검색함으로써, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 검색하는 속도 및 정확성을 향상시키는데 도움이 된다.In the above implementation manner, a reference feature having the highest similarity to the current feature of the target object is determined from a plurality of reference features corresponding to the plurality of target objects, and the reference feature having the highest similarity and the current feature of the target object are determined. In response to a case in which the similarity between features is greater than or equal to a similarity threshold, determining a reference feature having the highest similarity as a reference feature matching the current feature of the target object, in the target object and the plurality of target objects When the other target objects of the target object no longer collide, the current characteristic of the target object and the It helps to improve the speed and accuracy of searching for matching reference features.

일 가능한 구현 방식에 있어서, 상기 타깃 대상의 현재 특징과 유사도가 가장 높은 기준 특징을 결정하는 단계 이후, 상기 방법은, In one possible implementation manner, after determining the reference feature having the highest similarity to the current feature of the target object, the method comprises:

상기 유사도가 가장 높은 기준 특징과 상기 타깃 대상의 현재 특징 간의 유사도가 유사도 임계값보다 작거나 같은 경우에 응답하여, 상기 타깃 대상과 충돌하지 않고, 어느 한 다른 타깃 대상과 충돌하는 타깃 대상에 대응되는 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하는 단계를 더 포함한다.In response to a case in which the similarity between the reference feature having the highest similarity and the current feature of the target object is less than or equal to a similarity threshold, the target object does not collide with the target object and corresponds to a target object that collides with any other target object The method further includes determining, based on the reference characteristic, a reference characteristic that matches the current characteristic of the target object.

상기 구현 방식에 있어서, 상기 유사도가 가장 높은 기준 특징과 상기 타깃 대상의 현재 특징 간의 유사도가 유사도 임계값보다 작거나 같은 경우에 응답하여, 상기 타깃 대상과 충돌하지 않고, 어느 한 다른 타깃 대상과 충돌하는 타깃 대상에 대응되는 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하는 것을 통해, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 검색하는 속도를 향상시키는 전제하에, 더 나아가 결정된 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징의 정확성을 향상시킬 수 있다.In the above implementation manner, in response to a case where the similarity between the reference feature having the highest similarity and the current feature of the target object is less than or equal to a similarity threshold value, the target object does not collide with the target object, but collides with any other target object On the premise of improving the speed of searching for a reference characteristic matching the current characteristic of the target object by determining a reference characteristic matching the current characteristic of the target object based on the reference characteristic corresponding to the target object, Furthermore, the accuracy of the reference feature matching the determined current feature of the target object may be improved.

일 가능한 구현 방식에 있어서, 상기 방법은, In one possible implementation manner, the method comprises:

어느 한 타깃 대상에 대해, 상기 타깃 대상이 현재 시각 및 상기 현재 시각의 이전 시각에서 다른 타깃 대상과 충돌하지 않는 경우에 응답하여, 상기 이전 시각에서 다른 타깃 대상과 충돌하지 않고, 상기 현재 시각의 다른 타깃 대상과 매칭되지 않은 타깃 대상을, 상기 이전 시각에서의 남은 타깃 대상으로 결정하고, 또는 상기 타깃 대상이 상기 현재 시각 및 상기 이전 시각에서 동일한 다른 타깃 대상과 충돌하는 경우에 응답하여, 상기 타깃 대상이 상기 이전 시각에 속한 충돌 영역에서, 상기 현재 시각의 다른 타깃 대상과 매칭되지 않은 타깃 대상을, 상기 이전 시각에서의 남은 타깃 대상으로 결정하는 단계; 및responsive to, for either target object, the target object does not collide with another target object at the current time and a time prior to the current time, does not collide with another target object at the previous time, and at another time at the current time determining a target object that does not match the target object as the remaining target object at the previous time, or in response if the target object collides with another same target object at the current time and the previous time, the target object determining, in the collision area belonging to the previous time, a target object that does not match another target object at the current time as the remaining target object at the previous time; and

상기 이전 시각에서의 남은 타깃 대상으로부터, 상기 현재 시각의 상기 타깃 대상과 거리가 가장 가까운 타깃 대상을, 상기 현재 시각의 상기 타깃 대상과 매칭되는 타깃 대상으로 결정하고, 상기 매칭된 타깃 대상의 식별자 정보를 상기 타깃 대상의 식별자 정보로 사용하는 단계를 포함한다.From the remaining target objects at the previous time, a target object having the closest distance to the target object at the current time is determined as a target object matching the target object at the current time, and identifier information of the matched target object and using as identifier information of the target object.

상기 구현 방식에 따라 계산량을 줄이고, 시간 오버헤드를 줄이며, 타깃 추적의 실시간 요구사항을 만족시킬 수 있다.According to the above implementation method, it is possible to reduce the amount of computation, reduce time overhead, and satisfy the real-time requirements of target tracking.

본 발명의 일 측면에 따르면, 타깃 추적 장치를 제공하고, 상기 타깃 추적 장치는, According to one aspect of the present invention, there is provided a target tracking device, the target tracking device comprising:

추적 영역에서 타깃 대상 간의 거리에 따라, 서로 충돌하는 복수 개의 타깃 대상을 결정하도록 구성된 제1 결정부; a first determining unit configured to determine a plurality of target objects colliding with each other according to a distance between the target objects in the tracking area;

상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 복수 개의 타깃 대상에서의 다른 타깃 대상이 더 이상 충돌하지 않는 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출하도록 구성된 추출부;an extraction unit configured to extract a current feature of the target object in response to a case in which one target object in the plurality of target objects and another target object in the plurality of target objects no longer collide;

상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하도록 구성된 제2 결정부 - 상기 복수 개의 기준 특징은 상기 복수 개의 타깃 대상이 서로 충돌하기 이전, 각각 상기 복수 개의 타깃 대상에 대해 추출한 특징임 - ; 및 a second determining unit configured to determine, based on a plurality of reference features corresponding to the plurality of target objects, a reference feature matching a current feature of the target object, wherein the plurality of reference features are determined by the plurality of target objects collide with each other Before the following, each is a feature extracted for the plurality of target objects - ; and

상기 타깃 대상의 현재 특징과 매칭되는 기준 특징에 대응되는 식별자 정보를, 상기 타깃 대상의 식별자 정보로 결정하도록 구성된 제3 결정부를 포함한다.and a third determining unit configured to determine identifier information corresponding to a reference characteristic matching the current characteristic of the target object as the identifier information of the target object.

본 발명의 일 측면에 따르면, 전자 기기를 제공하고, 상기 전자 기기는, 하나 또는 복수 개의 프로세서; 및 실행 가능한 명령어를 저장하기 위한 메모리를 포함하며; 여기서, 상기 하나 또는 복수 개의 프로세서는 상기 메모리가 저장한 실행 가능한 명령어를 호출하여, 상기 타깃 추적 방법을 실행한다.According to one aspect of the present invention, there is provided an electronic device, the electronic device comprising: one or a plurality of processors; and a memory for storing executable instructions; Here, the one or more processors execute the target tracking method by calling an executable instruction stored in the memory.

본 발명의 일 측면에 따르면, 컴퓨터 프로그램 명령어가 저장되어 있는 컴퓨터 판독 가능한 저장 매체를 제공하고, 상기 컴퓨터 프로그램 명령어는 프로세서에 의해 실행될 경우 상기 타깃 추적 방법을 구현한다.According to one aspect of the present invention, there is provided a computer readable storage medium having computer program instructions stored thereon, wherein the computer program instructions implement the target tracking method when executed by a processor.

본 발명의 일 측면에 따르면, 컴퓨터 판독 가능한 코드를 포함하는 컴퓨터 프로그램을 제공하고, 상기 컴퓨터 판독 가능한 코드가 전자 기기에서 작동될 경우, 상기 전자 기기의 프로세서는 실행되어 상기 타깃 추적 방법을 구현한다.According to one aspect of the present invention, there is provided a computer program including computer readable code, and when the computer readable code is operated in an electronic device, a processor of the electronic device is executed to implement the target tracking method.

본 발명의 실시예에 있어서, 추적 영역에서 타깃 대상 간의 거리에 따라, 서로 충돌하는 복수 개의 타깃 대상을 결정하고, 상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 복수 개의 타깃 대상에서의 다른 타깃 대상이 더 이상 충돌하지 않는 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출하고, 상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하며, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징에 대응되는 식별자 정보를, 상기 타깃 대상의 식별자 정보로 결정하는 것을 통해, 타깃 대상의 식별자 정보의 일관성을 유지할 수 있고, 즉, 동일한 타깃 대상이 충돌 영역을 출입할 경우의 식별자 정보의 일관성을 유지함으로써, 복수 개의 타깃 추적의 정확성을 향상시킬 수 있다.In an embodiment of the present invention, a plurality of target objects that collide with each other are determined according to the distance between the target objects in the tracking area, and one target object in the plurality of target objects and another target object in the plurality of target objects are determined. In response to the case that no longer collides, a current feature of the target object is extracted, and a reference feature matching the current feature of the target object is determined based on a plurality of reference features corresponding to the plurality of target objects and by determining the identifier information corresponding to the reference characteristic matching the current characteristic of the target object as the identifier information of the target object, the consistency of the identifier information of the target object can be maintained, that is, the same target object By maintaining the consistency of identifier information when entering and exiting the collision area, it is possible to improve the accuracy of tracking a plurality of targets.

이해해야 할 것은, 이상의 일반적인 설명 및 하기의 상세한 설명은 다만 예시적이고 해석적인 것이며, 본 발명을 한정하려는 것은 아니다.It should be understood that the above general description and the following detailed description are illustrative and interpretative only, and are not intended to limit the present invention.

아래에 첨부 도면에 따라 예시적 실시예를 상세하게 설명하므로, 본 발명의 다른 특징 및 측면이 더욱 명확해질 것이다.Other features and aspects of the present invention will become more apparent as the exemplary embodiments are described in detail below in accordance with the accompanying drawings.

본문의 도면은 본 명세서에 포함되어 본 명세서의 일부분을 구축하며, 이런 첨부 도면은 본 발명에 부합되는 실시예를 도시하고, 명세서와 함께 본 발명의 기술 방안의 설명에 사용된다.
도 1은 본 발명 실시예에서 제공한 타깃 추적 방법의 흐름도이다.
도 2는 제t 시각에서의 서로 충돌 하는 복수 개의 타깃 대상의 예시도이다.
도 3은 제t +1 시각에서의 서로 충돌 하는 복수 개의 타깃 대상의 예시도이다.
도 4는 본 발명의 실시예에서의 복수 개의 타깃 대상 및 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징의 예시도이다.
도 5는 본 발명의 실시예에서 추적 영역에 라벨을 배치하는 예시도이다.
도 6은 본 발명 실시예에서 제공한 타깃 추적 장치의 블록도이다.
도 7은 본 발명의 실시예에 제공한 전자 기기(800)의 블록도이다.
도 8은 본 발명의 실시예에 제공한 전자 기기(1900)의 블록도이다.BRIEF DESCRIPTION OF THE DRAWINGS The accompanying drawings are incorporated in and constitute a part of this specification, and these accompanying drawings show an embodiment consistent with the present invention, and together with the specification are used for description of the technical solution of the present invention.
1 is a flowchart of a target tracking method provided in an embodiment of the present invention.
2 is an exemplary diagram of a plurality of target objects colliding with each other at time t.
3 is an exemplary diagram of a plurality of target objects colliding with each other at time t+1.
4 is an exemplary diagram of a plurality of target objects and a plurality of reference features corresponding to the plurality of target objects in an embodiment of the present invention.
5 is an exemplary diagram for placing a label in a tracking area in an embodiment of the present invention.
6 is a block diagram of a target tracking apparatus provided in an embodiment of the present invention.
7 is a block diagram of an electronic device 800 provided in an embodiment of the present invention.
8 is a block diagram of an electronic device 1900 provided in an embodiment of the present invention.

이하, 도면을 참조하여 본 발명의 다양한 예시적인 실시예, 특징 및 측면을 상세하게 설명한다. 도면에서 동일한 도면 부호는 동일하거나 유사한 기능을 갖는 요소를 표시한다. 실시예의 다양한 측면이 도면에 도시되어 있지만, 구체적으로 언급되지 않는 한, 도면은 반드시 비례대로 도시될 필요없다.Hereinafter, various exemplary embodiments, features and aspects of the present invention will be described in detail with reference to the drawings. In the drawings, the same reference numbers indicate elements having the same or similar functions. While various aspects of embodiments are illustrated in drawings, the drawings are not necessarily drawn to scale unless specifically stated otherwise.

여기서 "예시적"이라는 특정한 단어는 "예, 실시예 또는 설명적인 것으로 사용됨"을 의미한다. 여기서 “예시적”으로 설명된 임의의 실시예는 다른 실시예보다 우수하거나 좋은 것으로 해석될 필요는 없다.The specific word "exemplary" herein means "used as an example, embodiment, or description." Any embodiment described herein as “exemplary” is not necessarily to be construed as superior or superior to another embodiment.

본문 중의 용어 “및/또는”은 다만 연관 대상의 연관 관계를 설명하기 위한 것이며, 세 가지 관계가 존재할 수 있음을 의미하는데, 예를 들어, “A 및/또는 B”는, A가 단독적으로 존재하거나, A와 B가 동시에 존재하거나, B가 단독적으로 존재하는 세 가지 경우를 의미한다. 또한, 본 명세서에서 "적어도 하나"라는 용어는 복수 개 중 어느 하나 또는 복수 개 중 적어도 2 개의 임의의 조합을 나타내며, 예를 들어, A, B 및 C 중 적어도 하나는 A, B 및 C에 의해 형성된 집합에서 선택된 임의의 하나 또는 복수 개의 요소를 나타낼 수 있다.The term “and/or” in the text is only for describing the relation of the related object, and it means that three relations may exist. For example, “A and/or B” means that A exists alone. Or, A and B exist at the same time, or B exists alone. In addition, the term "at least one" herein refers to any one of a plurality or any combination of at least two of the plurality, for example, at least one of A, B and C is by A, B and C It may represent any one or a plurality of elements selected from the formed set.

또한, 본 발명을 보다 잘 설명하기 위해, 아래의 구체적인 실시형태에서 많은 세부사항들이 제공된다. 본 분야의 기술자는 일부 구체적인 세부 사항이 없이도, 본 발명이 마찬가지로 실시될 수 있음을 이해해야 한다. 일부 예에 있어서, 본 분야에게 널리 알려진 방법, 수단, 구성 요소 및 회로는 본 발명의 요지를 강조하기 위해, 상세히 설명되지 않는다.Further, in order to better illustrate the present invention, numerous details are provided in the specific embodiments below. A person skilled in the art should understand that the present invention may be practiced without some specific details. In some instances, methods, means, components, and circuits well known in the art have not been described in detail in order to emphasize the subject matter of the present invention.

도 1은 본 발명 실시예에서 제공한 타깃 추적 방법의 흐름도이다. 상기 타깃 추적 방법의 실행 주체는 타깃 추적 장치일 수 있다. 예를 들어, 상기 타깃 추적 방법은 단말 기기 또는 서버 또는 다른 처리 기기에 의해 실행될 수 있다. 여기서, 단말 기기는 사용자 기기(User Equipment, UE), 모바일 기기, 사용자 단말, 단말, 셀룰러 폰, 무선 전화, 개인용 정보 단말기(Personal Digital Assistant, PDA), 핸드 헬드 기기, 컴퓨팅 기기, 차량용 기기, 또는 웨어러블 기기 등일 수 있다. 일부 가능한 구현 방식에 있어서, 상기 타깃 추적 방법은 프로세서가 메모리에 저장된 컴퓨터 판독 가능한 명령어를 호출하는 방식을 통해 구현될 수 있다. 도 1에 도시된 바와 같이, 상기 타깃 추적 방법은 단계 S11 내지 단계 S14를 포함한다.1 is a flowchart of a target tracking method provided in an embodiment of the present invention. The execution subject of the target tracking method may be a target tracking device. For example, the target tracking method may be executed by a terminal device or a server or other processing device. Here, the terminal device is a user equipment (User Equipment, UE), a mobile device, a user terminal, a terminal, a cellular phone, a wireless telephone, a personal digital assistant (PDA), a handheld device, a computing device, a vehicle device, or It may be a wearable device or the like. In some possible implementation manners, the target tracking method may be implemented through a method in which a processor calls a computer readable instruction stored in a memory. As shown in Fig. 1, the target tracking method includes steps S11 to S14.

단계 S11에 있어서, 추적 영역에서 타깃 대상 간의 거리에 따라, 서로 충돌하는 복수 개의 타깃 대상을 결정한다.In step S11, a plurality of target objects that collide with each other are determined according to the distance between the target objects in the tracking area.

본 발명의 실시예는 지능형 모니터링, 지능형 시나리오 분석, 보안, 타깃 검출 및 타깃 추적과 같은 응용 시나리오에 적용될 수 있다. 본 발명의 실시예에 있어서, 추적 영역은 타깃 추적이 필요한 영역을 표시한다. 본 발명의 실시예에서의 추적 영역은 상대적으로 폐쇄된 영역일 수도 있고 상대적으로 개방된 영역일 수도 있다. 예를 들어, 추적 영역은 경기장, 쇼핑몰, 교실 등이 될 수 있다. 타깃 대상은 추적이 필요한 대상을 표시한다. 예를 들어, 타깃 대상은 보행자, 차량, 운동장에서의 운동 선수(예를 들어 축구장의 축구 선수) 등 추적이 필요한 모든 대상일 수 있다. 본 발명의 실시예에 있어서, 서로 충돌하는 타깃 대상은 서로 거리가 비교적 가까운 타깃 대상으로 표시될 수 있다.Embodiments of the present invention can be applied to application scenarios such as intelligent monitoring, intelligent scenario analysis, security, target detection and target tracking. In an embodiment of the present invention, the tracking area indicates an area in which target tracking is required. The tracking area in the embodiment of the present invention may be a relatively closed area or a relatively open area. For example, the tracking area may be a stadium, a shopping mall, a classroom, or the like. Target object indicates the object that needs to be tracked. For example, the target object may be any object that needs to be tracked, such as a pedestrian, a vehicle, an athlete on a playground (eg, a soccer player on a soccer field). In an embodiment of the present invention, target objects colliding with each other may be displayed as target objects having a relatively close distance to each other.

본 발명의 실시예에 있어서, 카메라가 수집한 각 비디오 프레임에 대해, 각각 추적 영역에서 타깃 대상 간의 거리를 결정함으로써, 상기 비디오 프레임에 대응되는 시각에서 타깃 대상 간에 서로 충돌되는 경우를 결정할 수 있다. 물론, 카메라가 수집한 비디오 페임에 대해 프레임 단위로 분석하지 않을 수도 있고, 예를 들어, 특정된 개수의 비디오 프레임을 간격하여, 추적 영역에서 타깃 대상 간의 거리를 결정함으로써, 상기 비디오 프레임에 대응되는 시각에서 타깃 대상 간에 서로 충돌되는 경우를 결정할 수 있다.In an embodiment of the present invention, for each video frame collected by the camera, by determining a distance between target objects in each tracking area, a case in which target objects collide with each other at a time corresponding to the video frame may be determined. Of course, the video frames collected by the camera may not be analyzed frame by frame, for example, by spacing a specified number of video frames and determining the distance between the target objects in the tracking area, It is possible to determine when the target objects collide with each other in the visual field.

본 발명의 실시예에 있어서, 어느 한 시각에서, 한 세트 또는 복수 개의 세트의 서로 충돌하는 타깃 대상이 존재할 수 있고, 물론, 서로 충돌하는 타깃 대상이 존재하지 않을 수도 있다. 도 2는 제t 시각에서의 서로 충돌 하는 복수 개의 타깃 대상의 예시도이다. 도 2에 도시된 바와 같이, 제t 시각에서, 타깃 대상(O₁), (O₄)와 (O₃)은 서로 충돌하고, 타깃 대상(O₂)와 (O₅)는 서로 충돌하며, 타깃 대상(O₆)과 (O₇)은 서로 충돌한다.In an embodiment of the present invention, at any one time, there may be a set or a plurality of sets of target objects that collide with each other, and of course, there may be no target objects that collide with each other. 2 is an exemplary diagram of a plurality of target objects colliding with each other at time t. As shown in FIG. 2 , at time t, the target objects (O ₁ ), (O ₄ ) and (O ₃ ) collide with each other, and the target objects (O ₂ ) and (O ₅ ) collide with each other, The target object (O ₆ ) and (O ₇ ) collide with each other.

일 가능한 구현 방식에 있어서, 서로 충돌 하는 복수 개의 타깃 대상을 동일한 충돌 영역에 추가할 수 있고, 즉, 서로 충돌 하는 복수 개의 타깃 대상은 동일한 충돌 영역에 위치하는 것으로 간주될 수 있다. 여기서, 충돌 영역은 가상 영역이 될 수 있고, 어느 한 충돌 영역에서의 타깃 대상 간은 서로 충돌한다. 예를 들어, 도 2에서, 제t 시각에서, 충돌 영역(1)에는 타깃 대상(O₁), (O₄) 및 (O₃)이 포함되고, 충돌 영역(2)에는 타깃 대상(O₂) 및 (O₅)가 포함되며, 충돌 영역(3)에는 타깃 대상 (O₆) 및 (O₇)이 포함된다.In one possible implementation manner, a plurality of target objects colliding with each other may be added to the same collision area, ie, a plurality of target objects colliding with each other may be considered to be located in the same collision area. Here, the collision area may be a virtual area, and target objects in one collision area collide with each other. For example, in FIG. 2 , at time t, the collision area 1 contains target objects O ₁ , (O ₄ ) and (O ₃ ), and the collision area 2 contains target objects O _{2 .} ) and (O ₅ ), and the collision zone 3 contains the target objects (O ₆ ) and (O ₇ ).

단계 S12에 있어서, 상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 복수 개의 타깃 대상에서의 다른 타깃 대상이 더 이상 충돌하지 않는 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출한다.In step S12, in response to a case in which one target object in the plurality of target objects and another target object in the plurality of target objects no longer collide, a current characteristic of the target object is extracted.

도 3은 제t +1 시각에서의 서로 충돌 하는 복수 개의 타깃 대상의 예시도이다. 도 3에 도시된 바와 같이, 제t+1 시각에서, 충돌 영역(1)에는 타깃 대상(O₁) 및 (O₄)가 포함되고, 충돌 영역(2)에는 타깃 대상(O₂) 및 (O₅)가 포함되고, 충돌 영역(3)에는 타깃 대상 (O₆) 및 (O₇)이 포함된다. 즉, 제t+1 시각에서, 타깃 대상(O₁)과 (O₄)는 서로 충돌하고, 타깃 대상(O₂)와 (O₅)는 서로 충돌하며, 타깃 대상 (O₆)과 (O₇)는 서로 충돌한다. 제t+1 시각과 제t 시각을 비교하면 알다시피, 제t+1 시각에서, 타깃 대상(O₃과O₁, O₄)는 충돌하지 않고; 다시 말해, 시나리오에서의 모든 타깃 대상은 임의의 시각에서 모두 동적으로 클러스터링되어 복수 개의 충돌 영역을 형성한다.3 is an exemplary diagram of a plurality of target objects colliding with each other at time t+1. As shown in FIG. 3 , at time t+1, the collision area 1 includes target objects O ₁ and (O ₄ ), and the collision area 2 includes target objects O ₂ and ( O ₅ ) is included, and the collision zone 3 includes target objects (O ₆ ) and (O ₇ ). That is, at time t+1, target objects (O ₁ ) and (O ₄ ) collide with each other, target objects (O ₂ ) and (O ₅ ) collide with each other, and target objects (O ₆ ) and (O 4 ) collide with each other. ₇ ) collide with each other. As can be seen by comparing the t+1 time and the t-th time, at the t+1 time, the target objects O ₃ and O ₁ , O ₄ do not collide; In other words, all target objects in the scenario are all dynamically clustered at any time to form a plurality of collision areas.

일 가능한 구현 방식에 있어서, 인접한 두개 시각 간의 시간 간격은 카메라가 수집한 비디오 프레임의 프레임 속도의 역수와 같을 수 있다. 다른 일 가능한 구현 방식에 있어서, 인접한 두개 시각 간의 시간 간격은 카메라가 수집한 비디오 프레임의 프레임 속도의 역수보다 클 수 있으며, 예를 들어 카메라가 수집한 비디오 프레임의 프레임 속도의 역수의 H배와 같을 수 있고, 여기서, H는 1보다 큰 정수이다.In one possible implementation manner, the time interval between two adjacent time points may be equal to the reciprocal of the frame rate of video frames collected by the camera. In another possible implementation manner, the time interval between two adjacent time points may be greater than the reciprocal of the frame rate of the video frame collected by the camera, for example equal to H times the reciprocal of the frame rate of the video frame collected by the camera. , where H is an integer greater than 1.

일 가능한 구현 방식에 있어서, 서로 충돌 하는 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 상기 복수 개의 타깃 대상에서의 다른 적어도 하나의 타깃 대상 간의 거리는 거리 임계값보다 작거나 같으며; 상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 복수 개의 타깃 대상에서의 다른 타깃 대상이 더 이상 충돌하지 않는 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출하는 단계는, 상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상에 대해, 상기 타깃 대상과 상기 복수 개의 타깃 대상에서의 다른 타깃 대상 간의 거리가 모두 상기 거리 임계값보다 큰 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출하는 단계를 포함한다.In one possible implementation manner, a distance between a target object in a plurality of target objects colliding with each other and at least one other target object in the plurality of target objects is less than or equal to a distance threshold value; In response to a case in which one target object in the plurality of target objects and another target object in the plurality of target objects no longer collide, the step of extracting the current feature of the target object may include: extracting a current feature of the target object in response to a case in which distances between the target object and other target objects in the plurality of target objects are all greater than the distance threshold for any one of the target objects .

일부 실시예에 있어서, 노이즈를 가진 밀도 기반 클러스터링 방법(Density-Based Spatial Clustering of Applications with Noise, DBSCAN)을 사용하여, 다른 타깃 대상 간의 거리가 거리 임계값보다 작은 타깃 대상을 클러스터링하여, 충돌 영역을 형성한다.In some embodiments, using a Density-Based Spatial Clustering of Applications with Noise (DBSCAN) to cluster target objects in which the distance between other target objects is less than a distance threshold, a collision area is formed to form

상기 구현 방식에 있어서, 어느 한 프레임에서, 임의의 두 개의 타깃 대상 간의 거리를 계산할 수 있고, 상기 두 개의 타깃 대상 간의 거리가 거리 임계값보다 작거나 같을 경우, 상기 두 개의 타깃 대상은 서로 충돌하는 것을 결정할 수 있다. 다른 한 타깃 대상과 상기 두 개의 타깃 대상에서의 적어도 하나의 타깃 대상 간의 거리가 거리 임계값보다 작거나 같은 경우가 존재할 경우, 이 세 개의 타깃 대상은 서로 충돌하는 것을 결정할 수 있다. 예를 들어, 제t 시각에서, 타깃 대상(O₁)과 타깃 대상(O₄) 간의 거리가 거리 임계값보다 작거나 같을 경우, 타깃 대상(O₁)과 타깃 대상(O₄)는 서로 충돌하는 것을 결정할 수 있다. 타깃 대상(O₃)과 타깃 대상(O₄) 간의 거리가 거리 임계값보다 작거나 같을 경우, 타깃 대상(O₁), (O₄)과 (O₃)은 서로 충돌하는 것을 결정할 수 있다.In the above implementation manner, in any one frame, the distance between any two target objects may be calculated, and when the distance between the two target objects is less than or equal to a distance threshold, the two target objects collide with each other. can decide what When there is a case in which a distance between another target object and at least one target object in the two target objects is less than or equal to a distance threshold, it may be determined that the three target objects collide with each other. For example, at time t, if the distance between the target object O ₁ and the target object O ₄ is less than or equal to the distance threshold, the target object O ₁ and the target object O ₄ collide with each other. can decide what to do. When the distance between the target object O ₃ and the target object O ₄ is less than or equal to the distance threshold, the target object O ₁ , (O ₄ ), and (O ₃ ) may determine that they collide with each other.

상기 구현 방식의 일 예로서, 타깃 대상 간에 서로 충돌이 일어나는지 여부를 판단할 경우, 타깃 대상의 위치(예를 들어 융합 좌표) 간의 거리가 거리 임계값보다 작거나 같은지 여부만을 고려할 수 있고, 예를 들어, 임의의 두 개의 타깃 대상의 위치 간의 거리가 거리 임계값보다 작거나 같을 경우, 상기 두 개의 타깃 대상은 서로 충돌하는 것을 결정할 수 있다. 상기 구현 방식의 다른 일 예로서, 타깃 대상의 위치 간의 거리를 고려할뿐만 아니라, 타깃 대상의 비전 특징(예를 들어 기준 특징 및 현재 특징 중 적어도 하나) 간의 거리를 고려하고, 예를 들어, 임의의 두 개의 타깃 대상의 위치 간의 거리가 제1 거리 임계값보다 작거나 같으며, 상기 두 개의 타깃 대상의 비전 특징 간의 거리가 제2 거리 임계값보다 작거나 같을 경우, 상기 두 개의 타깃 대상은 서로 충돌하는 것을 결정할 수 있다. 여기서, 타깃 대상의 비전 특징 간의 거리는 타깃 대상의 비전 특징 간의 유사도를 표시할 수 있다.As an example of the implementation method, when determining whether a collision occurs between target objects, only whether the distance between the positions of the target objects (eg, fusion coordinates) is less than or equal to the distance threshold value may be considered, for example For example, when the distance between the positions of any two target objects is less than or equal to a distance threshold, it may be determined that the two target objects collide with each other. As another example of the implementation manner, not only consider the distance between the positions of the target object, but also consider the distance between the vision features of the target object (eg, at least one of a reference feature and a current feature), for example, any If the distance between the positions of the two target objects is less than or equal to a first distance threshold and the distance between the vision features of the two target objects is less than or equal to the second distance threshold, the two target objects collide with each other can decide what to do. Here, the distance between the vision features of the target object may indicate a degree of similarity between the vision features of the target object.

상기 구현 방식에 있어서, 한 타깃 대상과 다른 한 타깃 대상 간의 거리가 거리 임계값보다 작거나 같을 경우, 상기 두 개의 타깃 대상은 서로 충돌하는 것을 결정할 수 있고; 한 타깃 대상과 다른 타깃 대상의 거리가 모두 상기 거리 임계값보다 클 경우, 상기 타깃 대상은 다른 모든 타깃 대상과 충돌하지 않는 것을 결정할 수 있다. 상기 구현 방식에 따라 타깃 대상 간의 충돌 관계를 결정하고, 이를 기반으로 타깃 추적을 수행하면, 타깃 추적의 정확성 및 효율을 향상시키는데 도움이 된다.In the above implementation manner, when a distance between one target object and another target object is less than or equal to a distance threshold, it may be determined that the two target objects collide with each other; When a distance between one target object and another target object is both greater than the distance threshold, it may be determined that the target object does not collide with all other target objects. Determining a collision relationship between target objects according to the above implementation method and performing target tracking based on this determination helps to improve accuracy and efficiency of target tracking.

다른 일 가능한 구현 방식에 있어서, 서로 충돌 하는 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 상기 복수 개의 타깃 대상에서의 다른 모든 타깃 대상 간의 거리는 모두 거리 임계값보다 작거나 같으며 같고; 상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 복수 개의 타깃 대상에서의 다른 타깃 대상이 더 이상 충돌하지 않는 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출하는 단계는, 상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상에 대해, 상기 타깃 대상과 상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상 간의 거리가 상기 거리 임계값보다 큰 경우, 상기 타깃 대상의 현재 특징을 추출하는 단계를 포함한다.In another possible implementation manner, the distances between any one target object in the plurality of target objects colliding with each other and all other target objects in the plurality of target objects are all less than or equal to the distance threshold value; In response to a case in which one target object in the plurality of target objects and another target object in the plurality of target objects no longer collide, the step of extracting the current feature of the target object may include: and extracting a current feature of the target object when a distance between the target object and any one target object in the plurality of target objects is greater than the distance threshold value for any one target object of .

일 가능한 구현 방식에 있어서, 상기 타깃 대상의 현재 특징을 추출하는 단계는, 상기 타깃 대상이 상기 추적 영역에서 위치한 서브 영역을 결정하는 단계; 복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도에 따라, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라를 결정하는 단계; 및 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라가 수집한 비디오 프레임에 따라, 상기 타깃 대상의 현재 특징을 추출하는 단계를 포함한다.In one possible implementation manner, the extracting of the current feature of the target object includes: determining a sub-region in which the target object is located in the tracking area; determining, by a plurality of cameras, a camera for extracting a current feature of the target object according to the reliability of the sub-region in which the target object is located; and extracting the current feature of the target object according to the video frame collected by a camera for extracting the current feature of the target object.

상기 구현 방식에 있어서, 상기 추적 영역은 적어도 하나의 서브 영역을 포함할 수 있고, 예를 들어, 상기 추적 영역은 복수 개의 서브 영역으로 분할될 수 있다. 상기 구현 방식에 있어서, 복수 개의 카메라를 통해 타깃 추적을 수행하는 것을 통해, 복수 개의 카메라에 대응되는 복수 개의 시각의 비전 정보를 획득할 수 있고, 복수 개의 시각으로 캡쳐한 비전 정보는 서로 보완할 수 있음으로써, 타깃 검출 및 추적의 정확성을 향상시키는데 도움이 된다.In the above implementation manner, the tracking area may include at least one sub area, for example, the tracking area may be divided into a plurality of sub areas. In the above implementation method, by performing target tracking through a plurality of cameras, it is possible to obtain vision information of a plurality of views corresponding to the plurality of cameras, and the vision information captured by the plurality of views can complement each other. This helps to improve the accuracy of target detection and tracking.

상기 구현 방식에 있어서, 복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도에 따라, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라를 결정하고, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라가 수집한 비디오 프레임에 따라, 상기 타깃 대상의 현재 특징을 추출하는 것을 통해, 추출된 상기 타깃 대상의 현재 특징이 더욱 풍부한 비전 정보를 가지게 하고, 따라서, 상기 구현 방식에 따라 추출한 상기 타깃 대상의 현재 특징에 따라 타깃 매칭하여, 타깃 매칭의 정확성을 향상시킬 수 있다.In the above implementation method, a plurality of cameras determine a camera for extracting the current feature of the target object according to the reliability of the sub-region in which the target object is located, and a camera for extracting the current feature of the target object is provided. By extracting the current feature of the target object according to the collected video frame, the extracted current feature of the target object has richer vision information, and thus the current feature of the target object extracted according to the implementation method According to the target matching method, the accuracy of target matching can be improved.

상기 구현 방식의 일 실시예로서, 상기 복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도에 따라, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라를 결정하는 단계는, 복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도, 및 상기 복수 개의 카메라가 수집한 비디오 프레임에서 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임 간의 중첩 정보에 따라, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라를 결정하는 단계를 포함한다.As an embodiment of the implementation method, the plurality of cameras determining a camera for extracting the current feature of the target object according to the reliability of the sub-region in which the target object is located may include: A camera for extracting the current feature of the target according to the reliability of the sub-region in which the target is located, and overlapping information between the detection frame of the target object and the detection frame of another target object in the video frames collected by the plurality of cameras including the step of determining

상기 예에 있어서, 복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도, 및 상기 복수 개의 카메라가 수집한 비디오 프레임에서 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임 간의 중첩 정보에 따라, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라를 결정하고, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라가 수집한 비디오 프레임에 따라, 상기 타깃 대상의 현재 특징을 추출하는 것을 통해, 추출된 상기 타깃 대상의 현재 특징이 더욱 풍부한 비전 정보를 가지게 하고, 따라서, 상기 예에 따라 추출한 상기 타깃 대상의 현재 특징에 따라 타깃 매칭하여, 타깃 매칭의 정확성을 추가로 향상시킬 수 있다.In the above example, according to the reliability of the sub-region in which the target object is located by a plurality of cameras, and overlapping information between the detection frame of the target object and the detection frame of another target object in the video frame collected by the plurality of cameras, The extracted target is determined by determining a camera for extracting the current feature of the target object, and extracting the current feature of the target object according to the video frame collected by the camera for extracting the current feature of the target object The current feature of the object may have richer vision information, and thus target matching may be performed according to the current feature of the target object extracted according to the above example, thereby further improving the accuracy of target matching.

일 예에 있어서, 상기 중첩 정보는 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임의 IOU를 포함하고; 상기 복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도, 및 상기 복수 개의 카메라가 수집한 비디오 프레임에서 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임 간의 중첩 정보에 따라, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라를 결정하는 단계는 중첩 조건을 만족하는 카메라로부터, 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도가 가장 높은 카메라를 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라로 결정하는 단계 - 상기 중첩 조건은 상기 현재 수집한 비디오 프레임에서 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임의 IOU가 모두 기설정된 임계값보다 작은 것을 표시함 - 를 포함한다.In an example, the overlapping information includes an IOU of a detection frame of the target object different from the detection frame of the target object; According to the reliability of the sub-region in which the target object is located by the plurality of cameras, and overlapping information between the detection frame of the target object and the detection frame of another target object in the video frames collected by the plurality of cameras, the detection of the target object The step of determining the camera for extracting the current feature includes determining, from a camera satisfying the overlap condition, a camera having the highest reliability for the sub-region in which the target object is located as the camera for extracting the current feature of the target object - The overlapping condition indicates that both the IOU of the detection frame of the target object and the detection frame of the other target object in the currently collected video frame is smaller than a preset threshold value.

예를 들어, 타깃 대상이 위치한 서브 영역은 서브 영역(A₁)이고, 상기 복수 개의 카메라는 카메라(C₁), 카메라(C₂), 카메라(C₃) 및 카메라(C₄)를 포함하고, 카메라(C₁)가 서브 영역(A₁)에 대한 신뢰도는 Z₁₁이고, 카메라(C₂)가 서브 영역(A₁)에 대한 신뢰도는 Z₂₁이고, 카메라(C₃)이 서브 영역(A₁)에 대한 신뢰도는 Z₃₁이며, 카메라(C₄)가 서브 영역(A₁)에 대한 신뢰도는 Z₄₁이다. 상기 타깃 대상의 검출 프레임의 IOU가 기설정된 임계값보다 크거나 같은 다른 검출 플레임이 존재하지 않는 경우, 즉, 카메라(C₁)가 현재 수집한 비디오 프레임에서, 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임의 IOU가 모두 기설정된 임계값보다 작은 경우, 카메라(C₁)가 수집한 비디오 프레임에 따라, 상기 타깃 대상의 현재 특징을 추출한다. 카메라(C₁)가 현재 수집한 비디오 프레임에서, 상기 타깃 대상의 검출 프레임의 IOU가 기설정된 임계값보다 크거나 같은 다른 검출 프레임이 존재하는 경우, 카메라(C₂)가 현재 수집한 비디오 프레임에서, 상기 타깃 대상의 검출 프레임의 IOU가 기설정된 임계값보다 크거나 같은 다른 검출 프레임이 존재하는지 여부를 판단하고, 즉, 카메라(C₂)가 현재 수집한 비디오 프레임에서, 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임의 IOU가 기설정된 임계값보다 작은지 여부를 판단한다. 카메라(C₂)가 현재 수집한 비디오 프레임에서, 상기 타깃 대상의 검출 프레임의 IOU가 기설정된 임계값보다 크거나 같은 다른 검출 프레임이 존재하지 않는 경우, 즉, 카메라(C₂)가 현재 수집한 비디오 프레임에서, 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임의 IOU가 모두 기설정된 임계값보다 작은 경우, 카메라(C₂)가 수집한 비디오 프레임에 따라, 상기 타깃 대상의 현재 특징을 추출하고, 이와 같은 방식으로 계속하여 수행하며; 다시 말해, 카메라가 서브 영역에 대한 신뢰도 순서에 따라, 신뢰도가 높은 카메라가 현재 수집한 비디오 프레임에서, 상기 타깃 대상이 가려진 경우, 신뢰도가 다음으로 높은 카메라로 전환하고, 이와 같은 방식으로 계속하여 수행하며; 상기 타깃 대상의 현재 특징을 추출하는 카메라로 하여금 가려지지 않은 경우, 최대한 신뢰도가 높은 카메라를 사용하도록 하여, 미스 탐지 확률이 감소하고, 타깃 매칭의 정확성을 향상시킨다.For example, the sub-area in which the target object is located is the sub-area A ₁ , and the plurality of cameras include a camera C ₁ , a camera C ₂ , a camera C ₃ , and a camera C ₄ , and , the camera C ₁ has a reliability of the sub area A ₁ , Z ₁₁ , the camera C ₂ has a reliability of the sub area A ₁ , Z ₂₁ , and the camera C ₃ has the sub area A 1 . The reliability of A ₁ ) is Z ₃₁ , and the reliability of the camera C ₄ in the sub-region A ₁ is Z ₄₁ . When there is no other detection frame in which the IOU of the detection frame of the target object is greater than or equal to the preset threshold value, that is, in the video frame currently collected by the camera C ₁ , a target different from the detection frame of the target object When all of the IOUs of the detection frames of the target are smaller than the preset threshold, the current feature of the target is extracted according to the video frame collected by the camera C ₁ . In the video frame currently collected by the camera C ₁ , if there is another detection frame in which the IOU of the detection frame of the target object is greater than or equal to a preset threshold, in the video frame currently collected by the camera C ₂ , determine whether there is another detection frame in which the IOU of the detection frame of the target object is greater than or equal to a preset threshold value, that is, in the video frame currently collected by the camera C ₂ , the detection frame of the target object It is determined whether the IOU of the detection frame of the target object different from that of the target object is smaller than a preset threshold value. In the video frame currently collected by the camera C ₂ , if there is no other detection frame in which the IOU of the detection frame of the target object is greater than or equal to a preset threshold, that is, the camera C ₂ currently collects In the video frame, when the IOU of the detection frame of the target object and the detection frame of the other target object are both smaller than a preset threshold, the current feature of the target object is extracted according to the video frame collected by the camera C ₂ and continue to do so; In other words, according to the order of the reliability of the sub-region, the camera switches to the next highest reliability camera when the target object is obscured in the video frame currently collected by the high-reliability camera, and continues in this way and; When the camera for extracting the current feature of the target is not covered, a camera with the highest reliability is used, thereby reducing the probability of misdetection and improving the accuracy of target matching.

이 예에 있어서, 상기 복수 개의 카메라에서의 어느 한 카메라에 대해, 상기 카메라가 현재 수집한 비디오 프레임에서 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임의 IOU는, 상기 타깃 대상이 다른 타깃 대상에 의해 가려진 비율을 나타낼 수 있다. 상기 카메라가 현재 수집한 비디오 프레임에서 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임의 IOU가 클수록, 상기 타깃 대상이 다른 타깃 대상에 의해 가려진 비율이 크다는 것을 나타낼 수 있고; 상기 카메라가 현재 수집한 비디오 프레임에서 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임의 IOU가 작을수록, 상기 타깃 대상이 다른 타깃 대상에 의해 가려진 비율이 작다는 것을 나타낼 수 있다. 상기 카메라가 현재 수집한 비디오 프레임에서, 상기 타깃 대상이 다른 타깃 대상에 의해 가려진 비율이 작을수록, 상기 카메라가 현재 수집한 비디오 프레임에 기반하여 추출한 상기 타깃 대상의 현재 특징이 가진 상기 타깃 대상의 비전 정보가 더욱 풍부하고, 예를 들어, 상기 타깃 대상의 더욱 많은 특징점의 정보를 가질 수 있다. 이 예는 상기 복수 개의 카메라에서 현재 수집한 비디오 프레임이 중첩 조건을 만족하는 카메라에서, 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도가 가장 높은 카메라를 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라로 결정하고, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라가 수집한 비디오 프레임에 따라, 상기 타깃 대상의 현재 특징을 추출하는 것을 통해, 추출된 상기 타깃 대상의 현재 특징이 더욱 풍부한 비전 정보를 가지게 하고, 따라서, 상기 예에 따라 추출한 상기 타깃 대상의 현재 특징에 따라 타깃 매칭하여, 타깃 매칭의 정확성을 추가로 향상시킬 수 있다.In this example, for one camera in the plurality of cameras, the IOU of the detection frame of the target object and the detection frame of the target object different from the detection frame of the target object in the video frame currently collected by the camera is a target object having a different target object can represent the ratio covered by . it may indicate that the larger the IOU of the detection frame of the target object and the detection frame of the other target object in the video frame currently collected by the camera is, the larger the ratio of the target object being obscured by the other target object; In the video frame currently collected by the camera, the smaller the IOU of the detection frame of the target object and the detection frame of the other target object is, the smaller the ratio of the target object is obscured by the other target object. In the video frame currently collected by the camera, as the ratio of the target object being obscured by another target object is smaller, the vision of the target object that the current feature of the target object extracted based on the video frame currently collected by the camera has The information is richer, for example, it may have information of more feature points of the target object. In this example, among the cameras in which the video frames currently collected by the plurality of cameras satisfy the overlapping condition, the camera with the highest reliability for the sub-region where the target object is located is determined as the camera for extracting the current feature of the target object and extracting the current feature of the target object according to the video frame collected by the camera for extracting the current feature of the target object, so that the extracted current feature of the target object has richer vision information, Accordingly, by performing target matching according to the current characteristics of the target target extracted according to the above example, accuracy of target matching may be further improved.

단계 S13에 있어서, 상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하고, 여기서, 상기 복수 개의 기준 특징은 상기 복수 개의 타깃 대상이 서로 충돌하기 이전, 각각 상기 복수 개의 타깃 대상에 대해 추출한 특징이다.In step S13, a reference feature matching a current feature of the target object is determined based on a plurality of reference features corresponding to the plurality of target objects, wherein the plurality of reference features are determined by the plurality of target objects. It is a feature extracted for each of the plurality of target objects before they collide with each other.

도 4는 본 발명의 실시예에서의 복수 개의 타깃 대상 및 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징의 예시도이다. 도 4에 도시된 바와 같이, 상기 복수 개의 타깃 대상은 타깃 대상(O₁), 타깃 대상(O₂), 타깃 대상(O₃) 및 타깃 대상(O₄)을 포함하고, 여기서, 타깃 대상(O₁)의 기준 특징은 기준 특징(F₀₁)이고, 타깃 대상(O₂)의 기준 특징은 기준 특징(F₀₂)이고, 타깃 대상(O₃)의 기준 특징은 기준 특징(F₀₃)이며, 타깃 대상(O₄)의 기준 특징은 기준 특징(F₀₄)이다.4 is an exemplary diagram of a plurality of target objects and a plurality of reference features corresponding to the plurality of target objects in an embodiment of the present invention. 4 , the plurality of target objects includes a target object (O ₁ ), a target object (O ₂ ), a target object (O ₃ ), and a target object (O ₄ ), where the target object ( The reference feature of O ₁ is the reference feature (F ₀₁ ), the reference feature of the target object (O ₂ ) is the reference feature (F ₀₂ ), the reference feature of the target object (O ₃ ) is the reference feature (F ₀₃ ) , the reference feature of the target object O ₄ is the reference feature F ₀₄ .

일 가능한 구현 방식에 있어서, 첫 번째 프레임에서 타깃 대상의 기준 특징을 추출하고, 타깃 대상의 기준 특징을 저장할 수 있다. 예를 들어, 첫 번째 프레임에서 타깃 대상의 모든 기준 특징을 추출하고, 모든 타깃 대상의 기준 특징을 저장할 수 있다. 물론, 첫 번째 프레임에서 일부 타깃 대상이 심하게 가려지는 경우, 이후의 비디오 프레임에서 이러한 타깃 대상의 기준 특징을 추출하여, 품질이 더욱 높고, 더욱 풍부한 타깃 대상의 비전 정보를 포함한 기준 특징을 획득할 수 있다. 타깃 대상의 기준 특징을 추출한 이후, 타깃 대상의 식별자 정보와 타깃 대상의 기준 특징 간의 대응 관계를 저장할 수 있다. 본 발명의 실시예에 있어서, 타깃 대상의 기준 특징을 추출하기 위한 카메라의 방식을 결정한 이후, 위에서 설명한 타깃 대상의 현재 특징을 추출하기 위한 카메라의 방식을 결정하는 방식과 유사하기에, 여기서 반복하여 설명하지 않는다.In one possible implementation manner, a reference feature of the target object may be extracted from the first frame, and the reference feature of the target object may be stored. For example, all reference features of the target object may be extracted from the first frame, and reference features of all target objects may be stored. Of course, if some target objects are heavily occluded in the first frame, by extracting the reference features of these target objects from subsequent video frames, higher quality and richer reference features including vision information of the target object can be obtained. have. After extracting the reference feature of the target object, a correspondence relationship between the identifier information of the target object and the reference feature of the target object may be stored. In an embodiment of the present invention, after determining the method of the camera for extracting the reference feature of the target object, it is similar to the method of determining the method of the camera for extracting the current feature of the target object described above. do not explain

상기 구현 방식의 일 예로서, 타깃 대상의 기준 특징을 추출한 이후, 후속 타깃 추적 과정에서, 상기 타깃 대상의 현재 특징을 추출한 경우, 추출된 상기 타깃 대상의 현재 특징에 따라, 상기 타깃 대상의 기준 특징을 업데이트 하여, 저장된 기준 특징에 따라 타깃 매칭을 하는 정확성을 향상시킬 수 있다. 예를 들어, 저장된 타깃 대상의 기준 특징과 상기 타깃 대상의 현재 특징을 가중하여, 새로운 기준 특징을 얻을 수 있다. 물론, 타깃 대상의 기준 특징을 업데이트 하지 않고, 계산량을 줄일 수도 있다.As an example of the implementation method, when the current feature of the target object is extracted in a subsequent target tracking process after the reference feature of the target object is extracted, according to the extracted current feature of the target object, the reference feature of the target object can be updated to improve the accuracy of target matching according to the stored reference characteristics. For example, a new reference characteristic may be obtained by weighting a stored reference characteristic of the target object and a current characteristic of the target object. Of course, the calculation amount may be reduced without updating the reference characteristics of the target object.

일 가능한 구현 방식에 있어서, 타깃 대상이 사람(예를 들어 보행자, 축구장의 축구 선수)인 경우, 보행자 재식별(person Re-IDentificaion, ReID) 모듈을 통해 타깃 대상의 특징을 추출할 수 있다. 예를 들어, ReID 모듈을 통해 타깃 대상의 기준 특징 및 현재 특징 중 적어도 하나를 추출할 수 있다. 일 예에 있어서, ReID 모듈은 컨볼루션 신경망을 사용하여 구현될 수 있다. 물론, 다른 특징 추출 방법을 사용하여 타깃 대상의 특징을 추출할 수도 있으며, 추출된 타깃 대상의 특징이 타깃 대상의 비전 정보를 구현할 수 있으면 된다.In one possible implementation method, when the target target is a person (eg, a pedestrian or a soccer player on a soccer field), a characteristic of the target target may be extracted through a person re-identification (ReID) module. For example, at least one of a reference feature and a current feature of the target may be extracted through the ReID module. In one example, the ReID module may be implemented using a convolutional neural network. Of course, the features of the target object may be extracted using other feature extraction methods, as long as the extracted features of the target object can implement vision information of the target object.

일 가능한 구현 방식에 있어서, 상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하는 단계는, 상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징으로부터, 상기 타깃 대상의 현재 특징과 유사도가 가장 높은 기준 특징을 결정하는 단계; 및 상기 유사도가 가장 높은 기준 특징과 상기 타깃 대상의 현재 특징 간의 유사도가 유사도 임계값보다 크거나 같은 경우에 응답하여, 상기 유사도가 가장 높은 기준 특징을 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하는 단계를 포함한다. 여기서, 유사도는 코사인 유사도 등일 수 있다.In one possible implementation manner, the determining of a reference characteristic matching a current characteristic of the target object based on a plurality of reference characteristics corresponding to the plurality of target objects includes: determining, from the reference characteristic, a reference characteristic having the highest similarity to the current characteristic of the target object; and in response to a case in which the degree of similarity between the reference feature having the highest similarity and the current feature of the target object is greater than or equal to a similarity threshold, select the reference feature having the highest similarity as a reference feature matching the current feature of the target object including determining. Here, the similarity may be a cosine similarity or the like.

예를 들어, 제t 시각에서, 충돌 영역(1)에는 타깃 대상(O₁), (O₄) 및 (O₃)이 포함되고, 충돌 영역(1)에 대응되는 기준 특징은 타깃 대상(O₁)의 기준 특징(F₀₁), 타깃 대상(O₄)의 기준 특징(F₀₄) 및 타깃 대상(O₃)의 기준 특징(F₀₃)을 포함한다. 제t+1 시각에서, 한 타깃 대상과 남은 타깃 대상의 거리가 거리 임계값보다 큰 것이 검출된 경우, 상기 타깃 대상이 충돌 영역(1)을 벗어낫음을 표시하고, 즉, 충돌 영역(1)에서의 한 타깃 대상과 다른 두 개의 타깃 대상은 서로 충돌하지 않기에, 상기 타깃 대상의 현재 특징(F_1n)을 추출하고, 각각 충돌 영역(1)에 대응되는 3 개의 기준 특징(F₀₁), (F₀₄) 및 (F₀₃)과 상기 타깃 대상의 현재 특징(F_1n) 간의 유사도를 계산한다. 상기 3 개의 기준 특징에서, 상기 타깃 대상의 현재 특징(F_1n)과 유사도가 가장 높은 것이 기준 특징(F₀₃)이고, 기준 특징(F₀₃)과 상기 타깃 대상의 현재 특징(F_1n) 간의 유사도가 유사도 임계값보다 크거나 같을 경우, 기준 특징(F₀₃)을 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징으로 결정할 수 있다.For example, at time t, the collision area 1 includes the target objects O ₁ , (O ₄ ) and (O ₃ ), and the reference feature corresponding to the collision area 1 is the target object O ₁ ) of the reference feature F ₀₁ , the reference feature F ₀₄ of the target object O ₄ , and the reference feature F ₀₃ of the target object O ₃ . At time t+1, if it is detected that the distance between one target object and the remaining target object is greater than the distance threshold value, it is indicated that the target object is out of the collision area 1, that is, the collision area 1 Since one target object and the other two target objects do not collide with each other, the current feature (F _1n ) of the target object is extracted, and three reference features (F ₀₁ ) corresponding to the collision region (1), respectively, Calculate the similarity between (F ₀₄ ) and (F ₀₃ ) and the current feature (F _1n ) of the target object. Among the three reference features, the reference feature F ₀₃ has the highest similarity to the current feature F _1n of the target object, and the degree of similarity between the reference feature F ₀₃ and the current feature F _1n of the target object When is greater than or equal to the similarity threshold, the reference feature F ₀₃ may be determined as a reference feature matching the current feature of the target object.

상기 구현 방식에 있어서, 상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징으로부터, 상기 타깃 대상의 현재 특징과 유사도가 가장 높은 기준 특징을 결정하고, 상기 유사도가 가장 높은 기준 특징과 상기 타깃 대상의 현재 특징 간의 유사도가 유사도 임계값보다 크거나 같은 경우에 응답하여, 상기 유사도가 가장 높은 기준 특징을 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징으로 결정하는 것을 통해, 상기 타깃 대상과 복수 개의 타깃 대상에서의 다른 타깃 대상이 더 이상 충돌하지 않는 경우, 먼저 상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에 기반하여 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 검색함으로써, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 검색하는 속도 및 정확성을 향상시키는데 도움이 된다.In the above implementation manner, a reference feature having the highest similarity to the current feature of the target object is determined from a plurality of reference features corresponding to the plurality of target objects, and the reference feature having the highest similarity and the current feature of the target object are determined. In response to a case in which the similarity between features is greater than or equal to a similarity threshold, determining a reference feature having the highest similarity as a reference feature matching the current feature of the target object, in the target object and the plurality of target objects When the other target objects of the target object no longer collide, the current characteristic of the target object and the It helps to improve the speed and accuracy of searching for matching reference features.

상기 구현 방식의 일 예로서, 상기 타깃 대상의 현재 특징과 유사도가 가장 높은 기준 특징을 결정하는 단계 이후, 상기 방법은, 상기 유사도가 가장 높은 기준 특징과 상기 타깃 대상의 현재 특징 간의 유사도가 유사도 임계값보다 작거나 같은 경우에 응답하여, 상기 타깃 대상과 충돌하지 않고, 어느 한 다른 타깃 대상과 충돌하는 타깃 대상에 대응되는 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하는 단계를 더 포함한다.As an example of the implementation method, after determining the reference feature having the highest similarity to the current feature of the target object, the method may include: a similarity threshold between the reference feature having the highest similarity and the current feature of the target object In response to being less than or equal to a value, determining a reference characteristic that matches a current characteristic of the target object based on a reference characteristic corresponding to the target object that does not collide with the target object and collides with any other target object further comprising the step of

상기 예에 있어서, 상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에서, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 찾지 못할 경우, 다른 충돌 영역에 대응되는 기준 특징(즉, 상기 타깃 대상과 충돌하지 않지만, 다른 타깃 대상과 충돌하는 타깃 대상에 대응되는 기준 특징)에서 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 찾을 수 있다. 예를 들어, 상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징과 상기 타깃 대상의 현재 특징의 유사도가 모두 유사도 임계값보다 작을 경우, 상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에서, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 찾을 수 없는 것을 결정할 수 있다. 상기 예에 있어서, 상기 유사도가 가장 높은 기준 특징과 상기 타깃 대상의 현재 특징 간의 유사도가 유사도 임계값보다 작거나 같은 경우에 응답하는 것을 통해, 상기 타깃 대상과 충돌하지 않고, 어느 한 다른 타깃 대상과 충돌하는 타깃 대상에 대응되는 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하고, 이로써 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 검색하는 속도를 향상시키는 전제하에, 더 나아가 결정된 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징의 정확성을 향상시킬 수 있다.In the above example, when a reference feature matching the current feature of the target object is not found among the plurality of reference features corresponding to the plurality of target objects, the reference feature corresponding to another collision area (ie, the target object and the target object) A reference feature matching the current feature of the target object may be found from reference features corresponding to the target object that do not collide but collide with another target object. For example, when the similarity between the plurality of reference features corresponding to the plurality of target objects and the current feature of the target object are both less than a similarity threshold, in the plurality of reference features corresponding to the plurality of target objects, the target It can be determined that no reference feature can be found that matches the current feature of the subject. In the above example, by responding when the degree of similarity between the reference feature having the highest similarity and the current feature of the target object is less than or equal to the similarity threshold, it does not collide with the target object and does not collide with any other target object. Based on the reference characteristic corresponding to the colliding target object, determining a reference characteristic matching the current characteristic of the target object, thereby improving the speed of searching for the reference characteristic matching the current characteristic of the target object; Furthermore, the accuracy of the reference feature matching the determined current feature of the target object may be improved.

일 예에 있어서, 모든 충돌 영역에서 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 찾지 못한 경우, 비충돌 영역에서 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 찾을 수 있다.In an example, when a reference feature matching the current feature of the target object is not found in all collision regions, a reference feature matching the current feature of the target object may be found in a non-collision region.

다른 일 가능한 구현 방식에 있어서, 상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하는 단계는, 상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에서, 상기 타깃 대상의 현재 특징과 유사도가 가장 높은 기준 특징을 결정하는 단계; 및 상기 유사도가 가장 높은 기준 특징을 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징으로 결정하는 단계를 포함한다.In another possible implementation manner, the determining of a reference characteristic matching a current characteristic of the target object based on a plurality of reference characteristics corresponding to the plurality of target objects may include: determining, among reference features, a reference feature having the highest similarity to the current feature of the target object; and determining the reference feature having the highest similarity as the reference feature matching the current feature of the target object.

단계 S14에 있어서, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징에 대응되는 식별자 정보를, 상기 타깃 대상의 식별자 정보로 결정한다.In step S14, identifier information corresponding to a reference feature matching the current feature of the target object is determined as identifier information of the target object.

본 발명의 실시예에 있어서, 타깃 대상의 식별자 정보는 타깃 대상의 정보를 식별하는 유일한 것일 수 있고, 예를 들어 ID, 일련번호, 이름 등일 수 있다. 예를 들어, 추적 영역이 축구장일 경우, 타깃 대상은 축구장의 축구 선수를 포함하고, 타깃 대상의 식별자 정보는 축구 선수의 소속팀 및 등 번호일 수 있다.In an embodiment of the present invention, the identifier information of the target object may be the only thing that identifies the information of the target object, and may be, for example, an ID, a serial number, a name, and the like. For example, when the tracking area is a soccer field, the target object may include a soccer player of the soccer field, and the identifier information of the target object may be a team and uniform number of the soccer player.

예를 들어, 상기 타깃 대상의 현재 특징(F_1n)과 매칭되는 기준 특징은 (F₀₃)이고, 기준 특징(F₀₃)에 대응되는 식별자 정보는 (O₃)이며, (O₃)을 상기 타깃 대상의 식별자 정보로 결정할 수 있다.For example, the reference feature matching the current feature (F _1n ) of the target object is (F ₀₃ ), the identifier information corresponding to the reference feature (F ₀₃ ) is (O ₃ ), and (O ₃ ) is the It can be determined by the identifier information of the target object.

일 가능한 구현 방식에 있어서, 어느 한 타깃 대상에 대응되는 타깃 추적 결과는 상기 타깃 대상의 위치 정보를 더 포함할 수 있다. 본 발명에서 제공한 타깃 추적 방법이 제공한 타깃 추적 결과를 이용하여, 추적 영역에서 타깃 대상의 행위에 대해 분석할 수 있다. 예를 들어, 추적 영역은 축구장이고, 타깃 대상은 축구장의 축구 선수를 포함하고, 축구 선수의 식별자 정보(예를 들어 소속팀 및 유니폼 등번호) 및 축구 선수가 적어도 하나의 비디오 프레임에서의 위치 정보에 따라, 축구 선수의 행위에 대해 분석할 수 있고, 예를 들어 축구 선수가 오프사이드를 했는지 여부를 분석할 수 있다.In one possible implementation manner, the target tracking result corresponding to any one target object may further include location information of the target object. By using the target tracking result provided by the target tracking method provided in the present invention, it is possible to analyze the behavior of the target in the tracking area. For example, the tracking area is a soccer field, and the target object includes a soccer player in the soccer field, and the soccer player's identifier information (eg, team and uniform number) and the soccer player's location information in at least one video frame. Accordingly, the behavior of the soccer player may be analyzed, for example, whether the soccer player is offside may be analyzed.

본 발명의 실시예에 있어서, 추적 영역에서 타깃 대상 간의 거리에 따라, 서로 충돌하는 복수 개의 타깃 대상을 결정하고, 상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 복수 개의 타깃 대상에서의 다른 타깃 대상이 더 이상 충돌하지 않는 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출하고, 상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하며, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징에 대응되는 식별자 정보를, 상기 타깃 대상의 식별자 정보로 결정하는 것을 통해, 타깃 대상의 식별자 정보의 일관성을 유지할 수 있고, 즉, 동일한 타깃 대상이 충돌 영역을 출입할 경우의 식별자 정보의 일관성을 유지함으로써, 복수 개의 타깃 추적의 정확성을 향상시킬 수 있다. 본 발명의 실시예는 복잡한 타깃 추적 시나리오에 적용될 수 있고, 예를 들어 추적 영역에서 타깃 대상의 사이즈가 일치하지 않고, 추적 영역에서 사이즈가 작고 검출하기 어려운 타깃 대상이 존재하고, 추적 영역에서 타깃 대상이 비교적 밀집되고, 타깃 대상의 외형이 유사하고, 타깃 대상의 운동 복잡도가 비교적 높고, 심하게 가려지는 경우가 존재하는 등 타깃 추적 시나리오에 적용될 수 있다.In an embodiment of the present invention, a plurality of target objects that collide with each other are determined according to the distance between the target objects in the tracking area, and one target object in the plurality of target objects and another target object in the plurality of target objects are determined. In response to the case that no longer collides, a current feature of the target object is extracted, and a reference feature matching the current feature of the target object is determined based on a plurality of reference features corresponding to the plurality of target objects and by determining the identifier information corresponding to the reference characteristic matching the current characteristic of the target object as the identifier information of the target object, the consistency of the identifier information of the target object can be maintained, that is, the same target object By maintaining the consistency of identifier information when entering and exiting the collision area, it is possible to improve the accuracy of tracking a plurality of targets. Embodiments of the present invention can be applied to complex target tracking scenarios, for example, the size of the target object in the tracking area does not match, the small size and difficult-to-detect target object exists in the tracking area, and the target object in the tracking area It can be applied to target tracking scenarios such as relatively dense, similar appearance of the target object, relatively high motion complexity of the target object, and severe occlusion.

일 가능한 구현 방식에 있어서, 단계 S11 이전, 상기 방법은, 라벨의 제1 좌표를 획득하는 단계; 및 상기 복수 개의 카메라에서의 어느 한 카메라에 대해, 상기 카메라가 획득한 상기 라벨의 제2 좌표, 및 상기 라벨의 제1 좌표에 따라, 상기 카메라에 대응되는 변환 행렬을 결정하는 단계를 더 포함한다.In one possible implementation manner, before step S11, the method includes: obtaining first coordinates of a label; and determining, for any one camera in the plurality of cameras, a transformation matrix corresponding to the camera according to the second coordinates of the label obtained by the camera, and the first coordinates of the label. .

상기 구현 방식에 있어서, 상기 복수 개의 카메라에 대해 표준화를 진행할 경우, 먼저 추적 영역에 일정한 밀도로 라벨을 배치할 수 있다. 도 5는 본 발명의 실시예에서 추적 영역에 라벨을 배치하는 예시도이다. 도 5에 도시된 예에서, 추적 영역은 축구장이고, 라벨은 흰색 금속 조각이다. 물론, 본 분야의 기술자는 실제 응용 시나리오의 요구 및 개인 취향 중 적어도 하나에 따라 유연하게 라벨을 선택할 수 있고, 여기서, 일정한 밀도에 따라 배치된 라벨은 상이한 높이, 상이한 크기, 상이한 색갈 등일 수 있고, 여기서 이에 대해 한정하지 않는다. 라벨을 사용하여 표적화하는 것을 통해, 코너 포인트가 많지 않은 추적 영역에서 표적화를 진행하는 정확성을 향상시킬 수 있음으로써, 타깃 추적의 정확성을 향상시키는데 도움이 된다.In the above implementation method, when standardization is performed for the plurality of cameras, labels may be arranged at a constant density in the tracking area first. 5 is an exemplary diagram for placing a label in a tracking area in an embodiment of the present invention. In the example shown in Figure 5, the tracking area is a soccer field, and the label is a piece of white metal. Of course, a person skilled in the art can flexibly select the label according to at least one of the needs and personal preference of the actual application scenario, where the labels arranged according to a certain density may be of different heights, different sizes, different colors, etc., Here, the present invention is not limited thereto. By targeting using a label, it is possible to improve the accuracy of performing targeting in a tracking area where there are not many corner points, thereby helping to improve the accuracy of target tracking.

상기 구현 방식의 일 예로서, 제1 좌표는 월드 좌표계에서의 좌표일 수 있고, 제2 좌표는 픽셀 좌표계의 좌표일 수 있으며, 변환 행렬은 호모그래피 일 수 있다. 타깃 대상은 동일한 평면 내에서 운동하기에, 따라서, 공식(1)을 사용하여 변환 행렬

을 결정할 수 있다.As an example of the implementation method, the first coordinates may be coordinates in the world coordinate system, the second coordinates may be coordinates in the pixel coordinate system, and the transformation matrix may be homography. Since the target object is moving in the same plane, the transformation matrix using formula (1)

can be decided

(1)

(One)

여기서,

는 라벨의 제1 좌표를 표시하고, 예를 들어 라벨이 월드 좌표계에서의 좌표일 수 있고;

는 카메라가 획득한 라벨의 제2 좌표를 표시하고, 예를 들어 라벨이 픽셀 좌표계에서의 좌표일 수 있다.here,

indicates the first coordinates of the label, for example, the label may be coordinates in the world coordinate system;

indicates the second coordinates of the label obtained by the camera, for example, the label may be coordinates in the pixel coordinate system.

상기 예에 있어서, 호모그래피

의 자유도는 8이고, 이론상으로 4 개의 마커에 대응되는 특징점을 사용하면 상기 호모그래피의 값을 계산할 수 있다. 내부 및 외부의 파라미터의 정밀도를 향상시키기 위해, 도 5에 도시된 바와 같이, 더욱 많은 라벨을 설치하고, 최소 자승법을 사용하고, 고립된 점을 필터링하며, 체커보드 표적화 방법을 이용하여 호모그래피를 얻을 수 있다. 이로써 얻은 호모그래피는 카메라가 수집한 이미지에서의 왜곡을 제거할 수 있고, 결정된 제1 좌표의 정확성을 향상시킬 수 있다.In the above example, homography

has 8 degrees of freedom, and in theory, the homography value can be calculated using feature points corresponding to four markers. In order to improve the precision of the internal and external parameters, as shown in Fig. 5, more labels are installed, the least squares method is used, isolated points are filtered out, and the homography is performed using the checkerboard targeting method. can be obtained The obtained homography may remove distortion in the image collected by the camera, and may improve the accuracy of the determined first coordinates.

여기서, 직접 선형 전환(Direct Linear Transformation, DLT) 및 특이값 분해(Singular Value Decomposition, SVD)를 통해 카메라 외부 파라미터를 획득할 수 있고, 체커보드 표적화를 통해 카메라의 내부 파라미터를 획득함으로써, 이미지의 왜곡을 제거할 수 있다.Here, the camera external parameters can be obtained through Direct Linear Transformation (DLT) and Singular Value Decomposition (SVD), and the internal parameters of the camera are obtained through checkerboard targeting, thereby distorting the image. can be removed.

상기 구현 방식에 있어서, 상기 복수 개의 카메라에서의 각 카메라에 대응되는 변환 행렬을 결정하는 것을 통해, 상기 복수 개의 카메라가 획득한 타깃 대상의 제2 좌표를 통합된 좌표계로 전환할 수 있고, 예를 들어, 월드 좌표계에 전환하여, 타깃 대상이 상기 복수 개의 카메라에서의 각 카메라에 대응되는 제1 좌표을 얻고, 이로써 후속 상기 타깃 대상에 대해 추적하는데 용이할 수 있다.In the above implementation method, by determining a transformation matrix corresponding to each camera in the plurality of cameras, the second coordinates of the target object obtained by the plurality of cameras may be converted into an integrated coordinate system, for example, For example, by switching to the world coordinate system, the target object obtains first coordinates corresponding to each camera in the plurality of cameras, thereby making it easier to track with respect to the subsequent target object.

일 가능한 구현 방식에 있어서, 상기 방법은, 어느 한 타깃 대상에 대해, 상기 타깃 대상이 복수 개의 카메라에 대응되는 제1 좌표를 결정하는 단계; 상기 타깃 대상이 상기 복수 개의 카메라에 대응되는 제1 좌표에 따라, 상기 타깃 대상이 상기 추적 영역에서 위치한 서브 영역을 결정하는 단계 - 상기 추적 영역은 복수 개의 서브 영역을 포함함 - ; 및 상기 복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도에 따라, 상기 타깃 대상이 상기 복수 개의 카메라에 대응되는 제1 좌표에 대해 융합을 수행하여, 상기 타깃 대상의 융합 좌표를 얻는 단계를 더 포함하고, 상기 추적 영역에서 타깃 대상 간의 거리에 따라, 서로 충돌하는 복수 개의 타깃 대상을 결정하는 단계 이전, 상기 단계는, 상기 추적 영역에서 타깃 대상의 융합 좌표에 따라, 상기 추적 영역에서 타깃 대상 간의 거리를 결정하는 단계를 더 포함한다.In one possible implementation manner, the method includes: determining, with respect to one target object, first coordinates of the target object corresponding to a plurality of cameras; determining a sub-region in which the target object is located in the tracking area according to first coordinates in which the target object corresponds to the plurality of cameras, wherein the tracking area includes a plurality of sub-areas; and obtaining fusion coordinates of the target object by performing fusion of the plurality of cameras on the first coordinates corresponding to the plurality of cameras according to the reliability of the sub-region in which the target object is located. Further comprising, before the step of determining a plurality of target objects that collide with each other according to a distance between the target objects in the tracking area, the step is, according to the fusion coordinates of the target objects in the tracking area, the target object in the tracking area The method further includes determining a distance between them.

상기 구현 방식에 있어서, 어느 한 타깃 대상은 어느 한 카메라의 제1 좌표에 대응되는 것은 상기 카메라가 수집한 이미지에 따라 얻은 상기 타깃 대상의 제1 좌표를 표시할 수 있다. 제1 좌표는 제1 좌표계의 좌표일 수 있고, 예를 들어, 제1 좌표계는 월드 좌표계 또는 다른 가상 좌표계일 수 있다. 융합 좌표 및 제1 좌표는 동일한 좌표계의 좌표일 수 있고, 예를 들어, 융합 좌표 및 제1 좌표는 모두 월드 좌표계의 좌표일 수 있다.In the above implementation manner, if any one target object corresponds to the first coordinates of any one camera, the first coordinates of the target object obtained according to the image collected by the camera may be displayed. The first coordinates may be coordinates of a first coordinate system, for example, the first coordinate system may be a world coordinate system or another virtual coordinate system. The fusion coordinate and the first coordinate may be coordinates of the same coordinate system, for example, both the fusion coordinate and the first coordinate may be coordinates of the world coordinate system.

상기 구현 방식의 일 예로서, 상기 추적 영역에서의 각 서브 영역이 제1 좌표계에서의 좌표 범위를 미리 결정한다. 예를 들어, 서브 영역은 직사각형이고, 어느 한 서브 영역이 제1 좌표계에서의 좌표 범위는 상기 서브 영역이 제1 좌표계서의 네 개의 꼭짓점의 좌표를 사용하여 표시될 수 있고, 또는, 상기 서브 영역이 제1 좌표계에서의 좌표 범위는 상기 서브 영역이 제1 좌표계서의 왼쪽 상단의 꼭짓점 좌표 및 상기 서브 영역의 너비 및 높이를 사용하여 표시될 수 있다. 물론, 어느 한 서브 영역이 제1 좌표계에서의 좌표 범위는 또한 다른 방식을 사용하여 표시될 수도 있으며, 이에 대해 한정하지 않는다. 또한, 어느 한 서브 영역의 모양은 직사각형이 아닐 수도 있으며, 예를 들어 삼각형 등일 수 있다. 추적 영역에서의 상이한 서브 영역의 크기는 동일할 수도 있고, 상이할 수도 있다.As an example of the implementation manner, each sub-region in the tracking region predetermines a coordinate range in the first coordinate system. For example, the sub-region is a rectangle, and the coordinate range of one sub-region in the first coordinate system may be indicated by using the coordinates of four vertices of the sub-region in the first coordinate system, or The coordinate range in the first coordinate system may be displayed using the coordinates of the upper left vertex of the sub-region in the first coordinate system and the width and height of the sub-region. Of course, the coordinate range of any one sub-region in the first coordinate system may also be displayed using other methods, but the present invention is not limited thereto. In addition, the shape of any one sub-region may not be rectangular, for example, a triangle or the like. The sizes of different sub-regions in the tracking area may be the same or different.

상기 구현 방식에 있어서, 타깃 대상이 상기 복수 개의 카메라에 대응되는 제1 좌표, 및 서브 영역이 제1 좌표계에서의 좌표 범위에 따라, 상기 타깃 대상이 상기 추적 영역에서 위치한 서브 영역을 결정할 수 있다. 상기 구현 방식에 있어서, 타깃 대상이 상기 복수 개의 카메라에서의 전체 또는 일부 카메라에 대응되는 제1 좌표, 및 서브 영역이 제1 좌표계에서의 좌표 범위에 따라, 상기 타깃 대상이 상기 추적 영역에서 위치한 서브 영역을 결정할 수 있다.In the implementation method, the sub-region in which the target object is located in the tracking area may be determined according to first coordinates of the target object corresponding to the plurality of cameras and the coordinate range of the sub-region in the first coordinate system. In the above implementation manner, according to the first coordinates of the target object corresponding to all or part of the cameras in the plurality of cameras, and the sub-region according to the coordinate range in the first coordinate system, the sub-region where the target object is located in the tracking area area can be determined.

상기 구현 방식의 일 예로서, 상기 타깃 대상이 상기 복수 개의 카메라에 대응되는 제1 좌표에 따라, 상기 타깃 대상이 상기 추적 영역에서 위치한 서브 영역을 결정하는 단계는, 상기 타깃 대상이 상기 복수 개의 카메라에서의 어느 한 카메라에 대응되는 제1 좌표, 및 서브 영역이 제1 좌표계에서의 좌표 범위에 따라, 상기 타깃 대상이 상기 추적 영역에서 위치한 후보 서브 영역을 결정하는 단계; 및 득표수가 가장 많은 후보 서브 영역을 상기 타깃 대상이 위치한 서브 영역으로 결정하는 단계를 포함한다. 예를 들어, 상기 복수 개의 카메라는 카메라(C₁), 카메라(C₂), 카메라(C₃) 및 카메라(C₄)를 포함하고; 상기 타깃 대상이 카메라(C₁)에 대응되는 제1 좌표에 따라, 상기 타깃 대상이 상기 추적 영역에서 위치한 후보 서브 영역은 서브 영역(A₁)인 것을 결정하고; 상기 타깃 대상이 카메라(C₂)에 대응되는 제1 좌표에 따라, 상기 타깃 대상이 상기 추적 영역에서 위치한 후보 서브 영역은 서브 영역(A₁)인 것을 결정하고; 상기 타깃 대상이 카메라(C₃)에 대응되는 제1 좌표에 따라, 상기 타깃 대상이 상기 추적 영역에서 위치한 후보 서브 영역은 서브 영역(A₂)인 것을 결정하며; 상기 타깃 대상이 카메라(C₄)에 대응되는 제1 좌표에 따라, 상기 타깃 대상이 상기 추적 영역에서 위치한 후보 서브 영역은 서브 영역(A₁)인 것을 결정하며; 따라서, 후보 서브 영역(A₁)은 득표수가 3이고, 후보 서브 영역(A₂)의 득표수는 1이며, 따라서, 후보 서브 영역(A₁)을 상기 타깃 대상이 위치한 서브 영역으로 결정할 수 있다.As an example of the implementation method, the step of determining a sub-region in which the target object is located in the tracking area according to first coordinates corresponding to the plurality of cameras of the target object may include: determining a candidate sub-region in which the target object is located in the tracking area according to first coordinates corresponding to a camera in the , and a coordinate range in which the sub-region is in the first coordinate system; and determining a candidate sub-region having the highest number of votes as a sub-region in which the target object is located. For example, the plurality of cameras includes a camera C ₁ , a camera C ₂ , a camera C ₃ , and a camera C ₄ ; determine that the candidate sub-region in which the target object is located in the tracking area is a sub-area A ₁ according to a first coordinate corresponding to the target object camera C ₁ ; determining that the candidate sub-region in which the target object is located in the tracking area is a sub-area A ₁ according to a first coordinate corresponding to the target object camera C ₂ ; determine, according to the first coordinates of the target object corresponding to the camera (C ₃ ), that the candidate sub-area in which the target object is located in the tracking area is the sub-area (A ₂ ); determine, according to the first coordinates of the target object corresponding to the camera (C ₄ ), that the candidate sub-area in which the target object is located in the tracking area is the sub-area (A ₁ ); Accordingly, the candidate sub-region A ₁ has 3 votes, and the candidate sub-region A ₂ has 1 vote. Therefore, the candidate sub-region A ₁ may be determined as the sub-region in which the target object is located. .

상기 구현 방식의 다른 일 예로서, 상기 타깃 대상이 상기 복수 개의 카메라에 대응되는 제1 좌표에 따라, 상기 타깃 대상이 상기 추적 영역에서 위치한 서브 영역을 결정하는 단계는, 상기 타깃 대상이 상기 복수 개의 카메라에 대응되는 제1 좌표에 따라, 상기 타깃 대상이 상기 복수 개의 카메라에 대응되는 제1 좌표의 평균값을 결정하는 단계; 및 서브 영역이 제1 좌표계에서의 좌표 범위에 따라, 상기 제1 좌표의 평균값이 위치한 서브 영역을 결정하고, 상기 제1 좌표의 평균값이 위치한 서브 영역을 상기 타깃 대상이 상기 추적 영역에서 위치한 서브 영역으로 결정하는 단계를 포함한다.As another example of the implementation method, the step of determining a sub-region in which the target object is located in the tracking area according to first coordinates corresponding to the plurality of cameras of the target object may include: determining, by the target object, an average value of first coordinates corresponding to the plurality of cameras according to first coordinates corresponding to the cameras; and a sub-region in which the average value of the first coordinates is located is determined according to the coordinate range of the sub-region in the first coordinate system, and the sub-region in which the average value of the first coordinates is located is selected as the sub-region in which the target object is located in the tracking region. including the step of determining

상기 구현 방식에 있어서, 상기 복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도에 따라, 상기 타깃 대상이 상기 복수 개의 카메라에서의 전체 또는 일부 카메라의 제1 좌표에 대해 융합하여, 상기 타깃 대상의 융합 좌표를 얻을 수 있다. 예를 들어, 상기 복수 개의 카메라는 카메라(C₁), 카메라(C₂), 카메라(C₃) 및 카메라(C₄)를 포함하고, 상기 타깃 대상은 서브 영역(A₁)에 위치하고, 카메라(C₁)가 서브 영역(A₁)에 대한 신뢰도는 Z₁₁이고, 카메라(C₂)가 서브 영역(A₁)에 대한 신뢰도는 Z₂₁이고, 카메라(C₃)가 서브 영역(A₁)에 대한 신뢰도는 Z₃₁이며, 카메라(C₄)가 서브 영역(A₁)에 대한 신뢰도는 Z₄₁이며, 상기 타깃 대상이 카메라(C₁)에 대응되는 제1 좌표는 P_w1이고, 상기 타깃 대상이 카메라(C₂)에 대응되는 제1 좌표는 P_w2이며, 상기 타깃 대상이 카메라(C₃)에 대응되는 제1 좌표는 P_w3이며, 상기 타깃 대상이 카메라(C₄)에 대응되는 제1 좌표는 P_w4이며, 상기 타깃 대상의 융합 좌표는,In the above implementation manner, according to the reliability of the sub-region in which the plurality of cameras are located, the target object is fused with respect to the first coordinates of all or some of the cameras in the plurality of cameras, so that the target object fusion coordinates can be obtained. For example, the plurality of cameras include a camera C ₁ , a camera C ₂ , a camera C ₃ , and a camera C ₄ , and the target object is located in the sub-area A ₁ , and the camera (C ₁ ) has a reliability of the sub-region A ₁ , Z ₁₁ , the camera C ₂ has a reliability of the sub-region A ₁ , Z ₂₁ , and the camera C ₃ has a sub-region A ₁ . ) is Z ₃₁ , the camera C ₄ has a reliability of the sub-region A ₁ is Z ₄₁ , and the first coordinate corresponding to the target object is the camera C ₁ is P _w1 , and the A first coordinate corresponding to the target object corresponding to the camera C ₂ is P _w2 , a first coordinate corresponding to the target object corresponding to the camera C ₃ is P _w3 , and the target object corresponding to the camera C ₄ . The first coordinate to be P _w4 is, the fusion coordinate of the target object,

일 수 있다. 또 예를 들어, 상기 복수 개의 카메라에서, 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도가 비교적 큰 부분적인 카메라를 선택하여, 상기 타깃 대상의 융합 좌표를 결정할 수 있다. 예를 들어,

can be Also, for example, a fusion coordinate of the target object may be determined by selecting a partial camera having a relatively high reliability for a sub-region in which the target object is located from among the plurality of cameras. for example,

일 수 있다.

can be

상기 구현 방식에 있어서, 타깃 대상이 상기 복수 개의 카메라에 대응되는 제1 좌표를 결합하는 것을 통해, 상기 타깃 대상의 융합 좌표를 얻고, 상기 타깃 대상의 융합 좌표에 기반하여 타깃 추적을 하여, 이로써 더욱 정확한 좌표에 기반하여 타깃 추적을 하는 것을 얻을 수 있음으로써, 타깃 추적의 정확성을 향상시키는데 도움이 된다.In the above implementation manner, the target object obtains the fusion coordinates of the target object by combining the first coordinates corresponding to the plurality of cameras, and performs target tracking based on the fusion coordinates of the target object, thereby further Being able to achieve target tracking based on precise coordinates helps to improve the accuracy of target tracking.

일 가능한 구현 방식에 있어서, 어느 한 타깃 대상 및 상기 복수 개의 카메라에서의 어느 한 카메라에 대해, 상기 카메라가 획득한 상기 타깃 대상의 제2 좌표, 및 상기 카메라에 대응되는 변환 행렬에 따라, 상기 타깃 대상이 상기 카메라에 대응되는 제1 좌표를 결정한다.In one possible implementation manner, for one target object and one camera in the plurality of cameras, according to a second coordinate of the target object obtained by the camera, and a transformation matrix corresponding to the camera, the target The object determines first coordinates corresponding to the camera.

상기 구현 방식의 일 예로서, 상기 카메라가 획득한 상기 타깃 대상의 제2 좌표는, 상기 타깃 대상이 상기 카메라에 대응되는 픽셀 좌표계에서의 좌표일 수 있다. 즉, 제2 좌표는 픽셀 좌표계에서의 좌표를 표시할 수 있다. 상기 예에 있어서, 상기 타깃 대상이 상기 카메라에 대응되는 제1 좌표는, 상기 카메라가 획득한 상기 타깃 대상의 제2 좌표에 따라 결정된 상기 타깃 대상이 월드 좌표계에서의 좌표를 표시할 수 있다. 상기 예에 있어서, 상기 카메라에 대응되는 변환 행렬은 호모그래피일 수 있다.As an example of the implementation method, the second coordinates of the target object obtained by the camera may be coordinates in a pixel coordinate system in which the target object corresponds to the camera. That is, the second coordinates may indicate coordinates in a pixel coordinate system. In the above example, the first coordinates of the target object corresponding to the camera may indicate coordinates in the world coordinate system of the target object determined according to the second coordinates of the target object obtained by the camera. In the above example, the transformation matrix corresponding to the camera may be a homography.

다른 예에 있어서, 상기 카메라가 획득한 상기 타깃 대상의 제2 좌표는, 또한 상기 타깃 대상이 상기 카메라에 대응되는 이미지 좌표계 등 좌표계에서의 좌표일 수 있다. 즉, 제2 좌표는 또한 이미지 좌표계 등 좌표계에서의 좌표일 수 있다.In another example, the second coordinates of the target object obtained by the camera may also be coordinates in a coordinate system such as an image coordinate system corresponding to the camera. That is, the second coordinate may also be a coordinate in a coordinate system such as an image coordinate system.

상기 구현 방식의 일 예로서, 상기 카메라가 수집한 이미지에 대해 타깃 검출하여, 타깃 대상이 상기 이미지에서의 검출 프레임을 결정하고, 검출 프레임의 위치에 따라, 상기 카메라가 획득한 상기 타깃 대상의 제2 좌표를 결정할 수 있다. 상기 예에 있어서, 검출 프레임에서의 임의의 한 포인트 또는 검출 프레임 내부의 임의의 한 포인트를 상기 타깃 대상의 제2 좌표로 사용할 수 있다. 예를 들어, 검출 프레임 하단 가장자리의 중점을 상기 타깃 대상의 제2 좌표로 사용할 수 있다.As an example of the implementation method, target detection is performed on the image collected by the camera, the target object determines a detection frame in the image, and according to the position of the detection frame, the second target object acquired by the camera 2 coordinates can be determined. In the above example, any one point in the detection frame or any one point inside the detection frame may be used as the second coordinate of the target object. For example, the midpoint of the lower edge of the detection frame may be used as the second coordinate of the target object.

예를 들어, 상기 복수 개의 카메라에서의 어느 한 카메라에 대응되는 변환 행렬은 H이고, 상기 카메라가 획득한 어느 한 타깃 대상의 제2 좌표는 P_u이며, 상기 타깃 대상이 상기 카메라에 대응되는 제1 좌표는 공식(2)를 사용하여 결정할 수 있다.For example, in the plurality of cameras, a transformation matrix corresponding to one camera is H, a second coordinate of a target object obtained by the camera is P_u, and a first target object corresponding to the camera is P_u. The coordinates can be determined using formula (2).

(2)

(2)

일 가능한 구현 방식에 있어서, 상기 방법은, 상기 복수 개의 카메라에서의 어느 한 카메라에 대해, 상기 카메라와 상기 추적 영역의 복수 개의 서브 영역 간의 거리에 따라, 상기 카메라가 상기 복수 개의 서브 영역에 대한 신뢰도를 결정하는 단계를 더 포함한다.In one possible implementation manner, the method includes: for one camera in the plurality of cameras, according to a distance between the camera and the plurality of sub-regions of the tracking area, the camera has confidence in the plurality of sub-regions It further comprises the step of determining.

상기 구현 방식에 있어서, 상기 복수 개의 카메라와 상기 추적 영역의 복수 개의 서브 영역 간의 거리에 따라, 상기 복수 개의 카메라가 상기 복수 개의 서브 영역에 대한 신뢰도를 결정할 수 있다. 상기 구현 방식에 있어서, 어느 한 카메라가 어느 한 서브 영역에 대한 신뢰도는 상기 카메라와 상기 서브 영역 간의 거리와 음의 관련이 있다. 즉, 상기 카메라와 상기 서브 영역 간의 거리가 클수록, 상기 카메라가 상기 서브 영역에 대한 신뢰도 낮고; 상기 카메라와 상기 서브 영역 간의 거리가 작을수록, 상기 카메라가 상기 서브 영역에 대한 신뢰도는 높다. 예를 들어, 카메라(C₁)와 서브 영역(A₁) 간의 거리가, 카메라(C₂)와 서브 영역(A₁) 간의 거리보다 작을 경우, 카메라(C₁)가 서브 영역(A₁)에 대한 신뢰도(Z₁₁)는, 카메라(C₂)가 서브 영역(A₁)에 대한 신뢰도(Z₂₁)보다 클 수 있다. 또 예를 들어, 카메라(C₁)와 서브 영역(A₁) 간의 거리가, 카메라(C₁)와 서브 영역(A₂) 간의 거리보다 작을 경우, 카메라(C₁)가 서브 영역(A₁)에 대한 신뢰도(Z₁₁)는, 카메라(C₁)가 서브 영역(A₂)에 대한 신뢰도(Z₁₂)보다 클 수 있다.In the implementation manner, the plurality of cameras may determine reliability of the plurality of sub-regions according to distances between the plurality of cameras and the plurality of sub-regions of the tracking area. In the above implementation manner, the reliability of a camera with respect to a sub-region is negatively related to a distance between the camera and the sub-region. That is, the greater the distance between the camera and the sub-region, the lower the reliability of the camera in the sub-region; The smaller the distance between the camera and the sub-region, the higher the reliability of the camera in the sub-region. For example, when the distance between the camera C ₁ and the sub-region A ₁ is smaller than the distance between the camera C ₂ and the sub-region A ₁ , the camera C ₁ is the sub-region A ₁ . Reliability (Z ₁₁ ) for the camera (C ₂ ) may be greater than the reliability (Z ₂₁ ) for the sub-region A ₁ . Also, for example, when the distance between the camera C ₁ and the sub-region A ₁ is smaller than the distance between the camera C ₁ and the sub-region A ₂ , the camera C ₁ is the sub-region A ₁ . ), the reliability (Z ₁₁ ) of the camera (C ₁ ) may be greater than the reliability (Z ₁₂ ) of the sub-region (A ₂ ).

상기 구현 방식에 있어서, 상기 복수 개의 카메라에서의 어느 한 카메라에 대해, 상기 카메라와 어느 한 서브 영역 간의 거리가 작을수록, 상기 카메라가 촬영한 상기 서브 영역의 비디오 프레임이 선명함으로써, 비디오 프레임에서의 정보를 정확하게 식별하는데 유리하다. 반대로, 상기 카메라와 어느 한 서브 영역 간의 거리가 클수록, 상기 카메라가 촬영한 상기 서브 영역의 비디오 프레임이 선명하지 않음으로써, 비디오 프레임에서의 정보를 정확하게 식별하는데 불리하다. 따라서, 상기 구현 방식에 있어서, 상기 복수 개의 카메라에서의 어느 한 카메라에 대해, 상기 카메라와 상기 추적 영역의 복수 개의 서브 영역 간의 거리에 따라, 상기 카메라가 상기 복수 개의 서브 영역에 대한 신뢰도를 결정하고, 이로써 카메라와 서브 영역 간의 거리를 카메라가 서브 영역에 대한 신뢰도를 고려하는 요소로 사용한다. 이로써 결정된 신뢰도에 기반하여 좌표 융합 및/또는 타깃 대상의 현재 특징을 추출하는 카메라를 결정함으로써, 타깃 추적의 정확성을 향상시키는데 도움이 된다.In the above implementation method, for any one camera in the plurality of cameras, the smaller the distance between the camera and any one sub-region, the clearer the video frame of the sub-region photographed by the camera, so that the It is advantageous for accurately identifying information. Conversely, as the distance between the camera and any one sub-region increases, the video frame of the sub-region photographed by the camera is not clear, which is disadvantageous in accurately identifying information in the video frame. Therefore, in the implementation manner, for any one camera in the plurality of cameras, according to the distance between the camera and the plurality of sub-regions of the tracking area, the camera determines the reliability of the plurality of sub-regions, , so that the distance between the camera and the sub-region is used as a factor in which the camera considers the reliability of the sub-region. By determining a camera that extracts coordinates fusion and/or current features of the target object based on the thus determined reliability, it is helpful to improve the accuracy of target tracking.

일 가능한 구현 방식에 있어서, 상기 복수 개의 카메라가 상기 복수 개의 서브 영역에 대한 신뢰도를 결정하는 단계 이후, 상기 방법은, 상기 복수 개의 카메라에서의 어느 한 카메라에 대해, 상기 카메라가 수집한 비디오 프레임에서 타깃 대상 간의 평균 거리에 따라, 상기 카메라가 상기 복수 개의 서브 영역에 대한 신뢰도를 조정하는 단계를 더 포함한다.In one possible implementation manner, after the plurality of cameras determine the reliability of the plurality of sub-regions, the method includes: for one camera in the plurality of cameras, in a video frame collected by the cameras The method further includes adjusting, by the camera, reliability of the plurality of sub-regions according to an average distance between target objects.

상기 구현 방식의 일 예로서, 타깃 추적 과정에서, 상기 카메라가 수집한 비디오 프레임에서 타깃 대상 간의 평균 거리에 따라, 상기 카메라가 상기 복수 개의 서브 영역에 대한 신뢰도를 계속하여 조정할 수 있다. 예를 들어, 미리 설정된 주파수로 상기 카메라가 상기 복수 개의 서브 영역에 대한 신뢰도를 조정할 수 있다. 예를 들어, 미리 설정된 주파수는 1초일 수 있다.As an example of the implementation method, in the target tracking process, the camera may continuously adjust the reliability of the plurality of sub-regions according to the average distance between target objects in the video frames collected by the camera. For example, the camera may adjust the reliability of the plurality of sub-regions with a preset frequency. For example, the preset frequency may be 1 second.

본 발명의 실시예에 있어서, 복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도에 대해 가중 처리한 다음, 가중 처리 이후의 복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도에 따라, 상기 타깃 대상이 복수 개의 카메라에 대응되는 제1 좌표에 대해 융합한다.In an embodiment of the present invention, a plurality of cameras perform weighting processing on the reliability of the sub-region in which the target object is located, and then, after weighting, the plurality of cameras after the weighting process according to the reliability of the sub-region in which the target object is located, The target object is fused with respect to first coordinates corresponding to the plurality of cameras.

상기 복수 개의 카메라에서의 어느 한 카메라에 대해, 상기 카메라가 수집한 비디오 프레임에서 모든 타깃 대상 간의 평균 거리에 따라, 상기 카메라가 상기 복수 개의 서브 영역에 대한 신뢰도를 조정한다. 예를 들어, 상기 복수 개의 카메라는 카메라(C₁), 카메라(C₂), 카메라(C₃) 및 카메라(C₄)를 포함하고, 카메라(C₁)가 수집한 비디오 프레임에서 타깃 대상 간의 평균거리는 D₁이고, 카메라(C₂)가 수집한 비디오 프레임에서 타깃 대상 간의 평균거리는 D₂이고, 카메라(C₃)가 수집한 비디오 프레임에서 타깃 대상 간의 평균거리는 D₃이며, 카메라(C₄)가 수집한 비디오 프레임에서 타깃 대상 간의 평균거리는 D₄이며,

이고, 카메라(C₁)가 상기 복수 개의 서브 영역에서의 각 서브 영역에 대한 신뢰도를 B₁ 증가하고, 카메라(C₂)가 상기 복수 개의 서브 영역에서의 각 서브 영역에 대한 신뢰도를 B₂ 증가하며, 카메라(C₃)가 상기 복수 개의 서브 영역에서의 각 서브 영역에 대한 신뢰도를 B₃ 증가하며, 카메라(C₄)가 상기 복수 개의 서브 영역에서의 각 서브 영역에 대한 신뢰도는 변하지 않도록 유지할 수 있으며, 여기서,

이고, 예를 들어,

일 수 있다.For one camera in the plurality of cameras, the camera adjusts the reliability of the plurality of sub-regions according to the average distance between all target objects in the video frames collected by the camera. For example, the plurality of cameras include a camera C ₁ , a camera C ₂ , a camera C ₃ , and a camera C ₄ , and in a video frame collected by the camera C ₁ , the The average distance is D ₁ , the average distance between target objects in the video frames collected by the camera C ₂ is D ₂ , the average distance between the target objects in the video frames collected by the camera C ₃ is D ₃ , and the camera C ₄ ) is the average distance between the target objects in the video frames collected by D ₄ ,

, the camera C ₁ increases the reliability of each sub-region in the plurality of sub-regions by B ₁ , and the camera C ₂ increases the reliability of each sub-region in the plurality of sub-regions by B ₂ and the camera C ₃ increases the reliability of each sub-region in the plurality of sub-regions B ₃ , and the camera C ₄ maintains the reliability of each sub-region in the plurality of sub-regions unchanged. can be, where

and, for example,

can be

상기 구현 방식에 있어서, 상기 복수 개의 카메라에서의 어느 한 카메라에 대해, 상기 카메라가 수집한 비디오 프레임에서 타깃 대상 간의 평균 거리가 작을수록, 상기 카메라가 수집한 비디오 프레임에서의 타깃 대상 간의 상호 가림의 가능성이 높아짐으로써, 타깃 대상에 대해 특징 추출하는 것이 불리함으로써, 타깃 추적에 불리하다. 반대로, 상기 카메라가 수집한 비디오 프레임에서 타깃 대상 간의 평균 거리가 클수록, 상기 카메라가 수집한 비디오 프레임에서의 타깃 대상 간의 상호 가림의 가능성이 낮아짐으로써, 타깃 대상에 대해 특징 추출하는 것이 유리함으로써, 타깃 추적에 유리하다. 상기 구현 방식에 있어서, 상기 복수 개의 카메라에서의 어느 한 카메라에 대해, 상기 카메라가 수집한 비디오 프레임에서 타깃 대상 간의 평균 거리에 따라, 상기 카메라가 상기 복수 개의 서브 영역에 대한 신뢰도를 동적으로 조정하고, 결정된 신뢰도에 기반하여 좌표 융합 및/또는 타깃 대상의 현재 특징을 추출하는 카메라를 결정함으로써, 타깃 추적의 정확성을 향상시키는데 도움이 된다.In the above implementation manner, for any one camera in the plurality of cameras, the smaller the average distance between target objects in the video frame collected by the camera, the smaller the mutual occlusion between target objects in the video frame collected by the camera. By increasing the likelihood, it is disadvantageous to feature extraction for the target object, thereby disadvantageous to target tracking. Conversely, the larger the average distance between target objects in the video frame collected by the camera, the lower the possibility of mutual occlusion between the target objects in the video frame collected by the camera. good for tracking. In the above implementation manner, for any one camera in the plurality of cameras, the camera dynamically adjusts the reliability of the plurality of sub-regions according to the average distance between target objects in the video frames collected by the camera, and , which helps to improve the accuracy of target tracking by determining a camera that extracts coordinates fusion and/or current features of the target object based on the determined reliability.

일 가능한 구현 방식에 있어서, 상기 방법은, 어느 한 타깃 대상에 대해, 상기 타깃 대상이 현재 시각 및 상기 현재 시각의 이전 시각에서 다른 타깃 대상과 충돌하지 않는 경우에 응답하여, 상기 이전 시각에서 다른 타깃 대상과 충돌하지 않고, 상기 현재 시각의 다른 타깃 대상과 매칭되지 않은 타깃 대상을, 상기 이전 시각에서의 남은 타깃 대상으로 결정하는 단계; 또는, 상기 타깃 대상이 상기 현재 시각 및 상기 이전 시각에서 동일한 다른 타깃 대상과 충돌하는 경우에 응답하여, 상기 타깃 대상이 상기 이전 시각에 속한 충돌 영역에서, 상기 현재 시각의 다른 타깃 대상과 매칭되지 않은 타깃 대상을, 상기 이전 시각에서의 남은 타깃 대상으로 결정하는 단계; 및 상기 이전 시각에서의 남은 타깃 대상으로부터, 상기 현재 시각의 상기 타깃 대상과 거리가 가장 가까운 타깃 대상을, 상기 현재 시각의 상기 타깃 대상과 매칭되는 타깃 대상으로 결정하고, 상기 매칭된 타깃 대상의 식별자 정보를 상기 타깃 대상의 식별자 정보로 사용하는 단계를 더 포함한다.In one possible implementation manner, the method comprises: responsive to, for a target object, that the target object does not collide with another target object at a current time and a time prior to the current time, the method includes: determining a target object that does not collide with the object and does not match another target object at the current time as the remaining target object at the previous time; Or, in response to a case in which the target object collides with another target object that is the same at the current time and the previous time, in a collision area where the target object belongs to the previous time, the target object does not match another target object at the current time determining the target object as the remaining target object at the previous time; and from the remaining target objects at the previous time, a target object having the closest distance to the target object at the current time is determined as a target object matching the target object at the current time, and an identifier of the matched target object The method further includes using the information as identifier information of the target object.

예를 들어, 특정된 타깃 대상이 현재 시각 및 상기 현재 시각의 이전 시각에서 모두 다른 타깃 대상과 충돌하지 않고, 상기 이전 시각에서 다른 타깃 대상과 충돌하지 않은 타깃 대상이 15개가 존재하는 경우, 각각 타깃 대상은 (O₁ 내지 O₁₅)이다. 이전 시각에서의 타깃 대상(O₁ 및 O₂)가 현재 시각에서의 다른 타깃 대상과 매칭된 경우, 즉, 식별자 정보(O₁ 및 O₂)가 현재 시각에서의 타깃 대상의 식별자 정보로 사용된 경우, 타깃 대상(O₃ 내지 O₁₅)을 이전 시각에서 남은 타깃 대상으로 결정한다. 이전 시각에서 남은 타깃 대상이 타깃 대상(O₃ 내지 O₁₅)으로 결정된 이후, 이전 시각에서 남은 타깃 대상(O₃ 내지 O₁₅)으로부터, 현재 시각에서의 상기 타깃 대상과 거리가 가장 가까운 타깃 대상을, 현재 시각에서의 상기 타깃 대상과 매칭되는 타깃 대상으로 결정한다. 예를 들어, 이전 시각에서 남은 타깃 대상(O₃ 내지 O₁₅)에서, O₆과 현재 시각에서의 상기 타깃 대상의 거리가 가장 가까울 경우, 이전 시각에서의 타깃 대상(O₆)을 현재 시각에서의 상기 타깃 대상과 매칭되는 타깃 대상으로 결정하고, 현재 시각에서의 상기 타깃 대상의 식별자 정보를 O₆으로 결정한다.For example, when the specified target object does not collide with other target objects at both the current time and the previous time of the current time, and there are 15 target objects that do not collide with other target objects at the previous time, each target The subject is (O ₁ to O ₁₅ ). When the target objects O ₁ and O ₂ at the previous time match other target objects at the current time, that is, the identifier information O ₁ and O ₂ is used as the identifier information of the target object at the current time. In this case, the target objects O ₃ to O ₁₅ are determined as the remaining target objects from the previous time. After the target object remaining at the previous time is determined as the target object (O ₃ to O ₁₅ ), from the target object remaining at the previous time (O ₃ to O ₁₅ ), the target object closest to the target object at the current time , is determined as a target object matching the target object at the current time. For example, in the target objects O ₃ to O ₁₅ remaining at the previous time, when the distance between O ₆ and the target object at the current time is the closest, the target object O ₆ at the previous time is changed from the current time. is determined as a target object matching the target object of , and identifier information of the target object at the current time is determined as O ₆ .

또 예를 들어, 특정된 타깃 대상이 현재 시각 및 상기 이전 시각에서 동일한 다른 타깃 대상과 충돌할 경우, 예를 들어, 상기 타깃 대상이 상기 이전 시각에서 속한 충돌 영역은 타깃 대상(O₁), 타깃 대상(O₂), 타깃 대상(O₃) 및 타깃 대상(O₄)을 포함한다. 상기 타깃 대상이 이전 시각에서 속한 충돌 영역에서, 타깃 대상(O₁) 및 타깃 대상(O₂)이 현재 시각에서의 다른 타깃 대상과 매칭된 경우, 즉, 식별자 정보(O₁) 및 (O₂)가 현재 시각에서의 타깃 대상의 식별자 정보로 사용된 경우, 타깃 대상(O₃) 및 타깃 대상(O₄)을 이전 시각에서 남은 타깃 대상으로 결정할 수 있다. 이전 시각에서 남은 타깃 대상이 타깃 대상(O₃ 및 O₄)으로 결정된 이후, 이전 시각에서 남은 타깃 대상(O₃ 및 O₄)으로부터, 현재 시각에서의 상기 타깃 대상과 거리가 가장 가까운 타깃 대상을, 현재 시각에서의 상기 타깃 대상과 매칭되는 타깃 대상으로 결정한다. 예를 들어, 이전 시각에서 남은 타깃 대상(O₃ 및 O₄)에서, O₄와 현재 시각에서의 상기 타깃 대상의 거리가 가장 가까울 경우, 이전 시각에서의 타깃 대상(O₄)을 현재 시각에서의 상기 타깃 대상과 매칭되는 타깃 대상으로 결정하고, 현재 시각에서의 상기 타깃 대상의 식별자 정보를 O₄로 결정한다.Also, for example, when the specified target object collides with another target object that is the same at the current time and the previous time, for example, the collision area to which the target object belongs at the previous time is the target object O ₁ , the target includes an object (O ₂ ), a target object (O ₃ ), and a target object (O ₄ ). In the collision region to which the target object belongs at the previous time, when the target object (O ₁ ) and the target object (O ₂ ) match with another target object at the current time, that is, identifier information (O ₁ ) and (O ₂ ) ) is used as the identifier information of the target object at the current time, the target object O ₃ and the target object O ₄ may be determined as the remaining target objects from the previous time. After the remaining target objects at the previous time are determined as the target objects (O ₃ and O ₄ ), from the remaining target objects (O ₃ and O ₄ ) at the previous time, the target object closest to the target object at the current time , is determined as a target object matching the target object at the current time. For example, in the target objects O ₃ and O ₄ remaining at the previous time, when the distance between O ₄ and the target object at the current time is the closest, the target object O ₄ at the previous time is changed from the current time. is determined as a target object matching the target object of , and identifier information of the target object at the current time is determined as O ₄ .

상기 구현 방식에 있어서, 어느 한 타깃 대상에 대해, 상기 타깃 대상이 현재 시각 및 상기 현재 시각의 이전 시각에서 모두 다른 타깃 대상과 충돌 하지 않고 또는 상기 타깃 대상이 상기 현재 시각 및 상기 이전 시각에서 동일한 다른 타깃 대상과 충돌하는 경우, 상기 이전 시각에서의 남은 타깃 대상으로부터, 상기 현재 시각의 상기 타깃 대상과 거리가 가장 가까운 타깃 대상을, 상기 현재 시각의 상기 타깃 대상과 매칭되는 타깃 대상으로 결정하고, 상기 매칭된 타깃 대상의 식별자 정보를 상기 타깃 대상의 식별자 정보로 사용하고, 이로써 거리에 기반한 탐욕 알고리즘을 사용하여 상기 타깃 대상의 식별자 정보를 결정하고, 상기 타깃 대상의 비전 특징을 고려하지 않음으로써, 계산량을 줄이고, 시간 오버헤드를 줄이며, 타깃 추적의 실시간 요구 사항을 만족할 수 있다.In the above implementation manner, for any one target object, the target object does not collide with another target object at both the current time and the previous time of the current time, or the target object is the same at the current time and the previous time. When colliding with a target object, from the remaining target objects at the previous time, a target object having the closest distance to the target object at the current time is determined as a target object matching the target object at the current time, and Using the matched target object's identifier information as the target object's identifier information, thereby determining the target object's identifier information using a distance-based greedy algorithm, without considering the vision characteristics of the target object, the amount of computation It can reduce the time overhead, reduce the time overhead, and meet the real-time requirements of target tracking.

일 가능한 구현 방식에 있어서, 본 발명의 실시예에서 제공한 타깃 추적 방법은 타깃 추적 모델을 사용하여 구현될 수 있다. 예를 들어, 상기 타깃 추적 모델은 더욱 빠른 반복 컨볼루션 신경망(Faster Recurrent Convolutional Neural Network, Faster-RCNN) 또는 빠른 반복 컨볼루션 신경망(Faster Recurrent Convolutional Neural Network, Fast-RCNN)등일 수 있다. 상기 타깃 추적 모델의 백본 네트워크는 ResNet-18등 구조를 사용할 수 있다. 상기 타깃 추적 모델의 처리 속도를 향상시키기 위해, 채널 가지치기 방법을 통해 상기 타깃 추적 모델에 대해 모델 압축하고, 이와 동시에, 다중 층 특징 검출 방법을 사용하여 모델의 정밀도를 향상시켜, 이로써 모델의 정밀도를 저하시키지 않는 동시에, 모델의 속도를 향상시킨다.In one possible implementation manner, the target tracking method provided in the embodiment of the present invention may be implemented using a target tracking model. For example, the target tracking model may be a Faster Recurrent Convolutional Neural Network (Faster-RCNN) or a Faster Recurrent Convolutional Neural Network (Fast-RCNN). The backbone network of the target tracking model may use a structure such as ResNet-18. In order to improve the processing speed of the target tracking model, the model is compressed for the target tracking model through the channel pruning method, and at the same time, the precision of the model is improved using the multi-layer feature detection method, thereby improving the precision of the model. It improves the speed of the model without degrading it.

일 가능한 구현 방식에 있어서, 상기 방법은 또한 타깃 대상의 식별자 정보와 좌표 간의 대응관계를 수출하는 단계를 포함할 수 있다. 일 예에 있어서, 식별자 정보의 순서에 따라, 식별자 정보와 좌표 간의 대응관계를 수출할 수 있다. 예를 들어, 식별자 정보는 유니폼 등번호 1 내지 11을 포함하고, 유니폼 등번호가 작은 것으로부터 큰 순서에 따라, 대응되는 타깃 대상의 좌표를 출력할 수 있다.In one possible implementation manner, the method may also include exporting a correspondence between the identifier information of the target object and the coordinates. In one example, according to the order of the identifier information, the correspondence between the identifier information and the coordinates may be exported. For example, the identifier information may include uniform uniform numbers 1 to 11, and the coordinates of the corresponding target target may be output in the order from the smallest uniform number to the largest uniform number.

일 가능한 구현 방식에 있어서, 타깃 대상이 복수 개의 시각(예를 들어 복수 개의 연속적인 시각)에서의 좌표에 따라, 타깃 대상의 운동 궤적을 얻을 수 있다. 일 예에 있어서, 또한 칼만 필터 알고리즘을 사용하여 타깃 대상의 운동궤적에 대해 처리하여, 타깃 대상의 운동 궤적으로 하여금 더욱 스무딩하도록 한다.In one possible implementation manner, a movement trajectory of the target object may be obtained according to coordinates of the target object at a plurality of viewpoints (eg, a plurality of consecutive viewpoints). In one example, the motion trajectory of the target object is also processed using a Kalman filter algorithm, so that the motion trajectory of the target object is further smoothed.

이해할 수 있는 것은, 본 발명에서 언급된 상기 각 방법 실시예는, 원리 논리를 벗어나지 않는 조건 하에, 모두 서로 결합되어 결합후의 실시예를 구성할 수 있고, 편폭의 제한으로, 본 발명에서는 더 이상 설명하지 않는다.It is to be understood that each of the method embodiments mentioned in the present invention may be combined with each other to constitute an embodiment after combining, under conditions not departing from the principle and logic, and due to the limitation of the width, the present invention will not be described any further. I never do that.

본 분야의 기술자는 구체적인 실시형태의 상기 방법에서, 각 단계의 기록 순서는 엄격한 실행 순서를 의미하지 않고 실시 과정에 대한 임의의 제한을 구성하며, 각 단계의 구체적인 실행 순서는 그 기능 및 가능한 내부 논리에 의해 결정된다.A person skilled in the art will know that in the above method of the specific embodiment, the recording order of each step does not imply a strict execution order but constitutes any limitation on the implementation process, and the specific execution order of each step is determined by its function and possible internal logic is determined by

또한, 본 발명은 타깃 추적 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체, 프로그램을 더 제공하며, 상기 모두는 본 발명에서 제공되는 타깃 추적 방법 중 어느 하나를 구현하도록 사용되며, 해당 기술방안 및 설명은 방법 부분의 해당 내용을 참조하며, 더 이상 설명하지 않는다.In addition, the present invention further provides a target tracking device, an electronic device, a computer-readable storage medium, and a program, all of which are used to implement any one of the target tracking methods provided in the present invention, and the technical solutions and descriptions are Refers to the corresponding content in the method section and is not described further.

도 6은 본 발명 실시예에서 제공한 타깃 추적 장치의 블록도이다. 도 6에 도시된 바와 같이, 상기 타깃 추적 장치는, 6 is a block diagram of a target tracking apparatus provided in an embodiment of the present invention. As shown in Figure 6, the target tracking device,

추적 영역에서 타깃 대상 간의 거리에 따라, 서로 충돌하는 복수 개의 타깃 대상을 결정하도록 구성된 제1 결정부(61);a first determining unit 61 configured to determine a plurality of target objects colliding with each other according to a distance between the target objects in the tracking area;

상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 복수 개의 타깃 대상에서의 다른 타깃 대상이 더 이상 충돌하지 않는 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출하도록 구성된 추출부(62);an extracting unit (62) configured to extract a current feature of the target object in response to a case in which one target object in the plurality of target objects and another target object in the plurality of target objects no longer collide;

상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하도록 구성된 제2 결정부(63) - 상기 복수 개의 기준 특징은 상기 복수 개의 타깃 대상이 서로 충돌하기 이전, 각각 상기 복수 개의 타깃 대상에 대해 추출한 특징임 - ; 및 a second determining unit 63, configured to determine, based on a plurality of reference features corresponding to the plurality of target objects, a reference feature matching a current feature of the target object, wherein the plurality of reference features are the plurality of target objects These are the features extracted for each of the plurality of target objects before they collide with each other; and

상기 타깃 대상의 현재 특징과 매칭되는 기준 특징에 대응되는 식별자 정보를, 상기 타깃 대상의 식별자 정보로 결정하도록 구성된 제3 결정부(64)를 포함한다.and a third determining unit 64 configured to determine identifier information corresponding to a reference characteristic matching the current characteristic of the target object as the identifier information of the target object.

일 가능한 구현 방식에 있어서, 서로 충돌 하는 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 상기 복수 개의 타깃 대상에서의 다른 적어도 하나의 타깃 대상 간의 거리는 거리 임계값보다 작거나 같으며;In one possible implementation manner, a distance between a target object in a plurality of target objects colliding with each other and at least one other target object in the plurality of target objects is less than or equal to a distance threshold value;

상기 추출부(62)는 또한, The extraction unit 62 is also

상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상에 대해, 상기 타깃 대상과 상기 복수 개의 타깃 대상에서의 다른 타깃 대상 간의 거리가 모두 상기 거리 임계값보다 큰 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출하도록 구성된다.In response to, for any one of the plurality of target objects, the distance between the target object and another target object in the plurality of target objects is greater than the distance threshold, the current characteristic of the target object is determined. configured to extract.

일 가능한 구현 방식에 있어서, 상기 장치는, In one possible implementation manner, the device comprises:

어느 한 타깃 대상에 대해, 상기 타깃 대상이 복수 개의 카메라에 대응되는 제1 좌표를 결정하도록 구성된 제3 결정부(64) - 상기 타깃 대상이 어느 한 카메라에 대응되는 제1 좌표는 상기 카메라가 수집한 이미지에 따라 얻은 상기 타깃 대상의 제1 좌표를 나타내기 위한 것임 - ; a third determining unit 64 configured to determine, for a target object, first coordinates corresponding to the plurality of cameras of the target object, the first coordinates corresponding to the target object corresponding to a camera are collected by the camera for indicating first coordinates of the target object obtained according to an image;

상기 타깃 대상이 상기 복수 개의 카메라에 대응되는 제1 좌표에 따라, 상기 타깃 대상이 상기 추적 영역에서 위치한 서브 영역을 결정하도록 구성된 제4 결정부 - 상기 추적 영역은 복수 개의 서브 영역을 포함함 - ; a fourth determining unit, configured to determine, according to first coordinates in which the target object corresponds to the plurality of cameras, a sub-area in which the target object is located in the tracking area, wherein the tracking area includes a plurality of sub-areas;

상기 복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도에 따라, 상기 타깃 대상이 상기 복수 개의 카메라에 대응되는 제1 좌표에 대해 융합을 수행하여, 상기 타깃 대상의 융합 좌표를 얻도록 구성된 융합부; 및A fusion configured to obtain fusion coordinates of the target object by performing fusion on the first coordinates corresponding to the plurality of cameras by the plurality of cameras according to the reliability of the sub-region in which the target object is located wealth; and

상기 추적 영역에서 타깃 대상의 융합 좌표에 따라, 상기 추적 영역에서 타깃 대상 간의 거리를 결정하도록 구성된 제5 결정부를 더 포함한다.and a fifth determining unit configured to determine, according to the fusion coordinates of the target object in the tracking area, a distance between the target objects in the tracking area.

일 가능한 구현 방식에 있어서, 상기 추출부(62)는, In one possible implementation manner, the extraction unit 62 comprises:

상기 타깃 대상이 상기 추적 영역에서 위치한 서브 영역을 결정하고;determine a sub-region in which the target object is located in the tracking area;

복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도에 따라, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라를 결정하며;a plurality of cameras determine a camera for extracting a current feature of the target object according to the reliability of the sub-region in which the target object is located;

상기 타깃 대상의 현재 특징을 추출하기 위한 카메라가 수집한 비디오 프레임에 따라, 상기 타깃 대상의 현재 특징을 추출하도록 구성된다.and extract the current feature of the target object according to the video frame collected by the camera for extracting the current feature of the target object.

일 가능한 구현 방식에 있어서, 상기 추출부(62)는, In one possible implementation manner, the extraction unit 62 comprises:

복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도, 및 상기 복수 개의 카메라가 수집한 비디오 프레임에서 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임 간의 중첩 정보에 따라, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라를 결정하도록 구성된다.According to the reliability of the sub-region in which the target object is located by a plurality of cameras, and overlap information between the detection frame of the target object and the detection frame of another target object in the video frame collected by the plurality of cameras, the current status of the target object and determine a camera for extracting features.

일 가능한 구현 방식에 있어서, 상기 중첩 정보는, 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임의 IOU를 포함하고;In one possible implementation manner, the overlapping information includes an IOU of a detection frame of a target object different from a detection frame of the target object;

상기 추출부(62)는 또한, The extraction unit 62 is also

중첩 조건을 만족하는 카메라로부터, 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도가 가장 높은 카메라를 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라로 결정하도록 구성 - 상기 중첩 조건은 상기 현재 수집한 비디오 프레임에서 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임의 IOU가 모두 기설정된 임계값보다 작은 것을 표시함 - 된다.Configure to determine, from the cameras satisfying the overlapping condition, the camera with the highest reliability for the sub-region in which the target object is located as the camera for extracting the current feature of the target object - The overlapping condition is determined from the currently collected video frame It indicates that both the IOU of the detection frame of the target object and the detection frame of the other target object are smaller than a preset threshold value.

일 가능한 구현 방식에 있어서, 상기 장치는, In one possible implementation manner, the device comprises:

상기 복수 개의 카메라에서의 어느 한 카메라에 대해, 상기 카메라와 상기 추적 영역의 복수 개의 서브 영역 간의 거리에 따라, 상기 카메라가 상기 복수 개의 서브 영역에 대한 신뢰도를 결정하도록 구성된 제6 결정부를 더 포함한다.for any one camera in the plurality of cameras, further comprising a sixth determining unit configured to determine, according to a distance between the camera and the plurality of sub-regions of the tracking area, the reliability of the camera for the plurality of sub-regions .

일 가능한 구현 방식에 있어서, 상기 장치는, In one possible implementation manner, the device comprises:

상기 복수 개의 카메라에서의 어느 한 카메라에 대해, 상기 카메라가 수집한 비디오 프레임에서 타깃 대상 간의 평균 거리에 따라, 상기 카메라가 상기 복수 개의 서브 영역에 대한 신뢰도를 조정하도록 구성된 조정부를 더 포함한다.The camera may further include an adjustment unit configured to adjust reliability of the plurality of sub-regions for one camera in the plurality of cameras according to an average distance between target objects in video frames collected by the camera.

일 가능한 구현 방식에 있어서, 상기 제2 결정부(63)는, In one possible implementation manner, the second determining unit 63 comprises:

상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징으로부터, 상기 타깃 대상의 현재 특징과 유사도가 가장 높은 기준 특징을 결정하고;determining, from a plurality of reference features corresponding to the plurality of target objects, a reference feature having the highest similarity to the current feature of the target object;

상기 유사도가 가장 높은 기준 특징과 상기 타깃 대상의 현재 특징 간의 유사도가 유사도 임계값보다 크거나 같은 경우에 응답하여, 상기 유사도가 가장 높은 기준 특징을 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징으로 결정하도록 구성된다.In response to a case in which the similarity between the reference feature having the highest similarity and the current feature of the target object is greater than or equal to a similarity threshold, the reference feature having the highest similarity is determined as the reference feature matching the current feature of the target object is configured to

일 가능한 구현 방식에 있어서, 상기 장치는, In one possible implementation manner, the device comprises:

상기 유사도가 가장 높은 기준 특징과 상기 타깃 대상의 현재 특징 간의 유사도가 유사도 임계값보다 작거나 같은 경우에 응답하여, 상기 타깃 대상과 충돌하지 않고, 어느 한 다른 타깃 대상과 충돌하는 타깃 대상에 대응되는 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하도록 구성된 제7 결정부를 더 포함한다.In response to a case in which the similarity between the reference feature having the highest similarity and the current feature of the target object is less than or equal to a similarity threshold, the target object does not collide with the target object and corresponds to a target object that collides with any other target object and a seventh determining unit, configured to determine, based on the reference characteristic, a reference characteristic matching the current characteristic of the target object.

일 가능한 구현 방식에 있어서, 상기 장치는, In one possible implementation manner, the device comprises:

어느 한 타깃 대상에 대해, 상기 타깃 대상이 현재 시각 및 상기 현재 시각의 이전 시각에서 다른 타깃 대상과 충돌하지 않는 경우에 응답하여, 상기 이전 시각에서 다른 타깃 대상과 충돌하지 않고, 상기 현재 시각의 다른 타깃 대상과 매칭되지 않은 타깃 대상을, 상기 이전 시각에서의 남은 타깃 대상으로 결정하고; 또는, 상기 타깃 대상이 상기 현재 시각 및 상기 이전 시각에서 동일한 다른 타깃 대상과 충돌하는 경우에 응답하여, 상기 타깃 대상이 상기 이전 시각에 속한 충돌 영역에서, 상기 현재 시각의 다른 타깃 대상과 매칭되지 않은 타깃 대상을, 상기 이전 시각에서의 남은 타깃 대상으로 결정하도록 구성된 제8 결정부; 및 responsive to, for either target object, the target object does not collide with another target object at the current time and a time prior to the current time, does not collide with another target object at the previous time, and at another time at the current time determining a target object that does not match the target object as the remaining target object at the previous time; Or, in response to a case in which the target object collides with another target object that is the same at the current time and the previous time, in a collision area where the target object belongs to the previous time, the target object does not match another target object at the current time an eighth determination unit configured to determine the target object as the remaining target object at the previous time; and

상기 이전 시각에서의 남은 타깃 대상으로부터, 상기 현재 시각의 상기 타깃 대상과 거리가 가장 가까운 타깃 대상을, 상기 현재 시각의 상기 타깃 대상과 매칭되는 타깃 대상으로 결정하고, 상기 매칭된 타깃 대상의 식별자 정보를 상기 타깃 대상의 식별자 정보로 사용하도록 구성된 제9 결정부를 더 포함한다.From the remaining target objects at the previous time, a target object having the closest distance to the target object at the current time is determined as a target object matching the target object at the current time, and identifier information of the matched target object It further includes a ninth determining unit configured to use as the identifier information of the target object.

본 발명의 실시예 및 기타 실시예에 있어서, “부분”은 부분 회로, 부분 프로세서, 부분 프로그램 또는 소프트웨어 등일 수 있으며, 물론 유닛일 수도 있고, 모듈 방식 또는 비모듈 방식일수도 있다는 것이다.In the embodiments of the present invention and other embodiments, a “part” may be a partial circuit, a partial processor, a partial program or software, of course, may be a unit, and may be modular or non-modular.

본 발명의 실시예에 있어서, 추적 영역에서 타깃 대상 간의 거리에 따라, 서로 충돌하는 복수 개의 타깃 대상을 결정하고, 상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 복수 개의 타깃 대상에서의 다른 타깃 대상이 더 이상 충돌하지 않는 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출하고, 상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하며, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징에 대응되는 식별자 정보를, 상기 타깃 대상의 식별자 정보로 결정하는 것을 통해, 타깃 대상의 식별자 정보의 일관성을 유지할 수 있고, 즉, 동일한 타깃 대상이 충돌 영역을 출입할 경우의 식별자 정보의 일관성을 유지함으로써, 복수 개의 타깃 추적의 정확성을 향상시킬 수 있다.In an embodiment of the present invention, a plurality of target objects that collide with each other are determined according to the distance between the target objects in the tracking area, and one target object in the plurality of target objects and another target object in the plurality of target objects are determined. In response to the case that no longer collides, a current feature of the target object is extracted, and a reference feature matching the current feature of the target object is determined based on a plurality of reference features corresponding to the plurality of target objects and by determining the identifier information corresponding to the reference characteristic matching the current characteristic of the target object as the identifier information of the target object, the consistency of the identifier information of the target object can be maintained, that is, the same target object By maintaining the consistency of identifier information when entering and exiting the collision area, it is possible to improve the accuracy of tracking a plurality of targets.

일부 실시예에 있어서, 본 발명의 실시예에서 제공되는 장치에 포함된 기능 또는 모듈은 상기 방법 실시예에 설명한 방법을 실행하는데 사용될 수 있고, 구현은 상기 방법 실시예의 설명을 참조할 수 있으며, 간결함을 위해 여기서 더이상 설명하지 않는다.In some embodiments, a function or module included in an apparatus provided in an embodiment of the present invention may be used to execute the method described in the method embodiment, the implementation may refer to the description of the method embodiment, for conciseness It is not further explained here for

본 발명 실시예는 또한 컴퓨터 프로그램 명령어가 저장된 컴퓨터 판독 가능 저장 매체를 제공하며, 상기 컴퓨터 프로그램 명령어는 프로세서에 의해 실행될 때 상기 방법을 구현한다. 여기서, 상기 컴퓨터 판독 가능한 저장 매체는 비휘발성 컴퓨터 판독 가능한 저장 매체 또는 휘발성 컴퓨터 판독 가능한 저장 매체일 수 있다.Embodiments of the present invention also provide a computer-readable storage medium having computer program instructions stored thereon, wherein the computer program instructions implement the method when executed by a processor. Here, the computer-readable storage medium may be a non-volatile computer-readable storage medium or a volatile computer-readable storage medium.

본 발명의 실시예는 또한 컴퓨터 판독 가능한 코드를 포함하는 컴퓨터 프로그램 제품을 제공하고, 컴퓨터 판독 가능한 코드가 기기에서 작동될 경우, 기기에서의 프로세서는 전술한 어느 한 실시예에서 제공한 타깃 추적 방법을 구현하기 위한 명령어를 실행한다.An embodiment of the present invention also provides a computer program product comprising computer readable code, wherein when the computer readable code is run in a device, a processor in the device performs the target tracking method provided in any one of the preceding embodiments. Execute the command to implement.

본 발명의 실시예는 또한 컴퓨터 판독 가능한 명령어를 저장하기 위한 다른 컴퓨터 프로그램 제품을 제공하고, 명령어가 실행될 경우 컴퓨터가 전술한 어느 한 실시예에서 제공한 타깃 추적 방법의 동작을 실행하도록 한다.An embodiment of the present invention also provides another computer program product for storing computer readable instructions, and when the instruction is executed, causes the computer to execute the operation of the target tracking method provided in any one of the above-described embodiments.

본 발명의 실시예는 또한 전자 기기를 제공하고, 상기 전자 기기는, 하나 또는 복수 개의 프로세서; 및 실행 가능한 명령어를 저장하기 위한 메모리를 포함하며; 여기서, 상기 하나 또는 복수 개의 프로세서는 상기 메모리가 저장한 실행 가능한 명령어를 호출하여, 상기 타깃 추적 방법을 실행한다.An embodiment of the present invention also provides an electronic device, the electronic device comprising: one or a plurality of processors; and a memory for storing executable instructions; Here, the one or more processors execute the target tracking method by calling an executable instruction stored in the memory.

전자 기기는 단말, 서버 또는 다른 형태의 기기로 제공될 수 있다. The electronic device may be provided as a terminal, server, or other type of device.

도 7은 본 발명의 실시예에 제공한 전자 기기(800)의 블록도이다. 예를 들어, 전자 기기(800)는 휴대폰, 컴퓨터, 디지털 방송 단말, 메시징 기기, 게임 콘솔, 태블릿 기기, 의료 기기, 피트니스 기기, 개인 휴대용 단말 등 단말일 수 있다.7 is a block diagram of an electronic device 800 provided in an embodiment of the present invention. For example, the electronic device 800 may be a terminal such as a mobile phone, a computer, a digital broadcasting terminal, a messaging device, a game console, a tablet device, a medical device, a fitness device, or a personal portable terminal.

도 7를 참조하면, 전자 기기(800)는 처리 컴포넌트(802), 메모리(804), 전원 컴포넌트(806), 멀티미디어 컴포넌트(808), 오디오 컴포넌트(810), 입력/출력(I/O) 인터페이스(812), 센서 컴포넌트(814) 및 통신 컴포넌트(816) 중 하나 또는 복수 개의 컴포넌트를 포함할 수 있다.Referring to FIG. 7 , the electronic device 800 includes a processing component 802 , a memory 804 , a power component 806 , a multimedia component 808 , an audio component 810 , and an input/output (I/O) interface. 812 , a sensor component 814 , and a communication component 816 , or a plurality of components.

처리 컴포넌트(802)는 일반적으로 디스플레이, 전화 통화, 데이터 통신, 카메라 동작 및 기록 동작과 관련된 동작과 같은 전자 기기(800)의 전체적인 동작을 제어한다. 처리 컴포넌트(802)는, 상기 방법의 전부 또는 일부 단계를 완료하기 위한 명령어를 실행하는 하나 또는 복수 개의 프로세서(820)를 포함할 수 있다. 또한, 처리 컴포넌트(802)는 처리 컴포넌트(802) 및 다른 컴포넌트 사이의 인터랙션을 용이하게 하기 위한 하나 또는 복수 개의 모듈을 포함할 수 있다. 예를 들어, 처리 컴포넌트(802)는 멀티미디어 컴포넌트(808) 및 처리 컴포넌트(802) 사이의 인터랙션을 용이하게 하기 위한 멀티미디어 모듈을 포함할 수 있다.The processing component 802 generally controls the overall operation of the electronic device 800 , such as operations related to displays, phone calls, data communications, camera operations, and recording operations. Processing component 802 may include one or more processors 820 executing instructions to complete all or some steps of the method. Further, processing component 802 may include one or more modules for facilitating interaction between processing component 802 and other components. For example, processing component 802 can include a multimedia component 808 and a multimedia module for facilitating interaction between processing component 802 .

메모리(804)는 전자 기기(800)의 동작을 지원하기 위해 다양한 타입의 데이터를 저장하도록 구성된다. 이러한 데이터의 예는 전자 기기(800)에서 동작하는 임의의 애플리케이션 프로그램 또는 방법의 명령어, 연락인 데이터, 전화번호부 데이터, 메시지, 사진, 비디오 등을 포함한다. 메모리(804)는 정적 랜덤 액세스 메모리(Static Random Access Memory, SRAM), 전기적 소거 가능한 프로그래머블 읽기 전용 메모리(Electrically Erasable Programmable Read Only Memory, EEPROM), 소거 가능한 프로그래머블 읽기 전용 메모리(Erasable Programmable Read Only Memory, EPROM), 프로그래머블 읽기 전용 메모리(Programmable Read Only Memory, PROM), 읽기 전용 메모리(Read Only Memory, ROM), 자기 메모리, 플래시 메모리, 자기 디스크 또는 광 디스크 중 어느 한 타입의 휘발성 또는 비휘발성 저장 기기 또는 이들의 조합에 의해 구현될 수 있다.The memory 804 is configured to store various types of data to support the operation of the electronic device 800 . Examples of such data include instructions of any application program or method running on the electronic device 800 , contact data, phone book data, messages, pictures, videos, and the like. Memory 804 includes Static Random Access Memory (SRAM), Electrically Erasable Programmable Read Only Memory (EEPROM), Erasable Programmable Read Only Memory (EPROM) ), programmable read only memory (PROM), read only memory (ROM), magnetic memory, flash memory, magnetic disk or optical disk, any type of volatile or non-volatile storage device; It can be implemented by a combination of

전원 컴포넌트(806)는 전자 기기(800)의 다양한 컴포넌트에 전력을 제공한다. 전원 컴포넌트(806)는 전원 관리 시스템, 하나 또는 복수 개의 전원 및 전자 기기(800)를 위해 전력을 생성, 관리 및 분배하는 것과 관련된 다른 컴포넌트를 포함할 수 있다.Power component 806 provides power to various components of electronic device 800 . Power component 806 may include a power management system, one or more power sources, and other components related to generating, managing, and distributing power for electronic device 800 .

멀티미디어 컴포넌트(808)는 상기 전자 기기(800) 및 사용자 사이의 하나의 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에서, 스크린은 액정 디스플레이(LCD) 및 터치 패널(TP)을 포함할 수 있다. 스크린이 터치 패널을 포함하는 경우, 사용자로부터 오는 입력 신호를 수신하기 위해 스크린은 터치 스크린으로서 구현될 수 있다. 터치 패널은 터치, 슬라이드 및 터치 패널 상의 제스처를 감지하기 위한 하나 또는 복수 개의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 슬라이드 동작의 경계를 감지할 수 있을 뿐만 아니라, 상기 터치나 슬라이드 동작과 관련된 지속 시간 및 압력을 검출할 수도 있다. 일부 실시예에 있어서, 멀티미디어 컴포넌트(808)는 하나의 전방 카메라 및 후방 카메라 중 적어도 하나를 포함한다. 전자 기기(800)가 촬영 모드 또는 비디오 모드와 같은 동작 모드에 있을 경우, 전방 카메라 및 후방 카메라 중 적어도 하나는 외부의 멀티미디어 데이터를 수신할 수 있다. 전방 카메라 및 후방 카메라는 각각 하나의 고정된 광학 렌즈 시스템이거나 초점 거리 및 광학 줌 기능을 가질 수 있다.The multimedia component 808 includes a screen that provides one output interface between the electronic device 800 and the user. In some embodiments, the screen may include a liquid crystal display (LCD) and a touch panel (TP). When the screen includes a touch panel, the screen may be implemented as a touch screen to receive an input signal from a user. The touch panel includes one or more touch sensors for sensing touch, slide and gesture on the touch panel. The touch sensor may not only detect a boundary of a touch or slide operation, but also detect a duration and pressure associated with the touch or slide operation. In some embodiments, multimedia component 808 includes at least one of one front camera and one rear camera. When the electronic device 800 is in an operation mode such as a photographing mode or a video mode, at least one of the front camera and the rear camera may receive external multimedia data. The front camera and the rear camera may each be a single fixed optical lens system or may have focal length and optical zoom functions.

오디오 컴포넌트(810)는 오디오 신호를 출력하는 것 및 입력하는 것 중 적어도 하나를 수행하도록 구성된다. 예를 들어, 오디오 컴포넌트(810)는 하나의 마이크(MIC)를 포함하고, 전자 기기(800)가 통화 모드, 녹음 모드 및 음성 인식과 같은 동작 모드에 있을 때 외부 오디오 신호를 수신하도록 구성된다. 수신된 오디오 신호는 메모리(804)에 추가로 저장되거나 통신 컴포넌트(816)에 의해 전송될 수 있다. 일부 실시예에 있어서, 오디오 컴포넌트(810)는 오디오 신호를 출력하기 위한 스피커를 더 포함한다.The audio component 810 is configured to perform at least one of outputting and inputting an audio signal. For example, the audio component 810 includes one microphone (MIC), and is configured to receive an external audio signal when the electronic device 800 is in an operation mode such as a call mode, a recording mode, and voice recognition. The received audio signal may be further stored in memory 804 or transmitted by communication component 816 . In some embodiments, the audio component 810 further includes a speaker for outputting an audio signal.

I/ O 인터페이스(812)는 처리 컴포넌트(802) 및 외부 인터페이스 모듈 사이에 인터페이스를 제공하며, 상기 외부 인터페이스 모듈은 키보드, 클릭 휠, 버튼 등일 수 있다. 이러한 버튼은 홈 버튼, 볼륨 버튼, 시작 버튼 및 잠금 버튼을 포함할 수 있지만 이에 한정되지 않는다.I/O interface 812 provides an interface between processing component 802 and an external interface module, which may be a keyboard, click wheel, button, or the like. Such buttons may include, but are not limited to, a home button, a volume button, a start button, and a lock button.

센서 컴포넌트(814)는 전자 기기(800)에 대해 다양한 측면의 상태 평가를 제공하기 위한 하나 또는 복수 개의 센서를 포함한다. 예를 들어, 센서 컴포넌트(814)는 전자 기기(800)의 온/오프 상태, 상기 컴포넌트가 전자 기기(800)에 대한 디스플레이 및 키패드와 같은 컴포넌트의 상대적 위치를 검출할 수 있으며, 센서 컴포넌트(814)는 또한, 전자 기기(800) 또는 전자 기기(800)의 하나의 컴포넌트의 위치 변화, 사용자가 전자 기기(800)와의 접촉의 존재 또는 컴포넌트, 전자 기기(800) 방향 또는 가속/감속 및 전자 기기(800)의 온도 변화를 검출할 수 있다. 센서 컴포넌트(814)는 그 어떤 물리적 접촉이 없이 근처의 물체의 존재를 검출하도록 구성된 근접 센서를 포함할 수 있다. 센서 컴포넌트(814)는 또한 이미징 응용에 사용하기 위한, CMOS 또는 CCD 이미지 센서와 같은 광 센서를 포함할 수 있다. 일부 실시예에 있어서, 상기 센서 컴포넌트(814)는 가속도 센서, 자이로 센서, 자기 센서, 압력 센서 또는 온도 센서를 더 포함할 수 있다.The sensor component 814 includes one or a plurality of sensors for providing various aspects of status assessment for the electronic device 800 . For example, the sensor component 814 may detect an on/off state of the electronic device 800 , the relative position of a component such as a display and keypad with respect to the electronic device 800 , the sensor component 814 . ) is also the change in the position of the electronic device 800 or one component of the electronic device 800 , the presence or component of the user's contact with the electronic device 800 , the direction or acceleration/deceleration of the electronic device 800 and the electronic device A temperature change of 800 may be detected. The sensor component 814 may include a proximity sensor configured to detect the presence of a nearby object without any physical contact. The sensor component 814 may also include an optical sensor, such as a CMOS or CCD image sensor, for use in imaging applications. In some embodiments, the sensor component 814 may further include an acceleration sensor, a gyro sensor, a magnetic sensor, a pressure sensor, or a temperature sensor.

통신 컴포넌트(816)는 전자 기기(800)와 다른 기기 사이의 유선 또는 무선 방식으로 통신을 용이하게 하도록 구성된다. 전자 기기(800)는 WiFi, 2G, 3G, 4G/LTE, 5G 또는 이들의 조합과 같은 통신 기준에 기반한 무선 인터넷에 액세스할 수 있다. 일 예시적 실시예에서, 통신 컴포넌트(816)는 방송 채널을 통해 외부 방송 관리 시스템으로부터의 방송 신호 또는 방송 관련 정보를 수신한다. 일 예시적 실시예에서, 상기 통신 컴포넌트(816)는근거리 통신을 촉진하는 근거리 통신(NFC) 모듈을 더 포함한다. 예를 들어, NFC 모듈은 무선 주파수 식별자(RFID) 기술, 적외선 통신 규격(IrDA) 기술, 초광대역 (UWB) 기술, 블루투스(BT) 기술 및 다른 기술을 기반으로 구현될 수 있다.The communication component 816 is configured to facilitate communication between the electronic device 800 and another device in a wired or wireless manner. The electronic device 800 may access the wireless Internet based on a communication standard such as WiFi, 2G, 3G, 4G/LTE, 5G, or a combination thereof. In an exemplary embodiment, the communication component 816 receives a broadcast signal or broadcast related information from an external broadcast management system through a broadcast channel. In one demonstrative embodiment, the communication component 816 further includes a near field communication (NFC) module that facilitates near field communication. For example, the NFC module may be implemented based on radio frequency identifier (RFID) technology, infrared communication standard (IrDA) technology, ultra-wideband (UWB) technology, Bluetooth (BT) technology, and other technologies.

예시적 실시예에 있어서, 전자 기기(800)는 하나 또는 복수 개의 주문형 집적 회로(ASIC), 디지털 신호 프로세서(DSP), 디지털 신호 처리 장치(DSPD), 프로그래머블 논리 장치(PLD), 필드 프로그래머블 게이트 어레이(FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 다른 전자 부품에 의해 구현되며, 전자 기기(800)는 상기 이미지 클러스터링 방법을 실행하기 위한 것이다.In an exemplary embodiment, the electronic device 800 includes one or more application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), and field programmable gate arrays. (FPGA), a controller, a microcontroller, a microprocessor or other electronic component, the electronic device 800 is for executing the image clustering method.

예시적 실시예에 있어서, 컴퓨터 프로그램 명령어를 포함하는 메모리(804)와 같은 비휘발성 컴퓨터 판독 가능한 저장 매체를 제공하며, 상기 컴퓨터 프로그램 명령어는 상기 방법을 완료하도록 전자 기기(800)의 프로세서(820)에 의해 실행된다.In an exemplary embodiment, there is provided a non-volatile computer readable storage medium, such as a memory 804, comprising computer program instructions, the computer program instructions comprising a processor 820 of an electronic device 800 to complete the method. is executed by

도 8은 본 발명의 실시예에 제공한 전자 기기(1900)의 블록도이다. 예를 들어, 전자 기기(1900)는 하나의 서버로 제공될 수 있다. 도 8을 참조하면, 전자 기기(1900)는 하나 또는 복수 개의 프로세서를 더 포함하는 처리 컴포넌트(1922), 및 처리 컴포넌트(1922)에 의해 실행되는 명령어를 저장하기 위한 메모리(1932)로 대표되는 메모리 자원을 포함한다. 메모리(1932)에 저장된 애플리케이션은 하나 또는 하나 이상의 한 세트의 명령어에 각각 대응되는 모듈을 포함할 수 있다. 또한, 처리 컴포넌트(1922)는 상기 방법을 실행하기 위해 명령어를 실행하도록 구성된다.8 is a block diagram of an electronic device 1900 provided in an embodiment of the present invention. For example, the electronic device 1900 may be provided as one server. Referring to FIG. 8 , the electronic device 1900 is a memory represented by a processing component 1922 further including one or a plurality of processors, and a memory 1932 for storing instructions executed by the processing component 1922 . include resources. Applications stored in the memory 1932 may include modules each corresponding to one or more one set of instructions. Further, processing component 1922 is configured to execute instructions to execute the method.

전자 기기(1900)는 전자 기기(1900)의 전원 관리를 실행하도록 구성된 하나의 전원 컴포넌트(1926), 전자 기기(1900)를 네트워크에 연결하도록 구성된 하나의 유선 또는 무선 네트워크 인터페이스(1950) 및 하나의 입력 출력(I/O) 인터페이스(1958)를 더 포함할 수 있다. 전자 기기(1900)는 메모리(1932)에 저장된 Windows Server®, Mac OS X®, Unix®, Linux®, FreeBSD® 또는 유사한 운영체제를 실행시킬 수 있다.The electronic device 1900 includes one power component 1926 configured to perform power management of the electronic device 1900 , one wired or wireless network interface 1950 configured to connect the electronic device 1900 to a network, and one It may further include an input output (I/O) interface 1958 . The electronic device 1900 may run a Windows Server®, Mac OS X®, Unix®, Linux®, FreeBSD® or similar operating system stored in the memory 1932 .

예시적 실시예에 있어서, 컴퓨터 프로그램 명령어를 포함하는 메모리(1932)와 같은 비휘발성 컴퓨터 판독 가능한 저장 매체를 제공하며, 상기 컴퓨터 프로그램 명령어는 상기 방법을 완료하도록 전자 기기(1900)의 처리 컴포넌트(1922)에 의해 실행된다.In an exemplary embodiment, there is provided a non-volatile computer readable storage medium, such as a memory 1932 , comprising computer program instructions, the computer program instructions comprising: a processing component 1922 of an electronic device 1900 to complete the method ) is executed by

본 발명은 시스템, 방법 및 컴퓨터 프로그램 제품 중 적어도 하나일 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독 가능한 저장 매체를 포함할 수 있고, 컴퓨터 판독 가능한 저장 매체는 프로세서가 본 발명의 각 측면을 구현하도록 하는 컴퓨터 판독 가능한 프로그램 명령어를 포함한다. The invention may be at least one of a system, a method and a computer program product. The computer program product may include a computer-readable storage medium, which includes computer-readable program instructions for causing a processor to implement each aspect of the present invention.

컴퓨터 판독 가능한 저장 매체는 명령어 실행 기기에 의해 사용되는 명령어를 유지 및 저장할 수 있는 형태가 존재하는 기기일 수 있다. 컴퓨터 판독 가능 저장 매체는 예를 들어, 전자 저장 기기, 자기 저장 기기, 광 저장 기기, 전자기 저장 기기, 반도체 저장 기기 또는 상기 임의의 적절한 조합일 수 있지만 이에 한정되지 않는다. 컴퓨터 판독 가능 저장 매체의 보다 구체적인 예(수없이 많은 리스트)는, 휴대용 컴퓨터 디스켓, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 가능한 프로그래머블 판독 전용 메모리(EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(SRAM), 컴팩트 디스크 판독 전용 메모리(CD-ROM), 디지털 다기능 디스크(DVD), 메모리 스틱, 플로피 디스크, 명령어가 저장된 펀치 카드 또는 그루브의 융기 구조와 같은 기계적으로 인코딩된 기기, 및 상기 임의의 적절한 조합을 포함한다. 여기서 사용되는 컴퓨터 판독 가능한 저장 매체는 무선 전자파 또는 다른 자유롭게 전파되는 전자기파, 도파관 또는 다른 전송 매체를 통해 전파되는 전자기파(예를 들어, 광섬유 케이블을 통한 광펄스), 또는 와이어를 통해 전송되는 전기 신호와 같은 순간 신호 자체로 해석되지 않아야 한다.The computer-readable storage medium may be a device having a form capable of holding and storing instructions used by the instruction execution device. A computer-readable storage medium may be, for example, but not limited to, an electronic storage device, a magnetic storage device, an optical storage device, an electromagnetic storage device, a semiconductor storage device, or any suitable combination of the above. More specific examples (innumerable listings) of computer-readable storage media include portable computer diskettes, hard disks, random access memory (RAM), read-only memory (ROM), erasable programmable read-only memory (EPROM or flash memory). , static random access memory (SRAM), compact disk read-only memory (CD-ROM), digital versatile disk (DVD), memory stick, floppy disk, punch card that stores instructions, or mechanically encoded devices such as a ridged structure in a groove , and any suitable combination of the foregoing. As used herein, a computer-readable storage medium includes wireless electromagnetic waves or other freely propagating electromagnetic waves, electromagnetic waves propagating through waveguides or other transmission media (eg, optical pulses through fiber optic cables), or electrical signals transmitted over wires; It should not be interpreted as the same instantaneous signal itself.

여기서 설명된 컴퓨터 판독 가능한 프로그램 명령어는 컴퓨터 판독 가능한 저장 매체로부터 각 컴퓨팅/처리 기기로 다운 로드될 수 있거나, 인터넷, 근거리 통신망, 광역 통신망 및 무선 네트워크 중 적어도 하나와 같은 네트워크를 통해, 외부 컴퓨터 또는 외부 저장 기기로 다운 로드될 수 있다. 네트워크는 동 전송 케이블, 광섬유 전송, 무선 전송, 라우터, 방화벽, 교환기, 게이트웨이 컴퓨터 및 에지 서버 중 적어도 하나를 포함 할 수 있다. 각 컴퓨팅/처리 기기의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크로부터 컴퓨터 판독 가능한 프로그램 명령어를 수신하고, 각 컴퓨팅/처리 기기에서의 컴퓨터 판독 가능한 저장 매체에 저장하기 위해, 컴퓨터 판독 가능한 프로그램 명령어를 전달한다.The computer readable program instructions described herein may be downloaded from a computer readable storage medium to each computing/processing device, or through a network such as at least one of the Internet, a local area network, a wide area network, and a wireless network, an external computer or an external computer. It can be downloaded to a storage device. The network may include at least one of a copper transmission cable, a fiber optic transmission, a wireless transmission, a router, a firewall, a switchboard, a gateway computer, and an edge server. A network adapter card or network interface of each computing/processing device receives computer readable program instructions from the network and transmits the computer readable program instructions for storage in a computer readable storage medium in each computing/processing device.

본 발명의 동작을 실행하기 위한 컴퓨터 프로그램 명령어는 어셈블리 명령어, 명령어 세트 아키텍처(Instruction Set Architecture, ISA) 명령어, 머신 명령어, 머신 관련 명령어, 마이크로 코드, 펌웨어 명령어, 상태 설정 데이터, 또는 하나 또는 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성된 소스 코드 또는 객체 코드일 수 있고, 상기 프로그래밍 언어에는 스몰 토크, C++ 등과 같은 객체 지향 프로그래밍 언어 및 "C" 언어 또는 유사한 프로그래밍 언어와 같은 기존 프로그래밍 언어가 포함된다. 컴퓨터 판독 가능한 프로그램 명령어는 사용자 컴퓨터에서 완전히 또는 부분적으로 실행될수 있고, 독립형 소프트웨어 패키지로 실행되며, 부분적으로 사용자 컴퓨터에서, 부분적으로 원격 컴퓨터에서 또는 완전히 원격 컴퓨터 또는 서버에서 실행될 수 있다. 원격 컴퓨터와 관련된 시나리오에서, 원격 컴퓨터는 근거리 통신망(LAN) 또는 광대역 통신망(WAN)을 포함한 모든 유형의 네트워크를 통해 사용자의 컴퓨터에 연결되거나 외부 컴퓨터에 연결(예를 들어, 인터넷 서비스 제공 업체를 사용하여 인터넷을 통해 연결됨)될 수 있다. 일부 실시예에 있어서, 프로그램 가능한 논리 회로, 필드 프로그래머블 게이트 어레이(FPGA) 또는 프로그램 가능한 논리 어레이 (PLA)와 같은 전자 회로는 컴퓨터 판독 가능 프로그램 명령어의 상태 정보를 이용하여 개인화될 수 있고, 상기 전자 회로는 컴퓨터 판독 가능 프로그램 명령어를 실행할 수 있음으로써, 본 발명의 다양한 측면을 구현한다.The computer program instructions for carrying out the operations of the present invention may include assembly instructions, Instruction Set Architecture (ISA) instructions, machine instructions, machine-related instructions, microcode, firmware instructions, state setting data, or one or more programming instructions. It can be source code or object code written in any combination of languages, including object-oriented programming languages such as Smalltalk, C++, and the like, and conventional programming languages such as "C" languages or similar programming languages. The computer readable program instructions may be fully or partially executed on a user's computer, executed as a standalone software package, and partially executed on the user's computer, partially on a remote computer, or completely on a remote computer or server. In scenarios involving remote computers, the remote computer is connected to your computer over any type of network, including a local area network (LAN) or wide area network (WAN), or connected to an external computer (e.g., using an Internet service provider). can be connected via the Internet). In some embodiments, an electronic circuit such as a programmable logic circuit, a field programmable gate array (FPGA) or a programmable logic array (PLA) can be personalized using state information in computer readable program instructions, the electronic circuit may execute computer readable program instructions, thereby implementing various aspects of the present invention.

여기서, 본 발명의 각 측면은 본 발명 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및 블록도 중 적어도 하나를 참조하여 설명된다. 이해해야 할 것은, 흐름도 및 블록도 중 적어도 하나의 각 블록 및 흐름도 및 블록도 중 적어도 하나의 블록들의 조합은, 컴퓨터 판독 가능 프로그램 명령어에 의해 모두 구현될 수 있다.Here, each aspect of the present invention is described with reference to at least one of a flowchart and a block diagram of a method, an apparatus (system) and a computer program product according to an embodiment of the present invention. It should be understood that each block of at least one of the flowcharts and block diagrams and combinations of at least one of the blocks of the flowcharts and block diagrams may all be implemented by computer-readable program instructions.

이러한 컴퓨터 판독 가능 프로그램 명령어는 범용 컴퓨터, 특수 목적 컴퓨터 또는 다른 프로그래머블 데이터 처리 장치의 프로세서에 제공됨으로써, 기계를 생성하며, 이러한 명령어가 컴퓨터나 다른 프로그래머블 데이터 처리 장치의 프로세서를 통해 실행될 때, 흐름도 및 블록도 중 하나 또는 복수 개의 블록에서 규정한 기능/동작을 구현하기 위한 장치를 생성한다. 이러한 컴퓨터 판독 가능한 프로그램 명령어를 컴퓨터 판독 가능한 저장 매체에 저장할 수도 있으며, 이러한 명령어는 컴퓨터, 프로그램 가능한 데이터 처리 장치 및 다른 기기가 특정한 방식으로 작동될 수 있도록 함으로써, 명령어가 저장되어 있는 컴퓨터 판독 가능한 매체는 제조품을 포함하며, 상기 제조품은 흐름도 및 블록도 중 적어도 하나에서 하나 또는 복수 개의 블록에 지정된 기능/동작을 구현하는 명령어를 포함한다.These computer readable program instructions are provided to the processor of a general purpose computer, special purpose computer, or other programmable data processing device, thereby creating a machine, when these instructions are executed by the processor of the computer or other programmable data processing device, the flowchart and block diagrams are provided. An apparatus for implementing the functions/operations specified in one or a plurality of blocks in the figure is created. These computer readable program instructions may be stored in a computer readable storage medium, which may cause a computer, a programmable data processing apparatus, and other devices to operate in a specific way, such that the computer readable medium having the instructions stored thereon may include: An article of manufacture is included, wherein the article of manufacture includes instructions for implementing a function/action specified in one or a plurality of blocks in at least one of a flowchart and a block diagram.

컴퓨터 판독 가능한 프로그램 명령어는 또한 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치 또는 다른 기기에 로딩될 수 있어, 컴퓨터로 구현되는 과정을 생성하기 위해, 일련의 동작 단계가 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치 또는 다른 기기에서 수행되도록 함으로써, 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치 또는 다른 기기에서 실행되는 명령어는 흐름도 및 블록도 중 적어도 하나에서 하나 또는 복수 개의 블록에 지정된 기능/동작을 구현한다.The computer readable program instructions may also be loaded into a computer, other programmable data processing device, or other device such that a series of operational steps is performed on the computer, other programmable data processing device, or other device to create a computer-implemented process. By causing the instructions to be executed in a computer, other programmable data processing device, or other device, the instructions to be executed in the computer, other programmable data processing device, or other device implement functions/operations specified in one or a plurality of blocks in at least one of the flowchart and block diagram.

도면의 흐름도 및 블록도는 본 발명의 복수 개의 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 구현 가능한 체계 아키텍처, 기능 및 동작을 도시한다. 이와 관련하여, 흐름도 또는 블록도의 각 블록은 모듈, 프로그램 세그먼트 또는 명령어의 일부를 나타낼 수 있고, 상기 모듈, 프로그램 세그먼트 또는 명령어의 일부는 하나 또는 복수 개의 지정된 논리적 기능을 구현하기 위한 실행 가능한 명령어를 포함한다. 일부 대안적인 구현에서, 블록에 표시된 기능은 도면에 표시된 것과 다른 순서로 발생될 수도 있다. 예를 들어, 두 개의 연속적인 블록은 실제로 병렬로 실행될 수 있으며, 때로는 관련 기능에 따라 역순으로 실행될 수도 있으며, 이는 관련된 기능에 의해 결정된다. 또한 유의해야 할 것은, 블록도 및흐름도 중 적어도 하나의 각 블록, 블록도 및 흐름도 중 적어도 하나의 블록의 조합은, 규정된 기능 또는 동작을 실행하는 특수 목적의 하드웨어 기반 시스템에 의해 구현될 수 있으며, 또는 특수 목적 하드웨어와 컴퓨터 명령어의 조합으로 구현될 수 있다.The flow diagrams and block diagrams in the drawings illustrate implementable system architectures, functions, and operations of systems, methods, and computer program products in accordance with a plurality of embodiments of the present invention. In this regard, each block in the flowchart or block diagram may represent a module, program segment, or portion of an instruction, wherein the module, program segment, or portion of the instruction contains executable instructions for implementing one or a plurality of specified logical functions. include In some alternative implementations, the functions indicated in the blocks may occur in a different order than indicated in the figures. For example, two consecutive blocks may actually be executed in parallel, sometimes in reverse order depending on the function involved, which is determined by the function involved. It should also be noted that each block of at least one of the block diagram and the flowchart, and a combination of at least one block of the block diagram and the flowchart, may be implemented by a special-purpose hardware-based system for executing specified functions or operations, , or a combination of special-purpose hardware and computer instructions.

상기 컴퓨터 프로그램 제품은 구체적으로 하드웨어, 소프트웨어 또는 이들의 조합을 통해 구현될 수 있다. 하나의 선택적인 실시예에서, 상기 컴퓨터 프로그램 제품은 구체적으로 컴퓨터 저장 매체로 구현되며, 다른 하나의 선택적인 예에서, 상기 컴퓨터 프로그램 제품은 구체적으로 소프트웨어 개발 키트(Software Development Kit, SDK) 등과 같은 소프트웨어 제품으로 구현된다.The computer program product may be specifically implemented through hardware, software, or a combination thereof. In one optional embodiment, the computer program product is specifically embodied in a computer storage medium, and in another optional example, the computer program product is specifically software such as a Software Development Kit (SDK) or the like. implemented as a product.

이상 본 발명의 각 실시예를 설명하였고, 상기 설명은 예시적이고, 비철저하며, 개시된 각 실시예에 한정되지도 않는다. 설명된 각 실시예의 범위 및 사상을 벗어나지 않는 한, 많은 수정 및 변경은 본 기술분야의 기술자에게는 자명한 것이다. 본 명세서에서 사용된 용어의 선택은 각 실시예의 원리, 실제 응용 또는 시장에서의 기술에 대한 개선을 가장 잘 해석하거나, 당업자가 본 명세서에 개시된 각 실시예를 이해할 수 있도록 의도된다.Each embodiment of the present invention has been described above, and the description is illustrative, non-exhaustive, and is not limited to each disclosed embodiment. Many modifications and changes will be apparent to those skilled in the art without departing from the scope and spirit of each described embodiment. The choice of terminology used herein is intended to best interpret the principle of each embodiment, practical application, or improvement over market technology, or to enable those skilled in the art to understand each embodiment disclosed herein.

본 발명의 실시예에 있어서, 추적 영역에서 타깃 대상 간의 거리에 따라, 서로 충돌하는 복수 개의 타깃 대상을 결정하고, 상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 복수 개의 타깃 대상에서의 다른 타깃 대상이 더 이상 충돌하지 않는 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출하고, 상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하며, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징에 대응되는 식별자 정보를, 상기 타깃 대상의 식별자 정보로 결정하는 것을 통해, 타깃 대상의 식별자 정보의 일관성을 유지할 수 있고, 즉, 동일한 타깃 대상이 충돌 영역을 출입할 경우의 식별자 정보의 일관성을 유지함으로써, 복수 개의 타깃 추적의 정확성을 향상시킬 수 있다.In an embodiment of the present invention, a plurality of target objects that collide with each other are determined according to the distance between the target objects in the tracking area, and one target object in the plurality of target objects and another target object in the plurality of target objects are determined. In response to the case that no longer collides, a current feature of the target object is extracted, and a reference feature matching the current feature of the target object is determined based on a plurality of reference features corresponding to the plurality of target objects and by determining the identifier information corresponding to the reference characteristic matching the current characteristic of the target object as the identifier information of the target object, the consistency of the identifier information of the target object can be maintained, that is, the same target object By maintaining the consistency of identifier information when entering and exiting the collision area, it is possible to improve the accuracy of tracking a plurality of targets.

Claims (25)

타깃 추적 방법으로서,
추적 영역에서 타깃 대상 간의 거리에 따라, 서로 충돌하는 복수 개의 타깃 대상을 결정하는 단계;
상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 복수 개의 타깃 대상에서의 다른 타깃 대상이 더 이상 충돌하지 않는 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출하는 단계;
상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하는 단계 - 상기 복수 개의 기준 특징은 상기 복수 개의 타깃 대상이 서로 충돌하기 이전, 각각 상기 복수 개의 타깃 대상에 대해 추출한 특징임 - ; 및
상기 타깃 대상의 현재 특징과 매칭되는 기준 특징에 대응되는 식별자 정보를, 상기 타깃 대상의 식별자 정보로 결정하는 단계를 포함하는 것을 특징으로 하는 타깃 추적 방법.A target tracking method comprising:
determining a plurality of target objects colliding with each other according to a distance between the target objects in the tracking area;
extracting a current feature of the target object in response to a case in which one target object in the plurality of target objects and another target object in the plurality of target objects no longer collide;
determining a reference characteristic matching a current characteristic of the target object based on a plurality of reference characteristics corresponding to the plurality of target objects, wherein the plurality of reference characteristics are determined before the plurality of target objects collide with each other, respectively Features extracted for the plurality of target objects; and
and determining identifier information corresponding to a reference characteristic matching the current characteristic of the target object as identifier information of the target object. 제1항에 있어서,
서로 충돌 하는 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 상기 복수 개의 타깃 대상에서의 다른 적어도 하나의 타깃 대상 간의 거리는 거리 임계값보다 작거나 같으며;
상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 복수 개의 타깃 대상에서의 다른 타깃 대상이 더 이상 충돌하지 않는 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출하는 단계는,
상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상에 대해, 상기 타깃 대상과 상기 복수 개의 타깃 대상에서의 다른 타깃 대상 간의 거리가 모두 상기 거리 임계값보다 큰 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출하는 단계를 포함하는 것을 특징으로 하는 타깃 추적 방법.According to claim 1,
a distance between one target object in a plurality of target objects colliding with each other and at least one other target object in the plurality of target objects is less than or equal to a distance threshold value;
In response to a case in which one target object in the plurality of target objects and another target object in the plurality of target objects no longer collide, extracting the current feature of the target object comprises:
In response to, for any one of the plurality of target objects, the distance between the target object and another target object in the plurality of target objects is greater than the distance threshold, the current characteristic of the target object is determined. Target tracking method comprising the step of extracting. 제1항 또는 제2항에 있어서,
상기 타깃 추적 방법은,
어느 한 타깃 대상에 대해, 상기 타깃 대상이 복수 개의 카메라에 대응되는 제1 좌표를 결정하는 단계 - 상기 타깃 대상이 어느 한 카메라에 대응되는 제1 좌표는 상기 카메라가 수집한 이미지에 따라 얻은 상기 타깃 대상의 제1 좌표를 나타내기 위한 것임 - ;
상기 타깃 대상이 상기 복수 개의 카메라에 대응되는 제1 좌표에 따라, 상기 타깃 대상이 상기 추적 영역에서 위치한 서브 영역을 결정하는 단계 - 상기 추적 영역은 복수 개의 서브 영역을 포함함 - ; 및
상기 복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도에 따라, 상기 타깃 대상이 상기 복수 개의 카메라에 대응되는 제1 좌표에 대해 융합을 수행하여, 상기 타깃 대상의 융합 좌표를 얻는 단계를 더 포함하고,
상기 추적 영역에서 타깃 대상 간의 거리에 따라, 서로 충돌하는 복수 개의 타깃 대상을 결정하는 단계 이전, 상기 단계는,
상기 추적 영역에서 타깃 대상의 융합 좌표에 따라, 상기 추적 영역에서 타깃 대상 간의 거리를 결정하는 단계를 더 포함하는 것을 특징으로 하는 타깃 추적 방법.3. The method of claim 1 or 2,
The target tracking method includes:
determining, for a target object, first coordinates of the target object corresponding to a plurality of cameras, wherein the first coordinates of the target object corresponding to a certain camera are obtained according to the image collected by the camera to indicate the first coordinates of the object - ;
determining a sub-region in which the target object is located in the tracking area according to first coordinates in which the target object corresponds to the plurality of cameras, wherein the tracking area includes a plurality of sub-areas; and
The plurality of cameras perform fusion on the first coordinates corresponding to the plurality of cameras according to the reliability of the sub-region in which the target object is located, thereby obtaining the fusion coordinates of the target object. including,
Before the step of determining a plurality of target objects colliding with each other according to a distance between the target objects in the tracking area, the step includes:
The method further comprising the step of determining a distance between the target objects in the tracking area according to the fusion coordinates of the target object in the tracking area. 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 타깃 대상의 현재 특징을 추출하는 단계는,
상기 타깃 대상이 상기 추적 영역에서 위치한 서브 영역을 결정하는 단계;
복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도에 따라, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라를 결정하는 단계; 및
상기 타깃 대상의 현재 특징을 추출하기 위한 카메라가 수집한 비디오 프레임에 따라, 상기 타깃 대상의 현재 특징을 추출하는 단계를 포함하는 것을 특징으로 하는 타깃 추적 방법.4. The method according to any one of claims 1 to 3,
The step of extracting the current feature of the target object,
determining a sub-region in which the target object is located in the tracking area;
determining, by a plurality of cameras, a camera for extracting a current feature of the target object according to the reliability of the sub-region in which the target object is located; and
and extracting the current feature of the target object according to a video frame collected by a camera for extracting the current feature of the target object. 제4항에 있어서,
복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도에 따라, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라를 결정하는 단계는,
복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도, 및 상기 복수 개의 카메라가 수집한 비디오 프레임에서 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임 간의 중첩 정보에 따라, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라를 결정하는 단계를 포함하는 것을 특징으로 하는 타깃 추적 방법.5. The method of claim 4,
The step of determining a camera for extracting the current feature of the target target according to the reliability of the plurality of cameras in the sub-region in which the target target is located includes:
According to the reliability of the sub-region in which the target object is located by a plurality of cameras, and overlap information between the detection frame of the target object and the detection frame of another target object in the video frame collected by the plurality of cameras, the current status of the target object A method for tracking a target, comprising determining a camera for extracting features. 제5항에 있어서,
상기 중첩 정보는, 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임의 IOU(Intersection over Union)를 포함하고;
상기 복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도, 및 상기 복수 개의 카메라가 수집한 비디오 프레임에서 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임 간의 중첩 정보에 따라, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라를 결정하는 단계는,
중첩 조건을 만족하는 카메라로부터, 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도가 가장 높은 카메라를 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라로 결정하는 단계 - 상기 중첩 조건은 상기 현재 수집한 비디오 프레임에서 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임의 IOU가 모두 기설정된 임계값보다 작은 것을 표시함 - 를 포함하는 것을 특징으로 하는 타깃 추적 방법.6. The method of claim 5,
the overlapping information includes an intersection over union (IOU) of a detection frame of the target object and a detection frame of a different target object;
According to the reliability of the sub-region in which the target object is located by the plurality of cameras, and overlapping information between the detection frame of the target object and the detection frame of another target object in the video frames collected by the plurality of cameras, the detection of the target object The step of determining a camera for extracting the current feature is,
determining, from the cameras satisfying the overlapping condition, a camera having the highest reliability for the sub-region in which the target object is located as a camera for extracting the current feature of the target object - The overlapping condition is determined from the currently collected video frame and indicating that both the IOU of the detection frame of the target object and the detection frame of the other target object are smaller than a preset threshold value. 제3항 내지 제6항 중 어느 한 항에 있어서,
상기 타깃 추적 방법은,
상기 복수 개의 카메라에서의 어느 한 카메라에 대해, 상기 카메라와 상기 추적 영역의 복수 개의 서브 영역 간의 거리에 따라, 상기 카메라가 상기 복수 개의 서브 영역에 대한 신뢰도를 결정하는 단계를 더 포함하는 것을 특징으로 하는 타깃 추적 방법.7. The method according to any one of claims 3 to 6,
The target tracking method includes:
For any one camera in the plurality of cameras, the method further comprising the step of determining, by the camera, reliability of the plurality of sub-regions according to a distance between the camera and the plurality of sub-regions of the tracking area How to track a target. 제7항에 있어서,
상기 복수 개의 카메라가 상기 복수 개의 서브 영역에 대한 신뢰도를 결정하는 단계 이후, 상기 타깃 추적 방법은,
상기 복수 개의 카메라에서의 어느 한 카메라에 대해, 상기 카메라가 수집한 비디오 프레임에서 타깃 대상 간의 평균 거리에 따라, 상기 카메라가 상기 복수 개의 서브 영역에 대한 신뢰도를 조정하는 단계를 더 포함하는 것을 특징으로 하는 타깃 추적 방법.8. The method of claim 7,
After the plurality of cameras determine the reliability of the plurality of sub-regions, the target tracking method comprises:
The method further comprising the step of adjusting, by the camera, the reliability of the plurality of sub-regions for any one of the plurality of cameras, according to the average distance between target objects in the video frames collected by the camera How to track a target. 제1항 내지 제8항 중 어느 한 항에 있어서,
상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하는 단계는,
상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징으로부터, 상기 타깃 대상의 현재 특징과 유사도가 가장 높은 기준 특징을 결정하는 단계; 및
상기 유사도가 가장 높은 기준 특징과 상기 타깃 대상의 현재 특징 간의 유사도가 유사도 임계값보다 크거나 같은 경우에 응답하여, 상기 유사도가 가장 높은 기준 특징을 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징으로 결정하는 단계를 포함하는 것을 특징으로 하는 타깃 추적 방법.9. The method according to any one of claims 1 to 8,
The determining of a reference characteristic matching a current characteristic of the target object based on a plurality of reference characteristics corresponding to the plurality of target objects may include:
determining, from a plurality of reference features corresponding to the plurality of target objects, a reference feature having the highest similarity to the current feature of the target object; and
In response to a case in which the similarity between the reference feature having the highest similarity and the current feature of the target object is greater than or equal to a similarity threshold, the reference feature having the highest similarity is determined as the reference feature matching the current feature of the target object Target tracking method comprising the step of. 제9항에 있어서,
상기 타깃 대상의 현재 특징과 유사도가 가장 높은 기준 특징을 결정하는 단계 이후, 상기 타깃 추적 방법은,
상기 유사도가 가장 높은 기준 특징과 상기 타깃 대상의 현재 특징 간의 유사도가 유사도 임계값보다 작거나 같은 경우에 응답하여, 상기 타깃 대상과 충돌하지 않고, 어느 한 다른 타깃 대상과 충돌하는 타깃 대상에 대응되는 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하는 단계를 더 포함하는 것을 특징으로 하는 타깃 추적 방법.10. The method of claim 9,
After determining the reference feature having the highest similarity to the current feature of the target object, the target tracking method includes:
In response to a case in which the similarity between the reference feature having the highest similarity and the current feature of the target object is less than or equal to a similarity threshold, the target object does not collide with the target object and corresponds to a target object that collides with any other target object The method of claim 1, further comprising: determining, based on the reference characteristic, a reference characteristic that matches the current characteristic of the target object. 제1항 내지 제10항 중 어느 한 항에 있어서,
상기 타깃 추적 방법은,
어느 한 타깃 대상에 대해, 상기 타깃 대상이 현재 시각 및 상기 현재 시각의 이전 시각에서 다른 타깃 대상과 충돌하지 않는 경우에 응답하여, 상기 이전 시각에서 다른 타깃 대상과 충돌하지 않고, 상기 현재 시각의 다른 타깃 대상과 매칭되지 않은 타깃 대상을, 상기 이전 시각에서의 남은 타깃 대상으로 결정하며, 또는 상기 타깃 대상이 상기 현재 시각 및 상기 이전 시각에서 동일한 다른 타깃 대상과 충돌하는 경우에 응답하여, 상기 타깃 대상이 상기 이전 시각에 속한 충돌 영역에서, 상기 현재 시각의 다른 타깃 대상과 매칭되지 않은 타깃 대상을, 상기 이전 시각에서의 남은 타깃 대상으로 결정하는 단계; 및
상기 이전 시각에서의 남은 타깃 대상으로부터, 상기 현재 시각의 상기 타깃 대상과 거리가 가장 가까운 타깃 대상을, 상기 현재 시각의 상기 타깃 대상과 매칭되는 타깃 대상으로 결정하고, 매칭된 타깃 대상의 식별자 정보를 상기 타깃 대상의 식별자 정보로 사용하는 단계를 더 포함하는 것을 특징으로 하는 타깃 추적 방법.11. The method according to any one of claims 1 to 10,
The target tracking method includes:
responsive to, for either target object, the target object does not collide with another target object at the current time and a time prior to the current time, does not collide with another target object at the previous time, and at another time at the current time determining a target object that does not match the target object as the remaining target object at the previous time, or in response when the target object collides with another same target object at the current time and the previous time, the target object determining, in the collision area belonging to the previous time, a target object that does not match another target object at the current time as the remaining target object at the previous time; and
From the remaining target objects at the previous time, a target object having the closest distance to the target object at the current time is determined as a target object matching the target object at the current time, and identifier information of the matched target object is determined. Target tracking method, characterized in that it further comprises the step of using as the identifier information of the target target. 타깃 추적 장치로서,
추적 영역에서 타깃 대상 간의 거리에 따라, 서로 충돌하는 복수 개의 타깃 대상을 결정하도록 구성된 제1 결정부;
상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 복수 개의 타깃 대상에서의 다른 타깃 대상이 더 이상 충돌하지 않는 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출하도록 구성된 추출부;
상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하도록 구성된 제2 결정부 - 상기 복수 개의 기준 특징은 상기 복수 개의 타깃 대상이 서로 충돌하기 이전, 각각 상기 복수 개의 타깃 대상에 대해 추출한 특징임 - ; 및
상기 타깃 대상의 현재 특징과 매칭되는 기준 특징에 대응되는 식별자 정보를, 상기 타깃 대상의 식별자 정보로 결정하도록 구성된 제3 결정부를 포함하는 것을 특징으로 하는 타깃 추적 장치.A target tracking device comprising:
a first determining unit configured to determine a plurality of target objects colliding with each other according to a distance between the target objects in the tracking area;
an extraction unit configured to extract a current feature of the target object in response to a case in which one target object in the plurality of target objects and another target object in the plurality of target objects no longer collide;
a second determining unit configured to determine, based on a plurality of reference features corresponding to the plurality of target objects, a reference feature matching a current feature of the target object, wherein the plurality of reference features are determined by the plurality of target objects collide with each other Before the following, each is a feature extracted for the plurality of target objects - ; and
and a third determining unit configured to determine identifier information corresponding to a reference characteristic matching the current characteristic of the target object as the identifier information of the target object. 제12항에 있어서,
상기 추출부는,
상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상에 대해, 상기 타깃 대상과 상기 복수 개의 타깃 대상에서의 다른 타깃 대상 간의 거리가 모두 거리 임계값보다 큰 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출하도록 구성되는 것을 특징으로 하는 타깃 추적 장치.13. The method of claim 12,
The extraction unit,
In response to a case in which a distance between the target object and another target object in the plurality of target objects is greater than a distance threshold for any one of the plurality of target objects, a current feature of the target object is extracted Target tracking device, characterized in that configured to. 제12항 또는 제13항에 있어서,
상기 타깃 추적 장치는,
어느 한 타깃 대상에 대해, 상기 타깃 대상이 복수 개의 카메라에 대응되는 제1 좌표를 결정하도록 구성된 제3 결정부 - 상기 타깃 대상이 어느 한 카메라에 대응되는 제1 좌표는 상기 카메라가 수집한 이미지에 따라 얻은 상기 타깃 대상의 제1 좌표를 나타내기 위한 것임 - ;
상기 타깃 대상이 상기 복수 개의 카메라에 대응되는 제1 좌표에 따라, 상기 타깃 대상이 상기 추적 영역에서 위치한 서브 영역을 결정하도록 구성된 제4 결정부 - 상기 추적 영역은 복수 개의 서브 영역을 포함함 - ;
상기 복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도에 따라, 상기 타깃 대상이 상기 복수 개의 카메라에 대응되는 제1 좌표에 대해 융합을 수행하여, 상기 타깃 대상의 융합 좌표를 얻도록 구성된 융합부; 및
상기 추적 영역에서 타깃 대상의 융합 좌표에 따라, 상기 추적 영역에서 타깃 대상 간의 거리를 결정하도록 구성된 제5 결정부를 더 포함하는 것을 특징으로 하는 타깃 추적 장치.14. The method of claim 12 or 13,
The target tracking device,
A third determining unit configured to determine first coordinates of the target object corresponding to a plurality of cameras for any one target object - The first coordinates corresponding to the target object corresponding to the one camera are in the image collected by the camera for indicating the first coordinates of the target object obtained according to - ;
a fourth determining unit, configured to determine, according to first coordinates in which the target object corresponds to the plurality of cameras, a sub-area in which the target object is located in the tracking area, wherein the tracking area includes a plurality of sub-areas;
A fusion configured to obtain fusion coordinates of the target object by performing fusion on the first coordinates corresponding to the plurality of cameras by the plurality of cameras according to the reliability of the sub-region in which the target object is located wealth; and
The target tracking apparatus according to claim 1, further comprising a fifth determining unit configured to determine a distance between the target objects in the tracking area according to the fusion coordinates of the target object in the tracking area. 제12항 내지 제14항 중 어느 한 항에 있어서,
상기 추출부는,
상기 타깃 대상이 상기 추적 영역에서 위치한 서브 영역을 결정하고;
복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도에 따라, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라를 결정하며;
상기 타깃 대상의 현재 특징을 추출하기 위한 카메라가 수집한 비디오 프레임에 따라, 상기 타깃 대상의 현재 특징을 추출하도록 구성되는 것을 특징으로 하는 타깃 추적 장치.15. The method according to any one of claims 12 to 14,
The extraction unit,
determine a sub-region in which the target object is located in the tracking area;
a plurality of cameras determine a camera for extracting a current feature of the target object according to the reliability of the sub-region in which the target object is located;
and extract the current feature of the target object according to the video frame collected by the camera for extracting the current feature of the target object. 제15항에 있어서,
상기 추출부는,
복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도, 및 상기 복수 개의 카메라가 수집한 비디오 프레임에서 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임 간의 중첩 정보에 따라, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라를 결정하도록 구성되는 것을 특징으로 하는 타깃 추적 장치.16. The method of claim 15,
The extraction unit,
According to the reliability of the sub-region in which the target object is located by a plurality of cameras, and overlap information between the detection frame of the target object and the detection frame of another target object in the video frame collected by the plurality of cameras, the current status of the target object and determine a camera for extracting features. 제16항에 있어서,
상기 중첩 정보는, 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임의 IOU를 포함하고;
상기 추출부는,
중첩 조건을 만족하는 카메라로부터, 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도가 가장 높은 카메라를 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라로 결정하도록 구성 - 상기 중첩 조건은 상기 현재 수집한 비디오 프레임에서 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임의 IOU가 모두 기설정된 임계값보다 작은 것을 표시함 - 되는 것을 특징으로 하는 타깃 추적 장치.17. The method of claim 16,
the overlapping information includes an IOU of a detection frame of the target object different from the detection frame of the target object;
The extraction unit,
Configure to determine, from the cameras satisfying the overlapping condition, the camera with the highest reliability for the sub-region in which the target object is located as the camera for extracting the current feature of the target object - The overlapping condition is determined from the currently collected video frame The target tracking device, characterized in that - indicating that the IOU of the detection frame of the target object and the detection frame of the other target object is smaller than a preset threshold value. 제14항 내지 제17항 중 어느 한 항에 있어서,
상기 타깃 추적 장치는,
상기 복수 개의 카메라에서의 어느 한 카메라에 대해, 상기 카메라와 상기 추적 영역의 복수 개의 서브 영역 간의 거리에 따라, 상기 카메라가 상기 복수 개의 서브 영역에 대한 신뢰도를 결정하도록 구성된 제6 결정부를 더 포함하는 것을 특징으로 하는 타깃 추적 장치.18. The method according to any one of claims 14 to 17,
The target tracking device,
For any one of the cameras in the plurality of cameras, according to a distance between the camera and the plurality of sub-regions of the tracking area, the camera further comprises a sixth determining unit configured to determine the reliability of the plurality of sub-regions Target tracking device, characterized in that. 제18항에 있어서,
상기 타깃 추적 장치는,
상기 복수 개의 카메라에서의 어느 한 카메라에 대해, 상기 카메라가 수집한 비디오 프레임에서 타깃 대상 간의 평균 거리에 따라, 상기 카메라가 상기 복수 개의 서브 영역에 대한 신뢰도를 조정하도록 구성된 조정부를 더 포함하는 것을 특징으로 하는 타깃 추적 장치.19. The method of claim 18,
The target tracking device,
For any one of the plurality of cameras, the camera further comprises an adjustment unit configured to adjust the reliability of the plurality of sub-regions according to the average distance between target objects in the video frames collected by the camera. target tracking device. 제12항 내지 제18항 중 어느 한 항에 있어서,
상기 제2 결정부는,
상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징으로부터, 상기 타깃 대상의 현재 특징과 유사도가 가장 높은 기준 특징을 결정하고;
상기 유사도가 가장 높은 기준 특징과 상기 타깃 대상의 현재 특징 간의 유사도가 유사도 임계값보다 크거나 같은 경우에 응답하여, 상기 유사도가 가장 높은 기준 특징을 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징으로 결정하도록 구성되는 것을 특징으로 하는 타깃 추적 장치.19. The method according to any one of claims 12 to 18,
The second determination unit,
determining, from a plurality of reference features corresponding to the plurality of target objects, a reference feature having the highest similarity to the current feature of the target object;
In response to a case in which the similarity between the reference feature having the highest similarity and the current feature of the target object is greater than or equal to a similarity threshold, the reference feature having the highest similarity is determined as the reference feature matching the current feature of the target object Target tracking device, characterized in that configured to. 제20항에 있어서,
상기 타깃 추적 장치는,
상기 유사도가 가장 높은 기준 특징과 상기 타깃 대상의 현재 특징 간의 유사도가 유사도 임계값보다 작거나 같은 경우에 응답하여, 상기 타깃 대상과 충돌하지 않고, 어느 한 다른 타깃 대상과 충돌하는 타깃 대상에 대응되는 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하도록 구성된 제7 결정부를 더 포함하는 것을 특징으로 하는 타깃 추적 장치.21. The method of claim 20,
The target tracking device,
In response to a case in which the similarity between the reference feature having the highest similarity and the current feature of the target object is less than or equal to a similarity threshold, the target object does not collide with the target object and corresponds to a target object that collides with any other target object The target tracking device according to claim 1, further comprising: a seventh determining unit configured to determine, based on the reference characteristic, a reference characteristic matching the current characteristic of the target object. 제12항 내지 제21항 중 어느 한 항에 있어서,
상기 타깃 추적 장치는,
어느 한 타깃 대상에 대해, 상기 타깃 대상이 현재 시각 및 상기 현재 시각의 이전 시각에서 다른 타깃 대상과 충돌하지 않는 경우에 응답하여, 상기 이전 시각에서 다른 타깃 대상과 충돌하지 않고, 상기 현재 시각의 다른 타깃 대상과 매칭되지 않은 타깃 대상을, 상기 이전 시각에서의 남은 타깃 대상으로 결정하고; 또는 상기 타깃 대상이 상기 현재 시각 및 상기 이전 시각에서 동일한 다른 타깃 대상과 충돌하는 경우에 응답하여, 상기 타깃 대상이 상기 이전 시각에 속한 충돌 영역에서, 상기 현재 시각의 다른 타깃 대상과 매칭되지 않은 타깃 대상을, 상기 이전 시각에서의 남은 타깃 대상으로 결정하도록 구성된 제8 결정부; 및
상기 이전 시각에서의 남은 타깃 대상으로부터, 상기 현재 시각의 상기 타깃 대상과 거리가 가장 가까운 타깃 대상을, 상기 현재 시각의 상기 타깃 대상과 매칭되는 타깃 대상으로 결정하고, 매칭된 타깃 대상의 식별자 정보를 상기 타깃 대상의 식별자 정보로 사용하도록 구성된 제9 결정부를 더 포함하는 것을 특징으로 하는 타깃 추적 장치.22. The method according to any one of claims 12 to 21,
The target tracking device,
responsive to, for either target object, the target object does not collide with another target object at the current time and a time prior to the current time, does not collide with another target object at the previous time, and at another time at the current time determining a target object that does not match the target object as the remaining target object at the previous time; or in response to a case in which the target object collides with another target object that is the same at the current time and the previous time, in a collision area where the target object belongs to the previous time, a target that does not match another target object at the current time an eighth determination unit configured to determine the object as the remaining target object at the previous time; and
From the remaining target objects at the previous time, a target object having the closest distance to the target object at the current time is determined as a target object matching the target object at the current time, and identifier information of the matched target object is determined. Target tracking device, characterized in that it further comprises a ninth determination unit configured to be used as the identifier information of the target object. 전자 기기로서,
하나 또는 복수 개의 프로세서; 및
실행가능한 명령어를 저장하기 위한 메모리를 포함하고,
상기 하나 또는 복수 개의 프로세서는, 상기 메모리에 저장된 실행 가능한 명령어를 호출하여, 제1항 내지 제12항 중 어느 한 항에 따른 타깃 추적 방법을 실행하도록 구성된 것을 특징으로 하는 전자 기기.As an electronic device,
one or more processors; and
a memory for storing executable instructions;
The electronic device, characterized in that the one or more processors are configured to execute the target tracking method according to any one of claims 1 to 12 by calling the executable instructions stored in the memory. 컴퓨터 판독 가능한 저장 매체로서,
상기 컴퓨터 판독 가능한 저장 매체에는 컴퓨터 프로그램 명령어가 저장되어 있고, 상기 컴퓨터 프로그램 명령어가 프로세서에 의해 실행될 때 제1항 내지 제11항 중 어느 한 항에 따른 타깃 추적 방법을 구현하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.A computer readable storage medium comprising:
Computer program instructions are stored in the computer readable storage medium, and when the computer program instructions are executed by a processor, the target tracking method according to any one of claims 1 to 11 is implemented. possible storage medium. 컴퓨터 프로그램으로서,
컴퓨터 판독 가능 코드를 포함하며, 상기 컴퓨터 판독 가능한 코드가 전자 기기에서 작동될 때, 상기 전자 기기에서의 프로세서는 실행될 경우 제1항 내지 제11항 중 어느 한 항에 따른 타깃 추적 방법을 구현하는 것을 특징으로 하는 컴퓨터 프로그램.

A computer program comprising:
12. A method comprising computer readable code, wherein when the computer readable code is run in an electronic device, a processor in the electronic device when executed implements the method for tracking a target according to any one of claims 1 to 11. Characterized by a computer program.

Images