KR102444769B1 - 목표 추적 방법 및 장치, 저장 매체 - Google Patents

Abstract

본 실시예는 목표 추적 방법 및 장치, 저장 매체를 개시하고, 상기 목표 추적 방법은, 이력 이미지 프레임에 따라, 제1 목표 대상의 목표 위치 예측 정보 및 차단 대상의 차단 대상 위치 예측 정보를 결정하는 단계; 이력 이미지 프레임 시퀀스에 따라, 제1 목표 대상의 이력 목표 외관 특징 시퀀스 및 차단 대상의 이력 차단 대상 외관 특징 시퀀스를 결정하는 단계; 현재 이미지 프레임에 따라, 제2 목표 대상의 현재 목표 위치 정보 및 현재 목표 외관 특징을 결정하는 단계; 목표 위치 예측 정보, 이력 목표 외관 특징 시퀀스, 현재 목표 위치 정보 및 현재 목표 외관 특징에 따라, 목표 유사도 정보를 결정하는 단계; 차단 대상 위치 예측 정보, 이력 차단 대상 외관 특징 시퀀스, 현재 목표 위치 정보 및 현재 목표 외관 특징에 따라, 차단 대상 유사도 정보를 결정하는 단계; 및 목표 유사도 정보 및 차단 대상 유사도 정보에 따라, 제1 목표 대상의 추적 궤적을 결정하는 단계를 포함할 수 있다.

Description

목표 추적 방법 및 장치, 저장 매체

관련 출원의 상호 참조

본 출원은 출원 번호가 201910045247.8이고, 출원일이 2019년 01월 17일인 중국 특허 출원에 기반하여 제출하였고, 상기 중국 특허 출원의 우선권을 주장하는 바, 상기 중국 특허 출원의 모든 내용은 참조로서 본 출원에 인용된다.

본 발명은 이미지 처리 분야에 관한 것이지만 이미지 처리 분야에 한정되지 않으며, 특히 목표 추적 방법 및 장치, 저장 매체에 관한 것이다.

다중 목표 추적(MOT, Multi-Object-Tracking)은 비디오 모니터링 시스템 및 자율 주행 자동차와 같은 비디오 분석 시스템에서의 하나의 중요한 구성 요소이다. 기존의 멀티 목표 추적 알고리즘은 주로 두 가지 유형으로 나누며, 하나는 다양한 기능을 직접 사용하여 궤적 관계를 직접 처리하는 것이고; 다른 하나는 단일 목표 추적을 먼저 수행한 다음, 궤적 연관 관계를 처리하는 것이지만, 상기 두 가지 유형의 추적 알고리즘은 모두 목표를 정확하게 추적할 수 없다.

본 실시예는 목표 추적 방법 및 장치, 저장 매체를 제공한다.

본 발명의 기술방안은 다음과 같이 구현된다.

본 실시예는 목표 추적 방법을 제공하며, 상기 목표 추적 방법은,

현재 이미지 프레임에 인접한 이력 이미지 프레임에 따라, 제1 목표 대상에 대응하는 목표 위치 예측 정보 및 차단 대상에 대응하는 차단 대상 위치 예측 정보를 결정하는 단계 - 상기 차단 대상은 상기 제1 목표 대상에 가장 가까운 목표임 - ;

상기 현재 이미지 프레임 이전의 이력 이미지 프레임 시퀀스에 따라, 상기 제1 목표 대상에 대응하는 이력 목표 외관 특징 시퀀스 및 차단 대상에 대응하는 이력 차단 대상 외관 특징 시퀀스를 결정하는 단계;

상기 현재 이미지 프레임에 따라, 제2 목표 대상에 대응하는 현재 목표 위치 정보 및 제2 목표 대상에 대응하는 현재 목표 외관 특징을 결정하는 단계;

상기 목표 위치 예측 정보, 상기 이력 목표 외관 특징 시퀀스, 상기 현재 목표 위치 정보 및 상기 현재 목표 외관 특징에 따라, 상기 제1 목표 대상 및 상기 제2 목표 대상 사이의 목표 유사도 정보를 결정하는 단계;

상기 차단 대상 위치 예측 정보, 상기 이력 차단 대상 외관 특징 시퀀스, 상기 현재 목표 위치 정보 및 상기 현재 목표 외관 특징에 따라, 차단 대상 유사도 정보를 결정하는 단계; 및

상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보에 따라, 상기 제1 목표 대상의 추적 궤적을 결정하는 단계를 포함한다.

상기 목표 추적 방법에서, 상기 목표 위치 예측 정보, 상기 이력 목표 외관 특징 시퀀스, 상기 현재 목표 위치 정보 및 상기 현재 목표 외관 특징에 따라, 상기 제1 목표 대상 및 상기 제2 목표 대상 사이의 목표 유사도 정보를 결정하는 단계는,

상기 목표 위치 예측 정보 및 상기 현재 목표 위치 정보에 따라, 상기 목표 위치 유사도를 결정하는 단계;

상기 이력 목표 외관 특징 시퀀스 및 상기 현재 목표 외관 특징에 따라, 상기 목표 외관 유사도 시퀀스를 결정하는 단계; 및

상기 목표 위치 유사도 및 상기 목표 외관 유사도 시퀀스를 상기 목표 유사도 정보로 결정하는 단계를 포함한다.

상기 목표 추적 방법에서, 상기 차단 대상 위치 예측 정보, 상기 이력 차단 대상 외관 특징 시퀀스, 상기 현재 목표 위치 정보 및 상기 현재 목표 외관 특징에 따라, 차단 대상 유사도 정보를 결정하는 단계는,

상기 차단 대상 위치 예측 정보 및 상기 현재 목표 위치 정보에 따라, 상기 차단 대상 위치 유사도를 결정하는 단계;

상기 이력 차단 대상 외관 특징 시퀀스 및 상기 현재 목표 외관 특징에 따라, 상기 차단 대상 외관 유사도를 결정하는 단계; 및

상기 차단 대상 위치 유사도 및 상기 차단 대상 외관 유사도를 상기 차단 대상 유사도 정보로 결정하는 단계를 포함한다.

상기 목표 추적 방법에서, 상기 제1 목표 대상에 대응하는 목표 위치 예측 정보 및 차단 대상에 대응하는 차단 대상 위치 예측 정보를 결정하는 단계는,

단일 목표 추적을 구현할 수 있는 뉴럴 네트워크를 이용하여, 상기 목표 위치 예측 정보 및 상기 차단 대상 위치 예측 정보를 결정하는 단계를 포함한다.

상기 목표 추적 방법에서, 상기 제1 목표 대상에 대응하는 이력 목표 외관 특징 시퀀스 및 차단 대상에 대응하는 이력 차단 대상 외관 특징 시퀀스를 결정하는 단계는,

사람 재인식을 구현할 수 있는 뉴럴 네트워크를 이용하여, 상기 이력 목표 외관 특징 시퀀스 및 상기 이력 차단 대상 외관 특징 시퀀스를 결정하는 단계를 포함한다.

상기 목표 추적 방법에서, 상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보에 따라, 상기 제1 목표 대상의 추적 궤적을 결정하는 단계는,

상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보에 따라, 상기 제1 목표 대상 및 상기 제2 목표 대상 사이의 목표 궤적 연관 관계를 결정하는 단계; 및

상기 목표 궤적 연관 관계를 이용하여, 상기 제2 목표 대상에서 상기 제1 목표 대상과 연관된 목표를 검색함으로써, 상기 제1 목표 대상의 추적 궤적을 결정하는 단계를 포함한다.

상기 목표 추적 방법에서, 상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보에 따라, 상기 제1 목표 대상 및 상기 제2 목표 대상 사이의 목표 궤적 연관 관계를 결정하는 단계는,

상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보를 기설정된 분류기에 입력하는 단계;

상기 기설정된 분류기를 이용하여, 복수 개의 다중 궤적 연관 관계의 결책 점수를 결정하는 단계 - 상기 다중 궤적 연관 관계는 상기 제1 목표 대상 및 상기 제2 목표 대상 사이에 궤적 연관을 수행함으로써 얻어진 궤적 연관 관계임 - ; 및

상기 목표 궤적 연관 관계로서 상기 다중 궤적 연관 관계로부터 가장 높은 결책 점수를 갖는 궤적 연관 관계를 결정하는 단계를 포함한다.

상기 목표 추적 방법에서, 상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보에 따라, 상기 제1 목표 대상 및 상기 제2 목표 대상 사이의 목표 궤적 연관 관계를 결정한 후, 상기 목표 추적 방법은,

상기 목표 궤적 연관 관계의 상기 제1 목표 대상에서 상기 제2 목표 대상과 연관되지 않는 제3 목표 대상을 결정할 경우, 상기 제3 목표 대상의 신뢰도 값에 따라, 상기 목표 위치 예측 정보를 획득하는 단계; 및

상기 목표 궤적 연관 관계 및 상기 목표 위치 예측 정보를 이용하여, 상기 제1 목표 대상의 추적 궤적을 결정하는 단계를 더 포함한다.

상기 목표 추적 방법에서, 상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보에 따라, 상기 제1 목표 대상 및 상기 제2 목표 대상 사이의 목표 궤적 연관 관계를 결정한 후, 상기 목표 추적 방법은,

상기 목표 궤적 연관 관계의 상기 제2 목표 대상에서 상기 제1 목표 대상과 연관되지 않는 제4 목표 대상을 결정할 경우, 상기 제4 목표 대상을 다음 라운드의 연관 관계에 추가하는 단계 - 상기 다음 라운드의 연관 관계는 상기 현재 이미지 프레임을 이력 이미지 프레임으로 사용하여 생성된 연관 관계임 - 를 더 포함한다.

상기 목표 추적 방법은,

상기 단일 목표 추적을 구현할 수 있는 뉴럴 네트워크를 이용하여, 상기 제1 목표 대상에 대응하는 신뢰도 값을 결정하는 단계를 더 포함한다.

상기 목표 추적 방법에서, 상기 제3 목표 대상의 신뢰도 값에 따라, 상기 목표 위치 예측 정보를 획득하는 단계는,

상기 제3 목표 대상의 신뢰도 값이 기설정된 신뢰도 값을 만족할 경우, 상기 목표 위치 예측 정보를 획득하는 단계를 포함한다.

상기 목표 추적 방법에서, 상기 제1 목표 대상의 개수 및 상기 제2 목표 대상의 개수는 모두 복수 개이다.

본 실시예는 목표 추적 장치를 제공하며, 상기 목표 추적 장치는,

현재 이미지 프레임에 인접한 이력 이미지 프레임에 따라, 제1 목표 대상에 대응하는 목표 위치 예측 정보 및 차단 대상에 대응하는 차단 대상 위치 예측 정보를 결정하고 - 상기 차단 대상은 상기 제1 목표 대상에 가장 가까운 목표임 - ; 상기 현재 이미지 프레임 이전의 이력 이미지 프레임 시퀀스에 따라, 상기 제1 목표 대상에 대응하는 이력 목표 외관 특징 시퀀스 및 차단 대상에 대응하는 이력 차단 대상 외관 특징 시퀀스를 결정하며; 상기 현재 이미지 프레임에 따라, 제2 목표 대상에 대응하는 현재 목표 위치 정보 및 제2 목표 대상에 대응하는 현재 목표 외관 특징을 결정하도록 구성된 제1 결정 모듈;

상기 목표 위치 예측 정보, 상기 이력 목표 외관 특징 시퀀스, 상기 현재 목표 위치 정보 및 상기 현재 목표 외관 특징에 따라, 상기 제1 목표 대상 및 상기 제2 목표 대상 사이의 목표 유사도 정보를 결정하고; 상기 차단 대상 위치 예측 정보, 상기 이력 차단 대상 외관 특징 시퀀스, 상기 현재 목표 위치 정보 및 상기 현재 목표 외관 특징에 따라, 차단 대상 유사도 정보를 결정하도록 구성된 제2 결정 모듈; 및

상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보에 따라, 상기 제1 목표 대상의 추적 궤적을 결정하도록 구성된 궤적 추적 모듈을 더 포함한다.

상기 목표 추적 장치에서, 상기 제1 결정 모듈은 또한, 상기 목표 위치 예측 정보 및 상기 현재 목표 위치 정보에 따라, 상기 목표 위치 유사도를 결정하고; 상기 이력 목표 외관 특징 시퀀스 및 상기 현재 목표 외관 특징에 따라, 상기 목표 외관 유사도 시퀀스를 결정하며; 상기 목표 위치 유사도 및 상기 목표 외관 유사도 시퀀스를 상기 목표 유사도 정보로 결정하도록 구성된다.

상기 목표 추적 장치에서, 상기 제1 결정 모듈은 또한, 상기 차단 대상 위치 예측 정보 및 상기 현재 목표 위치 정보에 따라, 상기 차단 대상 위치 유사도를 결정하고; 상기 이력 차단 대상 외관 특징 시퀀스 및 상기 현재 목표 외관 특징에 따라, 상기 차단 대상 외관 유사도를 결정하며; 상기 차단 대상 위치 유사도 및 상기 차단 대상 외관 유사도를 상기 차단 대상 유사도 정보로 결정하도록 구성된다.

상기 목표 추적 장치에서, 상기 제1 결정 모듈은 또한, 단일 목표 추적을 구현할 수 있는 뉴럴 네트워크를 이용하여, 상기 목표 위치 예측 정보 및 상기 차단 대상 위치 예측 정보를 결정하도록 구성된다.

상기 목표 추적 장치에서, 상기 제1 결정 모듈은 또한, 사람 재인식을 구현할 수 있는 뉴럴 네트워크를 이용하여, 상기 이력 목표 외관 특징 시퀀스 및 상기 이력 차단 대상 외관 특징 시퀀스를 결정하도록 구성된다.

상기 목표 추적 장치에서, 상기 궤적 추적 모듈은 또한, 상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보에 따라, 상기 제1 목표 대상 및 상기 제2 목표 대상 사이의 목표 궤적 연관 관계를 결정하고; 상기 목표 궤적 연관 관계를 이용하여, 상기 제2 목표 대상에서 상기 제1 목표 대상과 연관된 목표를 검색함으로써, 상기 제1 목표 대상의 추적 궤적을 결정하도록 구성된다.

상기 목표 추적 장치에서, 상기 궤적 추적 모듈은, 서브 입력 모듈 및 제3 서브 결정 모듈을 포함하며;

상기 서브 입력 모듈은, 상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보를 기설정된 분류기에 입력하도록 구성되고;

상기 제3 서브 결정 모듈은 또한, 상기 기설정된 분류기를 이용하여, 복수 개의 다중 궤적 연관 관계의 결책 점수를 결정하고 - 상기 다중 궤적 연관 관계는 상기 제1 목표 대상 및 상기 제2 목표 대상 사이에 궤적 연관을 수행함으로써 얻어진 궤적 연관 관계임 - ; 상기 목표 궤적 연관 관계로서 상기 다중 궤적 연관 관계로부터 가장 높은 결책 점수를 갖는 궤적 연관 관계를 결정하도록 구성된다.

상기 목표 추적 장치에서, 상기 궤적 추적 모듈은 서브 획득 모듈을 더 포함하며;

상기 서브 획득 모듈은 또한, 상기 목표 궤적 연관 관계의 상기 제1 목표 대상에서 상기 제2 목표 대상과 연관되지 않는 제3 목표 대상을 결정할 경우, 상기 제3 목표 대상의 신뢰도 값에 따라, 상기 목표 위치 예측 정보를 획득하도록 구성되고;

상기 제3 서브 결정 모듈은 또한, 상기 목표 궤적 연관 관계 및 상기 목표 위치 예측 정보를 이용하여, 상기 제1 목표 대상의 추적 궤적을 결정하도록 구성된다.

상기 목표 추적 장치는 추가 모듈을 더 포함하며;

상기 추가 모듈은 또한, 상기 목표 궤적 연관 관계의 상기 제2 목표 대상에서 상기 제1 목표 대상과 연관되지 않는 제4 목표 대상을 결정할 경우, 상기 제4 목표 대상을 다음 라운드의 연관 관계에 추가하도록 구성되고, 상기 다음 라운드의 연관 관계는 상기 현재 이미지 프레임을 이력 이미지 프레임으로 사용하여 생성된 연관 관계이다.

상기 목표 추적 장치에서, 상기 제2 결정 모듈은 또한, 상기 단일 목표 추적을 구현할 수 있는 뉴럴 네트워크를 이용하여, 상기 제1 목표 대상에 대응하는 신뢰도 값을 결정하도록 구성된다.

상기 목표 추적 장치에서, 상기 서브 획득 모듈은 또한, 상기 제3 목표 대상의 신뢰도 값이 기설정된 신뢰도 값을 만족할 경우, 상기 목표 위치 예측 정보를 획득하도록 구성된다.

상기 목표 추적 장치에서, 상기 제1 목표 대상의 개수 및 상기 제2 목표 대상의 개수는 모두 복수 개이다.

본 실시예는 목표 추적 장치를 제공하며, 상기 목표 추적 장치는, 프로세서, 메모리 및 통신 버스를 포함하고, 상기 프로세서는 상기 메모리에 저장된 작동 프로그램을 실행할 때 상기 어느 한 항에 따른 목표 추적 방법을 구현한다.

본 실시예는 목표 추적 장치에 적용되고 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 저장 매체를 제공하며, 상기 컴퓨터 프로그램은 프로세서에 의해 실행될 때 상기 어느 한 항에 따른 목표 추적 방법을 구현한다.

본 실시예는 또한 컴퓨터 프로그램 제품을 제공하며, 상기 컴퓨터 프로그램 제품은 프로세서에 의해 실행될 때, 전술한 목표 추적 방법을 구현할 수 있다.

본 실시예는 목표 추적 방법 및 장치, 저장 매체를 개시하고, 상기 목표 추적 방법은, 현재 이미지 프레임에 인접한 이력 이미지 프레임에 따라, 제1 목표 대상에 대응하는 목표 위치 예측 정보 및 차단 대상에 대응하는 차단 대상 위치 예측 정보를 결정하는 단계; 현재 이미지 프레임 이전의 이력 이미지 프레임 시퀀스에 따라, 제1 목표 대상에 대응하는 이력 목표 외관 특징 시퀀스 및 차단 대상에 대응하는 이력 차단 대상 외관 특징 시퀀스를 결정하는 단계; 현재 이미지 프레임에 따라, 제2 목표 대상에 대응하는 현재 목표 위치 정보 및 제2 목표 대상에 대응하는 현재 목표 외관 특징을 결정하는 단계; 목표 위치 예측 정보, 이력 목표 외관 특징 시퀀스, 현재 목표 위치 정보 및 현재 목표 외관 특징에 따라, 제1 목표 대상 및 제2 목표 대상 사이의 목표 유사도 정보를 결정하는 단계; 차단 대상 위치 예측 정보, 이력 차단 대상 외관 특징 시퀀스, 현재 목표 위치 정보 및 현재 목표 외관 특징에 따라, 차단 대상 유사도 정보를 결정하는 단계; 및 목표 유사도 정보 및 차단 대상 유사도 정보에 따라, 제1 목표 대상의 추적 궤적을 결정하는 단계를 포함할 수 있다. 상기 방법의 구현방안을 채택하면, 목표 추적 장치는, 현재 이미지 프레임에 인접한 이력 이미지 프레임에 따라, 차단 대상의 차단 대상 위치 예측 정보를 결정하고, 현재 이미지 프레임 이전의 이력 이미지 프레임 시퀀스에 따라, 차단 대상의 이력 차단 대상 외관 특징 시퀀스를 결정한 후, 차단 대상의 차단 대상 위치 예측 정보 및 이력 차단 대상 외관 특징 시퀀스를 융합하여, 이력 이미지 프레임에서의 제1 목표 대상의 추적 궤적을 결정함으로써, 목표 추적 시, 차단 대상의 차단 대상 위치 예측 정보 및 이력 차단 대상 외관 특징 시퀀스를 이용함으로 인한 목표 추적에 대한 차단 대상의 영향을 감소시켜, 목표 추적의 정확도를 향상시킨다.

본 명세서에 포함되고 본 명세서의 일부를 구성하는 도면은 본 발명과 일치하는 실시예를 도시하고, 본 명세서와 함께 본 발명의 기술방안을 설명하는데 사용된다.
도 1은 본 실시예에서 제공한 목표 추적 방법의 흐름도이다.
도 2는 본 실시예에서 제공한 예시적인 목표 추적 방법의 흐름 모식도이다.
도 3은 본 실시예에서 제공한 목표 추적 장치의 구조 모식도 1이다.
도 4는 본 실시예에서 제공한 목표 추적 장치의 구조 모식도 2이다.

이해해야 할 것은, 여기서 설명된 구체적인 실시예는 다만 본 발명을 해석하기 위해 사용되는 것이지 본 발명을 한정하려는 것은 아니다.

본 실시예는 목표 추적 방법을 개시하며, 도 1에 도시된 바와 같이, 상기 목표 추적 방법은 다양한 추적 기기에 적용될 수 있으며, 다음의 단계들을 포함할 수 있다.

단계 S101에 있어서, 현재 이미지 프레임에 인접한 이력 이미지 프레임에 따라, 제1 목표 대상에 대응하는 목표 위치 예측 정보 및 차단 대상에 대응하는 차단 대상 위치 예측 정보를 결정하며, 차단 대상은 제1 목표 대상에 가장 가까운 목표이다.

상기 추적 기기는 추적 단말 및 추적 서버 중 적어도 하나를 포함할 수 있다.

상기 추적 기기는 이미지 처리가 가능한 이미지 처리 기기를 포함할 수 있다. 예를 들어, 상기 이미지 처리 기기는 이미지 프레임 수집이 가능하고, 목표 추적을 위해 프로세서를 이용하여 이미지 프레임에 대해 처리를 수행하는 이미지 수집 모듈(예를 들어, 단안 또는 다안 카메라)을 포함할 수 있다. 다른 예를 들어, 상기 이미지 처리 기기는 자체적으로 이미지를 수집하지 않고 이미지 수집 기기로부터 이미지 프레임을 수신하며, 이미지 수집 기기로부터 수신된 이미지 프레임에 대해 이미지 처리를 수행함으로써, 목표 추적을 구현한다.

상기 추적 서버는 네트워크측에 위치할 수 있고, 이미지 수집 기기는 수집된 이미지 기기에서 상기 추적 서버로 업로드되고, 추적 서버는 이미지 프레임을 수신한 후 목표 추적을 수행한다.

상기 목표 추적 방법은 상이한 응용 시나리오에 적용될 수 있으며, 예를 들어, 상기 목표 추적 방법이 보안 분야에 적용될 때, 상기 추적 기기는 보안 기기일 수 있다. 공장, 상가 건물 또는 단지 입구에는 보통 다양한 보안 제어 기기가 설치되어, 공장 구역 또는 단지로 진입하는 인원 및 차량 중 적어도 하나를 모니터링할 경우, 상기 추적 기기는 수집된 비디오에 따라 비디오에 포함된 이미지 프레임을 분석함으로써, 인원 및 차량 중 적어도 하나의 추적을 구현한다.

상기 목표 추적 방법은 또한 도로 교통 분야에 적용될 수 있고, 도로의 양측에는 상기 이미지 프레임을 수집하기 위한 이미지 수집 기기가 설치되고, 추적 기기는 이러한 이미지 프레임을 획득한 후 이미지 분석을 수행하여, 목표 추적을 구현함으로써, 도로교통법을 위반한 사람 또는 차량을 추적한다.

일부 실시예에서, 상기 현재 이미지 프레임은 현재 시간에 처리되는 이미지 프레임이고; 상기 이력 이미지 프레임은 현재 이미지 프레임 이전에 수집된 이미지 프레임이다. 예를 들어, 현재 이미지 프레임이 제1 시각에 수집된 이미지 프레임이고, 상기 이력 이미지 프레임이 제2 시각에 수집된 이미지 프레임이라고 가정하면, 상기 제2 시각은 상기 제1 시각보다 빠르다.

본 실시예에서 제공한 목표 추적 방법은 비디오에서 복수 개의 목표를 추적하는 시나리오에 적용한다.

본 실시예에서, 상기 제1 목표 대상은 추적되는 목표이며, 예를 들어, 이력 이미지 프레임에서의 목표는 사람, 차량 등일 수 있으나, 구체적인 것은 실제 상황에 따라 선택되며, 본 실시예는 특별히 한정을 하지 않는다. 상기 제1 목표 대상은 추적되는 복수 개의 목표 중 하나일 수 있다.

본 실시예에서, 목표 추적 장치는 이력 이미지 프레임에서 제1 목표 대상 및 제1 목표 대상에 가장 가까운 차단 대상을 결정한 다음, 단일 목표 추적을 구현할 수 있는 뉴럴 네트워크를 이용하여, 제1 목표 대상의 목표 위치 예측 정보 및 차단 대상의 차단 대상 위치 예측 정보를 결정한다.

본 실시예에서, 단일 목표 추적을 구현할 수 있는 뉴럴 네트워크는 단일 목표 추적 알고리즘으로 구성된 네트워크를 이용할 수 있다.

본 실시예에서, 목표 추적 장치는 이력 이미지 프레임에서 제1 목표 대상을 포함하는 목표 외접 직사각형을 프레임화한 다음, 목표 추적 장치는 임의의 두 개의 목표 외접 직사각형의 교집합을 찾아서 얻어진 교차 면적을, 대응하는 2 개의 목표 외접 직사각형의 합집합을 찾아서 얻어진 유니온 면적으로 나눈 값이 가장 큰 하나의 추가적인 목표 대상을, 제1 목표 대상에 가장 가까운 차단 대상으로 결정한다.

본 실시예에서, 목표 추적 장치는 이력 이미지 프레임으로서 현재 이미지 프레임 이전의 일 프레임의 인접한 이미지를 획득하고, 단일 목표 추적 알고리즘을 이용하여, 현재 이미지 프레임에서의 제1 목표 대상의 목표 위치 예측 정보 및 현재 이미지 프레임에서의 차단 대상의 차단 대상 위치 예측 정보를 결정한다.

일부 실시예에서, 단일 목표 추적 알고리즘은 샴 지역 제안 네트워크(Siamese Region Proposal Network) 방법, 샴 완전 컨볼루션 네트워크(Siamese Fully Convolutional) 방법 등을 포함하며, 구체적인 것은 실제 상황에 따라 선택되며, 본 실시예에서 특별히 한정하지 않는다.

본 실시예에서, 위치 정보는 좌표 정보 또는 위도/경도 정보를 포함할 수 있으며, 구체적인 것은 실제 상황에 따라 선택되며, 본 실시예에서 특별히 한정하지 않는다.

단계 S102에 있어서, 현재 이미지 프레임 이전의 이력 이미지 프레임 시퀀스에 따라, 제1 목표 대상에 대응하는 이력 목표 외관 특징 시퀀스 및 차단 대상에 대응하는 이력 차단 대상 외관 특징 시퀀스를 결정한다.

본 실시예에서, 목표 추적 장치는 현재 이미지 프레임 이전의 이력 이미지 프레임 시퀀스에 따라, 제1 목표 대상 및 제1 목표 대상에 가장 가까운 차단 대상을 결정한 다음, 사람 재인식 알고리즘을 이용하여, 제1 목표 대상의 이력 목표 외관 특징 시퀀스 및 차단 대상의 이력 차단 대상 외관 특징 시퀀스를 결정한다.

본 실시예에서, 목표 추적 장치는 이력 이미지 프레임 시퀀스로서 현재 이미지 프레임 이전의 연속 다중 프레임 이미지를 획득하고, 사람 재인식을 구현할 수 있는 뉴럴 네트워크를 이용하여, 제1 목표 대상의 이력 목표 외관 특징 시퀀스 및 차단 대상의 이력 차단 대상 외관 특징 시퀀스를 결정한다.

본 실시예에서, 이력 목표 외관 특징 시퀀스에서의 특징 개수 및 이력 차단 대상 외관 특징 시퀀스에서의 특징 개수는, 이력 이미지 프레임 시퀀스의 프레임 수와 일대일로 대응하며, 구체적인 것은 실제 상황에 따라 선택되며, 본 실시예에서 특별히 한정하지 않는다.

본 실시예에서, 사람 재인식을 구현할 수 있는 뉴럴 네트워크는 사람 재인식 알고리즘으로 구성된 네트워크를 이용할 수 있다.

본 실시예에서, 사람 재인식 알고리즘은 Inception-v4 모델을 포함한다.

본 실시예에서, 제1 목표 대상의 개수는 복수 개이다.

설명해야 할 것은, 단계 S101 및 단계 S102는 단계 S103 이전의 두 개의 병렬된 단계이며, 단계 S101 및 단계 S102 사이에는 절대적인 타이밍 관계가 없으며, 구체적인 것은 실제 상황에 따라 선택되며, 본 실시예에서 양자의 실행 순서를 한정하지 않는다.

단계 S103에 있어서, 현재 이미지 프레임에 따라, 제2 목표 대상에 대응하는 현재 목표 위치 정보 및 제2 목표 대상에 대응하는 현재 목표 외관 특징을 결정한다.

목표 추적 장치가 제1 목표 대상에 대응하는 목표 위치 예측 정보 및 이력 목표 외관 특징 시퀀스, 및 차단 대상에 대응하는 차단 대상 위치 예측 정보 및 이력 차단 대상 외관 특징 시퀀스를 결정한 후, 목표 추적 장치는 현재 이미지 프레임에 따라, 제2 목표 대상에 대응하는 현재 목표 위치 정보 및 제2 목표 대상에 대응하는 현재 목표 외관 특징을 결정한다.

본 실시예에서, 목표 추적 장치는 현재 이미지 프레임에 따라, 제2 목표 대상 및 제2 목표 대상에 대응하는 현재 목표 위치 정보와 제2 목표 대상에 대응하는 현재 목표 외관 특징을 결정한다.

본 실시예에서, 제1 목표 대상 및 제2 목표 대상은 적어도 부분적으로 매칭되며, 즉 제1 목표 대상에서의 적어도 일부 목표는 제2 목표 대상에서의 적어도 일부 목표에 매칭된다.

본 실시예에서, 제2 목표 대상의 대상은 복수 개이다.

단계 S104에 있어서, 목표 위치 예측 정보, 이력 목표 외관 특징 시퀀스, 현재 목표 위치 정보 및 현재 목표 외관 특징에 따라, 제1 목표 대상 및 제2 목표 대상 사이의 목표 유사도 정보를 결정한다.

목표 추적 장치가 현재 이미지 프레임에서, 제2 목표 대상에 대응하는 현재 목표 위치 정보 및 제2 목표 대상에 대응하는 현재 목표 외관 특징을 결정한 후, 목표 추적 장치는 목표 위치 예측 정보, 이력 목표 외관 특징 시퀀스, 현재 목표 위치 정보 및 현재 목표 외관 특징에 따라, 제1 목표 대상 및 제2 목표 대상 사이의 목표 유사도 정보를 결정한다.

본 실시예에서, 목표 추적 장치는 목표 위치 예측 정보 및 현재 목표 위치 정보에 따라, 목표 위치 유사도를 결정하며; 목표 추적 장치는 이력 목표 외관 특징 시퀀스 및 현재 목표 외관 특징에 따라, 목표 외관 유사도 시퀀스를 결정 한 다음, 목표 추적 장치는 목표 위치 유사도 및 목표 외관 유사도 시퀀스를 제1 목표 대상 및 제2 목표 대상 사이의 목표 유사도 정보로 결정한다.

본 실시예에서, 목표 추적 장치는 목표 위치 예측 정보 및 현재 목표 위치 정보에 대해 유사도 계산을 수행하여, 목표 위치 유사도를 얻으며; 목표 추적 장치는 이력 목표 외관 특징 시퀀스 및 현재 목표 외관 특징에 대해 유사도 계산을 수행하여, 목표 외관 유사도 시퀀스를 얻는다.

단계 S105에 있어서, 차단 대상 위치 예측 정보, 이력 차단 대상 외관 특징 시퀀스, 현재 목표 위치 정보 및 현재 목표 외관 특징에 따라, 차단 대상 유사도 정보를 결정한다.

목표 추적 장치가 현재 이미지 프레임에서, 제2 목표 대상에 대응하는 현재 목표 위치 정보 및 제2 목표 대상에 대응하는 현재 목표 외관 특징을 결정한 후, 목표 추적 장치는 차단 대상 위치 예측 정보에 따라, 이력 차단 대상 외관 특징 시퀀스, 현재 목표 위치 정보 및 현재 목표 외관 특징, 차단 대상 유사도 정보를 결정한다.

본 실시예에서, 목표 추적 장치는 차단 대상 위치 예측 정보 및 현재 목표 위치 정보에 따라, 차단 대상 위치 유사도를 결정하며; 목표 추적 장치는 이력 차단 대상 외관 특징 시퀀스 및 현재 목표 외관 특징에 따라, 차단 대상 외관 유사도를 결정한 후, 목표 추적 장치는 차단 대상 위치 유사도 및 차단 대상 외관 유사도를 차단 대상 유사도 정보로 결정한다.

본 실시예에서, 목표 추적 장치는 차단 대상 위치 예측 정보 및 현재 목표 위치 정보에 대해 유사도 계산을 수행하여, 차단 대상 위치 유사도를 얻으며; 목표 추적 장치는 이력 차단 대상 외관 특징 시퀀스 및 현재 목표 외관 특징에 대해 유사도 계산을 수행하여, 차단 대상 외관 유사도를 얻는다.

본 실시예에서, 목표 위치 유사도는 목표 외접 직사각형의 교차 면적을 유니온 면적으로 나눈 값이고, 목표 외관 유사도 시퀀스는 외관 특징코사인 앵글이다.

설명해야 할 것은, 차단 대상 위치 유사도의 계산 과정과 목표 위치 유사도의 계산 과정은 동일하며, 차단 대상 외관 유사도 및 목표 외관 유사도 시퀀스의 계산 과정은 동일하고, 여기서 더이상 설명하지 않는다.

설명해야 할 것은, 단계 S104 및 단계 S105는 단계 S103 이후 및 단계 S106 이전의 두 개의 병렬된 단계이며, 단계 S104 및 단계 S105 사이에는 절대적인 타이밍 관계가 없으며, 구체적인 것은 실제 상황에 따라 선택되며, 본 실시예에서 양자의 실행 순서를 한정하지 않는다.

단계 S106에 있어서, 목표 유사도 정보 및 차단 대상 유사도 정보에 따라, 제1 목표 대상의 추적 궤적을 결정한다.

목표 추적 장치가 목표 유사도 정보 및 차단 대상 유사도 정보를 결정한 후, 목표 추적 장치는 목표 유사도 정보 및 차단 대상 유사도 정보에 따라, 제1 목표 대상의 추적 궤적을 결정한다.

본 실시예에서, 목표 추적 장치는 목표 유사도 정보 및 차단 대상 유사도 정보에 따라, 제1 목표 대상 및 제2 목표 대상 사이의 목표 궤적 연관 관계를 결정하며; 목표 추적 장치는 목표 궤적 연관 관계를 이용하여, 제2 목표 대상에서 제1 목표 대상과 연관된 목표를 검색하여, 제1 목표 대상의 추적 궤적을 결정한다.

본 실시예에서, 목표 추적 장치는 목표 유사도 정보 및 차단 대상 유사도 정보를 기설정된 분류기에 입력한 다음, 기설정된 분류기를 이용하여, 복수 개의 다중 궤적 연관 관계의 결책 점수를 결정하며, 여기서, 다중 궤적 연관 관계는 제1 목표 대상 및 제2 목표 대상 사이에 궤적 연관을 수행함으로써 얻어진 궤적 연관 관계이며; 목표 추적 장치는 목표 궤적 연관 관계로서 다중 궤적 연관 관계로부터 가장 높은 결책 점수를 갖는 궤적 연관 관계를 결정한다.

본 실시예에서, 기설정된 분류기는 다중 궤적 연관 관계에서 관련된 각 목표 사이의 결책 점수를 출력한 다음, 각 궤적 연관 관계에서의 결책 점수를 중첩하여, 상기 궤적 연관 관계에 대응하는 결책 점수를 얻으며, 이 경우, 복수 개의 다중 궤적 연관 관계의 결책 점수를 획득한다.

본 실시예에서, 목표 추적 장치는 기설정된 궤적 연관 알고리즘을 이용하여, 이력 이미지 프레임 중의 제1 목표 대상 및 현재 이미지 프레임 중의 제2 목표 대상에 대해 궤적 연관을 수행하여, 제1 목표 대상 및 제2 목표 대상 사이의 다중 궤적 연관 관계를 획득한다.

본 실시예에서, 분류기는 그라데이션 부스팅 의사결정 트리(Gradient Boosting Decision Tree) 모델을 사용한다.

본 실시예에서, 기설정된 궤적 연관 알고리즘은 이분 그래프의 최대 가중 매칭 알고리즘이며, 즉 최소 비용 최대 흐름 알고리즘이다.

일부 실시예에서, 목표 추적 장치는 목표 궤적 연관 관계를 결정한 후, 목표 추적 장치는 목표 궤적 연관 관계 중의 제1 목표 대상에서 제2 목표 대상과 연관된 목표를 결정하고, 목표 추적 장치가 목표 궤적 연관 관계 중의 제1 목표 대상에서 제2 목표 대상과 연관되지 않는 제3 목표 대상을 결정할 때, 목표 추적 장치는 제3 목표 대상의 신뢰도 값에 따라, 목표 위치 예측 정보를 획득한 후, 목표 추적 장치는 목표 궤적 연관 관계 및 목표 위치 예측 정보를 이용하여, 제1 목표 대상의 추적 궤적을 결정한다.

예시적으로, 목표 추적 장치가 제1 목표 대상에서 제2 목표 대상과 연관되지 않는 제3 목표 대상을 결정할 때, 목표 추적 장치는 이력 이미지 프레임 중의 제3 목표 대상이 현재 이미지 프레임에 나타나지 않는 것으로 판단한다. 이 경우, 목표 추적 장치가 제3 목표 대상이 현재 이미지 프레임에 나타나지 않는 것으로 결정하는 이유는, 제3 목표 대상의 신뢰도 값이 기설정된 신뢰도 임계값을 만족하지 않기 때문이다. 제3 목표 대상의 신뢰도 값이 기설정된 신뢰도 임계값을 만족할 때, 제3 목표 대상이 현재 이미지 프레임에서 차단 대상에 의해 차단되는 것으로 결정한다. 이 경우, 목표 추적 장치는 제3 목표 대상에 대응하는 목표 위치 예측 정보에 따라, 제3 목표 대상이 현재 이미지 프레임에서의 위치를 예측한다.

일부 실시예에서, 목표 추적 장치는 목표 궤적 연관 관계 중의 제2 목표 대상에서 제1 목표 대상과 연관된 목표를 결정하고, 목표 추적 장치가 목표 궤적 연관 관계 중의 제2 목표 대상에서 제1 목표 대상과 연관되지 않는 제4 목표 대상을 결정할 때, 목표 추적 장치는 제4 목표 대상을 다음 라운드의 연관 관계에 추가하며, 여기서, 다음 라운드의 연관 관계는 현재 이미지 프레임을 이력 이미지 프레임으로 사용하여 생성된 연관 관계이다.

예시적으로, 목표 추적 장치가 제2 목표 대상에서 제1 목표 대상과 연관되지 않는 제4 목표 대상을 결정할 때, 제4 목표 대상은 새로 추가된 목표 대상인 것으로 나타내며, 이 경우, 목표 추적 장치는 제4 목표 대상에 대해 목표 추적을 수행한다.

본 실시예에서, 목표 궤적 연관 관계에서, 제1 목표 대상 및 제2 목표 대상에서 매칭된 목표 대상은 투튜플(two-tuple)을 구성하고, 제1 목표 대상 및 제2 목표 대상에서 매칭되지 않은 목표 대상은 원튜플(one-tuple)을 구성하며, 제1 목표 대상과 연관되지 않는 제4 목표 대상으로서 목표 추적 장치는 원튜플로부터 제2 목표 대상에서의 목표 대상을 검색하며; 제2 목표 대상과 연관되지 않는 제3 목표 대상으로서 목표 추적 장치는 원튜플로부터 제1 목표 대상에서의 목표 대상을 검색한다.

본 실시예에서, 목표 추적 장치는 단일 목표 추적 알고리즘을 이용하여, 제1 목표 대상에 대응하는 신뢰도 값 및 목표 위치 예측 정보를 각각 계산한다.

본 실시예에서, 목표 추적 장치는 제3 목표 대상에 대응하는 신뢰도 값 및 기설정된 신뢰도 값을 비교하여, 제3 목표 대상에 대응하는 신뢰도 값이 기설정된 신뢰도 값을 만족할 경우, 목표 추적 장치는 목표 위치 예측 정보를 획득한다.

설명해야 할 것은, 본 실시예에서의 단일 목표 추적 알고리즘, 사람 재인식 알고리즘, 기설정된 분류기 및 기설정된 궤적 연관 알고리즘은 모두 대안적인 알고리즘이며, 구체적인 것은 실제 상황에 따라 선택되며, 본 실시예서 특별히 한정하지 않는다.

본 실시예에서, 목표 추적 장치는 목표 궤적 연관 관계로부터, 비디오에서의 상이한 목표 대상의 동작 궤적을 결정하여, 목표 대상을 추적한다.

예시적으로, 도 2에 도시된 바와 같이, 단기간 단서에서, Ex 템플릿을 단일 목표 추적 알고리즘(SOT, Single Object Tracking) 서브넷에 입력하여, 시간 t+1에서의 목표 위치 예측 정보

및 신뢰도(Score map)을 얻은 후, 검출된 시간 t+1에서의 현재 목표 위치 정보

에 대해 유사도 계산을 수행함으로써, 목표 위치 유사도

를 얻으며; 장기간 단서에서,

에 대응하는 현재 이미지 영역 I_t+1,

을 사람 재인식(ReID, Person Re-identification) 서브넷에 입력하여, 현재 목표 외관 특징

을 얻고, 이력 이미지 프레임에서의 현재 목표의 이력 이미지 영역

을 획득하며, 이력 이미지 영역을 ReID 서브넷에 입력하여, 이력 목표 외관 특징 시퀀스

를 얻은 다음, 현재 목표 외관 특징과 이력 목표 외관 특징 시퀀스사이의 유사도를 순차적으로 계산하여, 목표 외관 유사도 시퀀스

를 얻으며, 다음, 목표 위치 유사도 및 목표 외관 유사도를 시퀀스 입력 차단 대상에 민감한 분류기(SAC, Switcher-Aware Classifier)에 입력하여, 복수 개의 다중 궤적 연관 관계의 결책 점수를 얻은 다음, 목표 궤적 연관 관계로서 다중 궤적 연관 관계로부터 가장 높은 결책 점수를 갖는 궤적 연관 관계를 결정한다.

이해할 수 있는 것은, 목표 추적 장치는, 현재 이미지 프레임에 인접한 이력 이미지 프레임에 따라, 차단 대상의 차단 대상 위치 예측 정보를 결정하고, 현재 이미지 프레임 이전의 이력 이미지 프레임 시퀀스에 따라, 차단 대상의 이력 차단 대상 외관 특징 시퀀스를 결정한 후, 차단 대상의 차단 대상 위치 예측 정보 및 이력 차단 대상 외관 특징 시퀀스를 융합하여, 이력 이미지 프레임에서의 제1 목표 대상의 추적 궤적을 결정함으로써, 목표 추적 시, 차단 대상의 차단 대상 위치 예측 정보 및 이력 차단 대상 외관 특징 시퀀스를 이용함으로 인해, 목표 추적에 대한 차단 대상의 영향을 감소시켜, 목표 추적의 정확도를 향상시킨다.

본 실시예는 목표 추적 장치 1을 제공하며, 도 3에 도시된 바와 같이, 상기 목표 추적 장치는,

현재 이미지 프레임에 인접한 이력 이미지 프레임에 따라, 제1 목표 대상에 대응하는 목표 위치 예측 정보 및 차단 대상에 대응하는 차단 대상 위치 예측 정보를 결정하고 - 상기 차단 대상은 상기 제1 목표 대상에 가장 가까운 목표임 - ; 상기 현재 이미지 프레임 이전의 이력 이미지 프레임 시퀀스에 따라, 상기 제1 목표 대상에 대응하는 이력 목표 외관 특징 시퀀스 및 차단 대상에 대응하는 이력 차단 대상 외관 특징 시퀀스를 결정하며; 상기 현재 이미지 프레임에 따라, 제2 목표 대상에 대응하는 현재 목표 위치 정보 및 제2 목표 대상에 대응하는 현재 목표 외관 특징을 결정하도록 구성된 제1 결정 모듈(10);

상기 목표 위치 예측 정보, 상기 이력 목표 외관 특징 시퀀스, 상기 현재 목표 위치 정보 및 상기 현재 목표 외관 특징에 따라, 상기 제1 목표 대상 및 상기 제2 목표 대상 사이의 목표 유사도 정보를 결정하고; 상기 차단 대상 위치 예측 정보, 상기 이력 차단 대상 외관 특징 시퀀스, 상기 현재 목표 위치 정보 및 상기 현재 목표 외관 특징에 따라, 차단 대상 유사도 정보를 결정하도록 구성된 제2 결정 모듈(11); 및

상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보에 따라, 상기 제1 목표 대상의 추적 궤적을 결정하도록 구성된 궤적 추적 모듈(12)을 포함할 수 있다.

일부 실시예에서, 상기 제1 결정 모듈(10)은 또한, 상기 목표 위치 예측 정보 및 상기 현재 목표 위치 정보에 따라, 상기 목표 위치 유사도를 결정하고; 상기 이력 목표 외관 특징 시퀀스 및 상기 현재 목표 외관 특징에 따라, 상기 목표 외관 유사도 시퀀스를 결정하며; 상기 목표 위치 유사도 및 상기 목표 외관 유사도 시퀀스를 상기 목표 유사도 정보로 결정하도록 구성된다.

일부 실시예에서, 상기 제1 결정 모듈(10)은 또한, 상기 차단 대상 위치 예측 정보 및 상기 현재 목표 위치 정보에 따라, 상기 차단 대상 위치 유사도를 결정하고; 상기 이력 차단 대상 외관 특징 시퀀스 및 상기 현재 목표 외관 특징에 따라, 상기 차단 대상 외관 유사도를 결정하며; 상기 차단 대상 위치 유사도 및 상기 차단 대상 외관 유사도를 상기 차단 대상 유사도 정보로 결정하도록 구성된다.

일부 실시예에서, 상기 제1 결정 모듈(10)은 또한, 단일 목표 추적을 구현할 수 있는 뉴럴 네트워크를 이용하여, 상기 목표 위치 예측 정보 및 상기 차단 대상 위치 예측 정보를 결정하도록 구성된다.

일부 실시예에서, 상기 제1 결정 모듈(10)은 또한, 사람 재인식을 구현할 수 있는 뉴럴 네트워크를 이용하여, 상기 이력 목표 외관 특징 시퀀스 및 상기 이력 차단 대상 외관 특징 시퀀스를 결정하도록 구성된다.

일부 실시예에서, 상기 궤적 추적 모듈(12)은 또한, 상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보에 따라, 상기 제1 목표 대상 및 상기 제2 목표 대상 사이의 목표 궤적 연관 관계를 결정하고; 상기 목표 궤적 연관 관계를 이용하여, 상기 제2 목표 대상에서 상기 제1 목표 대상과 연관된 목표를 검색함으로써, 상기 제1 목표 대상의 추적 궤적을 결정하도록 구성된다.

일부 실시예에서, 상기 궤적 추적 모듈(12)은, 서브 입력 모듈(120) 및 제3 서브 결정 모듈(121)을 포함하며;

상기 서브 입력 모듈(120)은, 상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보를 기설정된 분류기에 입력하도록 구성되고;

상기 제3 서브 결정 모듈(121)은 또한, 상기 기설정된 분류기를 이용하여, 복수 개의 다중 궤적 연관 관계의 결책 점수를 결정하고 - 상기 다중 궤적 연관 관계는 상기 제1 목표 대상 및 상기 제2 목표 대상 사이에 궤적 연관을 수행함으로써 얻어진 궤적 연관 관계임 - ; 상기 목표 궤적 연관 관계로서 상기 다중 궤적 연관 관계로부터 가장 높은 결책 점수를 갖는 궤적 연관 관계를 결정하도록 구성된다.

일부 실시예에서, 상기 궤적 추적 모듈(12)은 서브 획득 모듈(122)을 더 포함하며;

상기 서브 획득 모듈(122)은 또한, 상기 목표 궤적 연관 관계의 상기 제1 목표 대상에서 상기 제2 목표 대상과 연관되지 않는 제3 목표 대상을 결정할 경우, 상기 제3 목표 대상의 신뢰도 값에 따라, 상기 목표 위치 예측 정보를 획득하도록 구성되고;

상기 제3 서브 결정 모듈(121)은 또한, 상기 목표 궤적 연관 관계 및 상기 목표 위치 예측 정보를 이용하여, 상기 제1 목표 대상의 추적 궤적을 결정하도록 구성된다.

일부 실시예에서, 상기 목표 추적 장치는 추가 모듈(13)을 더 포함하며;

상기 추가 모듈(13)은 또한, 상기 목표 궤적 연관 관계의 상기 제2 목표 대상에서 상기 제1 목표 대상과 연관되지 않는 제4 목표 대상을 결정할 경우, 상기 제4 목표 대상을 다음 라운드의 연관 관계에 추가하도록 구성되고, 상기 다음 라운드의 연관 관계는 상기 현재 이미지 프레임을 이력 이미지 프레임으로 사용하여 생성된 연관 관계이다.

일부 실시예에서, 상기 제2 결정 모듈(11)은, 상기 단일 목표 추적을 구현할 수 있는 뉴럴 네트워크를 이용하여, 상기 제1 목표 대상에 대응하는 신뢰도 값을 결정하도록 구성된다.

일부 실시예에서, 상기 서브 획득 모듈(122)은 또한, 상기 제3 목표 대상의 신뢰도 값이 기설정된 신뢰도 값을 만족할 경우, 상기 목표 위치 예측 정보를 획득하도록 구성된다.

일부 실시예에서, 상기 제1 목표 대상의 개수 및 상기 제2 목표 대상의 개수는 모두 복수 개이다.

도 4는 본 실시예에서 제공한 목표 추적 장치(1)의 구성의 구조 모식도 1이며, 실제 응용에서, 상기 실시예의 동일한 발명 개념에 기반하여, 도 4에 도시된 바와 같이, 본 실시예의 목표 추적 장치(1)는, 프로세서(14), 메모리(15), 및 통신 버스(16)를 포함한다. 상기 제1 결정 모듈(10), 상기 제2 결정 모듈(11), 상기 궤적 추적 모듈(12), 상기 서브 입력 모듈(120), 상기 제3 서브 결정 모듈(121), 서브 획득 모듈(122) 및 추가 모듈(13)은 프로세서(14)에 의해 구현된다.

구체적인 실시예의 과정에서, 상기 프로세서(14)는 주문형 집적 회로(ASIC, Application Specific Integrated Circuit), 디지털 신호 프로세서(DSP, Digital Signal Processor), 디지털 신호 처리 이미지 디스플레이 기기(DSPD, Digital Signal Processing Device), 프로그램 가능 논리 소자(PLD, Programmable Logic Device), 필드 프로그램 가능 게이트 어레이(FPGA, Field Programmable Gate Array), CPU, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 중의 적어도 하나일 수 있다. 이해할 수 있는 것은, 상이한 기기에 대해, 상기 프로세서 기능을 구현하기 위한 전자 소자는 다른 기기일 수 있으며, 본 실시예에서 특별히 한정하지 않는다.

본 발명의 실시예에서, 상기 통신 버스(16)는 프로세서(14) 및 메모리(15) 사이의 연결 통신을 구현하도록 구성되며; 상기 프로세서(14)는 상기 실시예의 방법을 구현하기 위해, 메모리(15)에 저장된 작동 프로그램을 실행하도록 구성된다.

본 실시예는 하나 또는 복수 개의 프로그램이 저장된, 목표 추적 장치에 적용되는 컴퓨터 판독 가능한 저장 매체를 제공하며, 상기 하나 또는 복수 개의 프로그램은 하나 또는 복수 개의 프로세서에 의해 실행되어, 목표 추적 장치에 적용될 수 있으며, 상기 프로그램이 프로세서에 의해 실행될 때 상기 실시예에 따른 방법을 구현한다.

본 실시예는 또한 컴퓨터 프로그램 제품을 제공하며, 상기 컴퓨터 프로그램 제품은 프로세서에 의해 실행될 때, 전술한 임의의 기술방안의 목표 추적 방법을 구현할 수 있다.

설명해야 할 것은, 본 발명에서, 용어 “포함” 또는 이의 임의의 다른 변형은 비배타적인 포함을 포함하도록 의도됨으로써, 일련의 요소를 포함하는 프로세스, 방법, 물품 또는 장치로 하여금 이러한 요소를 포함하도록 할 뿐만 아니라, 명시적으로 열거되지 않은 다른 요소를 포함하도록 할 수도 있으며, 또는 이러한 프로세스, 방법, 물품, 또는 장치에 고유한 요소를 포함하도록 한다. 더 많은 한정이 없는 경우, 어구 “하나의 ……을 포함하다”에 의해 정의된 요소는, 상기 요소를 포함하는 과정, 방법, 물품 또는 장치에 다른 동일한 요소가 존재한다는 것을 배제하지 않는다.

상기 실시형태의 설명을 통해, 당업자는 상기 실시예의 방법이 소프트웨어에 필요한 범용 하드웨어 플랫폼을 추가하는 방식으로 구현될 수 있으며, 물론 하드웨어를 통해서도 구현될 수 있으나, 많은 경우 전자는 더 바람직한 구현 방식이다. 이러한 이해에 기반하여, 본 발명의 기술방안은 본질적으로 또는 관련 기술에 기여하는 부분은 소프트웨어 제품의 형태로 구현될 수 있고, 상기 컴퓨터 소프트웨어 제품은 하나의 저장 매체(예컨대 ROM/RAM, 자기 디스크, 광 디스크)에 저장되고, 하나의 이미지 디스플레이 기기(휴대폰, 컴퓨터, 서버, 에어컨, 또는 네트워크 기기 등)가 본 발명의 각 실시예에 따른 방법을 실행하도록 하는 여러 명령어를 포함한다.

위의 설명은, 본 발명의 바람직한 실시예일 뿐이지, 본 발명의 보호범위를 한정하려는 것은 아니다.

Claims (27)

1. 목표 추적 방법으로서,
   현재 이미지 프레임에 인접한 이력 이미지 프레임에 따라, 제1 목표 대상에 대응하는 목표 위치 예측 정보 및 차단 대상에 대응하는 차단 대상 위치 예측 정보를 결정하는 단계 - 상기 차단 대상은 상기 제1 목표 대상에 가장 가까운 목표임 - ;
   상기 현재 이미지 프레임 이전의 이력 이미지 프레임 시퀀스에 따라, 상기 제1 목표 대상에 대응하는 이력 목표 외관 특징 시퀀스 및 차단 대상에 대응하는 이력 차단 대상 외관 특징 시퀀스를 결정하는 단계;
   상기 현재 이미지 프레임에 따라, 제2 목표 대상에 대응하는 현재 목표 위치 정보 및 제2 목표 대상에 대응하는 현재 목표 외관 특징을 결정하는 단계;
   상기 목표 위치 예측 정보, 상기 이력 목표 외관 특징 시퀀스, 상기 현재 목표 위치 정보 및 상기 현재 목표 외관 특징에 따라, 상기 제1 목표 대상 및 상기 제2 목표 대상 사이의 목표 유사도 정보를 결정하는 단계;
   상기 차단 대상 위치 예측 정보, 상기 이력 차단 대상 외관 특징 시퀀스, 상기 현재 목표 위치 정보 및 상기 현재 목표 외관 특징에 따라, 차단 대상 유사도 정보를 결정하는 단계; 및
   상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보에 따라, 상기 제1 목표 대상의 추적 궤적을 결정하는 단계를 포함하는 것을 특징으로 하는 목표 추적 방법.
2. 제1항에 있어서,
   상기 목표 위치 예측 정보, 상기 이력 목표 외관 특징 시퀀스, 상기 현재 목표 위치 정보 및 상기 현재 목표 외관 특징에 따라, 상기 제1 목표 대상 및 상기 제2 목표 대상 사이의 목표 유사도 정보를 결정하는 단계는,
   상기 목표 위치 예측 정보 및 상기 현재 목표 위치 정보에 따라, 상기 목표 위치 유사도를 결정하는 단계;
   상기 이력 목표 외관 특징 시퀀스 및 상기 현재 목표 외관 특징에 따라, 상기 목표 외관 유사도 시퀀스를 결정하는 단계; 및
   상기 목표 위치 유사도 및 상기 목표 외관 유사도 시퀀스를 상기 목표 유사도 정보로 결정하는 단계를 포함하는 것을 특징으로 하는 목표 추적 방법.
3. 제1항에 있어서,
   상기 차단 대상 위치 예측 정보, 상기 이력 차단 대상 외관 특징 시퀀스, 상기 현재 목표 위치 정보 및 상기 현재 목표 외관 특징에 따라, 차단 대상 유사도 정보를 결정하는 단계는,
   상기 차단 대상 위치 예측 정보 및 상기 현재 목표 위치 정보에 따라, 상기 차단 대상 위치 유사도를 결정하는 단계;
   상기 이력 차단 대상 외관 특징 시퀀스 및 상기 현재 목표 외관 특징에 따라, 상기 차단 대상 외관 유사도를 결정하는 단계; 및
   상기 차단 대상 위치 유사도 및 상기 차단 대상 외관 유사도를 상기 차단 대상 유사도 정보로 결정하는 단계를 포함하는 것을 특징으로 하는 목표 추적 방법.
4. 제1항에 있어서,
   상기 제1 목표 대상에 대응하는 목표 위치 예측 정보 및 차단 대상에 대응하는 차단 대상 위치 예측 정보를 결정하는 단계는,
   단일 목표 추적을 구현할 수 있는 뉴럴 네트워크를 이용하여, 상기 목표 위치 예측 정보 및 상기 차단 대상 위치 예측 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 목표 추적 방법.
5. 제1항에 있어서,
   상기 제1 목표 대상에 대응하는 이력 목표 외관 특징 시퀀스 및 차단 대상에 대응하는 이력 차단 대상 외관 특징 시퀀스를 결정하는 단계는,
   사람 재인식을 구현할 수 있는 뉴럴 네트워크를 이용하여, 상기 이력 목표 외관 특징 시퀀스 및 상기 이력 차단 대상 외관 특징 시퀀스를 결정하는 단계를 포함하는 것을 특징으로 하는 목표 추적 방법.
6. 제1항에 있어서,
   상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보에 따라, 상기 제1 목표 대상의 추적 궤적을 결정하는 단계는,
   상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보에 따라, 상기 제1 목표 대상 및 상기 제2 목표 대상 사이의 목표 궤적 연관 관계를 결정하는 단계; 및
   상기 목표 궤적 연관 관계를 이용하여, 상기 제2 목표 대상에서 상기 제1 목표 대상과 연관된 목표를 검색함으로써, 상기 제1 목표 대상의 추적 궤적을 결정하는 단계를 포함하는 것을 특징으로 하는 목표 추적 방법.
7. 제6항에 있어서,
   상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보에 따라, 상기 제1 목표 대상 및 상기 제2 목표 대상 사이의 목표 궤적 연관 관계를 결정하는 단계는,
   상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보를 기설정된 분류기에 입력하는 단계;
   상기 기설정된 분류기를 이용하여, 복수 개의 다중 궤적 연관 관계의 결책 점수를 결정하는 단계 - 상기 다중 궤적 연관 관계는 상기 제1 목표 대상 및 상기 제2 목표 대상 사이에 궤적 연관을 수행함으로써 얻어진 궤적 연관 관계임 - ; 및
   상기 목표 궤적 연관 관계로서 상기 다중 궤적 연관 관계로부터 가장 높은 결책 점수를 갖는 궤적 연관 관계를 결정하는 단계를 포함하는 것을 특징으로 하는 목표 추적 방법.
8. 제6항에 있어서,
   상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보에 따라, 상기 제1 목표 대상 및 상기 제2 목표 대상 사이의 목표 궤적 연관 관계를 결정한 후, 상기 목표 추적 방법은,
   상기 목표 궤적 연관 관계의 상기 제1 목표 대상에서 상기 제2 목표 대상과 연관되지 않는 제3 목표 대상을 결정할 경우, 상기 제3 목표 대상의 신뢰도 값에 따라, 상기 목표 위치 예측 정보를 획득하는 단계; 및
   상기 목표 궤적 연관 관계 및 상기 목표 위치 예측 정보를 이용하여, 상기 제1 목표 대상의 추적 궤적을 결정하는 단계를 더 포함하는 것을 특징으로 하는 목표 추적 방법.
9. 제6항에 있어서,
   상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보에 따라, 상기 제1 목표 대상 및 상기 제2 목표 대상 사이의 목표 궤적 연관 관계를 결정한 후, 상기 목표 추적 방법은,
   상기 목표 궤적 연관 관계의 상기 제2 목표 대상에서 상기 제1 목표 대상과 연관되지 않는 제4 목표 대상을 결정할 경우, 상기 제4 목표 대상을 다음 라운드의 연관 관계에 추가하는 단계 - 상기 다음 라운드의 연관 관계는 상기 현재 이미지 프레임을 이력 이미지 프레임으로 사용하여 생성된 연관 관계임 - 를 더 포함하는 것을 특징으로 하는 목표 추적 방법.
10. 제4항에 있어서,
    상기 목표 추적 방법은,
    상기 단일 목표 추적을 구현할 수 있는 뉴럴 네트워크를 이용하여, 상기 제1 목표 대상에 대응하는 신뢰도 값을 결정하는 단계를 더 포함하는 것을 특징으로 하는 목표 추적 방법.
11. 제8항에 있어서,
    상기 제3 목표 대상의 신뢰도 값에 따라, 상기 목표 위치 예측 정보를 획득하는 단계는,
    상기 제3 목표 대상의 신뢰도 값이 기설정된 신뢰도 값을 만족할 경우, 상기 목표 위치 예측 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 목표 추적 방법.
12. 제1항 내지 제11항 중 어느 한 항에 있어서,
    상기 제1 목표 대상의 개수 및 상기 제2 목표 대상의 개수는 모두 복수 개인 것을 특징으로 하는 목표 추적 방법.
13. 목표 추적 장치로서,
    현재 이미지 프레임에 인접한 이력 이미지 프레임에 따라, 제1 목표 대상에 대응하는 목표 위치 예측 정보 및 차단 대상에 대응하는 차단 대상 위치 예측 정보를 결정하고 - 상기 차단 대상은 상기 제1 목표 대상에 가장 가까운 목표임 - ; 상기 현재 이미지 프레임 이전의 이력 이미지 프레임 시퀀스에 따라, 상기 제1 목표 대상에 대응하는 이력 목표 외관 특징 시퀀스 및 차단 대상에 대응하는 이력 차단 대상 외관 특징 시퀀스를 결정하며; 상기 현재 이미지 프레임에 따라, 제2 목표 대상에 대응하는 현재 목표 위치 정보 및 제2 목표 대상에 대응하는 현재 목표 외관 특징을 결정하도록 구성된 제1 결정 모듈;
    상기 목표 위치 예측 정보, 상기 이력 목표 외관 특징 시퀀스, 상기 현재 목표 위치 정보 및 상기 현재 목표 외관 특징에 따라, 상기 제1 목표 대상 및 상기 제2 목표 대상 사이의 목표 유사도 정보를 결정하고; 상기 차단 대상 위치 예측 정보, 상기 이력 차단 대상 외관 특징 시퀀스, 상기 현재 목표 위치 정보 및 상기 현재 목표 외관 특징에 따라, 차단 대상 유사도 정보를 결정하도록 구성된 제2 결정 모듈; 및
    상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보에 따라, 상기 제1 목표 대상의 추적 궤적을 결정하도록 구성된 궤적 추적 모듈을 포함하는 것을 특징으로 하는 목표 추적 장치.
14. 목표 추적 장치로서,
    상기 목표 추적 장치는 프로세서, 메모리 및 통신 버스를 포함하며, 상기 프로세서는 상기 메모리에 저장된 작동 프로그램을 실행할 때 제1항 내지 제11항 중 어느 한 항에 따른 방법을 구현하는 것을 특징으로 하는 목표 추적 장치.
15. 컴퓨터 판독 가능한 저장 매체로서,
    컴퓨터 프로그램이 저장되고 목표 추적 장치에 적용되며, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때 제1항 내지 제11항 중 어느 한 항에 따른 방법을 구현하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.
16. 컴퓨터 프로그램으로서,
    컴퓨터 판독가능한 저장 매체에 저장되며, 상기 컴퓨터 프로그램은 프로세서에 의해 실행될 때, 제1항 내지 제11항 중 어느 한 항에 따른 방법을 구현하는 것을 특징으로 하는 컴퓨터 프로그램.
    
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제

Images