KR102444769B1 - 목표 추적 방법 및 장치, 저장 매체 - Google Patents
목표 추적 방법 및 장치, 저장 매체 Download PDFInfo
- Publication number
- KR102444769B1 KR102444769B1 KR1020207021162A KR20207021162A KR102444769B1 KR 102444769 B1 KR102444769 B1 KR 102444769B1 KR 1020207021162 A KR1020207021162 A KR 1020207021162A KR 20207021162 A KR20207021162 A KR 20207021162A KR 102444769 B1 KR102444769 B1 KR 102444769B1
- Authority
- KR
- South Korea
- Prior art keywords
- target
- blocking
- determining
- information
- current
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
본 실시예는 목표 추적 방법 및 장치, 저장 매체를 개시하고, 상기 목표 추적 방법은, 이력 이미지 프레임에 따라, 제1 목표 대상의 목표 위치 예측 정보 및 차단 대상의 차단 대상 위치 예측 정보를 결정하는 단계; 이력 이미지 프레임 시퀀스에 따라, 제1 목표 대상의 이력 목표 외관 특징 시퀀스 및 차단 대상의 이력 차단 대상 외관 특징 시퀀스를 결정하는 단계; 현재 이미지 프레임에 따라, 제2 목표 대상의 현재 목표 위치 정보 및 현재 목표 외관 특징을 결정하는 단계; 목표 위치 예측 정보, 이력 목표 외관 특징 시퀀스, 현재 목표 위치 정보 및 현재 목표 외관 특징에 따라, 목표 유사도 정보를 결정하는 단계; 차단 대상 위치 예측 정보, 이력 차단 대상 외관 특징 시퀀스, 현재 목표 위치 정보 및 현재 목표 외관 특징에 따라, 차단 대상 유사도 정보를 결정하는 단계; 및 목표 유사도 정보 및 차단 대상 유사도 정보에 따라, 제1 목표 대상의 추적 궤적을 결정하는 단계를 포함할 수 있다.
Description
관련 출원의 상호 참조
본 출원은 출원 번호가 201910045247.8이고, 출원일이 2019년 01월 17일인 중국 특허 출원에 기반하여 제출하였고, 상기 중국 특허 출원의 우선권을 주장하는 바, 상기 중국 특허 출원의 모든 내용은 참조로서 본 출원에 인용된다.
본 발명은 이미지 처리 분야에 관한 것이지만 이미지 처리 분야에 한정되지 않으며, 특히 목표 추적 방법 및 장치, 저장 매체에 관한 것이다.
다중 목표 추적(MOT, Multi-Object-Tracking)은 비디오 모니터링 시스템 및 자율 주행 자동차와 같은 비디오 분석 시스템에서의 하나의 중요한 구성 요소이다. 기존의 멀티 목표 추적 알고리즘은 주로 두 가지 유형으로 나누며, 하나는 다양한 기능을 직접 사용하여 궤적 관계를 직접 처리하는 것이고; 다른 하나는 단일 목표 추적을 먼저 수행한 다음, 궤적 연관 관계를 처리하는 것이지만, 상기 두 가지 유형의 추적 알고리즘은 모두 목표를 정확하게 추적할 수 없다.
본 실시예는 목표 추적 방법 및 장치, 저장 매체를 제공한다.
본 발명의 기술방안은 다음과 같이 구현된다.
본 실시예는 목표 추적 방법을 제공하며, 상기 목표 추적 방법은,
현재 이미지 프레임에 인접한 이력 이미지 프레임에 따라, 제1 목표 대상에 대응하는 목표 위치 예측 정보 및 차단 대상에 대응하는 차단 대상 위치 예측 정보를 결정하는 단계 - 상기 차단 대상은 상기 제1 목표 대상에 가장 가까운 목표임 - ;
상기 현재 이미지 프레임 이전의 이력 이미지 프레임 시퀀스에 따라, 상기 제1 목표 대상에 대응하는 이력 목표 외관 특징 시퀀스 및 차단 대상에 대응하는 이력 차단 대상 외관 특징 시퀀스를 결정하는 단계;
상기 현재 이미지 프레임에 따라, 제2 목표 대상에 대응하는 현재 목표 위치 정보 및 제2 목표 대상에 대응하는 현재 목표 외관 특징을 결정하는 단계;
상기 목표 위치 예측 정보, 상기 이력 목표 외관 특징 시퀀스, 상기 현재 목표 위치 정보 및 상기 현재 목표 외관 특징에 따라, 상기 제1 목표 대상 및 상기 제2 목표 대상 사이의 목표 유사도 정보를 결정하는 단계;
상기 차단 대상 위치 예측 정보, 상기 이력 차단 대상 외관 특징 시퀀스, 상기 현재 목표 위치 정보 및 상기 현재 목표 외관 특징에 따라, 차단 대상 유사도 정보를 결정하는 단계; 및
상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보에 따라, 상기 제1 목표 대상의 추적 궤적을 결정하는 단계를 포함한다.
상기 목표 추적 방법에서, 상기 목표 위치 예측 정보, 상기 이력 목표 외관 특징 시퀀스, 상기 현재 목표 위치 정보 및 상기 현재 목표 외관 특징에 따라, 상기 제1 목표 대상 및 상기 제2 목표 대상 사이의 목표 유사도 정보를 결정하는 단계는,
상기 목표 위치 예측 정보 및 상기 현재 목표 위치 정보에 따라, 상기 목표 위치 유사도를 결정하는 단계;
상기 이력 목표 외관 특징 시퀀스 및 상기 현재 목표 외관 특징에 따라, 상기 목표 외관 유사도 시퀀스를 결정하는 단계; 및
상기 목표 위치 유사도 및 상기 목표 외관 유사도 시퀀스를 상기 목표 유사도 정보로 결정하는 단계를 포함한다.
상기 목표 추적 방법에서, 상기 차단 대상 위치 예측 정보, 상기 이력 차단 대상 외관 특징 시퀀스, 상기 현재 목표 위치 정보 및 상기 현재 목표 외관 특징에 따라, 차단 대상 유사도 정보를 결정하는 단계는,
상기 차단 대상 위치 예측 정보 및 상기 현재 목표 위치 정보에 따라, 상기 차단 대상 위치 유사도를 결정하는 단계;
상기 이력 차단 대상 외관 특징 시퀀스 및 상기 현재 목표 외관 특징에 따라, 상기 차단 대상 외관 유사도를 결정하는 단계; 및
상기 차단 대상 위치 유사도 및 상기 차단 대상 외관 유사도를 상기 차단 대상 유사도 정보로 결정하는 단계를 포함한다.
상기 목표 추적 방법에서, 상기 제1 목표 대상에 대응하는 목표 위치 예측 정보 및 차단 대상에 대응하는 차단 대상 위치 예측 정보를 결정하는 단계는,
단일 목표 추적을 구현할 수 있는 뉴럴 네트워크를 이용하여, 상기 목표 위치 예측 정보 및 상기 차단 대상 위치 예측 정보를 결정하는 단계를 포함한다.
상기 목표 추적 방법에서, 상기 제1 목표 대상에 대응하는 이력 목표 외관 특징 시퀀스 및 차단 대상에 대응하는 이력 차단 대상 외관 특징 시퀀스를 결정하는 단계는,
사람 재인식을 구현할 수 있는 뉴럴 네트워크를 이용하여, 상기 이력 목표 외관 특징 시퀀스 및 상기 이력 차단 대상 외관 특징 시퀀스를 결정하는 단계를 포함한다.
상기 목표 추적 방법에서, 상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보에 따라, 상기 제1 목표 대상의 추적 궤적을 결정하는 단계는,
상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보에 따라, 상기 제1 목표 대상 및 상기 제2 목표 대상 사이의 목표 궤적 연관 관계를 결정하는 단계; 및
상기 목표 궤적 연관 관계를 이용하여, 상기 제2 목표 대상에서 상기 제1 목표 대상과 연관된 목표를 검색함으로써, 상기 제1 목표 대상의 추적 궤적을 결정하는 단계를 포함한다.
상기 목표 추적 방법에서, 상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보에 따라, 상기 제1 목표 대상 및 상기 제2 목표 대상 사이의 목표 궤적 연관 관계를 결정하는 단계는,
상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보를 기설정된 분류기에 입력하는 단계;
상기 기설정된 분류기를 이용하여, 복수 개의 다중 궤적 연관 관계의 결책 점수를 결정하는 단계 - 상기 다중 궤적 연관 관계는 상기 제1 목표 대상 및 상기 제2 목표 대상 사이에 궤적 연관을 수행함으로써 얻어진 궤적 연관 관계임 - ; 및
상기 목표 궤적 연관 관계로서 상기 다중 궤적 연관 관계로부터 가장 높은 결책 점수를 갖는 궤적 연관 관계를 결정하는 단계를 포함한다.
상기 목표 추적 방법에서, 상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보에 따라, 상기 제1 목표 대상 및 상기 제2 목표 대상 사이의 목표 궤적 연관 관계를 결정한 후, 상기 목표 추적 방법은,
상기 목표 궤적 연관 관계의 상기 제1 목표 대상에서 상기 제2 목표 대상과 연관되지 않는 제3 목표 대상을 결정할 경우, 상기 제3 목표 대상의 신뢰도 값에 따라, 상기 목표 위치 예측 정보를 획득하는 단계; 및
상기 목표 궤적 연관 관계 및 상기 목표 위치 예측 정보를 이용하여, 상기 제1 목표 대상의 추적 궤적을 결정하는 단계를 더 포함한다.
상기 목표 추적 방법에서, 상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보에 따라, 상기 제1 목표 대상 및 상기 제2 목표 대상 사이의 목표 궤적 연관 관계를 결정한 후, 상기 목표 추적 방법은,
상기 목표 궤적 연관 관계의 상기 제2 목표 대상에서 상기 제1 목표 대상과 연관되지 않는 제4 목표 대상을 결정할 경우, 상기 제4 목표 대상을 다음 라운드의 연관 관계에 추가하는 단계 - 상기 다음 라운드의 연관 관계는 상기 현재 이미지 프레임을 이력 이미지 프레임으로 사용하여 생성된 연관 관계임 - 를 더 포함한다.
상기 목표 추적 방법은,
상기 단일 목표 추적을 구현할 수 있는 뉴럴 네트워크를 이용하여, 상기 제1 목표 대상에 대응하는 신뢰도 값을 결정하는 단계를 더 포함한다.
상기 목표 추적 방법에서, 상기 제3 목표 대상의 신뢰도 값에 따라, 상기 목표 위치 예측 정보를 획득하는 단계는,
상기 제3 목표 대상의 신뢰도 값이 기설정된 신뢰도 값을 만족할 경우, 상기 목표 위치 예측 정보를 획득하는 단계를 포함한다.
상기 목표 추적 방법에서, 상기 제1 목표 대상의 개수 및 상기 제2 목표 대상의 개수는 모두 복수 개이다.
본 실시예는 목표 추적 장치를 제공하며, 상기 목표 추적 장치는,
현재 이미지 프레임에 인접한 이력 이미지 프레임에 따라, 제1 목표 대상에 대응하는 목표 위치 예측 정보 및 차단 대상에 대응하는 차단 대상 위치 예측 정보를 결정하고 - 상기 차단 대상은 상기 제1 목표 대상에 가장 가까운 목표임 - ; 상기 현재 이미지 프레임 이전의 이력 이미지 프레임 시퀀스에 따라, 상기 제1 목표 대상에 대응하는 이력 목표 외관 특징 시퀀스 및 차단 대상에 대응하는 이력 차단 대상 외관 특징 시퀀스를 결정하며; 상기 현재 이미지 프레임에 따라, 제2 목표 대상에 대응하는 현재 목표 위치 정보 및 제2 목표 대상에 대응하는 현재 목표 외관 특징을 결정하도록 구성된 제1 결정 모듈;
상기 목표 위치 예측 정보, 상기 이력 목표 외관 특징 시퀀스, 상기 현재 목표 위치 정보 및 상기 현재 목표 외관 특징에 따라, 상기 제1 목표 대상 및 상기 제2 목표 대상 사이의 목표 유사도 정보를 결정하고; 상기 차단 대상 위치 예측 정보, 상기 이력 차단 대상 외관 특징 시퀀스, 상기 현재 목표 위치 정보 및 상기 현재 목표 외관 특징에 따라, 차단 대상 유사도 정보를 결정하도록 구성된 제2 결정 모듈; 및
상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보에 따라, 상기 제1 목표 대상의 추적 궤적을 결정하도록 구성된 궤적 추적 모듈을 더 포함한다.
상기 목표 추적 장치에서, 상기 제1 결정 모듈은 또한, 상기 목표 위치 예측 정보 및 상기 현재 목표 위치 정보에 따라, 상기 목표 위치 유사도를 결정하고; 상기 이력 목표 외관 특징 시퀀스 및 상기 현재 목표 외관 특징에 따라, 상기 목표 외관 유사도 시퀀스를 결정하며; 상기 목표 위치 유사도 및 상기 목표 외관 유사도 시퀀스를 상기 목표 유사도 정보로 결정하도록 구성된다.
상기 목표 추적 장치에서, 상기 제1 결정 모듈은 또한, 상기 차단 대상 위치 예측 정보 및 상기 현재 목표 위치 정보에 따라, 상기 차단 대상 위치 유사도를 결정하고; 상기 이력 차단 대상 외관 특징 시퀀스 및 상기 현재 목표 외관 특징에 따라, 상기 차단 대상 외관 유사도를 결정하며; 상기 차단 대상 위치 유사도 및 상기 차단 대상 외관 유사도를 상기 차단 대상 유사도 정보로 결정하도록 구성된다.
상기 목표 추적 장치에서, 상기 제1 결정 모듈은 또한, 단일 목표 추적을 구현할 수 있는 뉴럴 네트워크를 이용하여, 상기 목표 위치 예측 정보 및 상기 차단 대상 위치 예측 정보를 결정하도록 구성된다.
상기 목표 추적 장치에서, 상기 제1 결정 모듈은 또한, 사람 재인식을 구현할 수 있는 뉴럴 네트워크를 이용하여, 상기 이력 목표 외관 특징 시퀀스 및 상기 이력 차단 대상 외관 특징 시퀀스를 결정하도록 구성된다.
상기 목표 추적 장치에서, 상기 궤적 추적 모듈은 또한, 상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보에 따라, 상기 제1 목표 대상 및 상기 제2 목표 대상 사이의 목표 궤적 연관 관계를 결정하고; 상기 목표 궤적 연관 관계를 이용하여, 상기 제2 목표 대상에서 상기 제1 목표 대상과 연관된 목표를 검색함으로써, 상기 제1 목표 대상의 추적 궤적을 결정하도록 구성된다.
상기 목표 추적 장치에서, 상기 궤적 추적 모듈은, 서브 입력 모듈 및 제3 서브 결정 모듈을 포함하며;
상기 서브 입력 모듈은, 상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보를 기설정된 분류기에 입력하도록 구성되고;
상기 제3 서브 결정 모듈은 또한, 상기 기설정된 분류기를 이용하여, 복수 개의 다중 궤적 연관 관계의 결책 점수를 결정하고 - 상기 다중 궤적 연관 관계는 상기 제1 목표 대상 및 상기 제2 목표 대상 사이에 궤적 연관을 수행함으로써 얻어진 궤적 연관 관계임 - ; 상기 목표 궤적 연관 관계로서 상기 다중 궤적 연관 관계로부터 가장 높은 결책 점수를 갖는 궤적 연관 관계를 결정하도록 구성된다.
상기 목표 추적 장치에서, 상기 궤적 추적 모듈은 서브 획득 모듈을 더 포함하며;
상기 서브 획득 모듈은 또한, 상기 목표 궤적 연관 관계의 상기 제1 목표 대상에서 상기 제2 목표 대상과 연관되지 않는 제3 목표 대상을 결정할 경우, 상기 제3 목표 대상의 신뢰도 값에 따라, 상기 목표 위치 예측 정보를 획득하도록 구성되고;
상기 제3 서브 결정 모듈은 또한, 상기 목표 궤적 연관 관계 및 상기 목표 위치 예측 정보를 이용하여, 상기 제1 목표 대상의 추적 궤적을 결정하도록 구성된다.
상기 목표 추적 장치는 추가 모듈을 더 포함하며;
상기 추가 모듈은 또한, 상기 목표 궤적 연관 관계의 상기 제2 목표 대상에서 상기 제1 목표 대상과 연관되지 않는 제4 목표 대상을 결정할 경우, 상기 제4 목표 대상을 다음 라운드의 연관 관계에 추가하도록 구성되고, 상기 다음 라운드의 연관 관계는 상기 현재 이미지 프레임을 이력 이미지 프레임으로 사용하여 생성된 연관 관계이다.
상기 목표 추적 장치에서, 상기 제2 결정 모듈은 또한, 상기 단일 목표 추적을 구현할 수 있는 뉴럴 네트워크를 이용하여, 상기 제1 목표 대상에 대응하는 신뢰도 값을 결정하도록 구성된다.
상기 목표 추적 장치에서, 상기 서브 획득 모듈은 또한, 상기 제3 목표 대상의 신뢰도 값이 기설정된 신뢰도 값을 만족할 경우, 상기 목표 위치 예측 정보를 획득하도록 구성된다.
상기 목표 추적 장치에서, 상기 제1 목표 대상의 개수 및 상기 제2 목표 대상의 개수는 모두 복수 개이다.
본 실시예는 목표 추적 장치를 제공하며, 상기 목표 추적 장치는, 프로세서, 메모리 및 통신 버스를 포함하고, 상기 프로세서는 상기 메모리에 저장된 작동 프로그램을 실행할 때 상기 어느 한 항에 따른 목표 추적 방법을 구현한다.
본 실시예는 목표 추적 장치에 적용되고 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 저장 매체를 제공하며, 상기 컴퓨터 프로그램은 프로세서에 의해 실행될 때 상기 어느 한 항에 따른 목표 추적 방법을 구현한다.
본 실시예는 또한 컴퓨터 프로그램 제품을 제공하며, 상기 컴퓨터 프로그램 제품은 프로세서에 의해 실행될 때, 전술한 목표 추적 방법을 구현할 수 있다.
본 실시예는 목표 추적 방법 및 장치, 저장 매체를 개시하고, 상기 목표 추적 방법은, 현재 이미지 프레임에 인접한 이력 이미지 프레임에 따라, 제1 목표 대상에 대응하는 목표 위치 예측 정보 및 차단 대상에 대응하는 차단 대상 위치 예측 정보를 결정하는 단계; 현재 이미지 프레임 이전의 이력 이미지 프레임 시퀀스에 따라, 제1 목표 대상에 대응하는 이력 목표 외관 특징 시퀀스 및 차단 대상에 대응하는 이력 차단 대상 외관 특징 시퀀스를 결정하는 단계; 현재 이미지 프레임에 따라, 제2 목표 대상에 대응하는 현재 목표 위치 정보 및 제2 목표 대상에 대응하는 현재 목표 외관 특징을 결정하는 단계; 목표 위치 예측 정보, 이력 목표 외관 특징 시퀀스, 현재 목표 위치 정보 및 현재 목표 외관 특징에 따라, 제1 목표 대상 및 제2 목표 대상 사이의 목표 유사도 정보를 결정하는 단계; 차단 대상 위치 예측 정보, 이력 차단 대상 외관 특징 시퀀스, 현재 목표 위치 정보 및 현재 목표 외관 특징에 따라, 차단 대상 유사도 정보를 결정하는 단계; 및 목표 유사도 정보 및 차단 대상 유사도 정보에 따라, 제1 목표 대상의 추적 궤적을 결정하는 단계를 포함할 수 있다. 상기 방법의 구현방안을 채택하면, 목표 추적 장치는, 현재 이미지 프레임에 인접한 이력 이미지 프레임에 따라, 차단 대상의 차단 대상 위치 예측 정보를 결정하고, 현재 이미지 프레임 이전의 이력 이미지 프레임 시퀀스에 따라, 차단 대상의 이력 차단 대상 외관 특징 시퀀스를 결정한 후, 차단 대상의 차단 대상 위치 예측 정보 및 이력 차단 대상 외관 특징 시퀀스를 융합하여, 이력 이미지 프레임에서의 제1 목표 대상의 추적 궤적을 결정함으로써, 목표 추적 시, 차단 대상의 차단 대상 위치 예측 정보 및 이력 차단 대상 외관 특징 시퀀스를 이용함으로 인한 목표 추적에 대한 차단 대상의 영향을 감소시켜, 목표 추적의 정확도를 향상시킨다.
본 명세서에 포함되고 본 명세서의 일부를 구성하는 도면은 본 발명과 일치하는 실시예를 도시하고, 본 명세서와 함께 본 발명의 기술방안을 설명하는데 사용된다.
도 1은 본 실시예에서 제공한 목표 추적 방법의 흐름도이다.
도 2는 본 실시예에서 제공한 예시적인 목표 추적 방법의 흐름 모식도이다.
도 3은 본 실시예에서 제공한 목표 추적 장치의 구조 모식도 1이다.
도 4는 본 실시예에서 제공한 목표 추적 장치의 구조 모식도 2이다.
도 1은 본 실시예에서 제공한 목표 추적 방법의 흐름도이다.
도 2는 본 실시예에서 제공한 예시적인 목표 추적 방법의 흐름 모식도이다.
도 3은 본 실시예에서 제공한 목표 추적 장치의 구조 모식도 1이다.
도 4는 본 실시예에서 제공한 목표 추적 장치의 구조 모식도 2이다.
이해해야 할 것은, 여기서 설명된 구체적인 실시예는 다만 본 발명을 해석하기 위해 사용되는 것이지 본 발명을 한정하려는 것은 아니다.
본 실시예는 목표 추적 방법을 개시하며, 도 1에 도시된 바와 같이, 상기 목표 추적 방법은 다양한 추적 기기에 적용될 수 있으며, 다음의 단계들을 포함할 수 있다.
단계 S101에 있어서, 현재 이미지 프레임에 인접한 이력 이미지 프레임에 따라, 제1 목표 대상에 대응하는 목표 위치 예측 정보 및 차단 대상에 대응하는 차단 대상 위치 예측 정보를 결정하며, 차단 대상은 제1 목표 대상에 가장 가까운 목표이다.
상기 추적 기기는 추적 단말 및 추적 서버 중 적어도 하나를 포함할 수 있다.
상기 추적 기기는 이미지 처리가 가능한 이미지 처리 기기를 포함할 수 있다. 예를 들어, 상기 이미지 처리 기기는 이미지 프레임 수집이 가능하고, 목표 추적을 위해 프로세서를 이용하여 이미지 프레임에 대해 처리를 수행하는 이미지 수집 모듈(예를 들어, 단안 또는 다안 카메라)을 포함할 수 있다. 다른 예를 들어, 상기 이미지 처리 기기는 자체적으로 이미지를 수집하지 않고 이미지 수집 기기로부터 이미지 프레임을 수신하며, 이미지 수집 기기로부터 수신된 이미지 프레임에 대해 이미지 처리를 수행함으로써, 목표 추적을 구현한다.
상기 추적 서버는 네트워크측에 위치할 수 있고, 이미지 수집 기기는 수집된 이미지 기기에서 상기 추적 서버로 업로드되고, 추적 서버는 이미지 프레임을 수신한 후 목표 추적을 수행한다.
상기 목표 추적 방법은 상이한 응용 시나리오에 적용될 수 있으며, 예를 들어, 상기 목표 추적 방법이 보안 분야에 적용될 때, 상기 추적 기기는 보안 기기일 수 있다. 공장, 상가 건물 또는 단지 입구에는 보통 다양한 보안 제어 기기가 설치되어, 공장 구역 또는 단지로 진입하는 인원 및 차량 중 적어도 하나를 모니터링할 경우, 상기 추적 기기는 수집된 비디오에 따라 비디오에 포함된 이미지 프레임을 분석함으로써, 인원 및 차량 중 적어도 하나의 추적을 구현한다.
상기 목표 추적 방법은 또한 도로 교통 분야에 적용될 수 있고, 도로의 양측에는 상기 이미지 프레임을 수집하기 위한 이미지 수집 기기가 설치되고, 추적 기기는 이러한 이미지 프레임을 획득한 후 이미지 분석을 수행하여, 목표 추적을 구현함으로써, 도로교통법을 위반한 사람 또는 차량을 추적한다.
일부 실시예에서, 상기 현재 이미지 프레임은 현재 시간에 처리되는 이미지 프레임이고; 상기 이력 이미지 프레임은 현재 이미지 프레임 이전에 수집된 이미지 프레임이다. 예를 들어, 현재 이미지 프레임이 제1 시각에 수집된 이미지 프레임이고, 상기 이력 이미지 프레임이 제2 시각에 수집된 이미지 프레임이라고 가정하면, 상기 제2 시각은 상기 제1 시각보다 빠르다.
본 실시예에서 제공한 목표 추적 방법은 비디오에서 복수 개의 목표를 추적하는 시나리오에 적용한다.
본 실시예에서, 상기 제1 목표 대상은 추적되는 목표이며, 예를 들어, 이력 이미지 프레임에서의 목표는 사람, 차량 등일 수 있으나, 구체적인 것은 실제 상황에 따라 선택되며, 본 실시예는 특별히 한정을 하지 않는다. 상기 제1 목표 대상은 추적되는 복수 개의 목표 중 하나일 수 있다.
본 실시예에서, 목표 추적 장치는 이력 이미지 프레임에서 제1 목표 대상 및 제1 목표 대상에 가장 가까운 차단 대상을 결정한 다음, 단일 목표 추적을 구현할 수 있는 뉴럴 네트워크를 이용하여, 제1 목표 대상의 목표 위치 예측 정보 및 차단 대상의 차단 대상 위치 예측 정보를 결정한다.
본 실시예에서, 단일 목표 추적을 구현할 수 있는 뉴럴 네트워크는 단일 목표 추적 알고리즘으로 구성된 네트워크를 이용할 수 있다.
본 실시예에서, 목표 추적 장치는 이력 이미지 프레임에서 제1 목표 대상을 포함하는 목표 외접 직사각형을 프레임화한 다음, 목표 추적 장치는 임의의 두 개의 목표 외접 직사각형의 교집합을 찾아서 얻어진 교차 면적을, 대응하는 2 개의 목표 외접 직사각형의 합집합을 찾아서 얻어진 유니온 면적으로 나눈 값이 가장 큰 하나의 추가적인 목표 대상을, 제1 목표 대상에 가장 가까운 차단 대상으로 결정한다.
본 실시예에서, 목표 추적 장치는 이력 이미지 프레임으로서 현재 이미지 프레임 이전의 일 프레임의 인접한 이미지를 획득하고, 단일 목표 추적 알고리즘을 이용하여, 현재 이미지 프레임에서의 제1 목표 대상의 목표 위치 예측 정보 및 현재 이미지 프레임에서의 차단 대상의 차단 대상 위치 예측 정보를 결정한다.
일부 실시예에서, 단일 목표 추적 알고리즘은 샴 지역 제안 네트워크(Siamese Region Proposal Network) 방법, 샴 완전 컨볼루션 네트워크(Siamese Fully Convolutional) 방법 등을 포함하며, 구체적인 것은 실제 상황에 따라 선택되며, 본 실시예에서 특별히 한정하지 않는다.
본 실시예에서, 위치 정보는 좌표 정보 또는 위도/경도 정보를 포함할 수 있으며, 구체적인 것은 실제 상황에 따라 선택되며, 본 실시예에서 특별히 한정하지 않는다.
단계 S102에 있어서, 현재 이미지 프레임 이전의 이력 이미지 프레임 시퀀스에 따라, 제1 목표 대상에 대응하는 이력 목표 외관 특징 시퀀스 및 차단 대상에 대응하는 이력 차단 대상 외관 특징 시퀀스를 결정한다.
본 실시예에서, 목표 추적 장치는 현재 이미지 프레임 이전의 이력 이미지 프레임 시퀀스에 따라, 제1 목표 대상 및 제1 목표 대상에 가장 가까운 차단 대상을 결정한 다음, 사람 재인식 알고리즘을 이용하여, 제1 목표 대상의 이력 목표 외관 특징 시퀀스 및 차단 대상의 이력 차단 대상 외관 특징 시퀀스를 결정한다.
본 실시예에서, 목표 추적 장치는 이력 이미지 프레임 시퀀스로서 현재 이미지 프레임 이전의 연속 다중 프레임 이미지를 획득하고, 사람 재인식을 구현할 수 있는 뉴럴 네트워크를 이용하여, 제1 목표 대상의 이력 목표 외관 특징 시퀀스 및 차단 대상의 이력 차단 대상 외관 특징 시퀀스를 결정한다.
본 실시예에서, 이력 목표 외관 특징 시퀀스에서의 특징 개수 및 이력 차단 대상 외관 특징 시퀀스에서의 특징 개수는, 이력 이미지 프레임 시퀀스의 프레임 수와 일대일로 대응하며, 구체적인 것은 실제 상황에 따라 선택되며, 본 실시예에서 특별히 한정하지 않는다.
본 실시예에서, 사람 재인식을 구현할 수 있는 뉴럴 네트워크는 사람 재인식 알고리즘으로 구성된 네트워크를 이용할 수 있다.
본 실시예에서, 사람 재인식 알고리즘은 Inception-v4 모델을 포함한다.
본 실시예에서, 제1 목표 대상의 개수는 복수 개이다.
설명해야 할 것은, 단계 S101 및 단계 S102는 단계 S103 이전의 두 개의 병렬된 단계이며, 단계 S101 및 단계 S102 사이에는 절대적인 타이밍 관계가 없으며, 구체적인 것은 실제 상황에 따라 선택되며, 본 실시예에서 양자의 실행 순서를 한정하지 않는다.
단계 S103에 있어서, 현재 이미지 프레임에 따라, 제2 목표 대상에 대응하는 현재 목표 위치 정보 및 제2 목표 대상에 대응하는 현재 목표 외관 특징을 결정한다.
목표 추적 장치가 제1 목표 대상에 대응하는 목표 위치 예측 정보 및 이력 목표 외관 특징 시퀀스, 및 차단 대상에 대응하는 차단 대상 위치 예측 정보 및 이력 차단 대상 외관 특징 시퀀스를 결정한 후, 목표 추적 장치는 현재 이미지 프레임에 따라, 제2 목표 대상에 대응하는 현재 목표 위치 정보 및 제2 목표 대상에 대응하는 현재 목표 외관 특징을 결정한다.
본 실시예에서, 목표 추적 장치는 현재 이미지 프레임에 따라, 제2 목표 대상 및 제2 목표 대상에 대응하는 현재 목표 위치 정보와 제2 목표 대상에 대응하는 현재 목표 외관 특징을 결정한다.
본 실시예에서, 제1 목표 대상 및 제2 목표 대상은 적어도 부분적으로 매칭되며, 즉 제1 목표 대상에서의 적어도 일부 목표는 제2 목표 대상에서의 적어도 일부 목표에 매칭된다.
본 실시예에서, 제2 목표 대상의 대상은 복수 개이다.
단계 S104에 있어서, 목표 위치 예측 정보, 이력 목표 외관 특징 시퀀스, 현재 목표 위치 정보 및 현재 목표 외관 특징에 따라, 제1 목표 대상 및 제2 목표 대상 사이의 목표 유사도 정보를 결정한다.
목표 추적 장치가 현재 이미지 프레임에서, 제2 목표 대상에 대응하는 현재 목표 위치 정보 및 제2 목표 대상에 대응하는 현재 목표 외관 특징을 결정한 후, 목표 추적 장치는 목표 위치 예측 정보, 이력 목표 외관 특징 시퀀스, 현재 목표 위치 정보 및 현재 목표 외관 특징에 따라, 제1 목표 대상 및 제2 목표 대상 사이의 목표 유사도 정보를 결정한다.
본 실시예에서, 목표 추적 장치는 목표 위치 예측 정보 및 현재 목표 위치 정보에 따라, 목표 위치 유사도를 결정하며; 목표 추적 장치는 이력 목표 외관 특징 시퀀스 및 현재 목표 외관 특징에 따라, 목표 외관 유사도 시퀀스를 결정 한 다음, 목표 추적 장치는 목표 위치 유사도 및 목표 외관 유사도 시퀀스를 제1 목표 대상 및 제2 목표 대상 사이의 목표 유사도 정보로 결정한다.
본 실시예에서, 목표 추적 장치는 목표 위치 예측 정보 및 현재 목표 위치 정보에 대해 유사도 계산을 수행하여, 목표 위치 유사도를 얻으며; 목표 추적 장치는 이력 목표 외관 특징 시퀀스 및 현재 목표 외관 특징에 대해 유사도 계산을 수행하여, 목표 외관 유사도 시퀀스를 얻는다.
단계 S105에 있어서, 차단 대상 위치 예측 정보, 이력 차단 대상 외관 특징 시퀀스, 현재 목표 위치 정보 및 현재 목표 외관 특징에 따라, 차단 대상 유사도 정보를 결정한다.
목표 추적 장치가 현재 이미지 프레임에서, 제2 목표 대상에 대응하는 현재 목표 위치 정보 및 제2 목표 대상에 대응하는 현재 목표 외관 특징을 결정한 후, 목표 추적 장치는 차단 대상 위치 예측 정보에 따라, 이력 차단 대상 외관 특징 시퀀스, 현재 목표 위치 정보 및 현재 목표 외관 특징, 차단 대상 유사도 정보를 결정한다.
본 실시예에서, 목표 추적 장치는 차단 대상 위치 예측 정보 및 현재 목표 위치 정보에 따라, 차단 대상 위치 유사도를 결정하며; 목표 추적 장치는 이력 차단 대상 외관 특징 시퀀스 및 현재 목표 외관 특징에 따라, 차단 대상 외관 유사도를 결정한 후, 목표 추적 장치는 차단 대상 위치 유사도 및 차단 대상 외관 유사도를 차단 대상 유사도 정보로 결정한다.
본 실시예에서, 목표 추적 장치는 차단 대상 위치 예측 정보 및 현재 목표 위치 정보에 대해 유사도 계산을 수행하여, 차단 대상 위치 유사도를 얻으며; 목표 추적 장치는 이력 차단 대상 외관 특징 시퀀스 및 현재 목표 외관 특징에 대해 유사도 계산을 수행하여, 차단 대상 외관 유사도를 얻는다.
본 실시예에서, 목표 위치 유사도는 목표 외접 직사각형의 교차 면적을 유니온 면적으로 나눈 값이고, 목표 외관 유사도 시퀀스는 외관 특징코사인 앵글이다.
설명해야 할 것은, 차단 대상 위치 유사도의 계산 과정과 목표 위치 유사도의 계산 과정은 동일하며, 차단 대상 외관 유사도 및 목표 외관 유사도 시퀀스의 계산 과정은 동일하고, 여기서 더이상 설명하지 않는다.
설명해야 할 것은, 단계 S104 및 단계 S105는 단계 S103 이후 및 단계 S106 이전의 두 개의 병렬된 단계이며, 단계 S104 및 단계 S105 사이에는 절대적인 타이밍 관계가 없으며, 구체적인 것은 실제 상황에 따라 선택되며, 본 실시예에서 양자의 실행 순서를 한정하지 않는다.
단계 S106에 있어서, 목표 유사도 정보 및 차단 대상 유사도 정보에 따라, 제1 목표 대상의 추적 궤적을 결정한다.
목표 추적 장치가 목표 유사도 정보 및 차단 대상 유사도 정보를 결정한 후, 목표 추적 장치는 목표 유사도 정보 및 차단 대상 유사도 정보에 따라, 제1 목표 대상의 추적 궤적을 결정한다.
본 실시예에서, 목표 추적 장치는 목표 유사도 정보 및 차단 대상 유사도 정보에 따라, 제1 목표 대상 및 제2 목표 대상 사이의 목표 궤적 연관 관계를 결정하며; 목표 추적 장치는 목표 궤적 연관 관계를 이용하여, 제2 목표 대상에서 제1 목표 대상과 연관된 목표를 검색하여, 제1 목표 대상의 추적 궤적을 결정한다.
본 실시예에서, 목표 추적 장치는 목표 유사도 정보 및 차단 대상 유사도 정보를 기설정된 분류기에 입력한 다음, 기설정된 분류기를 이용하여, 복수 개의 다중 궤적 연관 관계의 결책 점수를 결정하며, 여기서, 다중 궤적 연관 관계는 제1 목표 대상 및 제2 목표 대상 사이에 궤적 연관을 수행함으로써 얻어진 궤적 연관 관계이며; 목표 추적 장치는 목표 궤적 연관 관계로서 다중 궤적 연관 관계로부터 가장 높은 결책 점수를 갖는 궤적 연관 관계를 결정한다.
본 실시예에서, 기설정된 분류기는 다중 궤적 연관 관계에서 관련된 각 목표 사이의 결책 점수를 출력한 다음, 각 궤적 연관 관계에서의 결책 점수를 중첩하여, 상기 궤적 연관 관계에 대응하는 결책 점수를 얻으며, 이 경우, 복수 개의 다중 궤적 연관 관계의 결책 점수를 획득한다.
본 실시예에서, 목표 추적 장치는 기설정된 궤적 연관 알고리즘을 이용하여, 이력 이미지 프레임 중의 제1 목표 대상 및 현재 이미지 프레임 중의 제2 목표 대상에 대해 궤적 연관을 수행하여, 제1 목표 대상 및 제2 목표 대상 사이의 다중 궤적 연관 관계를 획득한다.
본 실시예에서, 분류기는 그라데이션 부스팅 의사결정 트리(Gradient Boosting Decision Tree) 모델을 사용한다.
본 실시예에서, 기설정된 궤적 연관 알고리즘은 이분 그래프의 최대 가중 매칭 알고리즘이며, 즉 최소 비용 최대 흐름 알고리즘이다.
일부 실시예에서, 목표 추적 장치는 목표 궤적 연관 관계를 결정한 후, 목표 추적 장치는 목표 궤적 연관 관계 중의 제1 목표 대상에서 제2 목표 대상과 연관된 목표를 결정하고, 목표 추적 장치가 목표 궤적 연관 관계 중의 제1 목표 대상에서 제2 목표 대상과 연관되지 않는 제3 목표 대상을 결정할 때, 목표 추적 장치는 제3 목표 대상의 신뢰도 값에 따라, 목표 위치 예측 정보를 획득한 후, 목표 추적 장치는 목표 궤적 연관 관계 및 목표 위치 예측 정보를 이용하여, 제1 목표 대상의 추적 궤적을 결정한다.
예시적으로, 목표 추적 장치가 제1 목표 대상에서 제2 목표 대상과 연관되지 않는 제3 목표 대상을 결정할 때, 목표 추적 장치는 이력 이미지 프레임 중의 제3 목표 대상이 현재 이미지 프레임에 나타나지 않는 것으로 판단한다. 이 경우, 목표 추적 장치가 제3 목표 대상이 현재 이미지 프레임에 나타나지 않는 것으로 결정하는 이유는, 제3 목표 대상의 신뢰도 값이 기설정된 신뢰도 임계값을 만족하지 않기 때문이다. 제3 목표 대상의 신뢰도 값이 기설정된 신뢰도 임계값을 만족할 때, 제3 목표 대상이 현재 이미지 프레임에서 차단 대상에 의해 차단되는 것으로 결정한다. 이 경우, 목표 추적 장치는 제3 목표 대상에 대응하는 목표 위치 예측 정보에 따라, 제3 목표 대상이 현재 이미지 프레임에서의 위치를 예측한다.
일부 실시예에서, 목표 추적 장치는 목표 궤적 연관 관계 중의 제2 목표 대상에서 제1 목표 대상과 연관된 목표를 결정하고, 목표 추적 장치가 목표 궤적 연관 관계 중의 제2 목표 대상에서 제1 목표 대상과 연관되지 않는 제4 목표 대상을 결정할 때, 목표 추적 장치는 제4 목표 대상을 다음 라운드의 연관 관계에 추가하며, 여기서, 다음 라운드의 연관 관계는 현재 이미지 프레임을 이력 이미지 프레임으로 사용하여 생성된 연관 관계이다.
예시적으로, 목표 추적 장치가 제2 목표 대상에서 제1 목표 대상과 연관되지 않는 제4 목표 대상을 결정할 때, 제4 목표 대상은 새로 추가된 목표 대상인 것으로 나타내며, 이 경우, 목표 추적 장치는 제4 목표 대상에 대해 목표 추적을 수행한다.
본 실시예에서, 목표 궤적 연관 관계에서, 제1 목표 대상 및 제2 목표 대상에서 매칭된 목표 대상은 투튜플(two-tuple)을 구성하고, 제1 목표 대상 및 제2 목표 대상에서 매칭되지 않은 목표 대상은 원튜플(one-tuple)을 구성하며, 제1 목표 대상과 연관되지 않는 제4 목표 대상으로서 목표 추적 장치는 원튜플로부터 제2 목표 대상에서의 목표 대상을 검색하며; 제2 목표 대상과 연관되지 않는 제3 목표 대상으로서 목표 추적 장치는 원튜플로부터 제1 목표 대상에서의 목표 대상을 검색한다.
본 실시예에서, 목표 추적 장치는 단일 목표 추적 알고리즘을 이용하여, 제1 목표 대상에 대응하는 신뢰도 값 및 목표 위치 예측 정보를 각각 계산한다.
본 실시예에서, 목표 추적 장치는 제3 목표 대상에 대응하는 신뢰도 값 및 기설정된 신뢰도 값을 비교하여, 제3 목표 대상에 대응하는 신뢰도 값이 기설정된 신뢰도 값을 만족할 경우, 목표 추적 장치는 목표 위치 예측 정보를 획득한다.
설명해야 할 것은, 본 실시예에서의 단일 목표 추적 알고리즘, 사람 재인식 알고리즘, 기설정된 분류기 및 기설정된 궤적 연관 알고리즘은 모두 대안적인 알고리즘이며, 구체적인 것은 실제 상황에 따라 선택되며, 본 실시예서 특별히 한정하지 않는다.
본 실시예에서, 목표 추적 장치는 목표 궤적 연관 관계로부터, 비디오에서의 상이한 목표 대상의 동작 궤적을 결정하여, 목표 대상을 추적한다.
예시적으로, 도 2에 도시된 바와 같이, 단기간 단서에서, Ex 템플릿을 단일 목표 추적 알고리즘(SOT, Single Object Tracking) 서브넷에 입력하여, 시간 t+1에서의 목표 위치 예측 정보 및 신뢰도(Score map)을 얻은 후, 검출된 시간 t+1에서의 현재 목표 위치 정보 에 대해 유사도 계산을 수행함으로써, 목표 위치 유사도 를 얻으며; 장기간 단서에서, 에 대응하는 현재 이미지 영역 It+1, 을 사람 재인식(ReID, Person Re-identification) 서브넷에 입력하여, 현재 목표 외관 특징 을 얻고, 이력 이미지 프레임에서의 현재 목표의 이력 이미지 영역 을 획득하며, 이력 이미지 영역을 ReID 서브넷에 입력하여, 이력 목표 외관 특징 시퀀스 를 얻은 다음, 현재 목표 외관 특징과 이력 목표 외관 특징 시퀀스사이의 유사도를 순차적으로 계산하여, 목표 외관 유사도 시퀀스 를 얻으며, 다음, 목표 위치 유사도 및 목표 외관 유사도를 시퀀스 입력 차단 대상에 민감한 분류기(SAC, Switcher-Aware Classifier)에 입력하여, 복수 개의 다중 궤적 연관 관계의 결책 점수를 얻은 다음, 목표 궤적 연관 관계로서 다중 궤적 연관 관계로부터 가장 높은 결책 점수를 갖는 궤적 연관 관계를 결정한다.
이해할 수 있는 것은, 목표 추적 장치는, 현재 이미지 프레임에 인접한 이력 이미지 프레임에 따라, 차단 대상의 차단 대상 위치 예측 정보를 결정하고, 현재 이미지 프레임 이전의 이력 이미지 프레임 시퀀스에 따라, 차단 대상의 이력 차단 대상 외관 특징 시퀀스를 결정한 후, 차단 대상의 차단 대상 위치 예측 정보 및 이력 차단 대상 외관 특징 시퀀스를 융합하여, 이력 이미지 프레임에서의 제1 목표 대상의 추적 궤적을 결정함으로써, 목표 추적 시, 차단 대상의 차단 대상 위치 예측 정보 및 이력 차단 대상 외관 특징 시퀀스를 이용함으로 인해, 목표 추적에 대한 차단 대상의 영향을 감소시켜, 목표 추적의 정확도를 향상시킨다.
본 실시예는 목표 추적 장치 1을 제공하며, 도 3에 도시된 바와 같이, 상기 목표 추적 장치는,
현재 이미지 프레임에 인접한 이력 이미지 프레임에 따라, 제1 목표 대상에 대응하는 목표 위치 예측 정보 및 차단 대상에 대응하는 차단 대상 위치 예측 정보를 결정하고 - 상기 차단 대상은 상기 제1 목표 대상에 가장 가까운 목표임 - ; 상기 현재 이미지 프레임 이전의 이력 이미지 프레임 시퀀스에 따라, 상기 제1 목표 대상에 대응하는 이력 목표 외관 특징 시퀀스 및 차단 대상에 대응하는 이력 차단 대상 외관 특징 시퀀스를 결정하며; 상기 현재 이미지 프레임에 따라, 제2 목표 대상에 대응하는 현재 목표 위치 정보 및 제2 목표 대상에 대응하는 현재 목표 외관 특징을 결정하도록 구성된 제1 결정 모듈(10);
상기 목표 위치 예측 정보, 상기 이력 목표 외관 특징 시퀀스, 상기 현재 목표 위치 정보 및 상기 현재 목표 외관 특징에 따라, 상기 제1 목표 대상 및 상기 제2 목표 대상 사이의 목표 유사도 정보를 결정하고; 상기 차단 대상 위치 예측 정보, 상기 이력 차단 대상 외관 특징 시퀀스, 상기 현재 목표 위치 정보 및 상기 현재 목표 외관 특징에 따라, 차단 대상 유사도 정보를 결정하도록 구성된 제2 결정 모듈(11); 및
상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보에 따라, 상기 제1 목표 대상의 추적 궤적을 결정하도록 구성된 궤적 추적 모듈(12)을 포함할 수 있다.
일부 실시예에서, 상기 제1 결정 모듈(10)은 또한, 상기 목표 위치 예측 정보 및 상기 현재 목표 위치 정보에 따라, 상기 목표 위치 유사도를 결정하고; 상기 이력 목표 외관 특징 시퀀스 및 상기 현재 목표 외관 특징에 따라, 상기 목표 외관 유사도 시퀀스를 결정하며; 상기 목표 위치 유사도 및 상기 목표 외관 유사도 시퀀스를 상기 목표 유사도 정보로 결정하도록 구성된다.
일부 실시예에서, 상기 제1 결정 모듈(10)은 또한, 상기 차단 대상 위치 예측 정보 및 상기 현재 목표 위치 정보에 따라, 상기 차단 대상 위치 유사도를 결정하고; 상기 이력 차단 대상 외관 특징 시퀀스 및 상기 현재 목표 외관 특징에 따라, 상기 차단 대상 외관 유사도를 결정하며; 상기 차단 대상 위치 유사도 및 상기 차단 대상 외관 유사도를 상기 차단 대상 유사도 정보로 결정하도록 구성된다.
일부 실시예에서, 상기 제1 결정 모듈(10)은 또한, 단일 목표 추적을 구현할 수 있는 뉴럴 네트워크를 이용하여, 상기 목표 위치 예측 정보 및 상기 차단 대상 위치 예측 정보를 결정하도록 구성된다.
일부 실시예에서, 상기 제1 결정 모듈(10)은 또한, 사람 재인식을 구현할 수 있는 뉴럴 네트워크를 이용하여, 상기 이력 목표 외관 특징 시퀀스 및 상기 이력 차단 대상 외관 특징 시퀀스를 결정하도록 구성된다.
일부 실시예에서, 상기 궤적 추적 모듈(12)은 또한, 상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보에 따라, 상기 제1 목표 대상 및 상기 제2 목표 대상 사이의 목표 궤적 연관 관계를 결정하고; 상기 목표 궤적 연관 관계를 이용하여, 상기 제2 목표 대상에서 상기 제1 목표 대상과 연관된 목표를 검색함으로써, 상기 제1 목표 대상의 추적 궤적을 결정하도록 구성된다.
일부 실시예에서, 상기 궤적 추적 모듈(12)은, 서브 입력 모듈(120) 및 제3 서브 결정 모듈(121)을 포함하며;
상기 서브 입력 모듈(120)은, 상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보를 기설정된 분류기에 입력하도록 구성되고;
상기 제3 서브 결정 모듈(121)은 또한, 상기 기설정된 분류기를 이용하여, 복수 개의 다중 궤적 연관 관계의 결책 점수를 결정하고 - 상기 다중 궤적 연관 관계는 상기 제1 목표 대상 및 상기 제2 목표 대상 사이에 궤적 연관을 수행함으로써 얻어진 궤적 연관 관계임 - ; 상기 목표 궤적 연관 관계로서 상기 다중 궤적 연관 관계로부터 가장 높은 결책 점수를 갖는 궤적 연관 관계를 결정하도록 구성된다.
일부 실시예에서, 상기 궤적 추적 모듈(12)은 서브 획득 모듈(122)을 더 포함하며;
상기 서브 획득 모듈(122)은 또한, 상기 목표 궤적 연관 관계의 상기 제1 목표 대상에서 상기 제2 목표 대상과 연관되지 않는 제3 목표 대상을 결정할 경우, 상기 제3 목표 대상의 신뢰도 값에 따라, 상기 목표 위치 예측 정보를 획득하도록 구성되고;
상기 제3 서브 결정 모듈(121)은 또한, 상기 목표 궤적 연관 관계 및 상기 목표 위치 예측 정보를 이용하여, 상기 제1 목표 대상의 추적 궤적을 결정하도록 구성된다.
일부 실시예에서, 상기 목표 추적 장치는 추가 모듈(13)을 더 포함하며;
상기 추가 모듈(13)은 또한, 상기 목표 궤적 연관 관계의 상기 제2 목표 대상에서 상기 제1 목표 대상과 연관되지 않는 제4 목표 대상을 결정할 경우, 상기 제4 목표 대상을 다음 라운드의 연관 관계에 추가하도록 구성되고, 상기 다음 라운드의 연관 관계는 상기 현재 이미지 프레임을 이력 이미지 프레임으로 사용하여 생성된 연관 관계이다.
일부 실시예에서, 상기 제2 결정 모듈(11)은, 상기 단일 목표 추적을 구현할 수 있는 뉴럴 네트워크를 이용하여, 상기 제1 목표 대상에 대응하는 신뢰도 값을 결정하도록 구성된다.
일부 실시예에서, 상기 서브 획득 모듈(122)은 또한, 상기 제3 목표 대상의 신뢰도 값이 기설정된 신뢰도 값을 만족할 경우, 상기 목표 위치 예측 정보를 획득하도록 구성된다.
일부 실시예에서, 상기 제1 목표 대상의 개수 및 상기 제2 목표 대상의 개수는 모두 복수 개이다.
도 4는 본 실시예에서 제공한 목표 추적 장치(1)의 구성의 구조 모식도 1이며, 실제 응용에서, 상기 실시예의 동일한 발명 개념에 기반하여, 도 4에 도시된 바와 같이, 본 실시예의 목표 추적 장치(1)는, 프로세서(14), 메모리(15), 및 통신 버스(16)를 포함한다. 상기 제1 결정 모듈(10), 상기 제2 결정 모듈(11), 상기 궤적 추적 모듈(12), 상기 서브 입력 모듈(120), 상기 제3 서브 결정 모듈(121), 서브 획득 모듈(122) 및 추가 모듈(13)은 프로세서(14)에 의해 구현된다.
구체적인 실시예의 과정에서, 상기 프로세서(14)는 주문형 집적 회로(ASIC, Application Specific Integrated Circuit), 디지털 신호 프로세서(DSP, Digital Signal Processor), 디지털 신호 처리 이미지 디스플레이 기기(DSPD, Digital Signal Processing Device), 프로그램 가능 논리 소자(PLD, Programmable Logic Device), 필드 프로그램 가능 게이트 어레이(FPGA, Field Programmable Gate Array), CPU, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 중의 적어도 하나일 수 있다. 이해할 수 있는 것은, 상이한 기기에 대해, 상기 프로세서 기능을 구현하기 위한 전자 소자는 다른 기기일 수 있으며, 본 실시예에서 특별히 한정하지 않는다.
본 발명의 실시예에서, 상기 통신 버스(16)는 프로세서(14) 및 메모리(15) 사이의 연결 통신을 구현하도록 구성되며; 상기 프로세서(14)는 상기 실시예의 방법을 구현하기 위해, 메모리(15)에 저장된 작동 프로그램을 실행하도록 구성된다.
본 실시예는 하나 또는 복수 개의 프로그램이 저장된, 목표 추적 장치에 적용되는 컴퓨터 판독 가능한 저장 매체를 제공하며, 상기 하나 또는 복수 개의 프로그램은 하나 또는 복수 개의 프로세서에 의해 실행되어, 목표 추적 장치에 적용될 수 있으며, 상기 프로그램이 프로세서에 의해 실행될 때 상기 실시예에 따른 방법을 구현한다.
본 실시예는 또한 컴퓨터 프로그램 제품을 제공하며, 상기 컴퓨터 프로그램 제품은 프로세서에 의해 실행될 때, 전술한 임의의 기술방안의 목표 추적 방법을 구현할 수 있다.
설명해야 할 것은, 본 발명에서, 용어 “포함” 또는 이의 임의의 다른 변형은 비배타적인 포함을 포함하도록 의도됨으로써, 일련의 요소를 포함하는 프로세스, 방법, 물품 또는 장치로 하여금 이러한 요소를 포함하도록 할 뿐만 아니라, 명시적으로 열거되지 않은 다른 요소를 포함하도록 할 수도 있으며, 또는 이러한 프로세스, 방법, 물품, 또는 장치에 고유한 요소를 포함하도록 한다. 더 많은 한정이 없는 경우, 어구 “하나의 ……을 포함하다”에 의해 정의된 요소는, 상기 요소를 포함하는 과정, 방법, 물품 또는 장치에 다른 동일한 요소가 존재한다는 것을 배제하지 않는다.
상기 실시형태의 설명을 통해, 당업자는 상기 실시예의 방법이 소프트웨어에 필요한 범용 하드웨어 플랫폼을 추가하는 방식으로 구현될 수 있으며, 물론 하드웨어를 통해서도 구현될 수 있으나, 많은 경우 전자는 더 바람직한 구현 방식이다. 이러한 이해에 기반하여, 본 발명의 기술방안은 본질적으로 또는 관련 기술에 기여하는 부분은 소프트웨어 제품의 형태로 구현될 수 있고, 상기 컴퓨터 소프트웨어 제품은 하나의 저장 매체(예컨대 ROM/RAM, 자기 디스크, 광 디스크)에 저장되고, 하나의 이미지 디스플레이 기기(휴대폰, 컴퓨터, 서버, 에어컨, 또는 네트워크 기기 등)가 본 발명의 각 실시예에 따른 방법을 실행하도록 하는 여러 명령어를 포함한다.
위의 설명은, 본 발명의 바람직한 실시예일 뿐이지, 본 발명의 보호범위를 한정하려는 것은 아니다.
Claims (27)
- 목표 추적 방법으로서,
현재 이미지 프레임에 인접한 이력 이미지 프레임에 따라, 제1 목표 대상에 대응하는 목표 위치 예측 정보 및 차단 대상에 대응하는 차단 대상 위치 예측 정보를 결정하는 단계 - 상기 차단 대상은 상기 제1 목표 대상에 가장 가까운 목표임 - ;
상기 현재 이미지 프레임 이전의 이력 이미지 프레임 시퀀스에 따라, 상기 제1 목표 대상에 대응하는 이력 목표 외관 특징 시퀀스 및 차단 대상에 대응하는 이력 차단 대상 외관 특징 시퀀스를 결정하는 단계;
상기 현재 이미지 프레임에 따라, 제2 목표 대상에 대응하는 현재 목표 위치 정보 및 제2 목표 대상에 대응하는 현재 목표 외관 특징을 결정하는 단계;
상기 목표 위치 예측 정보, 상기 이력 목표 외관 특징 시퀀스, 상기 현재 목표 위치 정보 및 상기 현재 목표 외관 특징에 따라, 상기 제1 목표 대상 및 상기 제2 목표 대상 사이의 목표 유사도 정보를 결정하는 단계;
상기 차단 대상 위치 예측 정보, 상기 이력 차단 대상 외관 특징 시퀀스, 상기 현재 목표 위치 정보 및 상기 현재 목표 외관 특징에 따라, 차단 대상 유사도 정보를 결정하는 단계; 및
상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보에 따라, 상기 제1 목표 대상의 추적 궤적을 결정하는 단계를 포함하는 것을 특징으로 하는 목표 추적 방법. - 제1항에 있어서,
상기 목표 위치 예측 정보, 상기 이력 목표 외관 특징 시퀀스, 상기 현재 목표 위치 정보 및 상기 현재 목표 외관 특징에 따라, 상기 제1 목표 대상 및 상기 제2 목표 대상 사이의 목표 유사도 정보를 결정하는 단계는,
상기 목표 위치 예측 정보 및 상기 현재 목표 위치 정보에 따라, 상기 목표 위치 유사도를 결정하는 단계;
상기 이력 목표 외관 특징 시퀀스 및 상기 현재 목표 외관 특징에 따라, 상기 목표 외관 유사도 시퀀스를 결정하는 단계; 및
상기 목표 위치 유사도 및 상기 목표 외관 유사도 시퀀스를 상기 목표 유사도 정보로 결정하는 단계를 포함하는 것을 특징으로 하는 목표 추적 방법. - 제1항에 있어서,
상기 차단 대상 위치 예측 정보, 상기 이력 차단 대상 외관 특징 시퀀스, 상기 현재 목표 위치 정보 및 상기 현재 목표 외관 특징에 따라, 차단 대상 유사도 정보를 결정하는 단계는,
상기 차단 대상 위치 예측 정보 및 상기 현재 목표 위치 정보에 따라, 상기 차단 대상 위치 유사도를 결정하는 단계;
상기 이력 차단 대상 외관 특징 시퀀스 및 상기 현재 목표 외관 특징에 따라, 상기 차단 대상 외관 유사도를 결정하는 단계; 및
상기 차단 대상 위치 유사도 및 상기 차단 대상 외관 유사도를 상기 차단 대상 유사도 정보로 결정하는 단계를 포함하는 것을 특징으로 하는 목표 추적 방법. - 제1항에 있어서,
상기 제1 목표 대상에 대응하는 목표 위치 예측 정보 및 차단 대상에 대응하는 차단 대상 위치 예측 정보를 결정하는 단계는,
단일 목표 추적을 구현할 수 있는 뉴럴 네트워크를 이용하여, 상기 목표 위치 예측 정보 및 상기 차단 대상 위치 예측 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 목표 추적 방법. - 제1항에 있어서,
상기 제1 목표 대상에 대응하는 이력 목표 외관 특징 시퀀스 및 차단 대상에 대응하는 이력 차단 대상 외관 특징 시퀀스를 결정하는 단계는,
사람 재인식을 구현할 수 있는 뉴럴 네트워크를 이용하여, 상기 이력 목표 외관 특징 시퀀스 및 상기 이력 차단 대상 외관 특징 시퀀스를 결정하는 단계를 포함하는 것을 특징으로 하는 목표 추적 방법. - 제1항에 있어서,
상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보에 따라, 상기 제1 목표 대상의 추적 궤적을 결정하는 단계는,
상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보에 따라, 상기 제1 목표 대상 및 상기 제2 목표 대상 사이의 목표 궤적 연관 관계를 결정하는 단계; 및
상기 목표 궤적 연관 관계를 이용하여, 상기 제2 목표 대상에서 상기 제1 목표 대상과 연관된 목표를 검색함으로써, 상기 제1 목표 대상의 추적 궤적을 결정하는 단계를 포함하는 것을 특징으로 하는 목표 추적 방법. - 제6항에 있어서,
상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보에 따라, 상기 제1 목표 대상 및 상기 제2 목표 대상 사이의 목표 궤적 연관 관계를 결정하는 단계는,
상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보를 기설정된 분류기에 입력하는 단계;
상기 기설정된 분류기를 이용하여, 복수 개의 다중 궤적 연관 관계의 결책 점수를 결정하는 단계 - 상기 다중 궤적 연관 관계는 상기 제1 목표 대상 및 상기 제2 목표 대상 사이에 궤적 연관을 수행함으로써 얻어진 궤적 연관 관계임 - ; 및
상기 목표 궤적 연관 관계로서 상기 다중 궤적 연관 관계로부터 가장 높은 결책 점수를 갖는 궤적 연관 관계를 결정하는 단계를 포함하는 것을 특징으로 하는 목표 추적 방법. - 제6항에 있어서,
상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보에 따라, 상기 제1 목표 대상 및 상기 제2 목표 대상 사이의 목표 궤적 연관 관계를 결정한 후, 상기 목표 추적 방법은,
상기 목표 궤적 연관 관계의 상기 제1 목표 대상에서 상기 제2 목표 대상과 연관되지 않는 제3 목표 대상을 결정할 경우, 상기 제3 목표 대상의 신뢰도 값에 따라, 상기 목표 위치 예측 정보를 획득하는 단계; 및
상기 목표 궤적 연관 관계 및 상기 목표 위치 예측 정보를 이용하여, 상기 제1 목표 대상의 추적 궤적을 결정하는 단계를 더 포함하는 것을 특징으로 하는 목표 추적 방법. - 제6항에 있어서,
상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보에 따라, 상기 제1 목표 대상 및 상기 제2 목표 대상 사이의 목표 궤적 연관 관계를 결정한 후, 상기 목표 추적 방법은,
상기 목표 궤적 연관 관계의 상기 제2 목표 대상에서 상기 제1 목표 대상과 연관되지 않는 제4 목표 대상을 결정할 경우, 상기 제4 목표 대상을 다음 라운드의 연관 관계에 추가하는 단계 - 상기 다음 라운드의 연관 관계는 상기 현재 이미지 프레임을 이력 이미지 프레임으로 사용하여 생성된 연관 관계임 - 를 더 포함하는 것을 특징으로 하는 목표 추적 방법. - 제4항에 있어서,
상기 목표 추적 방법은,
상기 단일 목표 추적을 구현할 수 있는 뉴럴 네트워크를 이용하여, 상기 제1 목표 대상에 대응하는 신뢰도 값을 결정하는 단계를 더 포함하는 것을 특징으로 하는 목표 추적 방법. - 제8항에 있어서,
상기 제3 목표 대상의 신뢰도 값에 따라, 상기 목표 위치 예측 정보를 획득하는 단계는,
상기 제3 목표 대상의 신뢰도 값이 기설정된 신뢰도 값을 만족할 경우, 상기 목표 위치 예측 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 목표 추적 방법. - 제1항 내지 제11항 중 어느 한 항에 있어서,
상기 제1 목표 대상의 개수 및 상기 제2 목표 대상의 개수는 모두 복수 개인 것을 특징으로 하는 목표 추적 방법. - 목표 추적 장치로서,
현재 이미지 프레임에 인접한 이력 이미지 프레임에 따라, 제1 목표 대상에 대응하는 목표 위치 예측 정보 및 차단 대상에 대응하는 차단 대상 위치 예측 정보를 결정하고 - 상기 차단 대상은 상기 제1 목표 대상에 가장 가까운 목표임 - ; 상기 현재 이미지 프레임 이전의 이력 이미지 프레임 시퀀스에 따라, 상기 제1 목표 대상에 대응하는 이력 목표 외관 특징 시퀀스 및 차단 대상에 대응하는 이력 차단 대상 외관 특징 시퀀스를 결정하며; 상기 현재 이미지 프레임에 따라, 제2 목표 대상에 대응하는 현재 목표 위치 정보 및 제2 목표 대상에 대응하는 현재 목표 외관 특징을 결정하도록 구성된 제1 결정 모듈;
상기 목표 위치 예측 정보, 상기 이력 목표 외관 특징 시퀀스, 상기 현재 목표 위치 정보 및 상기 현재 목표 외관 특징에 따라, 상기 제1 목표 대상 및 상기 제2 목표 대상 사이의 목표 유사도 정보를 결정하고; 상기 차단 대상 위치 예측 정보, 상기 이력 차단 대상 외관 특징 시퀀스, 상기 현재 목표 위치 정보 및 상기 현재 목표 외관 특징에 따라, 차단 대상 유사도 정보를 결정하도록 구성된 제2 결정 모듈; 및
상기 목표 유사도 정보 및 상기 차단 대상 유사도 정보에 따라, 상기 제1 목표 대상의 추적 궤적을 결정하도록 구성된 궤적 추적 모듈을 포함하는 것을 특징으로 하는 목표 추적 장치. - 목표 추적 장치로서,
상기 목표 추적 장치는 프로세서, 메모리 및 통신 버스를 포함하며, 상기 프로세서는 상기 메모리에 저장된 작동 프로그램을 실행할 때 제1항 내지 제11항 중 어느 한 항에 따른 방법을 구현하는 것을 특징으로 하는 목표 추적 장치. - 컴퓨터 판독 가능한 저장 매체로서,
컴퓨터 프로그램이 저장되고 목표 추적 장치에 적용되며, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때 제1항 내지 제11항 중 어느 한 항에 따른 방법을 구현하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체. - 컴퓨터 프로그램으로서,
컴퓨터 판독가능한 저장 매체에 저장되며, 상기 컴퓨터 프로그램은 프로세서에 의해 실행될 때, 제1항 내지 제11항 중 어느 한 항에 따른 방법을 구현하는 것을 특징으로 하는 컴퓨터 프로그램.
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910045247.8A CN109816701B (zh) | 2019-01-17 | 2019-01-17 | 一种目标跟踪方法及装置、存储介质 |
CN201910045247.8 | 2019-01-17 | ||
PCT/CN2019/111038 WO2020147348A1 (zh) | 2019-01-17 | 2019-10-14 | 一种目标跟踪方法及装置、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200100792A KR20200100792A (ko) | 2020-08-26 |
KR102444769B1 true KR102444769B1 (ko) | 2022-09-19 |
Family
ID=66604404
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020207021162A KR102444769B1 (ko) | 2019-01-17 | 2019-10-14 | 목표 추적 방법 및 장치, 저장 매체 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20200364882A1 (ko) |
JP (1) | JP6944598B2 (ko) |
KR (1) | KR102444769B1 (ko) |
CN (1) | CN109816701B (ko) |
SG (1) | SG11202007604XA (ko) |
TW (1) | TWI715320B (ko) |
WO (1) | WO2020147348A1 (ko) |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109816701B (zh) * | 2019-01-17 | 2021-07-27 | 北京市商汤科技开发有限公司 | 一种目标跟踪方法及装置、存储介质 |
CN110197502B (zh) * | 2019-06-06 | 2021-01-22 | 山东工商学院 | 一种基于身份再识别的多目标跟踪方法及*** |
US11679764B2 (en) * | 2019-06-28 | 2023-06-20 | Baidu Usa Llc | Method for autonomously driving a vehicle based on moving trails of obstacles surrounding the vehicle |
CN110414443A (zh) * | 2019-07-31 | 2019-11-05 | 苏州市科远软件技术开发有限公司 | 一种目标跟踪方法、装置及枪球联动跟踪方法 |
CN110647818A (zh) * | 2019-08-27 | 2020-01-03 | 北京易华录信息技术股份有限公司 | 一种遮挡目标物体的识别方法及装置 |
CN110517293A (zh) * | 2019-08-29 | 2019-11-29 | 京东方科技集团股份有限公司 | 目标跟踪方法、装置、***和计算机可读存储介质 |
CN110533685B (zh) | 2019-08-30 | 2023-10-24 | 腾讯科技(深圳)有限公司 | 对象跟踪方法和装置、存储介质及电子装置 |
CN110751205A (zh) * | 2019-10-17 | 2020-02-04 | 北京百度网讯科技有限公司 | 物体关联方法、装置、设备和介质 |
US11043003B2 (en) | 2019-11-18 | 2021-06-22 | Waymo Llc | Interacted object detection neural network |
KR102311798B1 (ko) * | 2019-12-12 | 2021-10-08 | 포항공과대학교 산학협력단 | 다중 객체 추적 방법 및 장치 |
CN111402293B (zh) * | 2020-03-10 | 2023-11-14 | 北京邮电大学 | 面向智能交通的一种车辆跟踪方法及装置 |
CN112084914B (zh) * | 2020-08-31 | 2024-04-26 | 的卢技术有限公司 | 一种融合空间运动和表观特征学习的多目标跟踪方法 |
CN112288775B (zh) * | 2020-10-23 | 2022-04-15 | 武汉大学 | 一种基于长短期预测模型的多目标遮挡跟踪方法 |
CN112507949A (zh) * | 2020-12-18 | 2021-03-16 | 北京百度网讯科技有限公司 | 目标跟踪方法、装置、路侧设备以及云控平台 |
CN112528932B (zh) * | 2020-12-22 | 2023-12-08 | 阿波罗智联(北京)科技有限公司 | 用于优化位置信息的方法、装置、路侧设备和云控平台 |
KR102405955B1 (ko) * | 2020-12-29 | 2022-06-08 | 현대위아 주식회사 | 다수의 모바일 로봇 경로 분석 시스템 및 방법 |
CN112734802B (zh) * | 2020-12-31 | 2024-02-09 | 杭州海康威视***技术有限公司 | 一种轨迹获取方法及装置 |
CN112837349A (zh) * | 2021-02-09 | 2021-05-25 | 普联技术有限公司 | 一种目标跟踪方法、设备及计算机可读存储介质 |
TWI758162B (zh) * | 2021-04-15 | 2022-03-11 | 和碩聯合科技股份有限公司 | 生物形體的追蹤系統及方法 |
CN113420697B (zh) * | 2021-07-01 | 2022-12-09 | 中科人工智能创新技术研究院(青岛)有限公司 | 基于表观和形状特征的换装视频行人重识别方法及*** |
CN113674317B (zh) * | 2021-08-10 | 2024-04-26 | 深圳市捷顺科技实业股份有限公司 | 一种高位视频的车辆跟踪方法及装置 |
CN113808162B (zh) * | 2021-08-26 | 2024-01-23 | 中国人民解放军军事科学院军事医学研究院 | 目标跟踪方法、装置、电子设备及存储介质 |
CN113793031B (zh) * | 2021-09-15 | 2023-09-29 | 中海油安全技术服务有限公司 | 海底管线风险预测方法及装置 |
CN113870312B (zh) * | 2021-09-30 | 2023-09-22 | 四川大学 | 基于孪生网络的单目标跟踪方法 |
CN115035158B (zh) * | 2022-06-05 | 2023-11-17 | 东北石油大学 | 目标跟踪的方法及装置、电子设备和存储介质 |
CN115641359B (zh) * | 2022-10-17 | 2023-10-31 | 北京百度网讯科技有限公司 | 确定对象的运动轨迹的方法、装置、电子设备和介质 |
CN117409044B (zh) * | 2023-12-14 | 2024-06-14 | 深圳卡思科电子有限公司 | 一种基于机器学习的智能对象动态跟随方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016162075A (ja) | 2015-02-27 | 2016-09-05 | Kddi株式会社 | オブジェクト追跡方法、装置およびプログラム |
JP2017156886A (ja) | 2016-02-29 | 2017-09-07 | Kddi株式会社 | 画像間類似度を考慮して物体を追跡する装置、プログラム及び方法 |
CN107346538A (zh) | 2016-05-06 | 2017-11-14 | 株式会社理光 | 对象跟踪方法及设备 |
US20180114072A1 (en) | 2016-10-25 | 2018-04-26 | Vmaxx, Inc. | Vision Based Target Tracking Using Tracklets |
KR101866338B1 (ko) | 2017-01-23 | 2018-06-11 | 광주과학기술원 | 상대적 외형 특징 및 모션 패턴을 통한 다중 객체 추적 방법 및 이에 관한 컴퓨터 판독가능 저장 매체 |
CN108986138A (zh) | 2018-05-24 | 2018-12-11 | 北京飞搜科技有限公司 | 目标跟踪方法及设备 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006097681A1 (en) * | 2005-03-17 | 2006-09-21 | British Telecommunications Public Limited Company | Method of tracking objects in a video sequence |
GB2452512B (en) * | 2007-09-05 | 2012-02-29 | Sony Corp | Apparatus and method of object tracking |
US8374388B2 (en) * | 2007-12-28 | 2013-02-12 | Rustam Stolkin | Real-time tracking of non-rigid objects in image sequences for which the background may be changing |
US20110115909A1 (en) * | 2009-11-13 | 2011-05-19 | Sternberg Stanley R | Method for tracking an object through an environment across multiple cameras |
US8600106B1 (en) * | 2010-08-31 | 2013-12-03 | Adobe Systems Incorporated | Method and apparatus for tracking objects within a video frame sequence |
JP2015198592A (ja) * | 2014-04-07 | 2015-11-12 | コニカミノルタ株式会社 | 細胞配列チップおよび細胞の配列方法 |
US9390328B2 (en) * | 2014-04-25 | 2016-07-12 | Xerox Corporation | Static occlusion handling using directional pixel replication in regularized motion environments |
CN105631896B (zh) * | 2015-12-18 | 2018-03-02 | 武汉大学 | 一种基于混合分类器决策的压缩感知跟踪方法 |
CN105678808A (zh) * | 2016-01-08 | 2016-06-15 | 浙江宇视科技有限公司 | 运动目标跟踪方法及装置 |
JP6504711B2 (ja) * | 2016-03-29 | 2019-04-24 | Kddi株式会社 | 画像処理装置 |
JP6465068B2 (ja) * | 2016-04-28 | 2019-02-06 | 株式会社村田製作所 | コイル部品 |
JP6439757B2 (ja) * | 2016-07-08 | 2018-12-19 | オムロン株式会社 | 画像処理装置および画像処理方法 |
CN106355604B (zh) * | 2016-08-22 | 2019-10-18 | 杭州保新科技有限公司 | 图像目标跟踪方法与*** |
CN106846373B (zh) * | 2016-11-16 | 2019-07-05 | 浙江工业大学 | 一种融合目标外观模型和博弈论的视频目标互遮挡处理方法 |
CN106845385A (zh) * | 2017-01-17 | 2017-06-13 | 腾讯科技(上海)有限公司 | 视频目标跟踪的方法和装置 |
US10373369B2 (en) * | 2017-03-16 | 2019-08-06 | Qualcomm Technologies, Inc. | Three-dimensional pose estimation of symmetrical objects |
CN108875465B (zh) * | 2017-05-26 | 2020-12-11 | 北京旷视科技有限公司 | 多目标跟踪方法、多目标跟踪装置以及非易失性存储介质 |
CN108470353A (zh) * | 2018-03-01 | 2018-08-31 | 腾讯科技(深圳)有限公司 | 一种目标跟踪方法、装置和存储介质 |
US10977827B2 (en) * | 2018-03-27 | 2021-04-13 | J. William Mauchly | Multiview estimation of 6D pose |
CN108573496B (zh) * | 2018-03-29 | 2020-08-11 | 淮阴工学院 | 基于lstm网络和深度增强学习的多目标跟踪方法 |
US11749124B2 (en) * | 2018-06-12 | 2023-09-05 | Skydio, Inc. | User interaction with an autonomous unmanned aerial vehicle |
CN109145781B (zh) * | 2018-08-03 | 2021-05-04 | 北京字节跳动网络技术有限公司 | 用于处理图像的方法和装置 |
CN109816701B (zh) * | 2019-01-17 | 2021-07-27 | 北京市商汤科技开发有限公司 | 一种目标跟踪方法及装置、存储介质 |
US11948312B2 (en) * | 2019-04-17 | 2024-04-02 | Nec Corporation | Object detection/tracking device, method, and program recording medium |
-
2019
- 2019-01-17 CN CN201910045247.8A patent/CN109816701B/zh active Active
- 2019-10-14 WO PCT/CN2019/111038 patent/WO2020147348A1/zh active Application Filing
- 2019-10-14 JP JP2020533117A patent/JP6944598B2/ja active Active
- 2019-10-14 SG SG11202007604XA patent/SG11202007604XA/en unknown
- 2019-10-14 KR KR1020207021162A patent/KR102444769B1/ko active IP Right Grant
- 2019-11-29 TW TW108143794A patent/TWI715320B/zh active
-
2020
- 2020-08-06 US US16/986,740 patent/US20200364882A1/en not_active Abandoned
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016162075A (ja) | 2015-02-27 | 2016-09-05 | Kddi株式会社 | オブジェクト追跡方法、装置およびプログラム |
JP2017156886A (ja) | 2016-02-29 | 2017-09-07 | Kddi株式会社 | 画像間類似度を考慮して物体を追跡する装置、プログラム及び方法 |
CN107346538A (zh) | 2016-05-06 | 2017-11-14 | 株式会社理光 | 对象跟踪方法及设备 |
US20180114072A1 (en) | 2016-10-25 | 2018-04-26 | Vmaxx, Inc. | Vision Based Target Tracking Using Tracklets |
KR101866338B1 (ko) | 2017-01-23 | 2018-06-11 | 광주과학기술원 | 상대적 외형 특징 및 모션 패턴을 통한 다중 객체 추적 방법 및 이에 관한 컴퓨터 판독가능 저장 매체 |
CN108986138A (zh) | 2018-05-24 | 2018-12-11 | 北京飞搜科技有限公司 | 目标跟踪方法及设备 |
Also Published As
Publication number | Publication date |
---|---|
WO2020147348A1 (zh) | 2020-07-23 |
CN109816701B (zh) | 2021-07-27 |
CN109816701A (zh) | 2019-05-28 |
TWI715320B (zh) | 2021-01-01 |
JP2021514498A (ja) | 2021-06-10 |
SG11202007604XA (en) | 2020-09-29 |
US20200364882A1 (en) | 2020-11-19 |
TW202029129A (zh) | 2020-08-01 |
JP6944598B2 (ja) | 2021-10-06 |
KR20200100792A (ko) | 2020-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102444769B1 (ko) | 목표 추적 방법 및 장치, 저장 매체 | |
CN111369590A (zh) | 多目标跟踪方法、装置、存储介质及电子设备 | |
CN106952303B (zh) | 车距检测方法、装置和*** | |
US20190057314A1 (en) | Joint processing for embedded data inference | |
US8995714B2 (en) | Information creation device for estimating object position and information creation method and program for estimating object position | |
CN111798487B (zh) | 目标跟踪方法、装置和计算机可读存储介质 | |
US11328518B2 (en) | Method and apparatus for outputting information | |
WO2011151999A1 (ja) | 動線検出システム、動線検出方法および動線検出プログラム | |
CN110414399B (zh) | 信号灯的检测方法、装置及智能驾驶设备 | |
CN110866428B (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
CN111275737A (zh) | 一种目标跟踪方法、装置、设备及存储介质 | |
CN114218992A (zh) | 异常对象的检测方法及相关装置 | |
KR102494953B1 (ko) | 딥러닝 기반 온-디바이스 실시간 교통제어 시스템 | |
CN113763425A (zh) | 道路区域标定方法及电子设备 | |
KR102218255B1 (ko) | 갱신 영역 학습을 통한 인공지능 기반의 영상 분석 시스템 및 방법과, 이를 위한 컴퓨터 프로그램 | |
CN113014876A (zh) | 视频监控方法、装置、电子设备及可读存储介质 | |
CN113160272A (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
CN111652907A (zh) | 一种基于数据关联的多目标跟踪方法、装置及电子设备 | |
CN115908498A (zh) | 一种基于类别最优匹配的多目标跟踪方法及装置 | |
CN110781730A (zh) | 智能驾驶感知方法及感知装置 | |
CN115019242A (zh) | 一种交通场景的异常事件检测方法、装置和处理设备 | |
JP6973509B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
Li et al. | Presight: Enabling real-time detection of accessibility problems on sidewalks | |
CN112634487B (zh) | 用于输出信息的方法和装置 | |
CN117710454A (zh) | 障碍物识别方法、装置、存储介质及机器人 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |