KR20200084467A - 회전 가능한 타원형 모델을 이용한 딥러닝 기반의 영상 내 객체 추적 장치 및 방법 - Google Patents
회전 가능한 타원형 모델을 이용한 딥러닝 기반의 영상 내 객체 추적 장치 및 방법 Download PDFInfo
- Publication number
- KR20200084467A KR20200084467A KR1020180170829A KR20180170829A KR20200084467A KR 20200084467 A KR20200084467 A KR 20200084467A KR 1020180170829 A KR1020180170829 A KR 1020180170829A KR 20180170829 A KR20180170829 A KR 20180170829A KR 20200084467 A KR20200084467 A KR 20200084467A
- Authority
- KR
- South Korea
- Prior art keywords
- frame image
- model
- current frame
- elliptical model
- tracking
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
회전 가능한 타원형 모델을 이용한 심층학습 기반의 영상 내 객체 추적 장치는 이전 프레임 영상으로부터 추적 대상 객체에 대응하는 타원형 모델을 정의하는 모델 정의부, 상기 이전 프레임 영상과 현재 프레임 영상의 특성을 입력으로 하는 인공신경망을 통해 상기 현재 프레임 영상에서 상기 추적 대상 객체에 대응하는 타원형 모델을 예측하는 모델 예측부 및 상기 예측된 현재 프레임 영상의 타원형 모델에 기초하여 상기 현재 프레임 영상에서 상기 추적 대상 객체를 추적하는 객체 추적부를 포함할 수 있다.
Description
본원은 회전 가능한 타원형 모델을 이용한 딥러닝 기반의 영상 내 객체 추적 장치 및 방법에 관한 것이다.
컨볼루션 신경망(Convolutional Neural Network; CNN)은 인공신경망 기술의 하나로, 영상 분석 분야에 다양하게 도입되어 높은 분석 성능 달성에 핵심적인 역할을 한다.
종래의 인공신경망을 이용한 객체 추적에는 영상 내 객체에 사각형의 모델을 부여하여 객체를 추적하였으나, 모델이 사각형인 특성으로 인해 객체 주변의 배경이 모델에 포함되어 불필요한 연산이 요구되거나 객체의 이동, 형상 변형 등에 적응적으로 객체 추적을 위한 모델의 특성이 변하지 못하는 문제점이 있다. 따라서, 객체의 형상 또는 크기에 따라 적응적으로 최적화될 수 있는 추적 모델의 개발이 요구된다.
본원의 배경이 되는 기술은 한국공개특허공보 제10-2017-0137350호에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 추적 대상 객체의 이동 및 형상 변형에 최적화 될 수 있는 회전 가능한 타원형 모델을 이용한 딥러닝 기반의 영상 내 객체 추적 장치 및 방법을 제공하는 것을 목적으로 한다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 객체 추적을 위한 예측 모델과 실제 객체와의 차이를 최소화할 수 있는 타원형 모델을 이용한 딥러닝 기반의 영상 내 객체 추적 장치 및 방법을 제공하는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들도 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 타원형 모델을 이용한 딥러닝 기반의 영상 내 객체 추적 방법은, (a) 이전 프레임 영상으로부터 추적 대상 객체에 대응하는 타원형 모델을 정의하는 단계, (b) 상기 이전 프레임 영상과 현재 프레임 영상의 특성을 입력으로 하는 인공신경망을 통해 상기 현재 프레임 영상에서 상기 추적 대상 객체에 대응하는 타원형 모델을 예측하는 단계 및 (c) 상기 예측된 현재 프레임 영상의 타원형 모델에 기초하여 상기 현재 프레임 영상에서 상기 추적 대상 객체를 추적하는 단계를 포함할 수 있다.
본원의 일 실시예에 따르면, 상기 (a) 단계는, 상기 이전 프레임 영상에서 추적 대상 객체 영역을 크롭(crop)하고, 상기 추적 대상 객체 영역에서 상기 타원형 모델을 정의하고, 상기 타원형 모델은 벡터에 기반한 복수의 특징 도메인을 포함하되, 상기 특징 도메인은, 타원의 중심점, 장축, 단축, 및 사잇각을 포함할 수 있다.
본원의 일 실시예에 따르면, 상기 (b) 단계는, 상기 예측된 현재 프레임 영상의 타원형 모델과 실제 추적 대상 객체의 타원형 모델의 차이에 따른 손실 함수를 고려하여 상기 현재 프레임 영상의 타원형 모델을 예측할 수 있다.
본원의 일 실시예에 따르면, 상기 손실 함수에 포함되는 가중치는, 타원형 모델의 특징 도메인의 변화량에 기초하여 특징 도메인 별로 결정될 수 있다.
본원의 일 실시예에 따르면, 상기 (b) 단계는, 상기 인공신경망을 통해 상기 이전 프레임 영상과 상기 현재 프레임 영상 각각의 특징맵을 산출하고, 상기 인공신경망은, 상기 각각의 특징맵을 완전 연결 레이어 처리하여 상기 추적 대상 객체의 모션 차이를 학습하여 상기 추적 대상 객체에 대응하는 타원형 모델을 예측할 수 있다.
본원의 일 실시예에 따른 회전 가능한 타원형 모델을 이용한 심층학습 기반의 영상 내 객체 추적 장치는, 이전 프레임 영상으로부터 추적 대상 객체에 대응하는 타원형 모델을 정의하는 모델 정의부, 상기 이전 프레임 영상과 현재 프레임 영상의 특성을 입력으로 하는 인공신경망을 통해 상기 현재 프레임 영상에서 상기 추적 대상 객체에 대응하는 타원형 모델을 예측하는 모델 예측부 및 상기 예측된 현재 프레임 영상의 타원형 모델에 기초하여 상기 현재 프레임 영상에서 상기 추적 대상 객체를 추적하는 객체 추적부를 포함할 수 있다.
본원의 일 실시예에 따르면, 상기 모델 정의부는, 상기 이전 프레임 영상에서 추적 대상 객체 영역을 크롭(crop)하고, 상기 추적 대상 객체 영역에서 상기 타원형 모델을 정의하고, 상기 타원형 모델은 벡터에 기반한 복수의 특징 도메인을 포함하되, 상기 특징 도메인은, 타원의 중심점, 장축, 단축, 및 사잇각을 포함할 수 있다.
본원의 일 실시예에 따르면, 상기 모델 예측부는, 상기 예측된 현재 프레임 영상의 타원형 모델과 실제 추적 대상 객체의 타원형 모델의 차이에 따른 손실 함수를 고려하여 상기 현재 프레임 영상의 타원형 모델을 예측할 수 있다.
본원의 일 실시예에 따르면, 상기 손실 함수에 포함되는 가중치는, 타원형 모델의 특징 도메인의 변화량에 기초하여 특징 도메인 별로 결정될 수 있다.
본원의 일 실시예에 따르면, 상기 모델 예측부는, 상기 인공신경망을 통해 상기 이전 프레임 영상과 상기 현재 프레임 영상 각각의 특징맵을 산출하고, 상기 인공신경망은, 상기 각각의 특징맵을 완전 연결 레이어 처리하여 상기 추적 대상 객체의 모션 차이를 학습하여 상기 추적 대상 객체에 대응하는 타원형 모델을 예측할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 추적 대상 객체에 최적화 될 수 있는 회전 가능한 타원형 모델을 이용한 딥러닝 기반의 영상 내 객체 추적 장치 및 방법을 제공할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 객체 추적을 위한 예측 모델과 실제 객체와의 차이를 최소화할 수 있는 타원형 모델을 이용한 딥러닝 기반의 영상 내 객체 추적 장치 및 방법을 제공할 수 있다.
도 1은 본원의 일 실시예에 따른 회전 가능한 타원형 모델을 이용한 심층학습 기반의 영상 내 객체 추적 장치의 구성을 도시한 도면이다.
도 2는 본원의 일 실시예에 따른 회전 가능한 타원형 모델을 이용한 심층학습 기반의 영상 내 객체 추적 장치의 회전 가능한 타원형 모델의 예를 도시한 도면이다.
도 3은 본원의 일 실시예에 따른 회전 가능한 타원형 모델을 이용한 심층학습 기반의 영상 내 객체 추적 장치의 현재 프레임 영상에서 타원형 모델을 예측하기 위한 흐름을 도시한 도면이다.
도 4는 본원의 일 실시예에 따른 회전 가능한 타원형 모델을 이용한 심층학습 기반의 영상 내 객체 추적 장치의 손실 함수를 고려한 타원형 모델의 예측의 예를 도시한 도면이다.
도 5는 본원의 일 실시예에 따른 회전 가능한 타원형 모델을 이용한 심층학습 기반의 영상 내 객체 추적 장치의 가중치를 고려한 예측된 타원형 모델의 특징 도메인의 예를 도시한 도면이다.
도 6은 본원의 일 실시예에 따른 회전 가능한 타원형 모델을 이용한 심층학습 기반의 영상 내 객체 추적 장치의 예측된 타원형 모델을 통한 현재 프레임 영상의 객체 추적을 도시한 도면이다.
도 2는 본원의 일 실시예에 따른 회전 가능한 타원형 모델을 이용한 심층학습 기반의 영상 내 객체 추적 장치의 회전 가능한 타원형 모델의 예를 도시한 도면이다.
도 3은 본원의 일 실시예에 따른 회전 가능한 타원형 모델을 이용한 심층학습 기반의 영상 내 객체 추적 장치의 현재 프레임 영상에서 타원형 모델을 예측하기 위한 흐름을 도시한 도면이다.
도 4는 본원의 일 실시예에 따른 회전 가능한 타원형 모델을 이용한 심층학습 기반의 영상 내 객체 추적 장치의 손실 함수를 고려한 타원형 모델의 예측의 예를 도시한 도면이다.
도 5는 본원의 일 실시예에 따른 회전 가능한 타원형 모델을 이용한 심층학습 기반의 영상 내 객체 추적 장치의 가중치를 고려한 예측된 타원형 모델의 특징 도메인의 예를 도시한 도면이다.
도 6은 본원의 일 실시예에 따른 회전 가능한 타원형 모델을 이용한 심층학습 기반의 영상 내 객체 추적 장치의 예측된 타원형 모델을 통한 현재 프레임 영상의 객체 추적을 도시한 도면이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본원의 일 실시예에 따른 회전 가능한 타원형 모델을 이용한 심층학습 기반의 영상 내 객체 추적 장치의 구성을 도시한 도면이다.
도 1을 참조하면, 심층학습 기반의 영상 내 객체 추적 장치(100)는 모델 정의부(110), 모델 예측부(120) 및 객체 추적부(130)를 포함할 수 있다.
모델 정의부(110)는 이전 프레임 영상으로부터 추적 대상 객체에 대응하는 타원형 모델을 정의할 수 있다. 이전 프레임 영상은 시계열적인 영상의 각 프레임 중 현재 프레임(k)의 바로 이전의 프레임(k-1)을 의미한다. 모델 정의부(110)는 이전 프레임 영상에서 추적 대상 객체 영역을 크롭(crop)하고, 추적 대상 객체 영역에서 타원형 모델을 정의할 수 있다. 추적 대상 객체 영역의 크롭은 후술하는 도 3을 통해 살펴보기로 한다.
도 2는 본원의 일 실시예에 따른 회전 가능한 타원형 모델을 이용한 심층학습 기반의 영상 내 객체 추적 장치의 회전 가능한 타원형 모델의 예를 도시한 도면이다.
도 2를 참조하면, 회전 가능한 타원형 모델은 벡터에 기반한 복수의 특징 도메인을 포함할 수 있다. 예시적으로, 특징 도메인은 타원의 중심점(cx, cy), 장축(a)(cx+x1, cy+y1) 위치값, 단축(b)(cx+x2, cx+y2) 위치값 및 사잇각(φ)을 포함할 수 있다. 상기 회전 가능한 타원형 모델은 추적 대상 객체의 형태에 따라 회전할 수 있다. 뿐만 아니라, 추적 대상 객체의 형태에 따라 장축과 단축의 길이가 적응적으로 변화될 수 있어 추적 대상 객체를 용이하게 추적하기 위한 최적의 형태로 변화될 수 있다.
도 3은 본원의 일 실시예에 따른 회전 가능한 타원형 모델을 이용한 심층학습 기반의 영상 내 객체 추적 장치의 현재 프레임 영상에서 타원형 모델을 예측하기 위한 흐름을 도시한 도면이다.
도 3을 참조하면, 모델 정의부(110)는 이전 프레임 영상(k-1)에서 크롭된 추적 대상 객체 영역에서 타원형 모델(10)을 정의할 수 있다. 예시적으로, 추적 대상 객체는 사용자에 의해 선택될 수 있다. 상기 크롭은 추적 대상 객체의 중심 위치를 기준으로 소정의 영역으로 설정될 수 있으며, 크롭의 결과가 Laplace 랜덤 변수와 같은 분포를 가지도록 수행될 수 있으므로 구체적인 설명은 생략한다. 또한, 모델 정의부(110)는 이전 프레임 영상에서 크롭된 추적 대상 객체 영역과 대응하는 현재 프레임 영상의 일 영역을 크롭할 수 있다. 구체적으로, 이전 프레임 영상의 크롭된 영역의 위치에 기반하여 현재 프레임 영상에서 동일한 영역을 크롭할 수 있다. 현재 프레임 영상에서 크롭된 영역은 현재 프레임 영상에서 객체를 추적하기 위한 후보 영역으로 활용될 수 있다.
모델 예측부(120)는, 이전 프레임 영상과 현재 프레임 영상의 특성을 입력으로 하는 인공신경망을 통해 현재 프레임 영상에서 추적 대상 객체에 대응하는 타원형 모델을 예측할 수 있다. 구체적으로, 이전 프레임 영상의 특성은 타원형 모델의 특성값을 포함하는 크롭된 영역의 추적 대상 객체의 특징을 포함하고, 상기 현재 프레임 영상의 특성은 현재 프레임 영상에서 크롭된 영역을 포함한다. 상기 인공신경망은 컨볼루션 신경망(Convolution Neural Network)일 수 있다. 컨볼루션 신경망은 입력 데이터의 지역적 특성(예를 들어, 추적 대상 객체의 특징)을 추출하는 복수의 컨볼루션 레이어(Convolutional Layer)와 추출된 특성들을 분석하는 완전 연결 레이어(Fully-Connected Layer)로 구성될 수 있다.
모델 예측부(120)는 인공신경망을 통해 이전 프레임 영상과 현재 프레임 영상 각각의 특징맵을 산출할 수 있다. 인공신경망은 이전 프레임 영상과 현재 프레임 영상 각각의 특징맵을 완전 연결 레이어 처리하여 추적 대상 객체의 모션 차이를 학습할 수 있다. 구체적으로, 현재 프레임 영상에서 크롭된 영역은 이전 프레임 영상에서 크롭된 추적 대상 객체 영역과 완전히 일치하지 않을 수도 있으므로, 인공신경망은 추적 대상 객체 영역과 현재 프레임 영상의 크롭된 영역을 입력으로 하는 학습(실제 입력에는 이전 프레임 영상과 현재 프레임 영상의 특성맵이 입력될 수 있다.)을 통해 현재 프레임 영상에서 추적 대상 객체를 인지할 수 있다. 또한, 이전 프레임 영상의 특징맵은 타원형 모델이 고려된 것이므로, 모델 예측부(120)는 인공신경망의 완전 연결 레이어를 통한 선형 회귀 분석을 통해 현재 프레임 영상에서 예측된 타원형 모델의 특징 도메인을 산출할 수 있다. 예시적으로, 예측된 타원형 모델의 특징 도메인은 (cx, cy, x1, y1, x2, y2) 와 같은 벡터 상의 좌표로 출력될 수 있고, 상기 좌표에 기초하여 다음 프레임 영상의 타원형 모델(11)이 예측될 수 있다.
도 4는 본원의 일 실시예에 따른 회전 가능한 타원형 모델을 이용한 심층학습 기반의 영상 내 객체 추적 장치의 손실 함수를 고려한 타원형 모델의 예측의 예를 도시한 도면이다.
현재 프레임 영상에서 예측된 타원형 모델(11)은 전술한 모션 차이에 따라 추적 대상 객체의 위치를 예측한 것이므로, 보다 정확한 위치 추적을 위해서는 예측된 타원형 모델(11)의 형상을 보정할 필요가 있다. 이에, 모델 예측부(120)는 현재 프레임 영상에서 타원형 모델(11)을 예측함에 있어서, 보다 정확한 타원형 모델(11)을 예측하기 위해 현재 프레임 영상의 실제 추적 대상 객체와의 차이를 고려하여 상기 차이를 최소화하는 타원형 모델을 예측할 수 있다. 구체적으로, 도 4를 참조하면, 모델 예측부(120)는 예측된 현재 프레임 영상의 타원형 모델(11)과 실제 추적 대상 객체의 타원형 모델(20)의 차이에 따른 손실 함수를 고려하여 상기 현재 프레임 영상의 타원형 모델을 예측할 수 있다.
모델 예측부(120)는 수학식 1을 통한 손실 함수에 기초한 손실량을 고려하여 현재 프레임 영상의 타원형 모델을 예측할 수 있다.
[수학식 1]
여기서, m은 m번째 샘플이고(샘플의 수), 는 i번째 특징 도메인의 가중치이고, 는 예측된 추적 대상 객체의 i번째 특징 도메인이고, 는 실제 추적 대상 객체의 i번째 특징 도메인을 나타내며, 상기 특징 도메인은 타원의 중심점(cx, cy), 장축(a), 위치값 단축(b) 위치값 및 사잇각(φ)을 포함할 수 있다. 따라서, 수학식 1에 기초한 손실량은 각 특징 도메인 별로 손실량이 산출되어 합산될 수 있고, 상기 가중치 또한 특징 도메인 별로 산출될 수 있다.
예시적으로, 실제 추적 대상 객체의 타원형 모델(20)은 사용자에 의해 설정될 수 있다.
도 5는 본원의 일 실시예에 따른 회전 가능한 타원형 모델을 이용한 심층학습 기반의 영상 내 객체 추적 장치의 가중치를 고려한 예측된 타원형 모델의 특징 도메인의 예를 도시한 도면이다.
도 5를 참조하면, 손실 함수에 포함되는 가중치는, 타원형 모델의 특징 도메인의 변화량에 기초하여 특징 도메인 별로 결정될 수 있다. 구체적으로, 예측된 타원형 모델의 특징 도메인과 이전 프레임 영상의 타원형 모델의 특징 도메인의 변화량은 특징 도메인별로 상이할 수 있다. 도 5는 학습률이 5e-5, 크롭 인자가 2.5로 설정되고, 위치 이동 함수에 대한 람다 값이 2.8(라플라스 분포의 피크치는 0.3)로 설정된 인공신경망을 통해 산출된 예측된 타원형 모델의 특징 도메인(a)과, 가중치를 고려한 예측된 타원형 모델의 특징 도메인(b)을 도시한다.
모든 특징 도메인에 동일한 가중치를 고려한 경우, 각 특징 도메인마다 변화량 또는 변화 가능한 범위가 상이하게 된다. 예시적으로, 도 5의 (a)를 참조하면, 중심점의 요소인 cx의 평균은 약 0.5이고, 단축의 요소인 b의 평균은 약 0.15이다. 이때 모든 특징 도메인에 동일한 가중치(예를 들어, 3)를 고려하여 손실함수를 계산하고 현재 프레임 영상의 타원형 모델을 예측하는 경우, 각 특징 도메인의 특성을 정확히 반영하지 못한 타원형 모델이 예측되게 된다. 따라서, 동일한 가중치를 고려하는 것은 부정확한 손실 함수가 산출될 수 있고, 결과적으로 부정확한 타원형 모델의 예측을 야기할 수 있다. 따라서, 모델 예측부(120)는 이전 프레임 영상의 타원형 모델의 특징 도메인과 현재 프레임 영상의 타원형 모델의 특징 도메인 각각의 변화량 또는 변화 가능한 범위 등 각 특징 도메인의 특성에 기초하여 특징 도메인 별로 상기 가중치를 적응적으로 결정할 수 있다. 이와 같이 함으로써 각 특징 도메인의 가중치가 정규화 될 수 있고, 가중치가 정규화된 손실 함수를 통해 실제 추적 대상 객체의 타원형 모델과의 차이가 최소화되어 보다 정확한 현재 프레임 영상의 타원형 모델을 예측할 수 있다.
도 6은 본원의 일 실시예에 따른 회전 가능한 타원형 모델을 이용한 심층학습 기반의 영상 내 객체 추적 장치의 예측된 타원형 모델을 통한 현재 프레임 영상의 객체 추적을 도시한 도면이다.
객체 추적부(130)는 예측된 현재 프레임 영상의 타원형 모델에 기초하여 상기 현재 프레임 영상에서 추적 대상 객체를 추적할 수 있다. 객체 추적부(130)는 현재 프레임에서 추적 대상 객체를 추적하고, 이후 시계열적으로 입력되는 신규 프레임(k+1)에서 추적 대상 객체를 추적할 수 있다. 도 6은 심층학습 기반의 영상 내 객체 추적 장치(100)를 통한 객체 추적의 예를 도시한다. 흰색 타원은 추적 대상 객체를 나타내고 빨간색 타원은 타원형 모델을 나타낸다. 종래에는 사각형 모델을 통해 객체를 추적함으로써 불필요한 배경이 모델에 포함되는 경우가 빈번하고, 모델의 회전 및 스케일의 조절이 어려웠으나, 심층학습 기반의 영상 내 객체 추적 장치(100)에 따르면, 회전 가능한 타원형 모델을 활용함으로써 추적 대상 객체의 크기 및 형태에 대해 적응적으로 모델의 스케일을 조절할 수 있으므로, 객체 추적 성능이 보다 향상될 수 있다.
도 7은 본원의 일 실시예에 따른 회전 가능한 타원형 모델을 이용한 딥러닝 기반의 영상 내 객체 추적 방법의 흐름을 도시한 도면이다.
도 7에 도시된 본원의 일 실시예에 따른 회전 가능한 타원형 모델을 이용한 딥러닝 기반의 영상 내 객체 추적 방법은 앞선 도 1 내지 도 6을 통해 설명된 심층학습 기반의 영상 내 객체 추적 장치(100)에 의하여 수행될 수 있다. 따라서 이하 생략된 내용이라고 하더라도 도 1 내지 도 6 통해 심층학습 기반의 영상 내 객체 추적 장치(10)에 대하여 설명된 내용은 도 7에도 동일하게 적용될 수 있다.
단계 S710에서 모델 정의부(110)는 이전 프레임 영상으로부터 추적 대상 객체에 대응하는 타원형 모델을 정의할 수 있다. 모델 정의부(110)는 이전 프레임 영상에서 추적 대상 객체 영역을 크롭(crop)하고, 추적 대상 객체 영역에서 타원형 모델을 정의할 수 있다. 회전 가능한 타원형 모델은 벡터에 기반한 복수의 특징 도메인을 포함할 수 있다. 예시적으로, 특징 도메인은 타원의 중심점(cx, cy), 장축(a)(cx+x1, cy+y1) 위치값, 단축(b)(cx+x2, cy+y2) 위치값 및 사잇각(φ)을 포함할 수 있다. 상기 회전 가능한 타원형 모델은 추적 대상 객체의 형태에 따라 회전할 수 있다. 뿐만 아니라, 추적 대상 객체의 형태에 따라 장축과 단축의 길이가 적응적으로 변화될 수 있어 추적 대상 객체를 용이하게 추적하기 위한 최적의 형태로 변화될 수 있다.
모델 정의부(110)는 이전 프레임 영상(k-1)에서 크롭된 추적 대상 객체 영역에서 타원형 모델(10)을 정의할 수 있다. 예시적으로, 추적 대상 객체는 사용자에 의해 선택될 수 있다. 상기 크롭은 추적 대상 객체의 중심 위치를 기준으로 소정의 영역으로 설정될 수 있으며 크롭의 결과가 Laplace 랜덤 변수와 같은 분포를 가지도록 수행될 수 있으므로 구체적인 설명은 생략한다. 또한, 모델 정의부(110)는 이전 프레임 영상에서 크롭된 추적 대상 객체 영역과 대응하는 현재 프레임 영상의 일 영역을 크롭할 수 있다. 구체적으로, 이전 프레임 영상의 크롭된 영역의 위치에 기반하여 현재 프레임 영상에서 동일한 영역을 크롭할 수 있다. 현재 프레임 영상에서 크롭된 영역은 현재 프레임 영상에서 객체를 추적하기 위한 후보 영역으로 활용될 수 있다.
단계 S720에서 모델 예측부(120)는, 이전 프레임 영상과 현재 프레임 영상의 특성을 입력으로 하는 인공신경망을 통해 현재 프레임 영상에서 추적 대상 객체에 대응하는 타원형 모델을 예측할 수 있다. 구체적으로, 이전 프레임 영상의 특성은 타원형 모델을 포함하는 크롭된 영역의 추적 대상 객체의 특징을 포함하고, 상기 현재 프레임 영상의 특성은 현재 프레임 영상에서 크롭된 영역을 포함한다. 상기 인공신경망은 컨볼루션 신경망(Convolution Neural Network)일 수 있다. 컨볼루션 신경망은 입력 데이터의 지역적 특성(예를 들어, 추적 대상 객체의 특징)을 추출하는 복수의 컨볼루션 레이어(Convolutional Layer)와 추출된 특성들을 분석하는 완전 연결 레이어(Fully-Connected Layer)로 구성될 수 있다.
모델 예측부(120)는 인공신경망을 통해 이전 프레임 영상과 현재 프레임 영상 각각의 특징맵을 산출할 수 있다. 인공신경망은 이전 프레임 영상과 현재 프레임 영상 각각의 특징맵을 완전 연결 레이어 처리하여 추적 대상 객체의 모션 차이를 학습할 수 있다. 구체적으로, 현재 프레임 영상에서 크롭된 영역은 이전 프레임 영상에서 크롭된 추적 대상 객체 영역과 완전히 일치하지 않을 수도 있으므로, 인공신경망은 추적 대상 객체 영역과 현재 프레임 영상의 크롭된 영역을 입력으로 하는 학습(실제 입력에는 이전 프레임 영상과 현재 프레임 영상의 특성맵이 입력될 수 있다.)을 통해 현재 프레임 영상에서 추적 대상 객체를 인지할 수 있다. 또한, 이전 프레임 영상의 특징맵은 타원형 모델이 고려된 것이므로, 모델 예측부(120)는 인공신경망의 완전 연결 레이어를 통한 선형 회귀 분석을 통해 현재 프레임 영상에서 예측된 타원형 모델의 특징 도메인을 산출할 수 있다. 예시적으로, 예측된 타원형 모델의 특징 도메인은 (cx, cy, x1, y1, x2, y2)와 같은 벡터 상의 좌표로 출력될 수 있고, 상기 좌표에 기초하여 다음 프레임 영상의 타원형 모델(11)이 예측될 수 있다.
또한, 모델 예측부(120)는 예측된 현재 프레임 영상의 타원형 모델(11)과 실제 추적 대상 객체의 타원형 모델(20)의 차이에 따른 손실 함수를 고려하여 상기 현재 프레임 영상의 타원형 모델을 예측할 수 있다.
모델 예측부(120)는 수학식 2를 통한 손실 함수에 기초한 손실량을 고려하여 현재 프레임 영상의 타원형 모델을 예측할 수 있다.
[수학식 2]
여기서, m은 m번째 샘플이고, 는 i번째 특징 도메인의 가중치이고, 는 예측된 추적 대상 객체의 i번째 특징 도메인이고, 는 실제 추적 대상 객체의 i번째 특징 도메인을 나타내며, 상기 특징 도메인은 타원의 중심점(cx, cy), 장축(a), 위치값 단축(b) 위치값 및 사잇각(φ)을 포함할 수 있다. 따라서, 수학식 1에 기초한 손실량은 각 특징 도메인 별로 산출될 수 있고, 상기 가중치 또한 특징 도메인 별로 산출될 수 있다.
예시적으로, 실제 추적 대상 객체의 타원형 모델(20)은 사용자에 의해 설정될 수 있다. 또한, 손실 함수에 포함되는 가중치는, 타원형 모델의 특징 도메인의 변화량에 기초하여 특징 도메인 별로 결정될 수 있다. 모델 예측부(120)는 이전 프레임 영상의 타원형 모델의 특징 도메인과 현재 프레임 영상의 타원형 모델의 특징 도메인 각각의 변화량에 기초하여 특징 도메인 별로 상기 가중치를 결정할 수 있다. 이와 같이 함으로써 각 특징 도메인의 가중치가 정규화 될 수 있고, 가중치가 정규화된 손실 함수를 통해 실제 추적 대상 객체의 타원형 모델과의 차이가 최소화되어 보다 정확한 현재 프레임 영상의 타원형 모델을 예측할 수 있다.
단계 S730에서 객체 추적부(130)는 예측된 현재 프레임 영상의 타원형 모델에 기초하여 상기 현재 프레임 영상에서 추적 대상 객체를 추적할 수 있다. 객체 추적부(130)는 현재 프레임에서 추적 대상 객체를 추적하고, 이후 시계열적으로 입력되는 신규 프레임(k+1)에서 추적 대상 객체를 추적할 수 있다.
본원의 일 실시 예에 따른, 회전 가능한 타원형 모델을 이용한 딥러닝 기반의 영상 내 객체 추적 방법은, 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
10: 이전 프레임 영상의 타원형 모델
11: 다음 프레임 영상의 타원형 모델
20: 실제 추적 대상 객체의 타원형 모델
100: 심층학습 기반의 영상 내 객체 추적 장치
110: 모델 정의부
120: 모델 예측부
130: 객체 추적부
11: 다음 프레임 영상의 타원형 모델
20: 실제 추적 대상 객체의 타원형 모델
100: 심층학습 기반의 영상 내 객체 추적 장치
110: 모델 정의부
120: 모델 예측부
130: 객체 추적부
Claims (11)
- 회전 가능한 타원형 모델을 이용한 심층학습 기반의 영상 내 객체 추적 방법에 있어서,
(a) 이전 프레임 영상으로부터 추적 대상 객체에 대응하는 타원형 모델을 정의하는 단계;
(b) 상기 이전 프레임 영상과 현재 프레임 영상의 특성을 입력으로 하는 인공신경망을 통해 상기 현재 프레임 영상에서 상기 추적 대상 객체에 대응하는 타원형 모델을 예측하는 단계; 및
(c) 상기 예측된 현재 프레임 영상의 타원형 모델에 기초하여 상기 현재 프레임 영상에서 상기 추적 대상 객체를 추적하는 단계,
를 포함하는 심층학습 기반의 영상 내 객체 추적 방법. - 제1항에 있어서,
상기 (a) 단계는,
상기 이전 프레임 영상에서 추적 대상 객체 영역을 크롭(crop)하고, 상기 추적 대상 객체 영역에서 상기 타원형 모델을 정의하고,
상기 타원형 모델은 벡터에 기반한 복수의 특징 도메인을 포함하되,
상기 특징 도메인은, 타원의 중심점, 장축, 단축, 및 사잇각을 포함하는 것인, 심층학습 기반의 영상 내 객체 추적 방법. - 제1항에 있어서,
상기 (b) 단계는,
상기 예측된 현재 프레임 영상의 타원형 모델과 실제 추적 대상 객체의 타원형 모델의 차이에 따른 손실 함수를 고려하여 상기 현재 프레임 영상의 타원형 모델을 예측하는 것인, 심층학습 기반의 영상 내 객체 추적 방법. - 제3항에 있어서,
상기 손실 함수에 포함되는 가중치는, 타원형 모델의 특징 도메인의 변화량에 기초하여 특징 도메인 별로 결정되는 것인, 심층학습 기반의 영상 내 객체 추적 방법. - 제1항에 있어서,
상기 (b) 단계는,
상기 인공신경망을 통해 상기 이전 프레임 영상과 상기 현재 프레임 영상 각각의 특징맵을 산출하고,
상기 인공신경망은, 상기 각각의 특징맵을 완전 연결 레이어 처리하여 상기 추적 대상 객체의 모션 차이를 학습하여 상기 추적 대상 객체에 대응하는 타원형 모델을 예측하는 것인, 심층학습 기반의 영상 내 객체 추적 방법. - 회전 가능한 타원형 모델을 이용한 심층학습 기반의 영상 내 객체 추적 장치에 있어서,
이전 프레임 영상으로부터 추적 대상 객체에 대응하는 타원형 모델을 정의하는 모델 정의부;
상기 이전 프레임 영상과 현재 프레임 영상의 특성을 입력으로 하는 인공신경망을 통해 상기 현재 프레임 영상에서 상기 추적 대상 객체에 대응하는 타원형 모델을 예측하는 모델 예측부; 및
상기 예측된 현재 프레임 영상의 타원형 모델에 기초하여 상기 현재 프레임 영상에서 상기 추적 대상 객체를 추적하는 객체 추적부,
를 포함하는 심층학습 기반의 영상 내 객체 추적 장치. - 제6항에 있어서,
상기 모델 정의부는,
상기 이전 프레임 영상에서 추적 대상 객체 영역을 크롭(crop)하고, 상기 추적 대상 객체 영역에서 상기 타원형 모델을 정의하고,
상기 타원형 모델은 벡터에 기반한 복수의 특징 도메인을 포함하되,
상기 특징 도메인은, 타원의 중심점, 장축, 단축, 및 사잇각을 포함하는 것인, 심층학습 기반의 영상 내 객체 추적 장치. - 제6항에 있어서,
상기 모델 예측부는,
상기 예측된 현재 프레임 영상의 타원형 모델과 실제 추적 대상 객체의 타원형 모델의 차이에 따른 손실 함수를 고려하여 상기 현재 프레임 영상의 타원형 모델을 예측하는 것인, 심층학습 기반의 영상 내 객체 추적 장치. - 제8항에 있어서,
상기 손실 함수에 포함되는 가중치는, 타원형 모델의 특징 도메인의 변화량에 기초하여 특징 도메인 별로 결정되는 것인, 심층학습 기반의 영상 내 객체 추적 장치. - 제6항에 있어서,
상기 모델 예측부는,
상기 인공신경망을 통해 상기 이전 프레임 영상과 상기 현재 프레임 영상 각각의 특징맵을 산출하고,
상기 인공신경망은, 상기 각각의 특징맵을 완전 연결 레이어 처리하여 상기 추적 대상 객체의 모션 차이를 학습하여 상기 추적 대상 객체에 대응하는 타원형 모델을 예측하는 것인, 심층학습 기반의 영상 내 객체 추적 장치. - 제1항 내지 제5항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터에서 판독 가능한 기록매체.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180170829A KR102140255B1 (ko) | 2018-12-27 | 2018-12-27 | 회전 가능한 타원형 모델을 이용한 딥러닝 기반의 영상 내 객체 추적 장치 및 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180170829A KR102140255B1 (ko) | 2018-12-27 | 2018-12-27 | 회전 가능한 타원형 모델을 이용한 딥러닝 기반의 영상 내 객체 추적 장치 및 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200084467A true KR20200084467A (ko) | 2020-07-13 |
KR102140255B1 KR102140255B1 (ko) | 2020-07-31 |
Family
ID=71570805
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180170829A KR102140255B1 (ko) | 2018-12-27 | 2018-12-27 | 회전 가능한 타원형 모델을 이용한 딥러닝 기반의 영상 내 객체 추적 장치 및 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102140255B1 (ko) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220064712A (ko) * | 2020-11-12 | 2022-05-19 | 인트플로우 주식회사 | 영상 기반 가축 개체 성장 추이 모니터링 장치 및 방법 |
KR20220078832A (ko) * | 2020-12-04 | 2022-06-13 | 포항공과대학교 산학협력단 | 신경망 모델 기반 비디오의 움직임 특징 정보 추출 방법 및 분석장치 |
KR20220129905A (ko) * | 2021-03-17 | 2022-09-26 | 삼성전자주식회사 | 대상 객체를 추적하는 방법과 장치 및 전자 장치 |
-
2018
- 2018-12-27 KR KR1020180170829A patent/KR102140255B1/ko active IP Right Grant
Non-Patent Citations (1)
Title |
---|
합성곱 신경망을 통한 강건한 온라인 객체 추적* * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220064712A (ko) * | 2020-11-12 | 2022-05-19 | 인트플로우 주식회사 | 영상 기반 가축 개체 성장 추이 모니터링 장치 및 방법 |
KR20220078832A (ko) * | 2020-12-04 | 2022-06-13 | 포항공과대학교 산학협력단 | 신경망 모델 기반 비디오의 움직임 특징 정보 추출 방법 및 분석장치 |
KR20220129905A (ko) * | 2021-03-17 | 2022-09-26 | 삼성전자주식회사 | 대상 객체를 추적하는 방법과 장치 및 전자 장치 |
Also Published As
Publication number | Publication date |
---|---|
KR102140255B1 (ko) | 2020-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | Generalized focal loss: Towards efficient representation learning for dense object detection | |
US10269125B1 (en) | Method for tracking object by using convolutional neural network including tracking network and computing device using the same | |
Chen et al. | SiamBAN: Target-aware tracking with Siamese box adaptive network | |
KR102140255B1 (ko) | 회전 가능한 타원형 모델을 이용한 딥러닝 기반의 영상 내 객체 추적 장치 및 방법 | |
Xu et al. | Socialvae: Human trajectory prediction using timewise latents | |
Sauer et al. | Tracking holistic object representations | |
CN102640168B (zh) | 用于基于局部二进制模式的面部特征定位的方法和设备 | |
CN113936275A (zh) | 一种基于区域特征对齐的无监督域适应语义分割方法 | |
Kim et al. | Towards sequence-level training for visual tracking | |
KR102280201B1 (ko) | 머신 러닝을 이용하여 은닉 이미지를 추론하는 방법 및 장치 | |
CN112233147A (zh) | 一种基于双路孪生网络的视频运动目标跟踪方法及装置 | |
KR102262264B1 (ko) | 이미지 검색을 위한 다중 글로벌 디스크립터를 조합하는 프레임워크 | |
CN111914878A (zh) | 特征点跟踪训练及跟踪方法、装置、电子设备及存储介质 | |
Da Silva et al. | Active learning of parameterized skills | |
CN111242176B (zh) | 计算机视觉任务的处理方法、装置及电子*** | |
CN111105442B (zh) | 切换式目标跟踪方法 | |
Potthast et al. | Active multi-view object recognition and online feature selection | |
Wang et al. | Dynamic siamese network with adaptive Kalman filter for object tracking in complex scenes | |
KR20230020126A (ko) | 딥러닝을 이용한 객체 추적 장치 및 방법 | |
CN113532457B (zh) | 机器人路径导航方法、***、设备及存储介质 | |
Fu et al. | SiamMN: Siamese modulation network for visual object tracking | |
CN111862158B (zh) | 一种分阶段目标跟踪方法、装置、终端及可读存储介质 | |
CN114897939A (zh) | 基于深度路径聚合网络的多目标跟踪方法及*** | |
Kulkarni et al. | Dynamic binary cross entropy: An effective and quick method for model convergence | |
Zheng et al. | Real-time visual object tracking based on reinforcement learning with twin delayed deep deterministic algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |