KR20210017418A - 이동 객체 추적 장치 및 방법 - Google Patents
이동 객체 추적 장치 및 방법 Download PDFInfo
- Publication number
- KR20210017418A KR20210017418A KR1020190096635A KR20190096635A KR20210017418A KR 20210017418 A KR20210017418 A KR 20210017418A KR 1020190096635 A KR1020190096635 A KR 1020190096635A KR 20190096635 A KR20190096635 A KR 20190096635A KR 20210017418 A KR20210017418 A KR 20210017418A
- Authority
- KR
- South Korea
- Prior art keywords
- roi
- histogram
- current frame
- temperature
- moving object
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 230000005855 radiation Effects 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims 3
- 230000006870 function Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
이동 객체 추적 장치 및 방법이 개시된다. 일 실시예에 따른 이동 객체 추적 장치는 이동 객체를 촬영한 적외선 온도 영상 및 상기 적외선 온도 영상에 대한 온도 데이터를 획득하는 영상 획득부, 상기 온도 데이터에 기초하여 상기 적외선 온도 영상에 대한 온도 히스토그램(Histogram)을 생성하는 히스토그램 생성부, 상기 적외선 온도 영상의 이전 프레임의 관심 영역(Region Of Interest, ROI)에 대한 온도 히스토그램과 상기 적외선 온도 영상의 현재 프레임의 하나 이상의 관심 영역 후보 각각에 대한 온도 히스토그램에 기초하여, 상기 하나 이상의 관심 영역 후보 내 각 픽셀에 대한 유사도 가중치(Weight)를 계산하는 가중치 계산부 및 상기 유사도 가중치에 기초하여 상기 하나 이상의 관심 영역 후보 각각에 대한 이동량(Gradient)을 계산하며, 상기 하나 이상의 관심 영역 후보 중 상기 이동량이 최대인 관심 영역 후보를 상기 현재 프레임의 관심 영역으로 결정하는 관심 영역 결정부를 포함한다.
Description
개시되는 실시예들은 이동 객체 추적 기술과 관련된다.
이동 객체 추적은 인구 집계, 도로 안전, 이동 객체 안전에 대한 이슈 등으로 인해 컴퓨터 비전(Computer vision) 및 머신 러닝(Machine learning) 분야에서 활성화된 분야이다.
이동 객체 추적과 관련하여 몇몇 연구들은 밝기 특징값을 주로 이용하여 컬러 기반으로 이동 객체를 추적하는데, 이에 따라 밝기 특징값을 바탕으로 관심 영역(Region of Interest, ROI)을 자동 조절하는 알고리즘, 객체 가려짐 및 실시간 환경 변화에 효율적인 알고리즘 등이 제시되고 있다.
그러나 아직까지 이 같은 컬러 기반의 이동 객체 추적은 밤 시간대, 어두운 터널, 구름 낀 날과 같이 조명이 거의 없는 환경이나 조명 변화가 심하고 빛 간섭이 많은 환경에서는 효과적이지 않다.
또한, 컬러 기반의 이동 객체 추적의 성능은 옷의 컬러, 모양, 질감, 액세서리에 의한 가려짐 등으로 인한 스타일 변화에도 취약하다.
개시되는 실시예들은 다양한 환경 하에서 안정적으로 이동 객체를 추적하기 위한 것이다.
일 실시예에 따른 이동 객체 추적 장치는, 이동 객체를 촬영한 적외선 온도 영상 및 상기 적외선 온도 영상에 대한 온도 데이터를 획득하는 영상 획득부, 상기 온도 데이터에 기초하여 상기 적외선 온도 영상에 대한 온도 히스토그램(Histogram)을 생성하는 히스토그램 생성부, 상기 적외선 온도 영상의 이전 프레임의 관심 영역(Region Of Interest, ROI)에 대한 온도 히스토그램과 상기 적외선 온도 영상의 현재 프레임의 하나 이상의 관심 영역 후보 각각에 대한 온도 히스토그램에 기초하여, 상기 하나 이상의 관심 영역 후보 내 각 픽셀에 대한 유사도 가중치(Weight)를 계산하는 가중치 계산부 및 상기 유사도 가중치에 기초하여 상기 하나 이상의 관심 영역 후보 각각에 대한 이동량(Gradient)을 계산하며, 상기 하나 이상의 관심 영역 후보 중 상기 이동량이 최대인 관심 영역 후보를 상기 현재 프레임의 관심 영역으로 결정하는 관심 영역 결정부를 포함한다.
상기 영상 획득부는, 상기 이동 객체의 빛 에너지 또는 열 에너지에 대응되는 디지털 카운트(digital count)와 기 설정된 방사 분석 계수(radiometric calibration coefficient)를 이용하여 산출된 상기 이동 객체의 열 복사량에 기초하여 상기 적외선 온도 영상에 대한 온도 데이터를 획득할 수 있다.
상기 히스토그램 생성부는, 기 설정된 온도 범위를 복수의 구간으로 분할하고 분할된 각 구간을 하나의 히스토그램 빈(bin)에 대응시켜 상기 히스토그램을 생성할 수 있다.
상기 가중치 계산부는, 아래의 수학식 1을 이용하여 상기 유사도 가중치를 계산할 수 있다.
[수학식 1]
(이때, 는 상기 현재 프레임의 하나 이상의 관심 영역 후보 내 픽셀 좌표 x의 온도 데이터에 대응되는 히스토그램 빈, 은 상기 이전 프레임의 관심 영역 내 각 픽셀의 온도 데이터가 특정 빈에 대응될 확률을 총 히스토그램 빈 범위에서 나타낸 히스토그램, 는 상기 현재 프레임의 하나 이상의 관심 영역 후보 내 각 픽셀의 온도 데이터가 특정 빈에 대응될 확률을 총 히스토그램 빈 범위에서 나타낸 히스토그램, 는 상기 현재 프레임의 하나 이상의 관심 영역 후보 내 픽셀 좌표 x에서의 상기 유사도 가중치)
상기 관심 영역 결정부는, 아래의 수학식 2를 이용하여 상기 이동량을 계산할 수 있다.
[수학식 2]
(이때, 는 상기 이동량, x는 상기 현재 프레임의 하나 이상의 관심 영역 후보 내 픽셀 좌표, 는 상기 이전 프레임의 관심 영역의 중심 좌표, 는 상기 현재 프레임의 하나 이상의 관심 영역 후보 내 픽셀 좌표 x에서의 상기 유사도 가중치, K는 커널(Kernel) 함수)
상기 관심 영역 결정부는, 아래의 수학식 3을 이용하여 상기 현재 프레임의 관심 영역을 결정할 수 있다.
[수학식 3]
일 실시예에 따른 이동 객체 추적 방법은, 이동 객체를 촬영한 적외선 온도 영상 및 상기 적외선 온도 영상에 대한 온도 데이터를 획득하는 단계, 상기 온도 데이터에 기초하여 상기 적외선 온도 영상에 대한 온도 히스토그램(Histogram)을 생성하는 단계, 상기 적외선 온도 영상의 이전 프레임의 관심 영역(Region Of Interest, ROI)에 대한 온도 히스토그램과 상기 적외선 온도 영상의 현재 프레임의 하나 이상의 관심 영역 후보 각각에 대한 온도 히스토그램에 기초하여, 상기 하나 이상의 관심 영역 후보 내 각 픽셀에 대한 유사도 가중치(Weight)를 계산하는 단계 및 상기 유사도 가중치에 기초하여 상기 하나 이상의 관심 영역 후보 각각에 대한 이동량(Gradient)을 계산하며, 상기 하나 이상의 관심 영역 후보 중 상기 이동량이 최대인 관심 영역 후보를 상기 현재 프레임의 관심 영역으로 결정하는 단계를 포함한다.
상기 획득하는 단계는, 상기 이동 객체의 빛 에너지 또는 열 에너지에 대응되는 디지털 카운트(digital count)와 기 설정된 방사 분석 계수(radiometric calibration coefficient)를 이용하여 산출된 상기 이동 객체의 열 복사량에 기초하여 상기 적외선 온도 영상에 대한 온도 데이터를 획득할 수 있다.
상기 생성하는 단계는, 기 설정된 온도 범위를 복수의 구간으로 분할하고 분할된 각 구간을 하나의 히스토그램 빈(bin)에 대응시켜 상기 히스토그램을 생성할 수 있다.
상기 계산하는 단계는, 아래의 수학식 1을 이용하여 상기 유사도 가중치를 계산할 수 있다.
[수학식 1]
(이때, 는 상기 현재 프레임의 하나 이상의 관심 영역 후보 내 픽셀 좌표 x의 온도 데이터에 대응되는 히스토그램 빈, 은 상기 이전 프레임의 관심 영역 내 각 픽셀의 온도 데이터가 특정 빈에 대응될 확률을 총 히스토그램 빈 범위에서 나타낸 히스토그램, 는 상기 현재 프레임의 하나 이상의 관심 영역 후보 내 각 픽셀의 온도 데이터가 특정 빈에 대응될 확률을 총 히스토그램 빈 범위에서 나타낸 히스토그램, 는 상기 현재 프레임의 하나 이상의 관심 영역 후보 내 픽셀 좌표 x에서의 상기 유사도 가중치)
상기 결정하는 단계는, 아래의 수학식 2를 이용하여 상기 이동량을 계산할 수 있다.
[수학식 2]
(이때, 는 상기 이동량, x는 상기 현재 프레임의 하나 이상의 관심 영역 후보 내 픽셀 좌표, 는 상기 이전 프레임의 관심 영역의 중심 좌표, 는 상기 현재 프레임의 하나 이상의 관심 영역 후보 내 픽셀 좌표 x에서의 상기 유사도 가중치, K는 커널(Kernel) 함수)
상기 결정하는 단계는, 아래의 수학식 3을 이용하여 상기 현재 프레임의 관심 영역을 결정할 수 있다.
[수학식 3]
개시되는 일 실시예에 따르면, 온도 영상 및 온도 데이터를 획득하여 히스토그램을 생성하고, 생성한 히스토그램을 이용하여 현재 프레임의 관심 영역을 결정함으로써, 효과적인 이동 객체 추적을 가능케 할 수 있다.
또한 개시되는 일 실시예에 따르면, 이동 객체 추적을 위해 온도 기반 특징값을 사용함으로써, 주변 배경과 이동 객체의 밝기 특징값이 서로 유사한 경우 또는 이동 객체의 형태가 변화하여 밝기 특징값 분포가 달라지는 경우에도 안정적인 이동 객체 추적을 가능케 할 수 있다.
도 1은 일 실시예에 따른 이동 객체 추적 장치의 블록도
도 2는 일 실시예에 따른 이동 객체 추적 방법의 흐름도
도 3은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
도 2는 일 실시예에 따른 이동 객체 추적 방법의 흐름도
도 3은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 개시되는 실시예들은 이에 제한되지 않는다.
실시예들을 설명함에 있어서, 관련된 공지기술에 대한 구체적인 설명이 개시되는 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 개시되는 실시예들에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 일 실시예에 따른 이동 객체 추적 장치(100)의 블록도이다.
도 1을 참조하면, 일 실시예에 따른 이동 객체 추적 장치(100)는 영상 획득부(110), 히스토그램 생성부(120), 가중치 계산부(130) 및 관심 영역 결정부(140)를 포함한다.
영상 획득부(110)는 이동 객체를 촬영한 적외선 온도 영상 및 적외선 온도 영상에 대한 온도 데이터를 획득한다.
이동 객체는 외부의 요인 또는 자의에 의해 공간 상의 위치가 변경되는 비생물 또는 생물을 지칭할 수 있다. 예를 들어, 이동 객체는 보행자, 자동차, 동물, 식물, 공, 탄환 등일 수 있다.
한편, 이동 객체 추적 장치(100)는 외부에 배치된 촬영부(미도시)로부터 이동 객체에서 방출된 빛 에너지 또는 열 에너지를 수집할 수 있다.
이와 관련하여, 촬영부(미도시)는 검출기(Detector) 또는 컨버터(Converter)를 포함할 수 있으며, 이를 이용하여 이동 객체에서 방출된 빛 에너지 또는 열 에너지를 디지털 카운트(digital count)로 변환할 수 있다. 그러나 촬영부(미도시)는 이동 객체 추적 장치(100) 내 영상 획득부(110)에 포함되는 구성일 수도 있으며, 이에 한정되지 않고 이동 객체 추적 장치(100) 내의 별개의 구성일 수도 있다.
일 실시예에 따르면, 영상 획득부(110)는 검출기(Detector) 및 컨버터(Converter)를 이용하여 이동 객체로부터 방출된 빛 에너지 또는 열 에너지를 디지털 카운트로 변환 후 방사 분석(Radiometric calibration)을 통해 복수의 적외선 온도 영상 및 복수의 적외선 온도 영상 각각에 대한 온도 데이터를 획득할 수 있다. 만일 검출기 및 컨버터가 이동 객체 추적 장치(100)와 별개의 구성인 경우, 영상 획득부(110)는 검출기 및 컨버터로부터 송신된 빛 에너지 또는 열 에너지에 대한 디지털 카운트를 수신할 수도 있다.
이때, 방사 분석은 특정한 물체가 얼마나 많은 에너지를 방사(emission)하고 있는가를 측정하는 것으로서, 적외선 파장 대역의 전자기파 복사 에너지를 측정하는 과정을 거칠 수 있다. 이렇게 획득한 초기 데이터 값을 적외선 카메라의 방사율표(Emissivity table) 상의 값과 비교하여 물체의 온도 데이터를 산출한다. 이를 위해, 물체로부터 방사되는 열을 감지하는 원적외선(Far-Infrared Radiation, FIR) 카메라가 사용될 수 있다.
보다 상세하게, 검출기는 이동 객체로부터 방출된 빛 에너지 또는 열 에너지로부터 신호 전압을 발생시킬 수 있으며, 컨버터는 이 신호 전압을 디지털 카운트로 변환시킬 수 있다.
이후 적외선 카메라 제작 공정 시 기 실시된 흑체 측정 결과 및 해당 측정 결과를 통해 획득된 디지털 카운트를 바탕으로 기 작성된 수치표를 통해 변환된 디지털 카운트에 대응되는 대역 내 복사 에너지(단위: W/(sr-cm2)) 값을 구할 수 있다.
이때, 디지털 카운트는 예를 들어, 14-bit 디지털 카운트일 수 있으나, 이에 한정되는 것은 아니며, 신호 전압의 강도를 수치화하여 나타낼 수 있다면 다른 임의의 비트 수의 디지털 카운트도 이동 객체 추적에 이용될 수 있다.
일 실시예에 따르면, 영상 획득부(110)는 이동 객체의 빛 에너지 또는 열 에너지에 대응되는 디지털 카운트(digital count)와 기 설정된 방사 분석 계수(radiometric calibration coefficient)를 이용하여 산출된 이동 객체의 열 복사량에 기초하여 적외선 온도 영상에 대한 온도 데이터를 획득할 수 있다.
구체적으로, 영상 획득부(110)는 아래의 수학식 1을 통해 이동 객체의 열 복사량을 계산하고, 열 복사량 및 아래의 수학식 2를 아래의 수학식 3에 각각 대입함으로써 이동 객체를 촬영한 적외선 온도 영상에 대한 온도 데이터를 구할 수 있다.
[수학식 1]
(이때, LT는 복사량, x는 디지털 카운트, a 및 b는 기 설정된 방사 분석 계수)
[수학식 2]
(이때, 는 파장에 따른 복사량, 는 파장, h는 플랑크 상수(Planck constant), c는 광속, 는 볼츠만 상수(Boltzmann constant), T는 이동 객체를 촬영한 복수의 적외선 온도 영상의 온도 데이터)
[수학식 3]
즉, 영상 획득부(110)에서 복사량 LT를 계산하면, 위 수학식 3을 이루는 값들 중 알려지지 않은 값은 온도 데이터 T 뿐이므로, 위 수학식 3을 이용하여 온도 데이터 T를 계산할 수 있다.
히스토그램 생성부(120)는 온도 데이터에 기초하여 적외선 온도 영상에 대한 온도 히스토그램(Histogram)을 생성한다.
이때, 14-bit 온도 데이터를 이용한다고 가정할 경우, 14-bit 온도 데이터는 기본적으로 214 개의 히스토그램 빈(bin)의 값을 가지므로, 14-bit 온도 데이터를 곧바로 이동 객체의 특징값으로 활용하여 히스토그램을 추출하는 것은 많은 계산량을 요구할 수 있다.
위 문제의 해결을 위해, 히스토그램 생성부(120)는 기 설정된 온도 범위를 복수의 구간으로 분할하고 분할된 각 구간을 하나의 히스토그램 빈(bin)에 대응시켜 히스토그램을 생성할 수 있다.
일 실시예에 따르면, 히스토그램 생성부(120)는 -40℃~110℃ 의 온도 범위 내에서, 1℃를 1개의 히스토그램 빈에 대응시켜 총 151개의 히스토그램 빈을 갖는 히스토그램을 추출할 수 있다.
가중치 계산부(130)는 적외선 온도 영상의 이전 프레임의 관심 영역(Region Of Interest, ROI)에 대한 온도 히스토그램과 적외선 온도 영상의 현재 프레임의 하나 이상의 관심 영역 후보 각각에 대한 온도 히스토그램에 기초하여, 하나 이상의 관심 영역 후보 내 각 픽셀에 대한 유사도 가중치(Weight)를 계산한다.
구체적으로, 가중치 계산부(130)는 이전 프레임의 관심 영역 내 각 픽셀이 특정 히스토그램 빈에 대응되는 온도 데이터를 가질 확률 값의 집합으로 이루어진 이동 객체의 온도 히스토그램과 현재 프레임의 하나 이상의 관심 영역 후보 내 각 픽셀이 특정 히스토그램 빈에 대응되는 온도 데이터를 가질 확률 값의 집합으로 이루어진 이동 객체의 온도 히스토그램 사이의 유사도 가중치를 아래의 수학식 4를 통해 계산할 수 있다.
[수학식 4]
이때, 는 현재 프레임의 하나 이상의 관심 영역 후보 내 픽셀 좌표 x의 온도 데이터에 대응되는 히스토그램 빈, 는 현재 프레임의 하나 이상의 관심 영역 후보 내 픽셀 좌표 x에서의 유사도 가중치, 은 이전 프레임의 관심 영역 내 각 픽셀의 확률 값을 기 설정된 총 히스토그램 빈 범위에서 나타낸 히스토그램, 는 현재 프레임의 하나 이상의 관심 영역 후보 내 각 픽셀의 확률 값을 기 설정된 총 히스토그램 빈 범위에서 나타낸 히스토그램을 나타낸다.
[수학식 5]
[수학식 6]
이때, 는 기 설정한 모든 히스토그램 빈 값에 대응되는 를 합한 값이 1이 되도록 하는 정규화를 위한 제1 정규화 상수를 나타내며, x는 현재 프레임의 하나 이상의 관심 영역 후보 내 픽셀 좌표를 나타낸다.
[수학식 7]
이때, y는 임의의 데이터의 픽셀 좌표(random variable)를 나타낸다.
또한, 는 현재 프레임의 하나 이상의 관심 영역 후보 내 각 픽셀의 온도 데이터에 대응되는 온도 히스토그램 빈이 u인 확률로, 예를 들어, 아래의 수학식 8을 통해 계산될 수 있다.
[수학식 8]
이때, 는 기 설정한 모든 히스토그램 빈 값에 대응되는 를 합한 값이 1이 되도록 하는 정규화를 위한 제2 정규화 상수를 나타내며, h는 대역폭 조절 변수, k는 확률 분포를 나타내는 커널 함수를 나타낸다.
일 실시예에 따르면, 두 히스토그램 모델 Hmodel 및 Hcurrent 사이의 유사도 가중치는 Bhattacharyya 계수를 기반으로 계산될 수 있으며, 이 계수는 두 히스토그램 모델이 일치할 때 최대값 1을, 전혀 일치하지 않을 때 최소값 0을 가질 수 있다.
또한 일 실시예에 따르면, 유사도 가중치의 계산은 계산된 Bhattacharyya 계수가 1인 '이전 프레임의 관심 영역' 내의 각 픽셀에 대한 히스토그램과 현재 프레임의 하나 이상의 관심 영역 후보 내의 각 픽셀에 대한 히스토그램 사이에서만 진행될 수 있다.
관심 영역 결정부(140)는 가중치 계산부(130)에서 계산된 유사도 가중치에 기초하여 하나 이상의 관심 영역 후보 각각에 대한 이동량(Gradient)을 계산하며, 하나 이상의 관심 영역 후보 중 이동량이 최대인 관심 영역 후보를 현재 프레임의 관심 영역으로 결정한다.
즉, 관심 영역 결정부(140)는 가중치 계산부(130)에서 현재 프레임의 하나 이상의 관심 영역 후보 내 각 픽셀에 대한 유사도 가중치를 계산한 뒤, 각 관심 영역 후보들에 대해 이동량을 계산하여 어느 관심 영역 후보의 이동량이 가장 큰 값을 가지는지 비교한다. 이를 통해 가장 큰 이동량을 갖는 관심 영역에 속하는 픽셀들이 이전 관심 영역에 속하는 픽셀들과 히스토그램 유사도가 가장 높다고 판단할 수 있다.
일 실시예에 따르면, 관심 영역 결정부(140)는 아래의 수학식 9를 통해 이동량을 계산할 수 있다.
[수학식 9]
(이때, 는 이전 프레임에서 현재 프레임으로 이동 시 하나 이상의 관심 영역 후보 각각에 대한 이동량, x는 현재 프레임의 하나 이상의 관심 영역 후보 내 픽셀 좌표, 는 이전 프레임의 관심 영역의 중심 좌표, 는 현재 프레임의 픽셀 좌표 x에서의 유사도 가중치, K는 커널(Kernel) 함수)
또한, 관심 영역 결정부(140)는 아래의 수학식 10을 통해 현재 프레임의 관심 영역을 결정할 수 있다.
[수학식 10]
일 실시예에 따르면, 커널 함수는 이동 객체 추적 시 배경의 영향을 줄이기 위한 것으로서, 중심이 볼록한 대칭 함수(Symmetric function)일 수 있다.
구체적으로, 커널 함수는 아래의 수학식 11에 따라 생성될 수 있다.
[수학식 11]
또한 일 실시예에 따르면, 커널 함수는 Gaussian 함수, Epanechnikov 함수 및 Geometric 함수 중 어느 하나일 수 있다.
도 2는 일 실시예에 따른 이동 객체 추적 방법의 흐름도이다.
도 2에 도시된 방법은 예를 들어, 도 1에 도시된 이동 객체 추적 장치(100)에 의해 수행될 수 있다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
도 2를 참조하면, 먼저, 이동 객체 추적 장치(100)는 이동 객체를 촬영한 적외선 온도 영상 및 적외선 온도 영상에 대한 온도 데이터를 획득한다(210).
이때, 이동 객체 추적 장치(100)는 외부에 배치된 촬영부(미도시)로부터 이동 객체에서 방출된 빛 에너지 또는 열 에너지를 수집할 수 있다.
이와 관련하여, 촬영부(미도시)는 검출기(Detector) 또는 컨버터(Converter)를 포함할 수 있으며, 이를 이용하여 이동 객체에서 방출된 빛 에너지 또는 열 에너지를 디지털 카운트(digital count)로 변환할 수 있다. 그러나 촬영부(미도시)는 이동 객체 추적 장치(100)에 포함되는 구성일 수도 있다.
일 실시예에 따르면, 이동 객체 추적 장치(100)는 검출기(Detector) 및 컨버터(Converter)를 이용하여 이동 객체로부터 방출된 빛 에너지 또는 열 에너지를 디지털 카운트로 변환 후 방사 분석을 통해 복수의 적외선 온도 영상 및 복수의 적외선 온도 영상 각각에 대한 온도 데이터를 획득할 수 있다. 만일 검출기 및 컨버터가 이동 객체 추적 장치(100)와 별개의 구성인 경우, 이동 객체 추적 장치(100)는 검출기 및 컨버터로부터 송신된 빛 에너지 또는 열 에너지에 대한 디지털 카운트를 수신할 수도 있다.
일 실시예에 따르면, 이동 객체 추적 장치(100)는 이동 객체의 빛 에너지 또는 열 에너지에 대응되는 디지털 카운트와 기 설정된 방사 분석 계수(radiometric calibration coefficient)를 이용하여 산출된 상기 이동 객체의 열 복사량에 기초하여 적외선 온도 영상에 대한 온도 데이터를 획득할 수 있다.
이후, 이동 객체 추적 장치(100)는 온도 데이터에 기초하여 적외선 온도 영상에 대한 온도 히스토그램(Histogram)을 생성한다(220).
이때, 이동 객체 추적 장치(100)는 기 설정된 온도 범위를 복수의 구간으로 분할하고 분할된 각 구간을 하나의 히스토그램 빈에 대응시켜 히스토그램을 생성할 수 있다.
이후, 이동 객체 추적 장치(100)는 적외선 온도 영상의 이전 프레임의 관심 영역(Region Of Interest, ROI)에 대한 온도 히스토그램과 적외선 온도 영상의 현재 프레임의 하나 이상의 관심 영역 후보 각각에 대한 온도 히스토그램에 기초하여, 하나 이상의 관심 영역 후보 내 각 픽셀에 대한 유사도 가중치(Weight)를 계산한다(230).
구체적으로, 이동 객체 추적 장치(100)는 이전 프레임의 관심 영역 내 각 픽셀이 특정 히스토그램 빈에 대응되는 온도 데이터를 가질 확률 값의 집합으로 이루어진 이동 객체의 온도 히스토그램과 현재 프레임의 하나 이상의 관심 영역 후보 내 각 픽셀이 특정 히스토그램 빈에 대응되는 온도 데이터를 가질 확률 값의 집합으로 이루어진 이동 객체의 온도 히스토그램 사이의 유사도 가중치를 상술한 수학식 4를 통해 계산할 수 있다.
이후, 이동 객체 추적 장치(100)는 상술한 단계에서 계산된 유사도 가중치에 기초하여 하나 이상의 관심 영역 후보 각각에 대한 이동량(Gradient)을 계산하며, 하나 이상의 관심 영역 후보 중 이동량이 최대인 관심 영역 후보를 현재 프레임의 관심 영역으로 결정한다(240).
즉, 이동 객체 추적 장치(100)는 현재 프레임의 하나 이상의 관심 영역 후보 내 각 픽셀에 대한 유사도 가중치를 계산한 뒤, 현재 프레임의 각 관심 영역 후보들에 대해 이동량을 계산하여 어느 관심 영역 후보의 이동량이 가장 큰 값을 가지는지 비교한다. 이를 통해 가장 큰 이동량을 갖는 관심 영역에 속하는 픽셀들이 이전 프레임의 관심 영역 내에 속하는 픽셀들과 히스토그램 유사도가 가장 높다고 판단할 수 있다.
일 실시예에 따르면, 이동 객체 추적 장치(100)는 상술한 수학식 9를 통해 이동량을 계산할 수 있다.
또한, 이동 객체 추적 장치(100)는 상술한 수학식 10을 통해 현재 프레임의 관심 영역을 결정할 수 있다.
도 3은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 이동 객체 추적 장치(100)일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(102)와 연결될 수도 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 청구범위뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.
10: 컴퓨팅 환경
12: 컴퓨팅 장치
14: 프로세서
16: 컴퓨터 판독 가능 저장 매체
18: 통신 버스
20: 프로그램
22: 입출력 인터페이스
24: 입출력 장치
26: 네트워크 통신 인터페이스
100: 이동 객체 추적 장치
110: 영상 획득부
120: 히스토그램 생성부
130: 가중치 계산부
140: 관심 영역 결정부
12: 컴퓨팅 장치
14: 프로세서
16: 컴퓨터 판독 가능 저장 매체
18: 통신 버스
20: 프로그램
22: 입출력 인터페이스
24: 입출력 장치
26: 네트워크 통신 인터페이스
100: 이동 객체 추적 장치
110: 영상 획득부
120: 히스토그램 생성부
130: 가중치 계산부
140: 관심 영역 결정부
Claims (13)
- 이동 객체를 촬영한 적외선 온도 영상 및 상기 적외선 온도 영상에 대한 온도 데이터를 획득하는 영상 획득부;
상기 온도 데이터에 기초하여 상기 적외선 온도 영상에 대한 온도 히스토그램(Histogram)을 생성하는 히스토그램 생성부;
상기 적외선 온도 영상의 이전 프레임의 관심 영역(Region Of Interest, ROI)에 대한 온도 히스토그램과 상기 적외선 온도 영상의 현재 프레임의 하나 이상의 관심 영역 후보 각각에 대한 온도 히스토그램에 기초하여, 상기 하나 이상의 관심 영역 후보 내 각 픽셀에 대한 유사도 가중치(Weight)를 계산하는 가중치 계산부; 및
상기 유사도 가중치에 기초하여 상기 하나 이상의 관심 영역 후보 각각에 대한 이동량(Gradient)을 계산하며, 상기 하나 이상의 관심 영역 후보 중 상기 이동량이 최대인 관심 영역 후보를 상기 현재 프레임의 관심 영역으로 결정하는 관심 영역 결정부를 포함하는, 이동 객체 추적 장치. - 청구항 1에 있어서,
상기 영상 획득부는, 상기 이동 객체의 빛 에너지 또는 열 에너지에 대응되는 디지털 카운트(digital count)와 기 설정된 방사 분석 계수(radiometric calibration coefficient)를 이용하여 산출된 상기 이동 객체의 열 복사량에 기초하여 상기 적외선 온도 영상에 대한 온도 데이터를 획득하는, 이동 객체 추적 장치. - 청구항 1에 있어서,
상기 히스토그램 생성부는, 기 설정된 온도 범위를 복수의 구간으로 분할하고 분할된 각 구간을 하나의 히스토그램 빈(bin)에 대응시켜 상기 히스토그램을 생성하는, 이동 객체 추적 장치. - 청구항 3에 있어서,
상기 가중치 계산부는, 아래의 수학식 1을 이용하여 상기 유사도 가중치를 계산하는, 이동 객체 추적 장치.
[수학식 1]
(이때, 는 상기 현재 프레임의 하나 이상의 관심 영역 후보 내 픽셀 좌표 x의 온도 데이터에 대응되는 히스토그램 빈, 은 상기 이전 프레임의 관심 영역 내 각 픽셀의 온도 데이터가 특정 빈에 대응될 확률을 총 히스토그램 빈 범위에서 나타낸 히스토그램, 는 상기 현재 프레임의 하나 이상의 관심 영역 후보 내 각 픽셀의 온도 데이터가 특정 빈에 대응될 확률을 총 히스토그램 빈 범위에서 나타낸 히스토그램, 는 상기 현재 프레임의 하나 이상의 관심 영역 후보 내 픽셀 좌표 x에서의 상기 유사도 가중치) - 이동 객체를 촬영한 적외선 온도 영상 및 상기 적외선 온도 영상에 대한 온도 데이터를 획득하는 단계;
상기 온도 데이터에 기초하여 상기 적외선 온도 영상에 대한 온도 히스토그램(Histogram)을 생성하는 단계;
상기 적외선 온도 영상의 이전 프레임의 관심 영역(Region Of Interest, ROI)에 대한 온도 히스토그램과 상기 적외선 온도 영상의 현재 프레임의 하나 이상의 관심 영역 후보 각각에 대한 온도 히스토그램에 기초하여, 상기 하나 이상의 관심 영역 후보 내 각 픽셀에 대한 유사도 가중치(Weight)를 계산하는 단계; 및
상기 유사도 가중치에 기초하여 상기 하나 이상의 관심 영역 후보 각각에 대한 이동량(Gradient)을 계산하며, 상기 하나 이상의 관심 영역 후보 중 상기 이동량이 최대인 관심 영역 후보를 상기 현재 프레임의 관심 영역으로 결정하는 단계를 포함하는, 이동 객체 추적 방법. - 청구항 7에 있어서,
상기 획득하는 단계는, 상기 이동 객체의 빛 에너지 또는 열 에너지에 대응되는 디지털 카운트(digital count)와 기 설정된 방사 분석 계수(radiometric calibration coefficient)를 이용하여 산출된 상기 이동 객체의 열 복사량에 기초하여 상기 적외선 온도 영상에 대한 온도 데이터를 획득하는, 이동 객체 추적 방법. - 청구항 7에 있어서,
상기 생성하는 단계는, 기 설정된 온도 범위를 복수의 구간으로 분할하고 분할된 각 구간을 하나의 히스토그램 빈(bin)에 대응시켜 상기 히스토그램을 생성하는, 이동 객체 추적 방법. - 청구항 9에 있어서,
상기 계산하는 단계는, 아래의 수학식 1을 이용하여 상기 유사도 가중치를 계산하는, 이동 객체 추적 방법.
[수학식 1]
(이때, 는 상기 현재 프레임의 하나 이상의 관심 영역 후보 내 픽셀 좌표 x의 온도 데이터에 대응되는 히스토그램 빈, 은 상기 이전 프레임의 관심 영역 내 각 픽셀의 온도 데이터가 특정 빈에 대응될 확률을 총 히스토그램 빈 범위에서 나타낸 히스토그램, 는 상기 현재 프레임의 하나 이상의 관심 영역 후보 내 각 픽셀의 온도 데이터가 특정 빈에 대응될 확률을 총 히스토그램 빈 범위에서 나타낸 히스토그램, 는 상기 현재 프레임의 하나 이상의 관심 영역 후보 내 픽셀 좌표 x에서의 상기 유사도 가중치) - 비일시적 컴퓨터 판독 가능한 저장매체(non-transitory computer readable storage medium)에 저장된 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은 하나 이상의 명령어들을 포함하고, 상기 명령어들은 하나 이상의 프로세서들을 갖는 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금,
이동 객체를 촬영한 적외선 온도 영상 및 상기 적외선 온도 영상에 대한 온도 데이터를 획득하고,
상기 온도 데이터에 기초하여 상기 적외선 온도 영상에 대한 온도 히스토그램(Histogram)을 생성하고,
상기 적외선 온도 영상의 이전 프레임의 관심 영역(Region Of Interest, ROI)에 대한 온도 히스토그램과 상기 적외선 온도 영상의 현재 프레임의 하나 이상의 관심 영역 후보 각각에 대한 온도 히스토그램에 기초하여, 상기 하나 이상의 관심 영역 후보 내 각 픽셀에 대한 유사도 가중치(Weight)를 계산하고,
상기 유사도 가중치에 기초하여 상기 하나 이상의 관심 영역 후보 각각에 대한 이동량(Gradient)을 계산하며, 상기 하나 이상의 관심 영역 후보 중 상기 이동량이 최대인 관심 영역 후보를 상기 현재 프레임의 관심 영역으로 결정하도록 하는, 컴퓨터 프로그램.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190096635A KR20210017418A (ko) | 2019-08-08 | 2019-08-08 | 이동 객체 추적 장치 및 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190096635A KR20210017418A (ko) | 2019-08-08 | 2019-08-08 | 이동 객체 추적 장치 및 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20210017418A true KR20210017418A (ko) | 2021-02-17 |
Family
ID=74731827
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190096635A KR20210017418A (ko) | 2019-08-08 | 2019-08-08 | 이동 객체 추적 장치 및 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20210017418A (ko) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113034547A (zh) * | 2021-04-07 | 2021-06-25 | 中国科学院半导体研究所 | 目标追踪方法、数字集成电路芯片、电子设备及存储介质 |
KR20230035745A (ko) * | 2021-09-06 | 2023-03-14 | 영남대학교 산학협력단 | 온도 측정 방법 및 이를 수행하기 위한 장치 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101339026B1 (ko) | 2013-10-14 | 2013-12-09 | (주)유디피 | 열화상 카메라 가시성 개선 방법 및 장치 |
-
2019
- 2019-08-08 KR KR1020190096635A patent/KR20210017418A/ko not_active Application Discontinuation
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101339026B1 (ko) | 2013-10-14 | 2013-12-09 | (주)유디피 | 열화상 카메라 가시성 개선 방법 및 장치 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113034547A (zh) * | 2021-04-07 | 2021-06-25 | 中国科学院半导体研究所 | 目标追踪方法、数字集成电路芯片、电子设备及存储介质 |
CN113034547B (zh) * | 2021-04-07 | 2024-02-06 | 中国科学院半导体研究所 | 目标追踪方法、数字集成电路芯片、电子设备及存储介质 |
KR20230035745A (ko) * | 2021-09-06 | 2023-03-14 | 영남대학교 산학협력단 | 온도 측정 방법 및 이를 수행하기 위한 장치 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102134405B1 (ko) | 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법 | |
Bal et al. | Automatic target tracking in FLIR image sequences using intensity variation function and template modeling | |
US11151733B2 (en) | Detection device, information processing device, detection method, storage medium, and detection system | |
CN111426393B (zh) | 温度修正方法、装置及*** | |
US20140098221A1 (en) | Appearance modeling for object re-identification using weighted brightness transfer functions | |
US20190197729A1 (en) | Object detecting device, object detecting method and non-transitory computer-readable medium | |
Banić et al. | Color cat: Remembering colors for illumination estimation | |
CN109116298B (zh) | 一种定位方法、存储介质及定位*** | |
KR20080077987A (ko) | 입력 이미지 내의 비네팅을 보정하는 컴퓨터 구현 프로세스 | |
KR20210017418A (ko) | 이동 객체 추적 장치 및 방법 | |
US20190064352A1 (en) | Power Control Method, Distance Measuring Module and Electronic Device | |
WO2022178833A1 (zh) | 目标检测网络的训练方法、目标检测方法及装置 | |
US8503723B2 (en) | Histogram-based object tracking apparatus and method | |
JP2022079798A (ja) | 物体認識装置および物体認識方法 | |
CN110490848B (zh) | 红外目标检测方法、装置及计算机存储介质 | |
Zhou et al. | Label denoising adversarial network (ldan) for inverse lighting of face images | |
CN108475434A (zh) | 基于阴影分析确定场景中辐射源特性的方法和*** | |
KR101517538B1 (ko) | 중심 가중치 맵을 이용한 중요도 영역 검출 장치 및 방법, 이를 위한 프로그램을 기록한 기록 매체 | |
Yun et al. | A novel enhancement algorithm combined with improved fuzzy set theory for low illumination images | |
Son et al. | Fast illumination-robust foreground detection using hierarchical distribution map for real-time video surveillance system | |
CN112612714A (zh) | 红外目标检测器的安全性测试方法和装置 | |
CN109242782A (zh) | 噪点处理方法及装置 | |
Zou et al. | Statistical analysis of signal-dependent noise: application in blind localization of image splicing forgery | |
US9129185B1 (en) | System and method for reducing image clutter | |
Lu et al. | Mask-guided infrared small multi-target detection via coarse-to-fine candidate selection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E601 | Decision to refuse application |