KR101477649B1

KR101477649B1 - 샘플링과 사후 확률을 이용한 객체 검출 장치 및 그 방법

Info

Publication number: KR101477649B1
Application number: KR20130119890A
Authority: KR
Inventors: 이충희; 임영철; 김동영; 박지호; 김남혁
Original assignee: 재단법인대구경북과학기술원
Priority date: 2013-10-08
Filing date: 2013-10-08
Publication date: 2014-12-30

Abstract

본 발명은 샘플링과 사후 확률을 이용한 객체 검출 방법으로, 초기 영상을 획득하고 획득한 상기 초기 영상에 대하여 랜덤 샘플링을 수행하며 샘플링된 상기 초기 영상의 윈도우에 대하여 특징 벡터를 추출한 다음, 분류기를 통해 윈도우에 대한 객체 존재 확률을 계산하고 나서 초기 영상에 대한 사후 확률 밀도 함수를 계산한 후, 다음 영상을 획득하고 계산된 초기 영상의 사후 확률 밀도 함수를 통하여 획득된 다음 영상의 샘플링 초기 위치를 결정하며 다음 영상의 윈도우에 대한 사후 확률 밀도 함수를 계산하고 MCMC 방법을 통하여 적어도 다음 영상으로부터 하나의 윈도우를 추출하며 추출한 각 윈도우로부터 객체 존재 유무를 판단한 후 판단된 객체 존재 유무를 고려하여 다음 영상에 대하여 사후 확률 밀도 함수를 계산하는 것을 그 요지로 한다.

Description

샘플링과 사후 확률을 이용한 객체 검출 장치 및 그 방법 {Object detection device of using sampling and posterior probability, and the method thereof}

본 발명은 객체 검출 장치 및 그 방법에 관한 것으로, 구체적으로 샘플링과 사후 확률을 이용한 객체 검출 장치 및 그 방법에 관한 것이다.

최근 지능형 자동차, 로봇, 영상 보안 등 다양한 응용 분야에서 카메라를 이용하여 차량, 보행자, 얼굴 등 다양한 객체 검출 방법들에 대한 연구가 활발하게 진행되고 있다. 기존의 객체 검출 시스템은 도면 1에서와 같이 영상에서의 특징 추출(feature extraction)과 분류기(classifier)를 결합하여 학습 영상에 대하여 학습을 시킨 후, 실험 영상에 슬라이딩 윈도우(sliding window)방식으로 전 영역을 검색하여 객체의 존재 유무를 판단함으로써 특정 객체를 검출한다.

슬라이딩 윈도우 방식은 영상에서 객체를 검출하고자 할 때, 일정한 크기의 사각형 윈도우를 영상 내에서 이동시키면서, 각 윈도우 내에서 객체가 존재하는 지를 판단하는 방식이다. 윈도우를 이동시킬 때, 소수의 화소 단위로 이동시키기 때문에, 이동 화소의 단위에 따라 연산 기간이 급격하게 증가하는 문제가 발생한다.

그런데, 종래 기술은 이동 화소가 적어질수록 객체 검출 정밀도가 향상될 수 있지만, 연산 시간이 증가하고, 이동 화소가 커질수록 연산 시간이 단축되지만, 객체 검출 정밀도와 정확도가 떨어지는 문제점이 있었다.

본 발명은 객체가 존재하는 영역에서는 샘플링을 많이 하고, 객체가 존재하지 않는 영역에서는 샘플링을 적게 함으로써, 객체 검출에 필요한 연산 시간을 줄이면서, 객체 검출 정밀도를 향상시킬 수 있는 객체 검출 장치 및 그 방법을 제공하는 것을 목적으로 한다.

본 발명의 일면에 따른, 샘플링과 사후 확률을 이용한 객체 검출 방법은 초기 영상을 획득하는 단계; 획득한 상기 초기 영상에 대하여 랜덤 샘플링을 수행하는 단계; 샘플링된 상기 초기 영상의 윈도우에 대하여 특징 벡터를 추출하는 단계; 분류기를 통해 상기 윈도우에 대한 객체 존재 확률을 계산하는 단계; 상기 초기 영상에 대한 사후 확률 밀도 함수를 계산하는 단계; 다음 영상을 획득하는 단계; 계산된 상기 초기 영상의 사후 확률 밀도 함수를 통하여 획득된 상기 다음 영상의 샘플링 초기 위치를 결정하는 단계; 상기 다음 영상의 윈도우에 대한 사후 확률 밀도 함수를 계산하는 단계; MCMC 방법을 통하여 적어도 상기 다음 영상으로부터 하나의 윈도우를 추출하는 단계; 추출한 상기 각 윈도우로부터 객체 존재 유무를 판단하는 단계; 및 판단된 상기 객체 존재 유무를 고려하여 상기 다음 영상에 대하여 사후 확률 밀도 함수를 계산하는 단계를 포함하되, 상기 MCMC 방법을 통하여 적어도 하나의 윈도우를 추출하는 단계는 상기 객체 존재 확률이 기설정된 임계값 이상이면 기설정된 임계값 이상의 샘플링을 수행한 후 적어도 하나의 윈도우를 추출하고, 상기 객체 존재 확률이 기설정된 임계값 미만이면 기설정된 임계값 이하의 샘플링을 수행한 후 적어도 하나의 윈도우를 추출하는 것이다.

본 발명에 따르면, 카메라를 이용하여 특정 객체를 검출하고자 할 때, 효율적으로 연산 시간을 줄이면서, 검출 성능을 향상시키게 된다.

기존의 객체 검출 방법에서 사용되었던 슬라이딩 윈도우 방식에 비하여, 본 발명에서 제안된 샘플링 기반의 영상 검색 방식은 연산 속도를 향상시킬 수 있고, 분류기의 출력 결과뿐만 아니라 이전 상태의 사전 확률, 객체의 움직임 정보 등을 융합한 사후 확률을 이용하여 객체를 검출하기 때문에 검출 성능도 향상시킬 수 있다.

특히, 현재 영상에서 샘플링할 때는 이전 영상에서의 사후 확률 밀도 함수에 기반하여 샘플링을 하기 때문에 객체가 존재하는 영역에서는 샘플을 조밀하게 하게 되고, 객체가 존재하지 않는 영역에서는 성기게 샘플을 함으로써, 검색 효율을 높일 수 있다.

또한, 지능형 자동차에서의 사고 경감 시스템, 운전 보조 시스템, 자율 주행 등의 기술로 응용될 수 있으며, 지능형 감시 카메라는 지능형 로봇 등의 상황 인지 시스템에도 활용될 수 있다.

도 1은 종래 발명의 실시 예에 따른 기존의 객체 검출 방법을 도시한 도면.
도 2는 본 발명의 실시 예에 따른 샘플링과 사후 확률을 이용한 객체 검출 방법의 순서도.
도 3은 본 발명의 실시 예에 따른 초기 영상에 대한 랜덤 샘플링을 도시한 도면.
도 4는 본 발명의 실시 예에 따른 MCMC를 이용한 샘플링을 도시한 도면.

본 발명의 이 점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가함을 배제하지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 상세히 설명하기로 한다.

도 2는 본 발명의 실시 예에 따른 샘플링과 사후 확률을 이용한 객체 검출 방법의 순서도이다.

도 2에 도시한 바와 같이, 먼저 초기 영상을 획득한다(S210).

이어, 획득한 초기 영상에 대하여 랜덤 샘플링을 수행한다(S220). 구체적으로 초기 영상에 대하여 전 영역에 대하여 균일하게 N개의 윈도우를 샘플링한다.

샘플링된 초기 영상의 윈도우에 대하여 특징 벡터를 추출한다(S230).

분류기를 통해 윈도우에 대한 객체 존재 확률을 계산한다(S240). 구체적으로 각각의 윈도에 대하여 객체의 존재 확률을 계산한다. 이때, 각 윈도우에 대한 객체 존재 확률

는 분류기의 출력 점수에 의해 결정된다.

수학식 1에서

는 초기의 i번째 샘플(윈도우)에 대한 상태 벡터를 나타내며, f(x)는 상태 벡터에 대한 영상으로부터 추출된 특징 벡터를 의미하며, h(x)는 분류기 모델을 나타낸다. 이때, 분류기는 0.0 ~ 1.0의 확률 값으로 표현된다.

계속하여, 초기 영상에 대한 사후 확률 밀도 함수를 계산한다(S250). 구체적으로 균일하게 임의로 선택된 윈도우에 대한 존재 확률을 이용하여 초기 영상에 대한 확률 밀도 함수를 계산한다.

다음으로, 다음 영상을 획득한다(S260). 구체적으로 다음 영상부터는 이전 영상에서 계산된 사후 확률(posterior probability), 객체의 움직임에 대한 사전 확률(prior probability), 분류기 출력에 대한 우도(likelihood)에 의하여 현재 샘플링된 윈도우에 대한 객체 존재 확률을 계산한다.

수학식 (2)에서

는 i번째 샘플에 대한 사전 확률,

는 i번째 샘플에 대한 우도,

는 i번째 샘플에 대한 이전 사후 확률, k는 정규화 상수를 나타낸다.

계산된 초기 영상의 사후 확률 밀도 함수를 통하여 획득된 다음 영상의 샘플링 초기 위치를 결정한다(S270). 구체적으로 두 번째 영상(다음 영상)부터 샘플링할 때는 이전 영상의 사후 확률 밀도 함수에 의하여 초기 위치가 결정된다.

다음 영상의 윈도우에 대한 사후 확률 밀도 함수를 계산한다(S280).

MCMC 방법을 통하여 적어도 다음 영상으로부터 하나의 윈도우를 추출한다(S290). 즉, 이전 영상에 객체가 존재할 확률이 높은 위치에서부터 샘플링을 시작하여 마르코프 사슬 몬테 카를로(Markov chain Monte Carlo : MCMC) 방법으로, 객체가 존재할 확률이 높은 영역으로 윈도우를 이동시킨다. 따라서, 객체가 존재할 확률이 높은 영역에서는 밀집되게(densely) 샘플링을 하고, 그렇지 않은 영역에서는 샘플링을 성기게(sparsely) 한다.

즉, 객체 존재 확률이 기설정된 임계값 이상이면 기설정된 임계값 이상의 샘플링을 수행한 후 적어도 하나의 윈도우를 추출하고, 객체 존재 확률이 기설정된 임계값 미만이면 기설정된 임계값 이하의 샘플링을 수행한 후 적어도 하나의 윈도우를 추출한다.

샘플링된 윈도우에 대하여 수학식 2를 적용하여 사후 확률을 계산하고, 현재 샘플 (

)을 선택할 것인지, 거절할 것인지는 Metroplis-Hastings 알고리즘에서 선택 확률 (acceptance probability) a의 확률에 의하여 결정된다.

현재의 샘플이 선택되면, 새로운 상태 벡터(

)로 이동하고, 다음 샘플에 대하여 동일한 연산을 수행한다.

계속하여, 추출한 각 윈도우로부터 객체 존재 유무를 판단한다(S300). 구체적으로 모든 샘플에 대한 사후 확률을 계산하여 각각의 샘플에 대하여 객체의 존재 유무를 판단한다.

끝으로, 판단된 객체 존재 유무를 고려하여 다음 영상에 대하여 사후 확률 밀도 함수를 계산한다(S310). 영상에 대한 사후 확률 밀도 함수는 다음 영상에서 샘플링을 할 때, 초기치의 위치를 결정하고, 사후 확률을 계산할 때 사용된다.

도 3은 본 발명의 실시 예에 따른 초기 영상에 대한 랜덤 샘플링을 도시한 도면이다.

도 3에 도시한 바와 같이, 보행자 영역과 그 외의 영역과 차이가 없이 샘플링이 수행된다.

도 4는 본 발명의 실시 예에 따른 MCMC를 이용한 샘플링을 도시한 도면이다.

도 4에 도시한 바와 같이, 보행자에 해당하는 영역에서는 조밀하게 샘플링을 하고, 그 외의 영역에서는 성기게 샘플링을 한다.

이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 본 발명의 본질적 특성을 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능하다. 따라서, 본 발명에 표현된 실시 예들은 본 발명의 기술적 사상을 한정하는 것이 아니라, 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 권리범위가 한정되는 것은 아니다. 본 발명의 보호범위는 아래의 특허청구범위에 의하여 해석되어야 하고, 그와 동등하거나, 균등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims

초기 영상을 획득하는 단계;
획득한 상기 초기 영상에 대하여 랜덤 샘플링을 수행하는 단계;
샘플링된 상기 초기 영상의 윈도우에 대하여 특징 벡터를 추출하는 단계;
분류기를 통해 상기 윈도우에 대한 객체 존재 확률을 계산하는 단계;
상기 초기 영상에 대한 사후 확률 밀도 함수를 계산하는 단계;
다음 영상을 획득하는 단계;
계산된 상기 초기 영상의 사후 확률 밀도 함수를 통하여 획득된 상기 다음 영상의 샘플링 초기 위치를 결정하는 단계;
상기 다음 영상의 윈도우에 대한 사후 확률 밀도 함수를 계산하는 단계;
MCMC 방법을 통하여 적어도 상기 다음 영상으로부터 하나의 윈도우를 추출하는 단계;
추출한 상기 각 윈도우로부터 객체 존재 유무를 판단하는 단계; 및
판단된 상기 객체 존재 유무를 고려하여 상기 다음 영상에 대하여 사후 확률 밀도 함수를 계산하는 단계를 포함하는
샘플링과 사후 확률을 이용한 객체 검출 방법.
제1항에 있어서, 상기 각 윈도우에 대한 객체 존재 확률은
상기 분류기의 출력 점수에 의하여 결정되는 것
인 샘플링과 사후 확률을 이용한 객체 검출 방법.
제1항에 있어서, 상기 분류기는
0.0 내지 1.0의 확률값으로 표현되는 것
인 샘플링과 사후 확률을 이용한 객체 검출 방법.
제1항에 있어서, 상기 초기 영상에 대한 사후 확률 밀도 함수를 계산하는 단계 이후에,
상기 초기 영상에서 계산된 사후 확률, 상기 객체의 움직임에 대한 사전 확률 및 상기 분류기 출력에 대한 가능성에 의하여 현재 샘플링된 윈도우에 대한 객체 존재 확률을 계산하는 단계를 더 포함하는 것
인 샘플링과 사후 확률을 이용한 객체 검출 방법.
제1항에 있어서, 상기 초기 영상에 대한 사후 확률 밀도 함수를 계산하는 단계는 균일하게 임의로 선택된 윈도우에 대한 존재 확률을 통해 계산하는 것
인 샘플링과 사후 확률을 이용한 객체 검출 방법.
제1항에 있어서, 상기 MCMC 방법을 통하여 적어도 하나의 윈도우를 추출하는 단계는
상기 객체 존재 확률이 기설정된 임계값 이상이면 기설정된 임계값 이상의 샘플링을 수행한 후 적어도 하나의 윈도우를 추출하고, 상기 객체 존재 확률이 기설정된 임계값 미만이면 기설정된 임계값 이하의 샘플링을 수행한 후 적어도 하나의 윈도우를 추출하는 것
인 샘플링과 사후 확률을 이용한 객체 검출 방법.