KR101433472B1 - 상황 인식 기반의 객체 검출, 인식 및 추적 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 - Google Patents

Abstract

본 발명은 서베일런스 침입탐지를 위해 상황 인식 기반으로 객체를 검출하고, 인식하여 추적하기 위한 상황 인식 기반의 객체 검출, 인식 및 추적 장치에 관한 것으로, 특히 입력된 객체 영상에서 추출된 객체의 특징적인 요소 정보로부터 수치화된 특징 벡터값을 추출하는 객체 특징점 추출 모듈; 및 상기 객체 특징점 추출 모듈로부터 추출된 각 객체의 특징점에 대해 객체의 동작 패턴의 형태에 따라 이미지를 분류함으로써 객체를 검출하여 추적하는 객체 검출 및 추적 모듈을 포함하며, 상기 객체 검출 및 추적 모듈은 상기 객체 검출시 전체 대상 이미지에 대해 각 클러스터별로 상이한 임계값을 적용한다.

Description

상황 인식 기반의 객체 검출, 인식 및 추적 장치, 방법 및 컴퓨터 판독 가능한 기록 매체{APPARATUS, METHOD AND COMPUTER READABLE RECORDING MEDIUM FOR DETECTING, RECOGNIZING AND TRACKING AN OBJECT BASED ON A SITUATION RECOGNITION}

본 발명은 특정 공간 내에 침투한 객체를 검출하고, 인식하여 추적하기 위한 장치에 관한 것으로, 보다 상세하게는 서베일런스 침입탐지를 위해 상황 인식 기반으로 객체를 검출하고, 인식하여 추적하기 위한 상황 인식 기반의 객체 검출, 인식 및 추적 장치, 방법 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다.

서베일런스(surveillance) 침입탐지는 개인보안 및 사회적인 보안 상황을 위해 공항, 사무실, 아파트에서의 보조적이거나 주기능의 보안 관제 시스템으로 발전하고 있다. 한정된 공간을 기반으로 하는 서베일런스 침입탐지에서 사람의 인식, 행동 패턴의 분석은 보안에 있어서 중요한 요인이므로 상황 인식과 데이터 마이닝의 패턴 분석은 필수 요소이다. 최근 삶의 질을 향상하기 위한 고도의 지식정보 사회의 도래와 함께 다양한 실시간 보안 서비스의 요구는, 지능형 센서와 상황 인식의 융합을 통한 융합보안 기술의 도래가 요구되고 있다.

한편, 최근 들어 보안의 필요성이 매우 강조되고 있으며, 그 중 물리적 접근보안을 위한 통제기술의 중요성이 특히 부각되고 있다. 현재 가장 보편적으로 사용되는 물리적 접근 통제를 위한 기술로서 키 패드(Key pad), RFID 카드 등의 방식은 카드 분실에 대한 근본적인 대책이 없다는 문제점이 있다.

이러한 문제점을 해결하기 위해 동적인 영상에서의 객체 인식 기술에 대한 관심이 매우 높아지고 있고, 생체 인식 기술 중 지문 인식 기술이 비교적 많이 보급되어 있다. 그러나 물리적 접촉에 의한 인식률이 점차적인 감소에 있고, 어린이나 노인에 대한 취약점, 지문 복제에 대한 대책 등이 미약한 현실이다. 또한, 홍체 인식 기술은 비교적 높은 인식률을 가지나 고해상도 영상을 위한 고가의 입력장치를 필요로 하며, 사용에 있어서 사용자의 숙달이 요구되는 단점이 있다.

한편, 현재의 대부분 침입 탐지 시스템은 조명의 변화 및 외부 요인에 의한 잡음 영상에 취약점을 가지며, 이에 따른 물리적 접근 시장 분야에서 매우 난항을 격고 있다.

따라서, 객체 검출 기술의 장점인 비접촉식, 사용자 친화적인 인터페이스를 최대한 살리고, 조명 및 객체의 동적인 변화에 따른 취약점을 극복하기 위한 동적 영상 기반 및 상황 적응적 프로그램 기법을 이용하여 환경변화에 강인한 침입 탐지 기술의 개발이 절실히 요구되고 있는 실정이다.

본 발명의 목적은 기존의 객체 검출 및 추적 기술의 치명적인 문제점인 조명환경(조명의 방향, 밝기 대조, 명암 등) 변화의 영향을 최소화함으로써, 고신뢰도가 요구되는 침입 탐지 시스템을 제공할 수 있는 상황 인식 기반의 객체 검출, 인식 및 추적 장치, 방법 및 컴퓨터 판독 가능한 기록 매체를 제공함에 있다.

또한, 본 발명의 목적은 외부 조명의 변화 및 잡음의 영향을 최소화하는 알고리즘 및 시스템을 개발하여 일정한 성능을 갖는 객체의 특징점 추출 기술 및 추적 프로그램의 개발을 통한 액티브 비젼 기반의 고 신뢰도 객체 추적 시스템을 제공할 수 있는 상황 인식 기반의 객체 검출, 인식 및 추적 장치, 방법 및 컴퓨터 판독 가능한 기록 매체를 제공함에 있다.

상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특유의 효과를 달성하기 위한, 본 발명의 특징적인 구성은 하기와 같다.

본 발명의 일 측면에 따르면, 입력된 객체 영상에서 추출된 객체의 특징적인 요소 정보로부터 수치화된 특징 벡터값을 추출하는 객체 특징점 추출 모듈; 및 상기 객체 특징점 추출 모듈로부터 추출된 각 객체의 특징점에 대해 객체의 동작 패턴의 형태에 따라 이미지를 분류함으로써 객체를 검출하여 추적하는 객체 검출 및 추적 모듈을 포함하며, 상기 객체 검출 및 추적 모듈은 상기 객체 검출시 전체 대상 이미지에 대해 각 클러스터별로 상이한 임계값을 적용한다.

바람직하게는, 상기 객체 검출 및 추적 모듈은, 'Harr' 특징을 기반으로 하는 베이지안 분류기를 이용하여 객체를 검출하고 추적한다.

바람직하게는, 상기 객체 특징점 추출 모듈은, 객체의 각 특징점의 탐색 영역을 설정하기 위한 관심 영역 모델을 생성하는 관심 영역 모델 생성부; 및 상기 탐색 영역에서의 특징점을 검출하기 위한 각 특징점별 검출기를 생성하는 검출기 생성부;를 포함한다.

바람직하게는, 상기 관심 영역 모델 생성부는, 설정된 개수의 특징점들의 좌표를 벡터로 설정하고, 객체의 가장 독특한 특징점을 찾아 두 개의 특징점의 거리가 1이 되도록 좌표의 중심점을 정규화하며, 각 객체의 특징점의 정규화된 평균 좌표벡터와 특징점의 평균 위치에서 변화 가능한 거리를 계산한 영역 벡터를 관심 영역 모델로 설정한다.

바람직하게는, 상기 객체 특징점 추출 모듈은, 상기 탐색 영역에 대하여 고속 푸리에 변환을 수행하는 고속 푸리에 연산부;를 더 포함한다.

바람직하게는, 상기 객체 특징점 추출 모듈은, 상기 고속 푸리에 연산부를 통해 처리된 스펙트럼 영상에서 미리 설정된 임계값 이하인 부분을 객체의 특징 후보 영역에서 제외시키는 후처리부;를 더 포함한다.

바람직하게는, 상기 객체 특징점 추출 모듈은, 입력 영상에 대해 히스토그램 평활화 방법에 의해 명암 값의 분포가 균일화되도록 처리하는 영상 전처리부;를 더 포함한다.

본 발명의 다른 측면에 따르면, 입력된 객체 영상에서 추출된 객체의 특징적인 요소 정보로부터 수치화된 특징 벡터값을 추출하는 객체 특징점 추출 단계; 및 상기 추출된 각 객체의 특징점에 대해 객체의 동작 패턴의 형태에 따라 이미지를 분류함으로써 객체를 검출하여 추적하는 단계를 포함하며, 상기 객체를 검출하여 추적하는 단계는, 상기 객체 검출시 전체 대상 이미지에 대해 각 클러스터별로 상이한 임계값을 적용한다.

바람직하게는, 상기 객체를 검출하여 추적하는 단계는, 'Harr' 특징을 기반으로 하는 베이지안 분류기를 이용하여 객체를 검출하고 추적한다.

바람직하게는, 상기 객체 특징점 추출 단계는, 객체의 각 특징점의 탐색 영역을 설정하기 위한 관심 영역 모델을 생성하는 관심 영역 모델 생성 단계; 및 상기 탐색 영역에서의 특징점을 검출하기 위한 각 특징점별 검출기를 생성하는 검출기 생성 단계;를 포함한다.

바람직하게는, 상기 관심 영역 모델 생성 단계는, 설정된 개수의 특징점들의 좌표를 벡터로 설정하는 단계; 객체의 가장 독특한 특징점을 찾아 두 개의 특징점의 거리가 1이 되도록 좌표의 중심점을 정규화하는 단계; 및 각 객체의 특징점의 정규화된 평균 좌표벡터와 특징점의 평균 위치에서 변화 가능한 거리를 계산한 영역 벡터를 관심 영역 모델로 설정하는 단계;를 포함한다.

바람직하게는, 상기 객체 특징점 추출 단계는, 상기 탐색 영역에 대하여 고속 푸리에 변환을 수행하는 고속 푸리에 연산 단계;를 더 포함한다.

바람직하게는, 상기 객체 특징점 추출 단계는, 상기 고속 푸리에 변환을 통해 처리된 스펙트럼 영상에서 미리 설정된 임계값 이하인 부분을 객체의 특징 후보 영역에서 제외시키는 후처리 단계;를 더 포함한다.

바람직하게는, 상기 객체 특징점 추출 단계는, 입력 영상에 대해 히스토그램 평활화 방법에 의해 명암 값의 분포가 균일화되도록 처리하는 영상 전처리 단계;를 더 포함한다.

한편, 상기 상황 인식 기반의 객체 검출, 인식 및 추적 방법을 제공받기 위한 정보는 서버 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있다. 이러한 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있도록 프로그램 및 데이터가 저장되는 모든 종류의 기록매체를 포함한다. 그 예로는, 롬(Read Only Memory), 램(Random Access Memory), CD(Compact Disk), DVD(Digital Video Disk)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 케리어 웨이브(예를 들면, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함된다. 또한, 이러한 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

상술한 바와 같이, 본 발명에 따르면 기존의 객체 검출 및 추적 기술의 치명적인 문제점인 조명환경(조명의 방향, 밝기 대조, 명암 등) 변화의 영향을 최소화함으로써, 고신뢰도가 요구되는 침입 탐지 시스템을 제공할 수 있는 장점이 있다.

또한, 본 발명에 따르면 외부 조명의 변화 및 잡음의 영향을 최소화하는 알고리즘 및 시스템을 제공함으로써 일정한 성능을 갖는 객체의 특징점 추출 기술 및 추적 프로그램의 개발을 통한 액티브 비젼 기반의 고 신뢰도 객체 추적 시스템을 제공할 수 있는 장점이 있다.

또한, 본 발명에 따르면 비강압식 영상정보측정을 위하여 객체의 영상정보를 이용하여 객체 검출 및 추적을 통하여 접근 보안을 수행한다. 따라서, 본 발명에 따른 입력 영상 내에서의 객체 검출 및 추적 기술은 인간 중심의 사용자 인터페이스, 공장 검사 자동화, 동작 인식을 통한 가전제품 구동, 장애인 보조 기술로서 산업계로의 이전 등의 효과를 창출할 수 있다.

또한, 본 발명에 따르면 모니터링 기능을 이용한 사람의 출입관리에 효과적이며, 적은 비용으로 고효율 발생이 가능하고 침입 탐지 기능을 가지므로 신뢰성 있는 시스템 관리가 가능한 장점이 있다.

한편, 최근 건물이나 인가된 일정 영역에서의 보안 시설 및 시스템에 대한 시장의 요구사항이 증가하고 있으며 본 발명에 따라 그에 따른 시스템을 개발함으로써 병원, 복지시설, 보호시설, 개인 보안 시설 등과 같은 많은 분야에 활용 가능한 장점이 있다.

아울러, 본 발명에 따라 대형 할인 마트나 유통업체 등에서 고객의 흐름 및 구매 행위 분석을 통한 고객 관리 등을 통하여 목적 및 환경에 부합하는 기능의 추가 및 구성이 가능한 장점이 있다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 실시예에 따른 시스템의 객체 특징점 추출 모듈의 세부 구조를 나타내는 블록도이다.
도 2는 본 발명의 실시예에 따른 시스템의 객체 검출 및 추적 모듈의 세부 구조를 나타내는 블록도이다.
도 3은 본 발명의 실시예에 따른 물체의 특징점 검출 흐름도이다.
도 4 및 도 5는 본 발명의 실시예에 따른 서베일런스 침입 탐지에서 객체 검출 및 추적 과정의 흐름도이다.
도 6은 본 발명의 실시예에 따른 특징점과 비특징점 데이터 수집을 나타내는 도면이다.
도 7은 본 발명의 실시예에 따른 특징벡터가 저장된 텍스트 파일을 나타내는 도면이다.
도 8은 본 발명의 실시예에 따른 실험에 사용된 영상을 나타내는 도면이다.
도 9는 본 발명의 실시예에 따른 특징 영역에 대한 푸리에 변환을 나타내는 도면이다.
도 10은 본 발명의 실시예에 따른 특징 영역으로부터 오른쪽으로 약 4 픽셀 떨어진 곳에 대한 푸리에 변환을 나타내는 도면이다.
도 11은 본 발명의 실시예에 따른 비교 블록 개수와 푸리에 변환 시간 관계 측정 결과를 나타내는 도면이다.
도 12는 본 발명의 실시예에 따른 추출된 객체의 특징점을 나타내는 도면이다.
도 13은 본 발명의 실시예에 따른 학습 시스템의 구조를 나타내는 도면이다.
도 14는 본 발명의 실시예에 따른 서베일런스에서 객체의 검출과 추적 과정을 나타내는 도면이다.
도 15는 본 발명의 실시예에 따른 샘플별 객체 검출율 실험 결과를 나타내는 도면이다.
도 16은 본 발명의 실시예에 따른 제1 방향에 대한 클러스터링 수행 방법을 나타내는 도면이다.
도 17은 본 발명의 실시예에 따른 제2 방향에 대한 클러스터링 수행 방법을 나타내는 도면이다.
도 18은 본 발명의 실시예에 따른 객체 영상 인식과정을 나타내는 도면이다.
도 19는 본 발명의 실시예에 따른 합병과 조정에 의한 후처리 과정을 나타내는 도면이다.
도 20은 본 발명의 실시예에 따른 건물 내 스테레오/줌 카메라 설치를 나타내는 도면이다.
도 21은 본 발명의 실시예에 따른 이동경로 추적 흐름을 나타내는 도면이다.
도 22는 본 발명의 실시예에 따른 스테레오 매칭 모델링을 나타내는 도면이다.
도 23은 본 발명의 실시예에 따른 움직이는 객체의 추적 과정을 나타내는 도면이다.
도 24는 본 발명의 실시예에 따른 히스토그램 평활화를 이용하여 전처리된 영상을 나타내는 도면이다.
도 25는 본 발명의 실시예에 따른 검출된 객체의 특징점을 나타내는 도면이다.
도 26은 본 발명의 실시예에 따른 전처리 및 고속 푸리에 연산을 통한 스펙트럼 영상 획득 과정을 나타내는 도면이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는 적절하게 설명된다면 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

본 발명의 구현을 위해 실시간으로 객체의 특징점이나 특징 영역을 추적하기 위해서는 주변 영역과의 구별성이 뚜렷해야한다. 이는 특징점 추적 기법에서 항상 중요한 속성으로 간주되는 것이다. 본 발명에서는 입력된 객체 영상에서 잡음과 조명 변화에 민감하지 않도록 입력 영상에서의 전처리를 수행하며, 이로부터 추출된 객체의 특징적인 요소 정보로부터 수치화된 특징 벡터값을 추출해 낸다. 전처리의 최적화는 객체의 특징점 검출 속도를 향상시킨다.

한편, 본 발명의 실시예에 따라 제안하는 시스템에서는 이러한 특징점 검출 단계를 크게 학습 단계와 검출 단계로 구성한다. 학습 단계에서는 객체의 각 특징점의 탐색 영역을 설정하기 위한 관심 영역 모델과 탐색 영역에서 특징점을 검출하기 위한 각 특징점별 검출기를 생성한다. 검출 단계에서는 학습 단계에서 생성했던 관심 영역 모델을 이용해서 입력 영상에서 각각의 특징점의 탐색 영역을 설정하고, 이 탐색 영역에 대하여 고속 푸리에 변환(Fast Fourier Transform)을 이용하여 특징점을 검출한다.

객체의 특징 영역에 대하여 고속 푸리에 변환을 적용하였을 때 객체의 주변 영역과는 다른 스펙트럼 형태가 나오게 된다. 이러한 성질을 이용하여 객체의 각 특징점을 검출하게 되고 이 방법은 기존의 방법보다 특징점을 검출하는 속도가 더 빠르다.

이러한 객체의 특징점 검출 방법을 기반으로, 똑같은 여러 객체, 즉 사람 객체가 하나의 입력 영상에 여러 명 들어있을 경우에 베이지안(Bayesian) 분류기를 이용하여 사람 객체만을 검출 및 추적할 수 있다. 입력 영상의 다양한 상황은 조명 상태, 객체의 동작 패턴, 배경 영상 및 전경 영상의 잡음에 의하여 영향을 받는다.

이러한 다양한 상황을 가진 영상에 대하여 영상에서 객체들을 n개의 그룹으로 분류한다. 분류된 객체의 영상에 대하여 가장 최적의 베이지안 분류기를 이용하여 특징점을 검출한다. 가장 최적의 베이지안 분류기로써 특징점을 검출한다는 의미는 분류된 영상에 맞게 임의로 설정한 임계값(threshold)을 이용하여 특징점을 검출한다는 것이다. 그 후에 합병과 조정 방법과 같은 후처리 과정을 통하여 객체의 중심이 결정됨으로써 객체를 검출하게 된다. 이 과정에서 2D Haar 웨이블릿 변형이라는 방법이 사용되고 이 방법은 본 발명에 따른 시스템이 조명의 영향을 덜 받도록 한다.

따라서, 본 발명에 따른 영상의 상황분석에 기반을 둔 방법은 다양하게 변화하는 환경에 대하여 객체 검출 및 추적의 정확성 측면에서 기존의 방법보다 우수한 성능을 보인다. 또한, 후처리 과정에서 사용된 합병과 조정 전략은 최근에 제기되어 왔던 다양한 동작 패턴의 객체의 검출과 추적 알고리즘을 어렵게 만드는 검출 대상 영역별 밝기 차이에 대한 보정 문제와 객체 검출시스템의 처리 속도 문제를 해결할 수 있다.

이하, 본 발명의 바람직한 실시예에 따른 상세한 설명을 첨부된 도면들을 참조하여 설명한다. 하기에는 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.

본 발명의 실시예에 따른 서베일런스 시스템은 객체 특징점 추출 모듈(100)과 객체 검출 및 추적 모듈(200)로 구성될 수 있다.

도 1은 본 발명의 실시예에 따른 시스템의 객체 특징점 추출 모듈(100)의 세부 구조를 나타내는 블록도이며, 도 2는 본 발명의 실시예에 따른 시스템의 객체 검출 및 추적 모듈(200)의 세부 구조를 나타내는 블록도이다.

도 3은 본 발명의 실시예에 따른 객체 특징점 추출 모듈을 이용한 물체의 특징점 검출 흐름도이며, 도 4 (또는 도 4-1)는 서베일런스에서 객체 검출 및 추적 모듈을 이용한 객체의 검출 및 추적의 흐름도이다.

도 1을 참조하면, 객체 특징점 추출 모듈(100)은 객체 구성요소 검출부(110), 객체 구성요소 정규화부(120), 학습 데이터베이스 저장부(130), 고속 푸리에 연산부(140), 후처리부(150), 특징점 추출부(160) 등을 포함하여 구성될 수 있다.

도 3의 객체 특징점 추출 모듈을 이용한 물체의 특징점 검출 흐름도를 참조하여, 도 1의 객체 특징점 추출 모듈(100)의 각 구성 블록의 수행 기능과 물체의 객체 특징점 추출 모듈(100)에 의한 특징점 추출 과정을 설명한다.

객체 구성요소 검출부(110)는, 다른 객체 이미지와 비교했을 때 구별되는 형상과 색상정보를 가지는 검출하고자 하는 객체만이 갖는 독특한 특징 부위의 유효한 위치를 선정하는 기능을 수행한다.

객체 구성요소 정규화부(120)는, 영상 전처리부(121), 관심영역 모델 생성부(122), 특징 벡터 추출부(123), 검출기 생성부(124)로 구성되며 객체의 독특한 특징 부위를 공식화된 수식이나 계산에 의하여 벡터값 등으로 수치화하고 베이지안 판별식을 이용하여 검출기를 생성하는 기능을 수행한다.

세부적으로 영상 전처리부(121)는, 입력 영상이 너무 어둡거나 또는 너무 밝을 경우 등과 같이 픽셀 밝기값이 특정 값에 치우쳐져 있는 것을 보다 넓게 영상 모든 부분으로 분산시켜 주는 이미지 처리 방법을 수행한다. 본 발명에서는 히스토그램 평활화(Histogram Equalization) 방법을 이용하여 입력 영상에 명암에 의한 잡음 영상이 있을 시에 이들 명암 값의 분포가 균일화되어 영상이 향상될 수 있도록 한다.

관심영역 모델 생성부(122)에서는 객체의 특징점을 검출하기 위해 해당 객체를 다른 배경 영상과 구별해주는 독특한 관심영역을 찾는다. 본 발명에서는 특징점의 관심영역을 찾기 위해 관심영역모델을 구성하여 보다 정확한 특징점 검출에 활용한다. 이때, 검출하고자 하는 객체의 독특한 특징은 항상 일정한 거리에 존재한다는 분석학적 지식을 활용하여 관심영역모델을 생성한다.

한편, 관심영역모델은 다음과 같은 3단계를 통해 생성된다.

단계 1. 하기 <표 1>과 같이 16개 특징점의 좌표를 벡터로 만든다.

1번 특징점 좌표 x

1번 특징점 좌표 y

2번 특징점 좌표 x

......

16번 특징점 좌표 x

16번 특징점 좌표 y

단계 2. 특징점의 좌표 벡터를 정규화한다. 이때, 좌표의 중심점은 객체의 가장 독특한 특징점을 찾아 두 개의 특징점의 거리가 1이 되도록 정규화한다.

단계 3. 관심영역모델은 각 객체 특징점의 정규화된 평균좌표벡터와 특징점의 평균위치에서 변화 가능한 거리를 계산한 영역 벡터가 관심영역 모델로 설정된다. 영역벡터는 평균좌표벡터에서 각 특징점 좌표벡터의 각 특징점 위치가 얼마만큼 떨어져 있는지 측정하는 것이다. 이때, 평균에서 가장 멀리 떨어져 있는 거리를 영역벡터에 저장한다.

특징 벡터 추출부(123)에서는 베이지안을 이용해 특징점을 분류하기 위해서는 두 가지 클래스 모델을 이용한다. 상기 두 가지 클래스 모델은 특징점 모델과 비 특징점 모델이다. 본 발명에서는 특징점 모델을 위한 벡터로서 도 6에 도시된 바와 같이 특징점과 주변 픽셀을 포함한 3×3 개의 픽셀에 대해 8개의 주파수와 5개의 방향을 가진 2D Haar 웨이블릿을 통해 40차원의 벡터를 추출한다. 비 특징점 모델을 위한 벡터는 특징점 관심영역 안에서 검출하는 것이기 때문에 특징점에서 6픽셀 떨어진 8개의 픽셀을 이용하여 벡터화한다.

검출기 생성부(124)에서는 특징점 검출기로서 2D Haar 웨이블릿을 이용하여 특징점과 비 특징점을 벡터화한다. 이때, 추출된 특징벡터에 대하여 베이지안 판별식을 통해 생성한다. 특징점과 비 특징점 패턴은 다 변량 정규 분포로 나타나므로 판별식으로서 패턴의 판별에 관련 있는 마할라노비스(Mahalanobis) 거리공식을 이용한다. 상기 마할라노비스 거리공식은 학습 패턴들의 공분산과 평균벡터를 이용하여 측정할 수 있기 때문에 학습단계에서는 특징점 패턴과 비 특징점 패턴의 데이터를 이용해 각각의 공분산과 평균벡터를 생성한다.

학습 데이터베이스 저장부(130)는 위 단계에서 생성된 특징 벡터값들을 파일 형태로 저장하는 것이다. 이 파일은 텍스트 파일(*.txt) 형태 또는 엑셀 파일(*.xls) 형태로 저장될 수 있다. 어떤 형식의 파일로 저장하든 이후 단계에서 입력 값으로 사용될 수 있도록 일정한 형식과 구분자들을 이용하여 저장한다. 도 7은 결과로 생성된 특징 벡터값을 저장한 텍스트 파일의 예이다.

고속푸리에 연산부(140)는 찾고자 하는 객체의 특징점 검출을 위해 학습 데이터베이스에 저장되어 있는 특징 벡터값들을 고속 푸리에 연산의 입력값으로 사용한다. 고속 푸리에 변환은 임의의 신호에 포함되어 있는 주파수 성분을 분석하는 도구이며 영상 처리뿐만 아니라 신호 분석이나 음성 처리에서도 적용되는 기법이다.

도 8은 고속 푸리에 연산의 실험에 사용된 영상이다. 상기 도 8의 영상에 대해 도 9에 도시된 바와 같이 특징 영역에 대하여 고속 푸리에 변환을 수행한다. 도 10은 선택된 특징 영역의 주변 영역에 대한 고속 푸리에 변환을 수행한 스펙트럼 영상을 보여준다. 상기 도 9 및 도 10에 도시된 바와 같이 변환 결과 스펙트럼의 형태가 다르게 나타남을 알 수 있다.

서베일런스 침입탐지 플랫폼에서 객체를 검출하고 추적하고자 할 때 고속 푸리에 연산을 이용하면 특징 영역의 분석은 효율적이다. 본 발명의 실시예에 따라 검출하고자 하는 특징점 검출 방법은 고속 푸리에 변환을 이용하기 때문에 특징점 검출 속도가 빠르며 이후 단계에서 객체의 추적 시 실패하는 확률이 낮아진다. 예컨대, 서베일런스 침입탐지 시스템에서 5개 이내의 객체의 독특한 특징점을 실시간으로 추적할 때 객체 추적의 정확도를 높일 수 있다.

후처리부(150)는 잡음 제거를 하기 위해서 상기 스펙트럼 영상에 임의의 임계값(threshold)을 적용한다. 즉, 미리 설정된 특정 임계값 이상인 경우에만 객체의 특징 영역으로 사용하고 상기 임계값 이하인 부분은 객체의 특징후보 영역에서 제외시킨다. 분류된 데이터가 모두 객체의 특징점이라면 후처리가 필요하지 않을 수 있다. 그러나, 이 과정은 입력 영상에 고속 푸리에 연산을 적용하였을 때 발생하는 거짓의 객체 특징점 추출이라는 오류를 제거하기 위한 것이다.

특징점 추출부(160)는 합병과 조정 전략에 의하여 후처리 과정을 통하여 찾아진 객체 후보 영역 안에서 객체의 특징점들의 위치를 확정짓는 기능을 수행한다. 본 발명에서는 추출된 객체의 특징점들에 대하여 베이지안 판별식 방법이 모든 특징점에서 높은 성능을 보이고 있으며, 사람 객체의 경우에 특히 다리와 팔과 같은 관절 부분 영역과 머리 영역에서 높은 데이터의 비율을 보인다. 도 12는 추출된 객체의 특징점을 나타낸다.

이와 같이, 객체 특징점 추출 모듈(100)을 통하여 추출된 물체의 특징점은 객체 검출 및 추적 단계에서 동작 패턴의 형태에 따라 이미지가 분류된다. 이때, 클러스터에서 최적화된 다른 임계값을 베이지안 방법에 적용한다.

이러한 본 발명에 따른 방법을 이미지의 상황 기반 객체 검출 방법이라고 칭한다. 일반적인 베이지안 방법은 전체 테스트 이미지에 대하여 같은 임계값을 적용하지만, 본 발명에 따른 상황 기반 방법은 클러스터의 개수에 따라 적응적인 임계값을 적용한다.

도 13은 두 가지 구분된 단계의 네트워크를 이용하여 학습하는 과정을 보여준다. 첫 번째 단계에서는 비감독 학습을 진행한다. 두 번째 단계에서는 다양한 임계값을 활용하여 규칙적인 감독 방법을 이용하여 학습한다. 이때, 입력 패턴은 64x64 픽셀의 회색 스케일의 이미지 크기로 벡터 처리된다. 한편, 입력 공간으로부터 숨겨진 단위 공간으로의 변형은 비선형이며, 숨겨진 단위 공간으로부터 출력 공간으로의 변형은 선형이다. RBF 분류기는 고차원 공간으로 입력 벡터를 확장하고 K-means를 이용하여 학습한다. 네트워크 입력은 1차원 벡터와 같이 네트워크로 들어간 n개의 값이 정규화되고 1/2 크기로 재조정된 이미지로 구성된다.

도 14는 서베일런스에서 객체의 검출과 추적 과정을 나타낸다. 예컨대, 본 발명의 실시예에 따라 Haar 특징을 기반으로 하는 베이지안 분류기를 이용하여 객체를 검출하고 추적하는 과정을 보여준다. 본 발명에서는 객체 검출을 위하여 2D Haar 웨이블릿을 통한 특징 벡터를 구성하고 베이지안 분류기를 학습시키기 위해 사용된다.

이와 같이 본 발명에서 만든 영상의 상황 기반 분석을 기초로 한 방식이 서베일런스에서 객체 검출 및 추적에 활용됨으로써 동적인 환경에서도 효율성 및 정확성을 높일 수 있게 된다. 이 방법은 입력 영상에서 배경의 명암으로 인한 요인이나 다른 객체의 잡음 영상이 혼재된 경우에도 일정한 성능을 나타낸다.

도 2를 참조하면, 객체 검출 및 추적 모듈(200)은 영상의 상황 기반 분석부(210), 객체 이미지 분류부(220), 상황 적응적 베이지안 분류부(230), 객체 후보 영역 검출부(240) 및 객체 추출부(250) 등을 포함하여 구성될 수 있다.

도 4의 서베일런스에서 객체 검출 및 추적 모듈을 이용한 객체의 검출 및 추적의 흐름도를 참조하여, 도 2의 객체 검출 및 추적 모듈(200)의 각 구성 블록의 수행 기능 및 객체 검출 및 추적 모듈(200)에 의한 서베일런스에서 객체 검출 및 추적 과정을 설명한다.

객체를 검출 및 추적하기 위해 도 4와 같은 단계로 입력 영상을 처리한다. 객체 검출기는 전처리 처리가 된 영상에서 ±20도까지 회전되고, 64x64 픽셀의 최소 크기의 객체를 검출하기 위해 설계하였다. 검출기는 이미지 상황 기반 방법의 경로와 베이지안 상황 인식 방법을 사용한다.

한편, 영상의 다양한 상황은 조명 상태, 동작 패턴, 배경 영상 및 전경 영상의 잡음에 의하여 영향을 받는다. 이때, 영상의 상황은 K-means와 RBF의 하이브리드 네트워크에 의하여 모델화되어지고 분석된다. 영상의 상황 분석은 베이지안 분류기가 변화하는 배경 영상과 동작 패턴에 따라 조정될 수 있도록 하기 위해 몇 가지 영상의 상황 중에 하나로 검출된 객체 영상을 배정한다. 따라서 영상의 상황분석에 기반을 둔 방법은 다양하게 변화하는 환경에 대하여 객체 검출 및 추적의 정확성 측면에서 기존의 방법보다 우수한 성능을 보인다.

본 발명에서는 다양한 환경의 영향을 감소시키기 위해 베이지안 프레임 워크를 기반으로 하는 Haar 웨이블릿뿐만 아니라 후처리 과정을 사용한다. 후처리 과정은 합병과 조정 절차를 통해서 배경 영상의 잡음 문제를 해결한다.

검출 알고리즘은 세 가지 단계의 모듈로 구성한다. 첫 번째 단계는 영상의 상황 기반 분석이고, 두 번째 단계는 상황 적응적 임계값을 가진 베이지안 판별식의 적용이다. 세 번째 단계는 후보 영역에 대한 합병과 조정 전략의 적용이다. 이때, K-means와 RBF 알고리즘을 이용하여 클래스에 의하여 객체를 분류한다. 영상의 상황 분석에 의하여 분류된 영상은 베이지안 검출기를 통과한다. 베이지안 검출기는 여섯 레벨 다중 해상도 방법, 2D Haar 변형기를 이용한 특징 벡터 생성기와 베이지안 판별식 방법을 기초로 한 Haar 특징을 가진 후보 윈도우 영역 분류기로서 이루어진다.

객체 검출 방법을 이용하여 객체가 발견된 후 히스토그램 평활화가 검출된 영역으로 처리되어 진다. 이때, 검출된 객체 영상은 정면에서 바라본 형태이다. 그러나 이러한 객체 정면의 동작 패턴은 쉽게 다른 옆면이나 뒷면의 동작 패턴으로 확장될 수 있다. 그 후에, 영역은 64x64 윈도우에 의하여 스캔된다.

2D Haar 웨이블릿 변형은 각각의 윈도우에 대하여 진행된다. 각각의 윈도우는 베이지안 분류기를 기반으로 하는 Harr 특징에 의하여 테스트 되고 윈도우가 후보인지 아닌지가 결정된다. 2D Haar 웨이블릿 변형은 시스템이 조명의 영향을 덜 받도록 한다. 베이지안 분류기를 기반으로 하는 Haar 특징을 이용한 방법은 서로 다른 스케일을 가진 후보 영역이 나타난다. 마지막으로, 합병과 조정 전략이 적용되고 객체의 중심이 결정된다.

영상의 상황 기반 분석부(210)는 영상의 범주들 중에서 하나로 검출된 영상을 배정한다. 영상의 상황은 K-means와 RBF의 하이브리드 네트워크에 의하여 모델화되어지고 분석된다. RBF 분류기는 고차원 공간으로 입력 벡터를 확장한다. RBF 네트워크는 전통적인 3계층 back-propagation 구조를 가지고 있다. 이 단계에서 숨겨진 단위들은 k-means를 이용하여 훈련된다. 네트워크 입력은 1차원 벡터와 같이 네트워크로 들어간 n개의 정규화되고 1/2크기로 재조정된 객체 영상들로 이루어진다. 이때, 입력 단위는 실수 값을 가지며, 벡터값은 정규화된다.

객체 이미지 분류부(220)는 클러스터링 알고리즘을 적용하여 객체 여부를 판정하도록 한다. 즉, 객체의 구성 요소 분할 수행 방법을 개선하여 추출된 객체의 구성 요소간의 특징을 바탕으로 추출하고자 하는 객체의 영상인지를 검증한다. 이때, 특징점을 이용하여 효율적으로 객체의 영역 정보를 축소하여 분석된 특징 요소를 이용하여 유사도 측정, PCA, k-NN, 상관관계 방법과 같은 클러스터링 방법을 이용하여 객체의 영상을 분류한다. 즉, 객체 각각의 센터 점을 찾은 후 클러스터링(clustering)을 수행하여 각각의 부분을 분리한다.

클러스터링은 프로젝션 벡터의 2가지 방향성으로 수행되어 진다. "1st K-means"는 도 16에 도시된 바와 같이 폭(width)을 이용하여 수행되어지고, "2nd 클러스터링"은 도 17에 도시된 바와 같이 상기 "1st K-means"에서 수행되어진 열(row)값에 대한 평균을 갖기 때문에, 2nd 클러스터링이 이루어진 후 노이즈 제거 효과를 볼 수 있다.

상황 적응적 베이지안 분류부(230)는 상기 단계에서 분류된 객체의 영상에 대하여 클러스터에서 최적화된 다른 임계값을 베이지안 방법에 적용한다. 이를 영상의 상황 기반 객체 검출 방법이라고 부른다. 일반적인 베이지안 방법은 전체 테스트 이미지에 대하여 같은 임계값을 적용하지만, 본 발명에 따른 상황 기반 방법은 클러스터의 개수에 따라 적응적인 임계값을 적용한다.

객체 후보 영역 검출부(240)는 다양한 환경의 영향을 감소시키기 위해 베이지안 프레임 워크를 기반으로 하는 Haar 웨이블릿뿐만 아니라 후처리 과정을 사용한다. 후처리 과정은 합병과 조정 절차를 통해서 배경 영상의 잡음 문제를 해결한다. 이미지 상황 분석에 의하여 분류된 이미지는 베이지안 검출기를 통과한다. 베이지안 검출기는 여섯 레벨 다중 해상도 방법, 2D Haar 변형기를 이용한 특징 벡터 생성기와 베이지안 판별식 방법을 기초로 한 Haar 특징을 가진 후보 윈도우 영역 분류기로서 이루어진다.

2D Haar 웨이블릿 변형은 각각의 윈도우에 대하여 진행된다. 각각의 윈도우는 베이지안 분류기를 기반으로 하는 Harr 특징에 의하여 테스트 되고 윈도우가 후보인지 아닌지가 결정된다. 2D Haar 웨이블릿 변형은 시스템이 조명의 영향을 덜 받도록 한다. 베이지안 분류기를 기반으로 하는 Haar 특징을 이용한 방법은 서로 다른 스케일을 가진 후보 영역이 나타난다. 이때, 도 19에서와 같이 합병과 조정 전략이 적용되어지고 객체의 중심이 결정된다.

합병과 조정 전략은 최근에 제기되어 왔던 다양한 동작 패턴의 객체 검출과 추적 알고리즘을 어렵게 만드는 검출 대상 영역별 밝기 차이에 대한 보정 문제와 객체 검출시스템의 처리 속도 문제를 해결할 수 있다.

객체 추적부(250)는 특정지역/영역에서 움직이는 객체에 대한 보안 및 모니터링을 수행하는 단계이다. 즉, 도 20에 도시된 바와 같이 건물 내에 필요로 하는 지역에 스테레오 카메라와 줌 카메라등을 설치하여 획득된 영상 정보를 이용하여 요주인물/VIP의 현재 위치 파악 및 특정 지역의 접근제어에 사용된다.

이때, 도 21에 도시된 바와 같이 각 지역에서 유입되는 움직임의 2차원 적인 정보를 이용하여 객체를 추적한다. 객체의 움직임 정보와 함께, 줌카메라는 출입의 보안이 극도로 필요한 경우 접근하는 사람의 얼굴 영상정보를 서버로 전송하고, 서버에서는 접근하려고 하는 사람의 신상명세를 파악하여 물리적인 접근제어를 수행할 수 있다. 이와 같이 검출된 객체를 추적하기 위하여 설치된 스테레오/줌 카메라들로부터 입력되는 영상정보를 이용하여 객체를 추적한다.

스테레오 매칭 처리 방법은 도 22에 도시된 바와 같이 입력된 영상에서 겹쳐지는 객체가 발생하면, 겹침 회피를 이용하여 겹쳐지는 객체들에 대한 구분을 수행한다. 공간적으로 떨어진 위치에 있는 다수개의 렌즈를 통해 동일한 장면으로부터 영상의 쌍을 구성하여 두 영상에서 볼 수 있는 부분들을 복원한다. 기존의 객체들을 추적하는 시스템에서 사용하는 방법은 모델 기반 방법으로써 참조 영상 방법을 이용하여 영상 내에서 객체를 획득한 후 이를 기반으로 모델을 정합하는 방법이다. 따라서, 복잡한 배경 하에서 움직이는 객체를 획득한 후 최소 하우스도르프 거리(minimum hausdorff distance)를 이용하여 모델과 정합 시킨 후, 정합 시킨 결과값이 최소가 되는 위치를 찾음으로써 물체를 추적하는 방법이었다. 그러나, 본 발명에서는 추적할 물체의 3차원 모델을 정의하고 이를 각 영상에서 정합 시키는 방법으로 마할라노비스 거리(mahalanobis distance)를 이용한다.

본 발명에서 개시하는 스테레오 매칭 처리 방법과 저해상도 영상차(Image Difference)를 기반으로 하는 방법은 일정한 배경으로부터 물체를 추출하기 위해 연속적인 영상 프레임들의 차를 이용한다. 상기 방법을 이용하여 객체의 영역을 추출한 후 잡영(noise pixel) 제거를 위해 2차원 메디안 필터(2D median filter)가 사용된다. 저해상도 영상차를 기반으로 하는 방법은 영상의 저해상도 표현과 필터링을 이용한 잡음 제거 후, 영상차를 이용하여 이동 물체를 추적하기 때문에 잡음 영상이 많거나 객체가 겹쳐 있는 경우에도 일정하게 객체를 추적할 수 있다. 도 23은 본 발명에서 제시하는 방법을 이용한 객체 추적의 흐름도를 나타낸다.

이하, 도 3 내지 도 5를 참조하여 본 발명의 실시예에 따른 상황 인식 기반의 객체 검출, 인식 및 추적 방법을 설명하며, 상술한 상황 인식 기반의 객체 검출, 인식 및 추적 시스템의 실시예에서의 설명과 중복되는 부분은 그 상세한 설명을 생략하기로 한다.

도 3은 본 발명의 실시예에 따른 객체 특징점 추출 모듈을 이용한 물체의 특징점 검출 흐름도이며, 도 4 및 도 5는 서베일런스에서 객체 검출 및 추적 모듈을 이용한 객체의 검출 및 추적의 흐름도이다.

도 3 및 도 4를 참조하면, 본 발명의 실시예에 따른 상황 인식 기반의 객체 검출, 인식 및 추적 방법은, 상술한 객체 특징점 추출 모듈과 객체 검출 및 추적 모듈을 이용하여 수행될 수 있으며, 도 3의 물체의 특징점 검출 과정과 도 4 및 도 5의 객체의 검출 및 추적 과정이 결합되어 서베일런스에서 객체 검출 및 추적이 이루어진다.

도 3의 물체의 특징점 검출 과정은 상술한 바와 같이 학습단계와 특징점 검출단계로 이루어지지며, 학습단계는 객체의 각 특징점의 탐색영역을 설정하기 위한 관심영역모델을 생성하고 탐색영역에서 특징점을 검출하기 위한 각 특징점별 검출기를 생성한다.

학습 단계는 객체의 각 특징점을 추출하여 이를 수식화된 공식에 의하여 특징 벡터값이라는 숫자를 얻어내고 이 숫자값들을 학습 파일 형태로 하여 저장하는 과정이다. 본 발명에서 제안하는 학습 단계에서 객체의 인식을 위해서는 객체의 특징을 잘 표현하는 특징점을 선정해야한다. 특징점은 다른 객체 영상과 비교했을 때 구별되는 형상과 색상정보를 가지는 그 객체의 독특한 특징 등으로써 객체의 특정 부위 등을 유효한 위치로써 선정하였다. 이러한 특징들은 값의 변화가 급격이 이루어지는 고주파 성분으로 이루어져 있기 때문에 , 객체에서 움직임이 일정한 부분 또는 두드러지게 돌출된 부분 등과 같이 완만한 저주파수 성분을 이루는 다른 부분 보다 변별력이 높은 특징이라 할 수 있다.

한편, 객체의 특징점을 검출하기 위해서는 객체의 관심영역을 찾아야 한다. 본 발명에서는 관심영역을 수평적 수직적인 이미지 히스토그램 분석에 기반한 휴리스틱 방법으로 수행하여 각각의 중요한 객체의 영역을 찾은 후 다시 객체의 독특한 특징 부위등을 찾게 된다. 기존의 침입탐지 시스템에서 사용하는 방법에서는 객체의 각 특징들을 모두 검출한 후 특징점을 추출하게 되는데 본 발명에 따른 방법은 좀 더 정확하게 각각의 특징점을 찾을 수 있도록 도와주지만 반대로 특징점을 탐색하는 시간이 많아진다는 단점이 있다.

본 발명에서는 이러한 문제를 해결하기 위해, 객체의 독특한 특징은 항상 일정한 거리에 존재한다는 사실을 이용하여 관심영역모델 방법을 이용한다.

상기 관심영역모델은 아래와 같이 3단계를 통해 생성된다.

단계 1. 16개 특징점의 좌표를 벡터로 만든다.

1번 특징점 좌표 x

1번 특징점 좌표 y

2번 특징점 좌표 x

......

16번 특징점 좌표 x

16번 특징점 좌표 y

단계 2. 특징점의 좌표 벡터를 정규화한다. 즉, 이웃한 두 특징점 간의 거리가 1이 되도록 정규화한다.

단계 3. 관심영역모델에 대해 각 객체의 특징점의 정규화된 평균좌표벡터와 특징점의 평균위치에서 변화 가능한 거리를 계산한 영역 벡터가 관심영역 모델로 설정된다. 영역벡터는 평균좌표벡터에서 각 특징점 좌표벡터의 각 특징점 위치 얼마만큼 떨어져 있는지 측정하는 것이다. 이때, 평균에서 가장 멀리 떨어져 있는 거리를 영역벡터에 저장한다.

이미지 전처리 단계에서는 검출된 객체를 128×128의 크기로 추출한 후 정확한 가보 웨이브렛 벡터를 추출하기 위하여 히스토그램 균일화를 수행한다. 히스토그램 균일화는 영상의 히스토그램이 평탄하게 되도록 명암값의 재분배를 통해 농도를 조절하는 것이다. 어떤 영상의 히스토그램이 한 부분으로 편중되면 이미지의 특징이 뚜렷하게 나타나지 않아서 영상의 변별력이 떨어진다. 따라서 영상처리에 적당하도록 히스토그램의 분포를 균일하게 조정하여야 하며 이것을 히스토그램 균일화라고 한다. 본 발명에서는 이러한 전처리를 통해 좀 더 정확한 벡터를 추출할 수 있다.

특징벡터 추출단계는 가보 웨이브렛(Gabor Wavelet) 방법을 이용하여 수행한다. 상기 방법은 생물학적인 연관성 및 물리적인 특성 때문에 객체의 특징벡터로 적합해서 객체인식 또는 검출에 사용한다.

본 발명에서는 가보 웨이브렛을 이용하여 특징 벡터 추출단계에서 기본적인 객체 표현으로서 거리 정보를 나타내는 에지와 제트(Jets)로 묶어진 노드들로 구성된 그래프를 이용하여 객체 특징점의 위치를 표현하였다. 또한, 본 발명에서는 번치 그래프라는 새로운 데이터 구조를 이용하며, 객체의 그래프와 각각의 제트들로 구성된 번치들을 이용하여 일반적인 객체의 특성을 표현한다. 따라서, 각각의 객체 데이터를 이용하여 구성된 번치 그래프를 특징점 검출에 사용한다.

한편, 기존의 객체의 특징 벡터를 추출하기 위하여 사용했던 방법에서는 객체의 특징점 검출을 위한 매칭 과정을 수행하는 데 있어 계산량이 많기 때문에, 빠른 속도로 매칭 요건을 최적화하는 데는 한계가 있었다. 따라서, 본 발명에서는 객체 그래프의 확대, 변형, 회전을 위한 GA를 부호화하여 매칭 과정에 사용함으로써 객체 특징점 검출속도를 높인다.

번치를 이용한 특징점 검출은 다음과 같이 구성되어진다. 한편, 본 발명에서는 번치 구성에서 한 특징점에 대해 검출을 위해 추출된 학습데이터, 즉 가보 벡터의 집합을 번치라고 한다. 다음은 번치를 구성하는 방법이다.

단계 1. n개의 학습이미지의 특징점 가보 벡터를 추출 후 데이터베이스에 저장한다.

단계 2. 데이터베이스에 저장된 가보 벡터를 K-means 클러스터 방법에 의해 m개의 클러스터로 나눈다.

단계 3. 각 클러스터의 평균 벡터를 추출한다.

첫 번째 클러스터의 평균벡터

두 번째 클러스터의 평균벡터

세 번째 클러스터의 평균벡터

......

......

m 번째 클러스터의 평균벡터

상기 <표 3>은 구성된 가보번치를 나타낸다.

검출기 생성 단계에서는 특징점 검출기를 생성하기 위하여 베이지안 방법을 이용한다. 이때, 특징점과 비 특징점 패턴은 다 변량 정규분포로 나타나므로 판별식은 다 변량 정규분포 수식에 포함되어 있는 마할라노비스 거리공식을 이용한다. 마할라노비스 거리공식은 학습 패턴들의 공분산과 평균벡터를 이용하여 측정할 수 있기 때문에 학습단계에서는 특징점 패턴과 비 특징점 패턴의 데이터를 이용해 각각의 공분산과 평균벡터를 생성한다.

이러한 일련의 과정을 통하여 검출기 및 관심영역 모델을 생성하여 학습 데이터베이스에 저장한다. 그런 다음, 다음 단계로서 관심영역모델을 이용한 특징점의 각 영역을 설정한다.

특징점을 검출하기 위해서는 학습단계에서 생성했던 관심영역모델인 평균 좌표벡터와 영역벡터를 이용해서 각 특징점의 탐색영역을 설정한다. 이때, 입력 영상의 객체의 두 특징점의 중심 위치 간의 거리를 이용하여 평균좌표벡터와 영역벡터를 객체에 맞게 조절하고, 평균좌표벡터는 좌표축을 두 특징점의 중심에서 영상의 좌표축으로 이동함으로써 입력 영상에 적합하도록 변경한다.

상기 <수학식 1> 및 <수학식 2>에서 X는 평균좌표벡터이고, D는 영역 벡터이다.

본 발명에서 제안하는 특징점 검출 방법은 에너지 함수를 이용한 베이지안 판별식을 통해 특징점 후보 영역을 분류한다. 에너지 함수는 최소 에너지의 위치를 찾기 위하여 사용하는 방법이다. 객체의 윤곽이 최소의 에너지를 갖고 있다고 가정한다.

본 발명에서 제안하는 특징점 검출 방법에서 검출하고자 하는 특징점은 객체의 독특한 특징 주위와 같이 에지에 해당하는 위치이다. 이때, 에너지 함수의 에너지 크기가 작을수록 에지에 가깝고 에너지의 크기가 클수록 에지에서 멀어지는 사실을 이용해서 외부 에너지 함수의 명암 값과 기울기 부분을 특징점 분류를 위한 판별식에 좀 더 유동적인 임계값으로 활용할 수 있다. 특징점의 이러한 특성을 이용하여 판별식을 하기 <수학식 5>와 같이 구성한다.

수식(20)의 g_p(x)와 g_n(x)은 특징점 영역, 비 특징점 영역에 대한 판별함수이고 각 클래스와의 마할라노비스 거리이다. 위 판별함수를 이용해서 특징점 후보를 추출할 수 있다. 위 수식의 값의 순위(rank) 10까지의 후보를 구한 후 후처리를 통해 특징점이 검출된다.

학습 데이터 베이스로부터 검출기 및 관심영역 모델 데이터를 호출하여, 각 특징점/관심영역을 설정하는 단계로서, 학습 단계 과정을 수행함으로써 각 특징점 관심 영역을 설정하는 과정을 수행한다. 이는 가보 웨이블릿 방법에 의하여 수행될 수 있으며, 이 경우 종래 기술과는 달리 특징점 계산을 위한 시간을 최소화하는 특징을 갖는다.

특징점 후보 검출 단계는 특징점 검출 단계 과정을 수행함으로써 검출기에 푸리에 변환을 이용하여 특징점 후보를 검출하는 과정을 수행한다. 이는 고속 푸리에 연산(Fast Fourier Transform) 방법에 의하여 수행될 수 있으며, 이 경우 종래 기술과는 달리 특징점 후보를 찾는 계산 시간을 최소화 하는 특징을 갖는다.

후처리 단계에서는 검출된 특징점 후보(군)에 대하여 합병과 조정 전략을 통한 후 처리 과정을 수행함으로써 물체의 특징점을 검출하게 된다. 이는 베이지안 분류기를 기반으로 하는 Harr 특징 방법에 의하여 수행될 수 있으며, 이 경우 종래 기술과는 달리 모든 특징점에서 높은 검출 성능을 보이고 있으며, 사람 객체의 경우에 특히 다리와 팔과 같은 관절 부분 영역과 머리 영역에서 높은 데이터의 비율을 보이는 특징을 갖는다.

이와 같이 검출된 각 객체의 특징점 및 객체 후보 영역은 도 4 및 도 5의 객체의 검출 및 추적 과정에서 잡음 영상이 혼재된 입력 영상에서 각 상황에 적응적인 방식으로 사용된다.

도 4 및 도 5의 객체의 검출 및 추적 과정은 피라미드식 기반 사람 탐지 단계(410), 전처리 단계(420), 영상의 상황 기반 분석 단계(430), 베이지안 분류기 적용 단계(450), 및 (합병과 조정전략 적용의) 후처리 단계(460)로 이루어지며, 피라미드식 기반 사람 탐지 단계(410)는 입력 영상을 일정한 크기의 윈도우로 분할하여 객체를 검출하는 과정으로서 과정을 수행함으로써 서베일런스에서 객체인 사람을 검출하게 된다. 이는 16 x 16 객체 윈도우에 의하여 스캔되어지는 방법인 다중 해상도(multi-resolution)라고 불려지는 "bspline" 방법에 의하여 수행될 수 있으며, 이 경우 종래 기술과는 달리 추출하고자하는 객체를 입력 영상 안에서 놓치지 않는 특징을 갖는다.

전처리 단계(420)는 입력 영상안의 객체가 존재하는 영역에서 특징벡터 추출을 위해서 잡음 영상을 제거하는 과정으로서 히스토그램 평활화 과정 및 스테레오 매칭 모델링을 수행함으로써 이루어지며, 이 경우 종래 기술과는 달리 더욱 정확한 객체의 특징 벡터 추출을 돕는 특징을 갖는다.

영상의 상황 기반 분석 단계(430)는 영상의 범주들 중에서 하나로 검출된 영상을 배정하는 과정으로서 K-means와 RBF의 하이브리드 네트워크에 의하여 모델화되어지고 분석되어지는 과정을 수행함으로써 벡터값들을 정규화한다. 이때, K-means와 RBF 알고리즘을 이용하여 클래스에 의하여 객체를 분류한다. 영상의 상황은 K-means와 RBF의 하이브리드 네트워크에 의하여 모델화되어지고 분석된다. 또한, 영상의 상황 분석은 베이지안 분류기와 후처리 과정이 변화하는 배경 영상과 동작 패턴에 따라 조정될 수 있도록 하기 위해 몇 가지 영상의 상황 중에 하나로 검출된 객체 영상을 배정한다. 이 경우 종래 기술과는 달리 본 발명에 따른 영상의 상황분석에 기반을 둔 방법은 다양하게 변화하는 환경에 대하여 객체 검출 및 추적의 정확성 측면에서 기존의 방법보다 우수한 성능을 보이는 특징을 갖는다.

베이지안 분류기 적용 단계(450)는 상기 단계에서 분류된 객체의 영상에 대하여 클러스터에서 최적화된 다른 임계값을 베이지안 방법을 영상에 적용하는 과정으로서 베이지안 알고리즘을 이용해서 특징점을 분류하는 과정을 수행함으로써 수행된다. 이는 객체의 각 상황에 맞는 임계값(threshold)을 부여함으로써 객체를 분류하는 방법에 의하여 수행될 수 있다. 이 경우 종래 기술과는 달리 상황에 적응적인 임계값을 갖는 베이지안 분류기를 사용하여 단순히 객체 검출에만 국한되지 않고 융합보안 분야에서 다른 객체의 검출 및 추적에도 활용되어 질 수 있다는 특징을 갖는다.

즉, 일반적인 베이지안 분류기는 고정된 임계값(threshold)을 사용함으로써 입력 영상에서 객체를 검출할 때 획일적인 기준을 사용함으로써 객체 검출에 실패할 확률이 높아진다. 그러나, 본 발명에서 제안하는 최적화된 다른 임계값을 베이지안 방법을 이용하여 객체를 검출할 시에는 입력 영상에서 객체 주위에 잡음 영상이 있거나 다른 객체와의 영상이 겹칠 때에도 효과적으로 객체를 검출해 낼 수 있는 특징이 있다.

합병과 조정전략 적용단계(460)는 검출된 객체 후보 영역들을 몇 개의 확실한 객체들로 특징짓는 과정으로서 2D Haar 웨이블릿 변형과정을 수행함으로써 수행된다. 이는 객체의 각 후보 윈도우가 2D Haar 웨이블릿 특징 방법에 의하여 수행될 수 있으며, 이 경우 종래 기술과는 달리 최근에 제기되어 왔던 다양한 동작 패턴의 객체 검출과 추적 알고리즘을 어렵게 만드는 검출 대상 영역별 밝기 차이에 대한 보정 문제와 객체 검출시스템의 처리 속도 문제를 해결할 수 있다는 특징을 갖는다.

도 5는 본 발명의 실시예에 따른 합병과 조정에 의한 후처리 과정을 설명하는 도면이다. 도 5를 참조하여, 합병과 조정전략 적용 단계를 보다 상세히 설명하면, 도 5에서 합병과 조정 전략이 적용되어지고 객체의 중심이 결정되어진다. 이 과정에서 합병 전략은 객체로 검출된 후보 영역들에 대하여 거짓으로 검출된 객체를 제거함에 의하여 객체 검출의 신뢰성을 향상시키기 위하여 고안되어진다. 도 5에서처럼 객체의 후보 윈도우가 여러 개 겹쳐진 영역은 높은 주파수를 가진 진짜 객체들 근처에서 발견되어지고 반면에 거짓으로 검출된 객체는 보통 낮은 주파수를 가진 곳에서 생긴다는 것을 알 수 있다.

이러한 방법은 객체의 거짓 검출을 제거할 수 있는 합리적인 결정 규칙을 주고 하나의 합병된 검출로 진짜 객체 검출을 가능케 한다. 이때, 각각의 객체의 중심에 대하여 그 위치에서 검출된 후보 윈도우의 수가 계산되어진다. 따라서, 그 수가 일정 임계값보다 더 크다면 그 위치는 객체의 영역으로 분류되어진다. 이렇게 찾아진 객체의 위치는 바로 옆에서 찾아진 이웃한 검출들의 중심에 의하여 나타냄으로써 중복된 객체 검출은 제거될 수 있다. 특정 위치가 정확히 객체로서 분류되면 겹쳐진 모든 다른 검출된 위치는 에러로써 간주되고 이것들은 객체 후보에서 제거되어 질 수 있다. 객체 후보로서 많은 수가 검출된 위치는 보존되고, 더 적게 검출된 위치는 제거된다. 합병과 조정 전략은 최근에 제기되어 왔던 다양한 동작 패턴의 객체 검출과 추적 알고리즘을 어렵게 만드는 검출 대상 영역별 밝기 차이에 대한 보정 문제와 객체 검출시스템의 처리 속도 문제를 해결할 수 있다.

본 발명에서 제안하는 기술의 특징은 현재 영상보안 시스템에 있어서 가장 문제시 되는 모듈의 조명변화에 따르는 객체 영상 인식성능 저하의 문제를 자체 적응특성을 부여하는 객체의 상황 분석 방법에 의하여 개선하고 임베디드, 모바일 시스템에 실시간으로 적용시키기에 충분한 방법이다. 또한, 환경에 적응적인 조명 및 잡음 상쇄를 통한 신뢰성 있는 객체의 영상 정보를 이용함으로써 서베일런스 시스템을 이용하는 환경의 내외적 변화에 대하여 좀 더 안정적인 검출 성능을 발휘할 수 있다.

상기와 같은 본 발명은 기존의 객체 검출 및 추적 기술의 치명적인 문제점인 조명환경 (조명의 방향, 밝기 대조, 명암 등) 변화의 영향을 최소화함으로써, 고신뢰도가 요구되는 침입 탐지 시스템에 적용될 수 있으며. 외부 조명의 변화 및 잡음의 영향을 최소화하는 알고리즘 및 시스템을 개발하여 일정한 성능을 갖는 객체의 특징점 추출 기술 및 추적 프로그램의 개발을 통한 액티브 비젼 기반의 고 신뢰도 객체 추적 시스템을 제공할 수 있게 된다.

도 8 내지 도 10은 본 발명의 실시예의 푸리에 변환의 적용을 통한 특징 영역 설정의 구현 및 이의 효과를 설명하기 위한 도면으로, 상술한 바와 같이 도 8은 실험에 사용된 영상이며, 도 9는 특징 영역에 대한 푸리에 변환된 경우 스펙트럼이며, 도 10은 특징 영역으로부터 오른쪽으로 약 4픽셀 떨어진 곳에 대한 푸리에 변환된 경우 스펙트럼이며, 도 11은 비교 블록 개수와 푸리에 변환 시간 관계 측정결과이다.

실시간 영상을 이용하는 방법에는 크게 3가지가 존재하는데 "frame differencing, environment map"과 "optical flow" 방법론이 있다. 이때, 각각의 장단점이 존재한다. "frame differencing"은 각각의 프레임을 개별적으로 구하기 때문에 이전의 영상의 노이즈 효과를 반영하지 않는다는 것이 있고 단점으로는 노이즈의 효과에 영향을 많이 받는다는 것이다. 이에 반하여 고속 푸리에 연산을 통한 스펙트럼을 이용하는 방법론은 다른 세 방법들에 비해 안정적인 효과가 있다. 고속 푸리에 연산은 스펙트럼을 지속적으로 업데이트를 하여 그 생성된 스펙트럼과 차이가 있는 부분을 검출하는 시스템이다. 상기 방법은 노이즈에 안정적인 효과를 나타내며 조명의 변화가 많은 영상에서도 영향을 거의 받지 않는 장점이 있다. 따라서, 입력 영상 중 고속 푸리에 연산을 이용하여 노이즈 효과를 줄이는 방법이 바람직하다.

또한, 본 발명에서는 일반적인 푸리에 연산과 병행하여 고속 푸리에 연산을 통한 스펙트럼 영상을 이용한다. 즉, 본 발명에서는 우선적으로 일반 푸리에 연산의 스펙트럼 영상을 이용하여 픽셀(pixel)의 차를 구한 다음 그 픽셀 수를 다 합한 후에 그 값이 임계값(threshold)을 넘지 않는다면 차이가 적은 것으로 간주하고 고속 푸리에 연산에서 나온 스펙트럼 영상을 적용 시킨다. 그렇게 되면 일반 푸리에 연산의 스펙트럼 영상보다 더 많은 차이가 있는 픽셀 수를 구할 수 있다. 이렇게 적용한 후에 상기 값보다도 변화된 모든 픽셀 수가 적다면 이 영상은 변화량이 없다고 볼 수 있고 이를 이용하여 이전의 위치와 동일하다고 본다. 만약 그렇지 않다면 움직임이 감지된 영상이므로 전처리를 거쳐서 기본적인 노이즈를 제거한다. 이때, 노이즈를 제거하는 부분에서 손실된 객체의 특징을 복원시키는 알고리즘을 적용하여 객체의 특징을 복원한다.

이와 같이 저해상도 스펙트럼 영상차에 의한 이동 객체의 검출 방법은 영상의 저해상도 표현과 필터링을 이용한 잡음 제거 후, 영상차를 이용하여 이동 객체를 검출함으로써 움직임 검출 단계에서 실시간 처리를 위해서 빠른 검출 성능을 나타내며, 정확성 측면에서 종래의 방법들보다 더 효과적이다. 도 20은 전처리 및 고속 푸리에 연산을 통한 스펙트럼 영상 획득 과정을 나타낸다.

도 13 내지 도 15는 본 발명의 실시예의 객체 검출 및 추적 과정의 구현 및 이의 효과를 설명하기 위한 도면으로, 도 13은 구현된 학습 시스템의 구조를 나타내며, 도 14는 베일런스에서 객체의 검출과 추적 과정 캡처 화면을 나타내며, 도 15는 샘플별 객체 검출율 실험 결과를 나타낸다.

클러스터(결합) 기반 객체 검출 방법은 객체의 픽셀 단위의 값을 이용하는 것이 아니라, 객체 영역인지 아닌지를 판별하기 위한 클러스터(결합) 기반의 객체 검출 방법을 의미한다. 클러스터기반 객체 검출 시스템의 일반적인 방법은 도 13과 같다.

클러스터기반 객체 검출 방식에서는 기초가 되는 객체 검색 창의 입력 패턴을 정의할 필요가 있으며, 정의된 입력 패턴은 k-means 방법을 이용하여 몇 개의 클러스터로 결합된다. 따라서 도 13에서와 같이 찾고자 하는 객체를 확정 지어가며, 추적하기 위한 추적창을 씌운다. 이때, 추적창 내의 영역에 객체가 포함될 수도 있고, 포함되지 않을 수도 있으며, 이 영역이 객체인지, 비객체인지를 판별하는 알고리즘을 베이지안 방법을 이용하여 수행함으로써 객체를 검출한다. 이러한 방법을 본 발명에서는 영상의 상황 분석을 기초로 한 베이지안 분류 방법이라고 한다.

객체와 유사한 비객체(object-like nonobject) 검출기 모델링 방법에서는 앞 단계에서 추출된 특징 벡터들을 베이지안 분류기를 통해서 객체와 비객체로 분류한다. 이는 입력된 영상의 학습 패턴들의 통계적인 특성을 분석하여 입력 패턴을 객체와 비객체로 분류한다. 비객체가 객체와 달리 모델링하기 어려운 것은 특징을 나타낼 수 없다는 것이다. 객체라는 대상을 제외한 모든 것이 비객체이기 때문에, 이 모든 것들의 특징을 뽑아서 비객체의 모델을 만들기는 어려운 일이다. 따라서 본 발명에서는 객체 표본에 대한 "Mahalanobis" 거리를 기준으로 객체와 유사한 비객체를 모델링 한다. 이런 비객체를 선택하는 방법은 다음의 과정으로 이루어진다.

1. 몇 개의 객체 표본 집합을 Tf라 하고, Tf의 공분산 행렬인 f를 생성한다.

2. 모든 fiTf에 대해서 f에 대한 "Mahalanobis" 거리인 df, i를 계산한다.

3. 출력값을 max{df,i|1imf}로 설정한다.

4. 몇 개의 비객체 표본 집합을 Tn라 하고, 각 표본, njTn에 대해서 df,j를 계산한다.

5. 인수 nj를 객체와 유사한 비객체 표본 집합인 Tl로 저장한다.

6. 비객체의 공분산 행렬을 l라 하고, 이를 Tl로부터 생성한다.

도 13에서와 같이 학습 단계에서 영상의 상황 특성에 따라서 객체 영상들을 분류하고 경험 단계에서 각 클러스터에서 최적화된 다른 임계값(thresholds)으로서 "Bayesian" 이론을 적용한다. 이러한 방법을 상황 기반 방법이라고 부른다. 일반적인 "Bayesian" 방법은 전체 테스트 영상에 대하여 동일한 임계값을 적용하지만 본 발명에 따른 상황 기반 방법은 클러스터의 개수에 따라서 몇 가지 임계값들을 적용한다.

이러한 방법은 도 13에 도시된 바와 같이 두 가지 구분된 단계로 네트워크를 학습하는 방법이다. 첫 번째 단계에서는 비감독 학습(k-means)을 수행한다. 다음으로, 두 번째 단계에서 다양한 임계값은 규칙적인 감독 방법을 이용하여 학습된다.

이때, 입력 패턴은 예컨대 16 x 16 픽셀의 회색 스케일의 이미지 크기로 벡터화 된다. 입력 공간으로부터 숨겨진 단위 공간으로의 변형은 비선형이다. 반면에, 숨겨진 단위 공간으로부터 출력 공간으로의 변형은 선형이다. RBF 분류기는 고차원 공간으로 입력 벡터를 확장한다. RBF 네트워크는 전통적인 3계층 back-propagation 구조를 가지고 있다. 이 과정에서 숨겨진 단위들은 k-means를 이용하여 학습 된다.

네트워크 입력은 1차원 벡터와 같이 네트워크로 들어간 n개의 정규화되고 1/2크기로 재조정된 객체 영상들로 이루어진다. 이때, 입력 단위는 실수 값을 가진다. 그 후 벡터값들은 정규화 된다.

현재 객체 영상 정보를 이용한 보안에 많은 필요성이 증가되고, 국내외적으로 수요가 급증하고 있는 추세이다. 지문, 장문 등의 생체정보는 강압식, 접촉식에 의한 정보입력이며, 홍체 정보는 근접촬영을 하여야만 생체정보를 측정할 수 있으며, 고가의 카메라 시스템을 사용하여야만 하는 단점을 가지고 있다.

본 발명에서 제안하는 방법은 비강압식 영상정보측정을 위하여 객체의 영상정보를 이용하여 객체 검출 및 추적을 통하여 접근 보안을 수행한다. 또한, 본 발명에 따른 입력 영상 내에서 객체 검출 및 추적 기술은 인간 중심의 사용자 인터페이스, 공장 검사 자동화, 제스쳐 인식을 통한 가전제품 구동, 장애인 보조 기술로서 산업계로의 이전 등의 효과를 창출할 수 있다. 또한, 제안하는 방법은 모니터링 기능을 이용한 사람의 출입관리에 효과적이며, 적은 비용으로 고효율 발생이 가능하고 침입 탐지 기능을 가지므로 신뢰성 있는 시스템 관리가 가능한 장점이 있다.

최근에는 건물이나 인가된 일정 영역에서의 보안 시설 및 시스템에 대한 시장의 요구사항이 증가하고 있으며 그에 따른 시스템을 개발함으로써 병원, 복지 시설, 보호시설, 개인 보안 시설 등과 많은 분야에 활용될 수 있도록 할 수 있다. 대형 할인마트나 유통업체 등에서 고객의 흐름 및 구매 행위 분석을 통한 고객 관리 등을 통하여 목적 및 환경에 부합하는 기능의 추가 및 구성이 가능하다.

한편, 본 발명의 실시예에 따른 스마트 홈에서 상황 인식 기반의 객체 검출, 인식 및 추적 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드 디스크, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

여기에서 다양한 방법들에 관해 설명된 바와 같은 다양한 동작들 및 기능들은 특정 프로세싱 기능부 및/또는 그 안에 구현된 프로세싱 기능부, 및/또는 그 안의 다른 구성요소들과 같은 많은 유형의 기능부들 중 어느 것 내에서 수행될 수 있다. 예를 들면, 그러한 기능부들은 여기에 설명된 바와 같은 다양한 동작들 및 처리들, 또는 여기에 설명된 바와 같은 어느 다른 동작들 및 기능들 등 또는 그 각 등가물들을 수행하는 것뿐만 아니라 여기에 설명된 바와 같은 그러한 정보들을 생성하고 그러한 동작들, 처리들 등을 수행할 수 있다.

본 발명은 특정 기능들 및 그의 관계들의 성능을 나타내는 방법 단계들의 목적을 가지고 위에서 설명되었다. 이러한 기능적 구성 요소들 및 방법 단계들의 경계들 및 순서는 설명의 편의를 위해 여기에서 임의로 정의되었다. 상기 특정 기능들 및 관계들이 적절히 수행되는 한 대안적인 경계들 및 순서들이 정의될 수 있다. 임의의 그러한 대안적인 경계들 및 순서들은 그러므로 상기 청구된 발명의 범위 및 사상 내에 있다.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

100 : 객체 특징점 추출 모듈 110 : 객체 구성요소 검출부
120 : 객체 구성요소 정규화부 121 : 영상 전처리부
122 : 관심영역 모델 생성부 123 : 특징벡터 추출부
124 : 검출기 생성부 130 : 학습 D/B 저장부
140 : 고속 푸리에 연산부 150 : 후처리부
160 : 특징점 추출부 200 : 객체 검출 및 추적 모듈
210 : 영상의 상황기반 분석부 220 : 객체 이미지 분류부
230 : 상황 적응적 베이지안 분류부
240 : 객체 후보 영역 검출부 250 : 객체 추적부

Claims (15)

1. 입력된 객체 영상에서 추출된 객체의 특징적인 요소 정보로부터 수치화된 특징 벡터값을 추출하는 객체 특징점 추출 모듈; 및
   상기 객체 특징점 추출 모듈로부터 추출된 각 객체의 특징점에 대해 객체의 동작 패턴의 형태에 따라 입력된 객체 영상을 분류함으로써 객체를 검출하여 추적하는 객체 검출 및 추적 모듈을 포함하여,
   상기 객체 검출 및 추적 모듈은 상기 객체 검출시 입력된 개체 영상에 대해 각 클러스터별로 상이한 임계값을 적용하며,
   상기 객체 특징점 추출 모듈은,
   객체의 각 특징점의 탐색 영역을 설정하기 위한 관심 영역 모델을 생성하는 관심 영역 모델 생성부; 상기 탐색 영역에 대하여 고속 푸리에 변환을 수행하는 고속 푸리에 연산부; 및 상기 고속 푸리에 연산부를 통해 처리된 스펙트럼 영상에서 영상의 주파수 성분의 계수값이 미리 설정된 임계값 이하인 부분을 객체의 특징 후보 영역에서 제외시키는 후처리부를 포함하며,
   상기 관심 영역 모델 생성부는, 설정된 개수의 특징점들의 좌표를 벡터로 설정하고, 서로 인접한 두 개의 특징점의 거리가 1이 되도록 좌표의 중심점을 정규화하며, 각 객체의 특징점의 정규화된 평균 좌표벡터와 특징점의 평균 위치에서 변화 가능한 거리를 계산한 영역 벡터를 관심 영역 모델로 설정하는 것을 특징으로 하는 상황 인식 기반의 객체 검출, 인식 및 추적 장치.
   
2. 청구항 1에 있어서, 상기 객체 검출 및 추적 모듈은,
   'Haar' 특징을 기반으로 하는 베이지안 분류기를 이용하여 객체를 검출하고 추적하는, 상황 인식 기반의 객체 검출, 인식 및 추적 장치.
   
3. 청구항 1에 있어서, 상기 객체 특징점 추출 모듈은,
   상기 탐색 영역에서의 특징점을 검출하기 위한 각 특징점별 검출기를 생성하는 검출기 생성부;를 포함하는, 상황 인식 기반의 객체 검출, 인식 및 추적 장치.
   
4. 삭제
5. 삭제
6. 삭제
7. 청구항 1에 있어서, 상기 객체 특징점 추출 모듈은,
   입력 영상에 대해 히스토그램 평활화 방법에 의해 명암 값의 분포가 균일화되도록 처리하는 영상 전처리부;를 더 포함하는, 상황 인식 기반의 객체 검출, 인식 및 추적 장치.
   
8. 입력된 객체 영상에서 추출된 객체의 특징적인 요소 정보로부터 수치화된 특징 벡터값을 추출하는 객체 특징점 추출 단계; 및
   상기 추출된 각 객체의 특징점에 대해 객체의 동작 패턴의 형태에 따라 입력된 객체 영상을 분류함으로써 객체를 검출하여 추적하는 단계를 포함하며,
   상기 객체를 검출하여 추적하는 단계는, 상기 객체 검출시 전체 대상 객체 영상에 대해 각 클러스터별로 상이한 임계값을 적용하며,
   상기 객체 특징점 추출 단계는,
   객체의 각 특징점의 탐색 영역을 설정하기 위한 관심 영역 모델을 생성하는 관심 영역 모델 생성 단계를 포함하여,
   상기 관심 영역 모델 생성 단계는, 설정된 개수의 특징점들의 좌표를 벡터로 설정하는 단계; 서로 인접한 두 개의 특징점의 거리가 1이 되도록 좌표의 중심점을 정규화하는 단계; 및 각 객체의 특징점의 정규화된 평균 좌표벡터와 특징점의 평균 위치에서 변화 가능한 거리를 계산한 영역 벡터를 관심 영역 모델로 설정하는 단계를 포함하고,
   상기 객체 특징점 추출 단계는,
   상기 탐색 영역에 대하여 고속 푸리에 변환을 수행하는 고속 푸리에 연산 단계; 및 상기 고속 푸리에 변환을 통해 처리된 스펙트럼 영상에서 영상의 주파수 성분의 계수값이 미리 설정된 임계값 이하인 부분을 객체의 특징 후보 영역에서 제외시키는 후처리 단계를 더 포함하여 수행되는 것을 특징으로 하는 상황 인식 기반의 객체 검출, 인식 및 추적 방법.
   
9. 청구항 8에 있어서, 상기 객체를 검출하여 추적하는 단계는,
   'Haar' 특징을 기반으로 하는 베이지안 분류기를 이용하여 객체를 검출하고 추적하는, 상황 인식 기반의 객체 검출, 인식 및 추적 방법.
   
10. 청구항 8에 있어서, 상기 객체 특징점 추출 단계는,
    상기 탐색 영역에서의 특징점을 검출하기 위한 각 특징점별 검출기를 생성하는 검출기 생성 단계;를 포함하는, 상황 인식 기반의 객체 검출, 인식 및 추적 방법.
    
11. 삭제
12. 삭제
13. 삭제
14. 청구항 8에 있어서, 상기 객체 특징점 추출 단계는,
    입력 영상에 대해 히스토그램 평활화 방법에 의해 명암 값의 분포가 균일화되도록 처리하는 영상 전처리 단계;를 더 포함하는, 상황 인식 기반의 객체 검출, 인식 및 추적 방법.
    
15. 청구항 8, 청구항 9, 청구항 10, 또는 청구항 14항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터 판독 가능한 기록 매체.

Images