KR101932535B1

KR101932535B1 - 실내 감시 시스템 및 실내 감시 방법

Info

Publication number: KR101932535B1
Application number: KR1020120093894A
Authority: KR
Inventors: 고한석; 이영현; 김광윤; 구본화; 송태엽; 김한준
Original assignee: 한화테크윈 주식회사; 고려대학교 산학협력단
Priority date: 2012-08-27
Filing date: 2012-08-27
Publication date: 2018-12-27
Also published as: US20140055610A1; US9451214B2; KR20140033262A

Abstract

본 발명은 실내 감시 시스템 및 실내 감시 방법을 개시한다.
본 발명의 실내 감시 시스템은, 음향 신호로부터 음향 특징을 추출하고, 상기 추출된 음향 특징을 기초로 감시 영역에서 비정상 이벤트 발생 여부를 판단하는 음향 처리 장치; 영상 신호로부터 전경 블랍을 검출하고, 상기 검출된 전경 블랍의 모션 정보를 기초로 상기 감시 영역에서 비정상 이벤트 발생 여부를 판단하는 영상 처리 장치; 및 상기 음향 신호에 대한 비정상 이벤트 판단 결과 및 상기 영상 신호에 대한 비정상 이벤트 판단 결과를 일정 시간 누적하여 음향 비정상 확률 및 영상 비정상 확률을 산출하고, 정상 상황 및 비정상 상황에 대한 결합 비정상 확률 분포 모델을 이용하여 상기 감시 영역에서 비정상 상황 발생 여부를 최종 판단하는 상황 인지 장치;를 포함할 수 있다.

Description

실내 감시 시스템 및 실내 감시 방법{Indoor surveillance system and method}

본 발명은 실내 감시 시스템 및 실내 감시 방법에 관한 것이다.

현대 사회에서 사람과 차량의 수가 지속적으로 증가함에 따라 그와 관련된 각종 사건 사고도 증가하고 있다. 이에 따라 영상 기반 감시 시스템(Video Surveillance Systems)이 도입되어 실내외 공간 보안 감시, 교통 보안 감시 등 다양한 분야에서 적용되고 있다. 영상 기반 감시 시스템은 의심스러운 객체를 검출/인식/추적하고 그들의 행동을 파악하는 것을 목적으로 한다. 그러나 종래의 영상 기반 감시 시스템은 감시 운용자가 여러 대의 모니터를 동시에 감시해야 하고 장시간 모니터를 들여다 봐야 하는 불편이 있다.

이러한 어려움을 해결하고자 지능형 영상 기반 감시 시스템(Intelligent Video Surveillance Systems) 개발의 필요성이 요구되고 있다. 지능형 영상 기반 감시 보안 시스템은 감시 영역에서 비정상 이벤트가 발생할 경우 자동적으로 인지하여 감시 운용자에게 알려주기 때문에 시스템 운영이 보다 효과적이다.

미국 등록특허 제8140458호

영상 기반 감시 시스템은 시각적인 요소만 사용을 하기 때문에 관심 영역에서 일어나는 이벤트 판단에 대한 신뢰도가 낮아질 가능성이 있다. 따라서, 본 발명은 영상과 음향의 정보를 융합하여 보다 신뢰성 있는 감시 보안 시스템을 제공하고자 한다.

본 발명의 바람직한 일 실시예에 따른 실내 감시 시스템은, 음향 신호로부터 음향 특징을 추출하고, 상기 추출된 음향 특징을 기초로 감시 영역에서 비정상 이벤트 발생 여부를 판단하는 음향 처리 장치; 영상 신호로부터 전경 블랍을 검출하고, 상기 검출된 전경 블랍의 모션 정보를 기초로 상기 감시 영역에서 비정상 이벤트 발생 여부를 판단하는 영상 처리 장치; 및 상기 음향 신호에 대한 비정상 이벤트 판단 결과 및 상기 영상 신호에 대한 비정상 이벤트 판단 결과를 일정 시간 누적하여 음향 비정상 확률 및 영상 비정상 확률을 산출하고, 정상 상황 및 비정상 상황에 대한 결합 비정상 확률 분포 모델을 이용하여 상기 감시 영역에서 비정상 상황 발생 여부를 최종 판단하는 상황 인지 장치;를 포함할 수 있다.

상기 영상 처리 장치는, 영상 프레임으로부터 추출한 전경 영역 정보와 모션 정보를 기초로 전경 픽셀을 추정하고, 추정된 전경 픽셀에 대해 텍스쳐 특징을 기초로 유효성을 검사하여 전경 블랍을 추출하는 전경 검출부; 및 상기 모션 정보를 기초로 영상 프레임을 분류하고, 일정 개수의 영상 프레임에 대한 분류 결과를 기초로, 감시 영역에서 비정상 이벤트 발생 여부를 판단하는 이벤트 검출부;를 포함할 수 있다.

상기 전경 검출부는, 상기 영상 프레임에서 가우시안 혼합 모델을 사용하여 배경 픽셀과 전경 픽셀을 분류하여 전경 영역을 추정하는 배경 분리부; 상기 영상 프레임에서 옵티컬 플로우를 계산하여 각 픽셀의 모션 벡터를 추출하는 모션 추출부; 기준 배경 프레임과 영상 프레임 간의 상관 관계를 이용하여 각 픽셀의 텍스쳐 특징을 추출하고, 텍스쳐 특징 히스토그램으로부터 각 픽셀의 전경 픽셀 확률을 산출하는 확률 산출부; 및 상기 추정된 전경 영역과 상기 모션 벡터의 크기가 일정 값 이상인 영역으로부터 추정된 전경 픽셀의 전경 픽셀 확률이 임계값 이상인 픽셀을 전경 픽셀로 결정하는 전경 결정부;를 포함할 수 있다.

상기 전경 검출부는, 이전 영상 프레임의 전경 블랍 정보를 이용하여 상기 전경 픽셀 확률을 조절하고, 상기 조절된 전경 픽셀 확률이 임계값 이상인 픽셀을 전경 픽셀로 결정할 수 있다.

상기 시스템은, 검출된 전경 영역에서 상기 감시 영역의 바닥면 모델을 이용하여 반사체를 제거하는 후처리부;를 더 포함할 수 있다.

상기 이벤트 검출부는, 상기 전경 블랍의 크기 및 위치 정보를 기초로 상기 전경 블랍의 객체가 사람인지 여부를 판단하고, 상기 전경 블랍의 모양 및 위치 정보를 기초로 사람으로 판단된 전경 블랍을 개인 또는 그룹으로 분류하는 객체 분류부; 상기 전경 블랍 분류 결과를 기초로 영상 프레임 내의 인원수를 추정하는 인원수 추정부; 상기 전경 블랍의 개수, 상기 추정 인원수, 상기 전경 블랍의 평균 모션 크기 및 모션 방향의 일관성 정도를 기초로 상기 영상 프레임을 분류하는 프레임 분류기; 및 일정 시간 동안의 프레임 분류 횟수에 대한 비정상 이벤트를 나타내는 비정상 프레임으로 분류된 횟수의 비가 임계값 이상이면 상기 감시 영역에서 비정상 이벤트가 발생한 것으로 판단하는 이벤트 판단부;를 포함할 수 있다.

상기 프레임 분류기는, 상기 영상 프레임 내 상기 전경 블랍의 개수가 1 이상, 추정 인원수가 2 이상, 상기 전경 블랍의 평균 모션 크기가 임계값 이상, 상기 모션 방향의 일관성이 임계값 이하이면, 비정상 프레임으로 판단할 수 있다.

상기 이벤트 검출부는, 상기 감시 영역의 문 개폐 상태를 검출하는 문 상태 검출부;를 더 포함하고, 상기 인원수 추정부는, 상기 문 개폐 상태를 고려하여 인원수를 추정할 수 있다.

상기 문 상태 검출부는, 상기 문의 상부 영역 내에서 전경 픽셀 개수를 기초로 문 개폐 상태를 검출할 수 있다.

상기 음향 처리 장치는, 상기 음향 신호에서 음향 프레임을 생성하고, 상기 음향 프레임에서 음향 특징을 추출하는 특징 추출부; 상기 추출된 음향 특징과 각 음향 모델과의 우도를 계산하고, 최대 우도 값을 갖는 음향 모델을 선택하는 확률 평가부; 계층적 접근 방식에 의해 상기 음향 프레임의 클래스를 분류하는 클래스 분류기; 및 일정 시간 동안의 클래스 분류 횟수 중 비정상 이벤트로 분류된 횟수의 비가 임계값 이상이면 상기 감시 영역에서 비정상 이벤트가 발생한 것으로 판단하는 이벤트 판단부;를 포함할 수 있다.

상기 클래스 분류기는, 상기 음향 프레임의 에너지 크기가 임계값보다 작으면 정상 이벤트로 분류하고, 에너지 크기가 임계값보다 크면 정상 이벤트와 비정상 이벤트 중 하나로 분류할 수 있다.

본 발명의 바람직한 일 실시예에 따른 실내 감시 방법은, 음향 신호로부터 음향 특징을 추출하고, 상기 추출된 음향 특징을 기초로 감시 영역에서 비정상 이벤트 발생 여부를 판단하는 단계; 영상 신호로부터 전경 블랍을 검출하고, 상기 검출된 전경 블랍의 모션 정보를 기초로 상기 감시 영역에서 비정상 이벤트 발생 여부를 판단하는 단계; 및 상기 음향 신호에 대한 비정상 이벤트 판단 결과 및 상기 영상 신호에 대한 비정상 이벤트 판단 결과를 일정 시간 누적하여 음향 비정상 확률 및 영상 비정상 확률을 산출하고, 정상 상황 및 비정상 상황에 대한 결합 비정상 확률 분포 모델을 이용하여 상기 감시 영역에서 비정상 상황 발생 여부를 최종 판단하는 단계;를 포함할 수 있다.

상기 영상 신호의 비정상 이벤트 발생 여부 판단 단계는, 영상 프레임으로부터 추출한 전경 영역 정보와 모션 정보를 기초로 전경 픽셀을 추정하고, 추정된 전경 픽셀에 대해 텍스쳐 특징을 기초로 유효성을 검사하여 전경 블랍을 추출하는 단계; 상기 모션 정보를 기초로 영상 프레임을 분류하는 단계; 및 일정 개수의 영상 프레임에 대한 분류 결과를 기초로, 상기 감시 영역에서 비정상 이벤트 발생 여부를 판단하는 단계;를 포함할 수 있다.

상기 전경 블랍 추출 단계는, 상기 영상 프레임에서 가우시안 혼합 모델을 사용하여 배경 픽셀과 전경 픽셀을 분류하는 단계; 상기 영상 프레임에서 옵티컬 플로우를 계산하여 각 픽셀의 모션 벡터를 추출하는 단계; 기준 배경 프레임과 영상 프레임 간의 상관 관계를 이용하여 각 픽셀의 텍스쳐 특징을 추출하고, 텍스쳐 특징 히스토그램으로부터 각 픽셀의 전경 픽셀 확률을 산출하는 단계; 및 상기 추정된 전경 영역과 상기 모션 벡터의 크기가 일정 값 이상인 영역으로부터 추정된 전경 픽셀의 전경 픽셀 확률이 임계값 이상인 픽셀을 전경 픽셀로 결정하는 단계;를 포함할 수 있다.

상기 방법은, 이전 영상 프레임의 전경 블랍 정보를 이용하여 상기 전경 픽셀 확률을 조절하고, 상기 조절된 전경 픽셀 확률이 임계값 이상인 픽셀을 전경 픽셀로 결정하는 단계;를 더 포함할 수 있다.

상기 방법은, 검출된 전경 영역에서 상기 감시 영역의 바닥면 모델을 이용하여 반사체를 제거하는 단계;를 더 포함할 수 있다.

상기 비정상 이벤트 발생 여부 판단 단계는, 상기 전경 블랍의 크기 및 위치 정보를 기초로 상기 전경 블랍의 객체가 사람인지 여부를 판단하고, 상기 전경 블랍의 모양 및 위치 정보를 기초로 사람으로 판단된 전경 블랍을 개인 또는 그룹으로 분류하는 단계; 상기 전경 블랍 분류 결과를 기초로 영상 프레임 내의 인원수를 추정하는 단계; 상기 전경 블랍의 개수, 상기 추정 인원수, 상기 전경 블랍의 평균 모션 크기와 모션 방향의 일관성 정도를 기초로 상기 영상 프레임을 분류하는 단계; 및 일정 시간 동안의 영상 프레임 분류 횟수에 대한 비정상 이벤트를 나타내는 비정상 프레임으로 분류된 횟수의 비가 임계값 이상이면 상기 감시 영역에서 비정상 이벤트가 발생한 것으로 판단하는 단계;를 포함할 수 있다.

상기 영상 프레임 분류 단계는, 상기 영상 프레임 내 상기 전경 블랍의 개수가 1 이상, 추정 인원수가 2 이상, 상기 전경 블랍의 평균 모션 크기가 임계값 이상, 상기 모션 방향의 일관성이 임계값 이하이면, 비정상 프레임으로 판단할 수 있다.

상기 방법은, 상기 감시 영역의 문 개폐 상태를 검출하는 단계;를 더 포함하고, 상기 인원수 추정 단계는, 상기 문 개폐 상태를 반영하여 인원수를 추정할 수 있다. 상기 문 개폐 상태는, 상기 문의 상부 영역 내에서 전경 픽셀 개수를 기초로 문 개폐 상태를 검출할 수 있다.

상기 음향 신호의 비정상 이벤트 발생 여부 판단 단계는, 상기 음향 신호에서 음향 프레임을 생성하고, 상기 음향 프레임에서 음향 특징을 추출하는 단계; 상기 추출된 음향 특징과 각 음향 모델과의 우도를 계산하고, 최대 우도 값을 갖는 음향 모델을 선택하는 단계; 계층적 접근 방식에 의해 상기 음향 프레임의 클래스를 분류하는 단계; 및 일정 시간 동안의 클래스 분류 횟수 중 비정상 이벤트로 분류된 횟수의 비가 임계값 이상이면 상기 감시 영역에서 비정상 이벤트가 발생한 것으로 판단하는 단계;를 포함할 수 있다.

상기 클래스 분류 단계는, 상기 음향 프레임의 에너지 크기가 임계치보다 작으면 정상 이벤트로 분류하고, 에너지 크기가 임계치보다 크면 정상 이벤트와 비정상 이벤트 중 하나로 분류할 수 있다.

본 발명은 음향 정보 및 영상 정보를 융합하여 비정상 이벤트를 검출함으로써 안정적이고 효율적인 감시 시스템을 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 실내 감시 시스템을 개략적으로 도시한 블록도이다.
도 2는 도 1의 실내 감시 시스템의 감시 방법을 개략적으로 도시한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 결합 확률 분포 모델을 예시적으로 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 음향 처리 장치의 구성을 개략적으로 도시한 블록도이다.
도 5는 도 4의 음향 처리 장치의 동작을 개략적으로 도시한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 MFCC 특징을 획득하는 방법을 설명하는 도면이다.
도 7은 본 발명의 일 실시예에 따른 음향 프레임 생성 방법을 설명하는 도면이다.
도 8은 본 발명의 일 실시예에 따른 음향 특징 평가 방법을 개략적으로 설명하는 도면이다.
도 9는 본 발명의 일 실시예에 따른 클래스 분류기를 개략적으로 도시한 블록도이다.
도 10은 본 발명의 일 실시예에 따른 음향 처리 장치의 비정상 이벤트 발생 여부 판단 방법을 설명하기 위한 도면이다.
도 11은 본 발명의 다른 실시예에 따른 음향 처리 장치의 비정상 이벤트 발생 여부 판단 방법을 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따른 영상 처리 장치의 구성을 개략적으로 도시한 블록도이다.
도 13 및 도 14는 도 12에 도시된 영상 처리 장치의 동작을 개략적으로 도시한 흐름도이다.
도 15는 본 발명의 일 실시예에 따른 배경 분리 방법을 설명하기 위한 도면이다.
도 16은 본 발명의 일 실시예에 따른 텍스쳐 특징 추출을 위한 방법을 설명하는 도면이다.
도 17은 본 발명의 일 실시예에 따라 생성된 전경 텍스쳐 특징 히스토그램(a) 및 배경 텍스쳐 특징 히스토그램(b)의 예를 나타낸다.
도 18은 본 발명의 일 실시예에 따른 전경 블랍 내에서 추출된 모션 벡터를 보여주는 도면이다.
도 19는 본 발명의 일 실시예에 따른 영상 처리 장치의 이벤트 검출부의 구성을 개략적으로 도시한 블록도이다.
도 20은 도 19에 도시된 이벤트 검출부의 동작을 개략적으로 도시한 흐름도이다.
도 21은 본 발명의 일 실시예에 따라 원본 영상 프레임(a)으로부터 검출된 전경 영상 프레임(b)에서 추출된 수평 방향 프로젝션(c)과 수직 방향 프로젝션(d)을 예시적으로 보여주는 도면이다.
도 22는 본 발명의 일 실시예에 따른 프레임 분류기의 동작을 개략적으로 설명하는 흐름도이다.
도 23은 본 발명의 다른 실시예에 따른 영상 처리 장치의 이벤트 검출부의 구성을 개략적으로 도시한 블록도이다.
도 24는 도 23에 도시된 이벤트 검출부의 동작을 개략적으로 도시한 흐름도이다.
도 25는 본 발명의 일 실시예에 따른 문 열림 상태(a) 및 문 닫힘 상태(b)에서 문 영역 중 문 상단 1/3 영역(R_D)을 나타낸 도면이다.

이하 본 발명의 바람직한 실시예가 첨부된 도면들을 참조하여 설명될 것이다.

청각적 요소인 음향 정보는 기존의 영상 기반 감시 시스템의 취약점으로 지적되는 조명 변화나 그림자 등의 문제에 대해 영향을 받지 않는 장점이 있다. 특히 실내 감시 환경의 경우 음향 정보를 얻는데 유리한 점이 많다. 본 발명은 정보 융합 및 통합 모델 방식으로 음향 및 영상 신호를 이용한 환경적으로 강건하고 성능이 좋은 실내 보안 시스템을 제공하고자 한다.

도 1은 본 발명의 일 실시예에 따른 실내 감시 시스템을 개략적으로 도시한 블록도이다. 도 2는 도 1의 실내 감시 시스템의 감시 방법을 개략적으로 도시한 흐름도이다. 이하에서는 도 1 및 도 2를 함께 참조하여 설명하겠다.

영상 신호 기반 실내 보안 기술은 조명 환경에 영향을 받는다. 저조명 환경에서는 객체 검출이 어려워 검출률이 낮아지고, 문 열림/닫힘 등과 같은 조명 변화가 심한 경우에는 객체 오검출률이 높아진다. 또한 벽면 등이 반사면일 경우 이로 인한 오검출 발생이 높다. 음향 신호 기반 실내 보안 기술은 입막음, 마이크 성능의 한계 등과 같은 이유로 음향 정보가 발생하지 않는 비정상 행위의 검출이 어렵다. 또한 음향 정보만으로 인원수, 문 열림/닫힘 등의 실내 상황을 정확히 알 수 없다. 따라서, 본 발명의 실내 감시 시스템(1)은 음향 정보 및 영상 정보를 모두 사용함으로써 감시 기능을 상호 보완하여, 상황 인지(context awareness)의 정확성을 향상시킬 수 있다.

본 발명의 실내 감시 시스템(1)은 공동주택이나 빌딩에서 엘리베이터 내부, 계단, 지하 주차장, 노인정, 놀이터, 산책로 등과 같은 밀폐 되고 인적이 드문 장소 등을 감시할 수 있다. 본 발명의 실내 감시 시스템(1)은 센서(10), 입력 장치(40), 음향 처리 장치(50), 영상 처리 장치(60), 상황 인지 장치(70), 및 출력 장치(80)를 포함한다.

센서(10)는 음향 센서(20)와 영상 센서(30)를 포함한다. 음향 센서(20)는 감시 영역에서 발생되는 음향 신호를 수집한다(S21). 음향 센서(20)는 마이크 구조에 따라 다이나믹 마이크, 콘덴서 마이크, 리본 마이크 등이 사용될 수 있고, 지향성에 따라 지향성 마이크, 무지향성 마이크, 초지향성 마이크 등이 사용될 수 있다. 영상 센서(30)는 디지털 및 아날로그 방식의 카메라로, 감시 영역의 영상을 촬영한다(S31). 음향 센서(20)와 영상 센서(30)는 각각 개별적으로, 또는 음향 센서(20)가 영상 센서(30)에 내장되는 등의 일체로 설치될 수 있다. 음향 센서(20)와 영상 센서(30)는 감시 영역에 따라 하나 이상의 개수로 분산 배치될 수 있다.

입력 장치(40)는 음향 센서(20)로부터 음향 신호를 수신하여 소정 샘플링률로 저장한다. 그리고, 입력 장치(40)는 영상 센서(30)로부터 영상 신호를 소정 프레임률로 수신한다. 음향 신호와 영상 신호는 상이한 입력 주기를 갖기 때문에 동기화가 필요하다. 이를 위해 입력 장치(40)는 일정 주기로 음향 신호와 영상 신호를 음향 처리 장치(50)와 영상 처리 장치(60)로 각각 출력한다(S41).

음향 처리 장치(50)는 음향 신호의 특징 추출 및 음향 클래스 인식을 수행하여 감시 영역에서 비정상 이벤트가 발생하였는지를 판단한다(S51). 음향 처리 장치(50)는 음향 신호로부터 소정 시간 단위의 음향 프레임을 생성하고, 음향 프레임에서 음향 특징을 추출한다. 음향 특징은 MFCC(Mel-frequency cepstral coefficient) 특징 추출 기법에 의해 추출된 40차 MFCC 및 델타가 특징 벡터로 사용될 수 있다. 다음으로, 음향 처리 장치(50)는 음향 프레임의 클래스를 분류한다. 음향 처리 장치(50)는 클래스 분류된 음향 프레임을 정상 또는 비정상 이벤트로 분류한다. 음향 처리 장치(50)는 일정 시간 동안 누적된 비정상 이벤트 발생 횟수를 기초로, 비정상 이벤트 발생 여부를 판단한다.

영상 처리 장치(60)는 전경 검출 및 모션 정보 추출을 통해 감시 영역에서 비정상 이벤트가 발생하였는지를 판단한다(S61). 영상 처리 장치(60)는 배경 차분 알고리즘 및 옵티컬 플로우 기법을 이용하여 프레임 단위로 전경을 검출하고, 전경 분석을 통해 영상 프레임을 정상 또는 비정상 이벤트로 분류한다. 영상 처리 장치(60)는 일정 시간 동안 누적된 비정상 이벤트 발생 횟수를 기초로, 비정상 이벤트 발생 여부를 판단한다.

상황 인지 장치(70)는 음향 처리 장치(50)와 영상 처리 장치(60)로부터 주기적으로 수신하는 비정상 이벤트 판단 결과를 기초로, 최종적으로 감시 영역에서 비정상 상황이 발생하였는지를 판단한다(S71). 상황 인지 장치(70)는 일정 시간 동안 음향 처리 장치(50)와 영상 처리 장치(60)로부터의 비정상 이벤트 판단 결과를 누적하여, 음향 비정상 확률(P_A)과 영상 비정상 확률(P_V)을 계산한다. 음향 비정상 확률(P_A)은 일정 시간 동안 음향 처리 장치(50)로부터 수신한 비정상 이벤트 판단 결과 횟수 중 비정상 이벤트로 판단된 횟수이다. 영상 비정상 확률(P_V)은 일정 시간 동안 영상 처리 장치(60)로부터 수신한 비정상 이벤트 판단 결과 횟수 중 비정상 이벤트로 판단된 횟수이다.

상황 인지 장치(70)는 미리 생성된 정상 및 비정상 상황 각각에 대한 결합 확률 분포 모델을 구비한다. 도 3은 본 발명의 일 실시예에 따른 결합 확률 분포 모델을 예시적으로 나타내는 도면이다. 도 3(a)는 정상 상황에서, 음향 비정상 확률(P_A)과 영상 비정상 확률(P_V)의 분포를 보여준다. 도 3(b)는 비정상 상황에서, 음향 비정상 확률(P_A)과 영상 비정상 확률(P_V)의 분포를 보여준다. 상황 인지 장치(70)는 정상 및 비정상 상황 각각에 대한 결합 확률 분포 모델로부터 각각 음향 비정상 확률(P_A)과 영상 비정상 확률(P_V)이 발생할 확률을 산출하고, 그 비(ratio)가 임계치(T)보다 크면 최종적으로 비정상 상황으로 판단하고, 임계치 이하이면 정상 상황으로 판단한다. 식 (1)은 비정상 상황 발생 여부 판단 방법을 표현하며, 여기서, H₀는 정상 상황을 나타내고, H₁은 비정상 상황을 나타낸다. (P_A, P_v)는 결합 확률을 나타낸다. 임계치(T)는 P(H₀)와 P(H₁)의 비를 나타내며, 사용자에 의해 설정될 수 있다.

...(1)

출력 장치(80)는 디스플레이 및 스피커를 포함하고, 비정상 상황으로 판단시 알람을 발생할 수 있다(S81). 디스플레이는 다수 채널로부터 입력되는 영상 신호를 출력한다. 디스플레이 화면의 영상에는 검출된 전경 영역이 박스로 표시될 수 있고, 비정상 상황으로 판단된 채널의 영상의 테두리 또는 영상의 화면 전체를 하이라이트 처리함으로써 사용자에게 알람을 발생시킬 수 있다. 스피커는 다수 채널로부터 입력되는 음향 신호를 출력한다. 비정상 상황으로 판단된 채널의 경우 스피커를 통해 경보음을 출력하여, 알람을 발생시킬 수 있다.

도 4는 본 발명의 일 실시예에 따른 음향 처리 장치의 구성을 개략적으로 도시한 블록도이다. 도 5는 도 4의 음향 처리 장치의 동작을 개략적으로 도시한 흐름도이다. 이하에서는 도 4 및 도 5를 함께 참조하여 설명하겠다.

음향 처리 장치(50)는 특징 추출부(501), 음향 모델 데이터베이스(502), 확률 평가부(503), 클래스 분류기(505), 및 이벤트 판단부(507)를 포함한다.

특징 추출부(501)는 입력된 음향 신호에서 특징을 추출한다(S511). 사람의 청각은 저주파 영역에서의 주파수 변화는 민감하게 느끼지만 상대적으로 고주파 영역에서의 주파수 변화에는 둔감한 특성을 갖는다. 본 발명은 고주파 영역에 비해 저주파 영역에서 더 자세히 추출되며, 다양한 파라미터(parameter)를 통해 재설계(Customizing)가 가능한 특징 벡터인 MFCC 특징을 이용한다.

도 6은 본 발명의 일 실시예에 따른 MFCC 특징을 획득하는 방법을 설명하는 도면이다. 도 7은 본 발명의 일 실시예에 따른 음향 프레임 생성 방법을 설명하는 도면이다.

도 6을 참조하면, 특징 추출부(501)는 시간 영역의 음향 신호를 전처리(pre-processing)하여 고주파 에너지를 부스팅하고(a), 푸리에 변환(FFT)을 취하여 주파수 영역의 스펙트럼을 구한 후(b), 구한 스펙트럼에 대해 멜 스케일(Mel scale)에 맞춘 삼각 필터 뱅크를 대응시켜 각 밴드에서의 크기의 합을 구하고(c), 필터 뱅크 출력값에 로그를 취한 후(d), 이산 코사인 변환(e)을 하여 MFCC 특징 벡터를 획득(f)한다. 이때 MFCC 특징 벡터를 추출하기 위해 음향 신호에 윈도우(window)를 적용하여 음향 프레임을 생성하게 되는데, 본 발명의 실시예에서는 도 7에 도시된 바와 같이, 인접하는 음향 프레임이 상호 일부 중첩되도록 윈도우를 사용하여 음향 프레임을 생성생성함으로써 이벤트 검출 정확도를 높일 수 있다. MFCC 특징 추출 방법은 음향 인식 기술 분야에서 통상적으로 사용되는 것이므로 보다 구체적인 설명은 생략한다. MFCC 특징은 MFCC 특징 및 MFCC의 시간에 따른 변화량인 Delta 특징을 결합(이하, 'MFCC 특징'으로 통칭함)하여 사용할 수 있다. 본 발명의 일 실시예에서, MFCC 20차 및 Delta 특징 20차를 결합한 특징 벡터를 사용할 수 있다.

음향 모델 데이터베이스(DB)(502)는 가우시안 혼합 모델(Gaussian Mixture Model, GMM)을 이용하여 음향 특징을 훈련함으로써 생성된 다양한 음향 이벤트에 대한 모델을 구비한다. GMM은 하기 식 (2)에 의해 정의된다. 여기서, k는 GMM Mixture의 개수, d는 특징 차수, x는 특징 벡터를 뜻하며, R _i 와 m _i는 각각 i번째 GMM Mixture의 공분산 행렬 및 평균이고, α_i는 i번째 GMM Mixture의 가중치를 의미한다.

...(2)

음향 클래스의 훈련 데이터베이스(Training DB)에 대해 추출된 음향 특징을 평균과 분산의 통계적 값으로 훈련하며, 이때 ML(Maximum Likelihood) 기준(Criteria)을 이용하여 GMM 파라미터를 업데이트한다.

확률 평가부(503)는 음향 프레임으로부터 추출된 음향 특징과 음향 모델 데이터베이스(502)의 각 음향 모델과의 우도(likelihood)를 계산하고, ML(Maximum Likelihood) 기준(Criteria)에 의해 우도 값이 가장 높은 음향 모델을 선택한다(S513). 도 8은 본 발명의 일 실시예에 따른 음향 특징 평가 방법을 개략적으로 설명하는 도면이다. 도 8을 참조하면, 음향 프레임으로부터 MFCC 특징 벡터를 추출하고, 추출된 MFCC 특징 벡터와 각 음향 모델과의 우도를 계산한다. 그리고 우도 값이 최대인 모델(k)을 선택한다.

클래스 분류기(505)는 계층적 접근(hierarchical approch) 방식에 의해 음향 프레임의 클래스를 분류한다(S515). 음향 클래스는 크게 2개의 카테고리로 나눌 수 있다. 비명, 울음, 정상 대화, 안내 멘트와 같은 음향 클래스는 사람의 목에서 나는 소리이기 때문에 음성(Vocal) 카테고리로 분류할 수 있다. 충돌, 문소리, 발걸음, 빈 엘리베이터, 알림벨의 경우에는 비음성(Non-Vocal) 카테고리로 분류할 수 있다. 음성 및 비음성 이벤트는 전술된 종류에 한정되지 않고, 감시 영역 및 시스템 설계에 따라 다양하게 설정될 수 있음은 물론이다. 계층적 접근(hierarchical approch) 방식에 의해 클래스를 분류함으로써, 음성/비음성 각각의 카테고리에 있는 음향 클래스들 간의 오인식을 개선할 수 있다.

도 9는 본 발명의 일 실시예에 따른 클래스 분류기를 개략적으로 도시한 블록도이다. 클래스 분류기(505)는 제1분류기(525), 제2분류기(535), 및 제3분류기(545)를 포함할 수 있다. 각 분류기는 최적화된 음향 특징을 이용하며, 시스템 설치 환경에 따라 재구성이 가능하고, 분류기의 구성에 따라 여러 장소에 적용가능하고 비음성에서도 다양한 이벤트들로 세분화할 수 있다. 또한 각 분류기는 설치 환경에 따라 개별적으로 이벤트 학습을 통해 세분화하여 구성 가능하다.

제1분류기(525)는 음향 프레임을 음성/비음성으로 분류한다. 제1분류기(525)는 음성으로 분류된 음향 프레임을 제2분류기(535)로 출력하고, 비음성으로 분류된 음향 프레임을 제3분류기(545)로 출력한다. 제2분류기(535)는 음성으로 분류된 음향 프레임을 다시 정상 이벤트와 비정상 이벤트로 분류한다. 제3분류기(545)는 비음성으로 분류된 음향 프레임을 다시 정상 이벤트와 비정상 이벤트로 분류한다. 비정상 이벤트는 충돌, 비명, 울음 등으로 정의되고, 정상 이벤트는 대화, 발소리, 문 개폐, 침묵 등으로 정의된다.

한편, 일반적인 정상 상황보다 에너지 크기가 큰 음향 프레임을 비정상 이벤트로 분류를 하게 되면, 정상 상황임에도 큰 소리에 의해 비정상으로 오검출될 수 있다. 주파수 영역에서의 MFCC 특징을 추출하여 클래스를 분류하게 되면, 일부 경우에 대해서 비정상 음향과 유사한 주파수 형태를 가지게 되면 정상 상황을 비정상 상황으로 오인식할 수 있다. 비정상 이벤트의 경우 에너지의 크기가 정상 이벤트보다 작을 수 없기 때문에 에너지 크기가 작은 음향 프레임은 정상 이벤트로 분류함으로써 정상 이벤트가 비정상 이벤트로 오검출되는 것을 개선할 수 있다. 따라서, 본 발명은 음향 프레임의 에너지를 임계치와 비교 판단하는 과정을 추가하여 음향 클래스를 분류한다. 즉, 제2분류기(535)와 제3분류기(545)는 음향 프레임의 에너지가 임계치보다 크면, 정상 이벤트와 비정상 이벤트 중에서 하나로 분류한다. 그리고, 제2분류기(535)와 제3분류기(545)는 음향 프레임의 에너지가 임계치보다 작으면, 정상 이벤트 중에서 하나로 분류한다.

이벤트 판단부(507)는 일정 개수의 음향 프레임에 대한 클래스 분류 결과를 누적하고, 누적된 분류 결과를 기초로 감시 영역에서 비정상 이벤트가 발생했는지 여부를 판단한다(S517).

도 10은 본 발명의 일 실시예에 따른 음향 처리 장치의 비정상 이벤트 발생 여부 판단 방법을 설명하기 위한 도면이다. 이벤트 판단부(507)는 제1 시간(t1) 동안 음향 프레임의 클래스 분류 결과를 수신 및 누적한다. 그리고, 이벤트 판단부(507)는 식 (3)과 같이, 총 클래스 분류 횟수(n) 중 비정상 이벤트로 분류된 횟수가 임계값(T_d) 이상이면 비정상 이벤트가 발생한 것으로 판단한다. 이벤트 판단부(507)는 일정 주기(t2)(t2<t1)마다 비정상 이벤트 발생 여부를 판단(Re1, Re2,...)한다. 예를 들어, 이벤트 판단부(507)는 0.2초(t2)마다 8개의 클래스 분류 결과를 입력받고, 1초(t1) 동안 누적된 40개의 클래스 분류 결과에 대해 비정상 이벤트 발생 여부를 판단한다(Re1). 이벤트 판단부(507)는 0.2초 후 다시 8개의 클래스 분류 결과를 입력받고, 이전 클래스 분류 결과 32개와 새로 입력받은 8개의 클래스 분류 결과, 즉 40개의 클래스 분류 결과에 대해 비정상 이벤트 발생 여부를 판단한다(Re2).

...(3)

도 11은 본 발명의 다른 실시예에 따른 음향 처리 장치의 비정상 이벤트 발생 여부 판단 방법을 설명하기 위한 도면이다. 이벤트 판단부(507)는 도 11에 도시된 바와 같이 식 (3)에 따라 일정 주기(t2)(t2<t1)로 비정상 이벤트 발생 여부를 판단하고, 제3 시간(t3) 동안 누적한다. 그리고, 이벤트 판단부(507)는 식 (4)에 따라 제3 시간(t3) 동안 비정상 이벤트 발생 여부를 판단(Re1, Re2,...Re(m+1))한 횟수(m+1) 중 비정상 이벤트가 발생한 것으로 판단된 횟수가 임계값(T_d) 이상이면 비정상 이벤트가 발생한 것으로 최종 판단한다. 이벤트 판단부(507)는 일정 주기(t2)(t2<t1)마다 비정상 이벤트 발생 여부를 최종 판단(Ret1, Ret2,...)한다. 예를 들어, 이벤트 판단부(507)는 도 10에 도시된 바와 같이, 1초(t1) 동안 누적된 40개의 클래스 분류 결과에 대해 비정상 이벤트 발생 여부를 판단한 결과(Re1, Re2,...)를 누적하여, 도 11에 도시된 바와 같이, 2초(t3) 동안 비정상 이벤트 발생 여부를 10회 판단하고, 10회 중 비정상 이벤트 발생으로 판단한 횟수에 의해 최종 판단(Ret1)한다. 이벤트 판단부(507)는 0.2초 후 다시 8개의 클래스 분류 결과를 입력받고, 이전 9회의 판단과 새로 판단된 결과에 대해 비정상 이벤트 발생 여부를 판단한다(Ret2).

...(4)

도 12는 본 발명의 일 실시예에 따른 영상 처리 장치의 구성을 개략적으로 도시한 블록도이다. 도 13 및 도 14는 도 12에 도시된 영상 처리 장치의 동작을 개략적으로 도시한 흐름도이다. 이하에서는 도 12 내지 도 14를 함께 참조하여 설명하겠다.

영상 처리 장치(60)는 도 13(a)와 같이 영상 프레임이 입력되면, 도 13(b)와 같이 영상 프레임마다 전경 영역을 검출한다. 그리고, 영상 처리 장치(60)는 도 13(c)와 같이 이웃하는 영상 프레임 간의 움직임 변화를 검출하여 모션 벡터를 추출한다. 다음으로, 영상 처리 장치(60)는 도 13(d)와 같이 전경 영역의 행동을 분석하여 비정상 이벤트가 발생하는지 여부를 판단하고, 도 13(e)와 같이 영상 프레임마다 판단 결과를 출력한다.

도 12를 참조하면, 영상 처리 장치(60)는 전경 검출부(601) 및 이벤트 검출부(607)를 포함한다.

전경 검출부(601)는 영상 프레임으로부터 추출한 전경 영역 정보와 모션 정보를 기초로 전경 픽셀을 추정하고, 추정된 전경 픽셀에 대해 텍스쳐 특징을 기초로 유효성을 검사하여, 전경 영역(이하, '전경 블랍'이라 함)을 추출한다. 전경 검출부(601)는 배경 분리부(602), 모션 추출부(603), 확률 산출부(604), 전경 결정부(604) 및 후처리부(606)를 포함한다.

배경 분리부(602)는 배경 차분 알고리즘, 예를 들어, 가우시안 혼합 모델(Gaussian Mixture Model: GMM) 기반으로 영상 프레임에서 전경 영역 정보를 추출한다(S611). 배경 분리부(602)는 도 15에 도시된 바와 같이 주기 T 동안 연속하는 영상 프레임들이 입력되는 경우, 임의의 픽셀의 픽셀값을 M개의 가우시안 분포로 이루어진 혼합 모델을 이용하여 모델링하고, 이를 이용하여 전경 픽셀과 배경 픽셀을 분리한다.

연속하는 영상 프레임들에서, 임의의 t시간에 측정한 임의의 픽셀값(x)이 M개의 가우시안 혼합 분포로 구성된 가우시안 혼합 분포를 따를 때, 이 분포는 식 (5)와 같이 나타낼 수 있다. 여기서, p는 확률, x는 픽셀값, BG는 배경 가능성의 픽셀, FG는 전경 가능성의 픽셀, μ_m, σ_m ²는 각각 m번째 가우시안 분포의 평균과 공분산 행렬, π_m는 m번째 가우시안 분포의 가중치를 나타낸다. X_T(={x^(t), x^(t-1),..., x^(t-T)}는 도 15에 도시된 바와 같이 주기 T 동안 입력되는 영상 프레임들(f)에서 픽셀값의 집합이다.

...(5)

다음 (t+1) 시간에 새로운 영상 프레임이 입력되고, 이에 따라 새로운 픽셀 값이 주어지면 식 (6) 내지 (8)에 따라 가우시안 분포가 재귀적으로 갱신된다.

...(6)

...(7)

...(8)

위 수식에서

이고 α는 사용자 지정 학습 파라미터, o_m은 입력 픽셀 값이 분포 m에 가장 근접한 경우 1, 다른 분포에 근접한 경우 0을 가지는 값이다. 배경에 해당하는 가우시안 분포는, 전경에 해당하는 가우시안 분포에 비해, 가중치가 크고, 분산 값이 작은 특징이 있다. 이를 이용하여, 각 분포의 가중치를 내림차순으로 정렬한 후 식 (9)(여기서, T는 임계값)를 만족하는 B개의 분포를 배경에 해당하는 분포로 판단한다. 최종적으로 배경에 해당하는 분포는 식 (10)과 같이 나타낸다.

...(9)

...(10)

모션 추출부(603)는 연속하는 영상 프레임으로부터 옵티컬 플로우를 계산하여 각 픽셀마다 모션 정보를 추출한다(S612). 모션 정보는 Lukas-Kanade 기법을 이용하여 추출한 모션 벡터로서, 모션 크기와, 모션 방향을 포함한다.

확률 산출부(604)는 기준 배경 프레임과 입력 영상 프레임 간의 상관 관계를 이용하여 각 픽셀의 텍스쳐 특징을 추출하고, 텍스쳐 특징 히스토그램으로부터 각 픽셀에 대해 전경 픽셀 확률을 산출한다(S613). 전경 픽셀 확률은 픽셀이 전경에 포함될 확률이다. 텍스쳐 특징을 이용함으로써, 본 발명의 실시예는 조명 변화에 강인하다.

확률 산출부(604)는, 도 16에 도시된 바와 같이, 입력 영상 프레임과 기준 배경 프레임의 상관 관계 및 픽셀(i)과 주변 픽셀들 간의 픽셀값 차이를 기초로, 픽셀(i)의 텍스쳐 특징인 제1특징(f_i ¹) 및 제2특징(f_i ²)을 추출한다. 제1특징(f_i ¹)은 입력 영상 프레임과 기준 배경 프레임 간의 정규화된 상관 관계(Normalized Cross Correlation, NCC)이다. 제2특징(f_i ²)은 텍스쳐(texture) 값이다.

위치 i에서의 기준 배경 프레임과 입력 영상 프레임의 픽셀 값을 각각 m_i, u_i라 할 때, 픽셀(i)의 텍스쳐 특징 f _i = [f_i ¹ f_i ²]은 식 (11) 및 식 (12)와 같이 정의된다. 여기서, ω는 픽셀(i) 주변의 픽셀 집합,

는 입력 프레임에서 픽셀(i) 주변의 픽셀 집합의 평균값,

은 기준 프레임에서 픽셀(i) 주변의 픽셀 집합의 평균값을 나타낸다.

...(11)

...(12)

텍스쳐 특징 히스토그램은 텍스쳐 정보를 기반으로 공간적 우도 모델(Spatial Likelihood Model, SLM)을 적용하여 생성된 전경 및 배경 확률 모델이다. 확률 모델은 픽셀 간 의존도를 고려하므로 전경으로 검출된 픽셀의 유효성을 검사할 수 있다. 감시 영역의 영상 프레임에 대한 훈련에 의해 각 픽셀에서 텍스쳐 특징을 추출한 후 배경 텍스쳐 특징 히스토그램 h_BG(f_i|x_i)과 전경 텍스쳐 특징 히스토그램 h_FG(f_i|x_i)을 계산한다. 도 17은 본 발명의 일 실시예에 따라 생성된 전경 텍스쳐 특징 히스토그램(a) 및 배경 텍스쳐 특징 히스토그램(b)의 예를 나타낸다.

확률 산출부(604)는 전경 및 배경 텍스쳐 특징 히스토그램을 이용하여, 입력 프레임의 각 픽셀에 대해 추출된 텍스쳐 특징을 기초로 각 픽셀의 전경 픽셀 확률을 산출한다.

확률 산출부(604)는 훈련에 의해 텍스쳐 특징 히스토그램을 생성하는 경우 특정 환경에만 국한되므로, 다양한 환경에 대응하기 위해 최종 전경 및 배경 분리 결과를 이용하여 텍스쳐 특징 히스토그램을 식 (13) 및 식 (14)에 따라 업데이트한다. 여기서, α_BG 및 α_FG는 배경 및 전경 텍스쳐 특징 히스토그램의 SLM 학습율(SLM learning rate)을, b_l은 히스토그램의 bin을 나타낸다. SLM 학습은 온라인 또는 오프라인 SLM 학습이 가능하다. 최종 전경 및 배경 분리 결과를 이용하여 텍스쳐 특징 히스토그램을 업데이트하는 온라인 학습은 수동으로 감시 영역을 캡쳐하여 전경과 배경을 분리하는 오프라인 학습에 비해 새로운 전경에 적응하기 쉽다.

...(13)

...(14)

전경 결정부(605)는 배경 분리부(602)로부터 입력되는 전경 영역 정보, 모션 추출부(603)로부터 입력되는 모션 정보, 확률 산출부(604)로부터 입력되는 전경 픽셀 확률을 융합하여 전경 영역을 결정한다(S615).

전경 결정부(605)는 가우시안 혼합 모델을 이용하여 검출한 전경 영역과 옵티컬 플로우를 이용하여 계산한 모션 정보를 이용하여 검출한 영역을 OR 연산하여 전경으로 추정되는 모든 픽셀을 구한다. 그리고, 전경 결정부(605)는 전경으로 추정된 픽셀에 대해 전경 픽셀 확률 값(p_FG)을 곱한 값을 임계값과 비교하여 임계값 이상이면 전경 픽셀로 판단한다(S614). 식 (15)는 정보 융합에 의해 전경 영역을 검출하는 방법을 나타낸다. 여기서, M_GMM은 GMM을 이용하여 구한 전경 영역, D는 옵티컬 플로우(optical flow)를 이용하여 구한 모션 벡터로부터 모션 크기가 기준치 이상인 영역, T_m은 임계값(threshold)을 나타낸다. ∨는 논리 OR 연산자이다.

...(15)

전경 결정부(605)는 움직임이 적은 객체에 대한 미검출 오류를 줄이기 위해 식 (16)과 같이 이전 입력 영상 프레임의 전경 영역 정보를 사용하여 최종 전경 영역(M^(t) _final)을 검출할 수 있다.

...(16)

M^(t) _motion은 이전 입력 영상 프레임의 정보가 반영되지 않은 현재 입력 영상 프레임에서 검출한 전경 영역이고, M^(t-1) _final은 이전 입력 영상 프레임에서 검출한 최종 전경 영역이다. λ는 혼합 가중치 값으로, 1에 가까울수록 이전 입력 영상 프레임의 결과를 더 많이 반영하여 전경 확률을 계산하게 된다. 현재 입력 영상 프레임과 이전 입력 영상 프레임에서 전경으로 추정한 픽셀에 대해 가중치를 적용한 값과 전경 확률 값을 곱하여 최종 확률 값을 계산하고, 임계값(T_b) 이상이면 전경 픽셀로 결정한다.

본 발명의 실시예는 GMM 방법 외에 텍스쳐 특징 정보, 모션 정보, 이전 프레임 정보를 추가적으로 융합하여 감시 영역 내 환경에 강인한 객체 영역 검출 성능을 얻을 수 있다.

후처리부(606)는 전경 영역에 대한 후처리를 통해 노이즈를 제거할 수 있다(S615). 후처리부(606)는 화이트 노이즈 등을 제거하기 위해 형태학적 영상 처리(morphological image process) 방법을 추가로 적용할 수 있다. 그리고, 후처리부(606)는 전경 영역에서 반사면에 의한 반사체를 제거하여 전경 영역 검출의 정확성을 향상시킬 수 있다. 예를 들어, 엘리베이터 내부와 같이 반사면이 존재하는 경우, 바닥면 모델을 이용하여 바닥면과 겹치지 않는 전경 영역을 제거한다.

이벤트 검출부(607)는 최종 결정된 전경 영역(이하, '전경 블랍'이라 함)의 모션 정보를 기초로, 영상 프레임 단위로 정상 또는 비정상 이벤트 발생 여부를 판단하고, 일정 시간 동안 비정상 이벤트의 발생 횟수가 임계값 이상이면 비정상 이벤트가 발생한 것으로 판단한다(S616). 이벤트 검출을 위해 사용되는 모션 정보는 전경 블랍의 모션 정보이다. 검출된 전경 영역 내에서의 모션 벡터만을 사용함으로써 영상 프레임 전체에 대한 모션 벡터를 사용하는 경우에 비해 연산 비용(computational cost)을 절감함과 동시에 추출된 모션 정보에 대한 신뢰도를 높일 수 있다.

모션 정보는 모션 추출부(603)에서 Lukas-Kanade 방법을 이용하여 추출한 수평 성분과 수직 성분에 대한 모션 벡터로부터 계산한다. 식 (17)은 전경 블랍의 모션 크기, 식 (18)은 전경 블랍의 모션 방향을 계산하는 식이다. 그리고, 식 (19)는 전경 블랍 내 모션 방향의 히스토그램이다.

...(17)

...(18)

...(19)

도 18은 본 발명의 일 실시예에 따른 전경 블랍 내에서 추출된 모션 벡터를 보여주는 도면이다. 도 18을 참조하면, 굵은선으로 표시된 부분은 검출된 전경 블랍이고, 전경 블랍 내 화살표는 모션 벡터를 나타낸다.

도 19는 본 발명의 일 실시예에 따른 영상 처리 장치의 이벤트 검출부의 구성을 개략적으로 도시한 블록도이다. 도 20은 도 19에 도시된 이벤트 검출부의 동작을 개략적으로 도시한 흐름도이다.

도 19를 참조하면, 이벤트 검출부(607)는 객체 분류부(621), 인원수 추정부(623), 프레임 분류기(625), 및 이벤트 판단부(627)를 포함한다.

객체 분류부(621)는 전경 블랍의 사이즈 및 위치 정보를 기초로, 전경 블랍의 객체가 사람인지 아닌지를 판단한다(S631). 사이즈가 너무 작거나 사람이 있을 수 없는 위치에서 검출된 전경 블랍은 사람이 아닌 것으로 분류한다. 객체 분류부(621)는 사람으로 판단된 전경 블랍에 대해, 전경 블랍의 통계적 특징을 기초로, 그룹인지 개인인지를 판단한다(S632). 통계적 특징은 전경 블랍의 모양 및 위치를 나타내는 것으로, 본 발명의 실시예에서는 통계적 특징으로서, 식 (21)과 같이 블랍의 좌표(coordinates), 폭(width), 블랍 박스의 높이(height) 등과 같이 구별되는 기하학적 정보를 제공하는 제1 내지 제13 파라미터(P1 내지 P13)를 사용한다. 여기서,

는 수평 방향 프로젝션(horizontal projection)이고,

는 수직 방향 프로젝션(horizontal projection)이고, I는 이진 전경 영상 프레임, N은 영상 프레임의 행(row) 수, M은 영상 프레임의 열(column) 수, K는 값이 0이 아닌 행(row) 수, L은 값이 0이 아닌 열(column) 수이다.

,

,

,

,

,

,

,

,

,

...(20)

도 21은 본 발명의 일 실시예에 따라 원본 영상 프레임(a)으로부터 검출된 전경 영상 프레임(b)에서 추출된 수평 방향 프로젝션(c)과 수직 방향 프로젝션(d)을 예시적으로 보여주는 도면이다. 수평 방향 프로젝션(c)과 수직 방향 프로젝션(d)을 기초로, 전경 블랍의 위치 및 모양을 알 수 있다.

객체 분류부(621)는 사람으로 판단된 전경 블랍으로부터 추출한 통계적 특징 파라미터를, 아다부스트 훈련 방법 등을 통해 개인 및 그룹 객체에 대한 통계적 정보와 비교하여, 전경 블랍이 개인인지 그룹인지를 판단한다.

인원수 추정부(623)는 전경 블랍의 개수, 객체 분류 결과 등을 이용하여 감시 영역의 인원수를 추정할 수 있다(S635). 인원수는 매 영상 프레임마다 추정되고 그 정보를 누적시킨 히스토그램을 사용한다. 2명 이상의 사람이 존재하는 경우에 비정상 이벤트가 일어날 가능성 있으므로, 정확한 인원수보다 2명 이상의 인원을 찾는 것이 중요하므로, 그룹으로 판단된 전경 블랍은 2명으로 가정한다.

프레임 분류기(625)는 전경 블랍 개수, 인원수 및 모션 정보를 기초로 프레임 단위로 영상 프레임이 비정상 프레임인지를 판단한다(S637). 비정상 프레임은 비정상 이벤트를 나타내는 프레임이다. 비정상 이벤트는 두 사람 간의 싸움의 형태로 정의된다. 도 22는 프레임 분류기(625)의 동작을 개략적으로 설명하는 흐름도이다.

도 22를 참조하면, 프레임 분류기(625)는 먼저 전경 블랍의 개수가 1개 미만인지를 판단하고(S671), 전경 블랍의 개수가 1개 미만인 경우, 즉 전경 블랍이 검출되지 않은 영상 프레임은 정상 프레임으로 판단한다(S676).

다음으로, 프레임 분류기(625)는 전경 블랍의 개수가 1 이상이면, 인원수가 두 명 미만인지를 판단한다(S672). 판단 결과, 인원수가 두 명 미만이면 프레임 분류기(625)는 영상 프레임을 정상 프레임으로 판단한다(S676).

프레임 분류기(625)는 인원수가 두 명 이상이면, 전경 블랍 내 모션 크기의 평균(이하, '평균 모션 크기'라 함)이 임계치(T_M) 미만인지를 판단한다(S673). 판단 결과 평균 모션 크기(Mavg)가 임계치(T_M) 미만이면 영상 프레임을 정상 프레임으로 판단한다(S676). 비정상 이벤트는 사람의 큰 움직임을 동반하기 때문에 모션이 크게 발생한다. 따라서 전경 블랍의 평균 모션 크기가 임계치(T_M)보다 작은 프레임은 정상 프레임으로 분류할 수 있다. 임계치(T_M)는 감시 영역에 따라 다르게 설정될 수 있다. 즉 모션 허용치를 가변할 수 있어 비정상 프레임 성능 제어가 가능하다.

마지막으로, 프레임 분류기(625)는 모션 방향의 일관성 정도를 판단한다. 일반적으로 정상 상황에서는 사람이 이동하는 방향에 따라 모션의 방향성이 일관성 있게 나타난다. 그러나 폭행이나 유괴 행위로 발생하는 모션은 방향성이 일정하지 않다. 따라서, 비정상 프레임 판단부(624)는 전경 블랍의 평균 모션 크기(Mavg)가 임계치(T_M) 이상이면, 전경 블랍 내 모션 방향이 기준 정상 상황의 모션 방향 범위에 속할 확률(Pori)이 임계치(T_D)보다 큰지를 판단한다(S674). 그리고, 프레임 분류기(625)는 전경 블랍의 모션 방향 확률이 임계치(T_D)보다 클 경우 정상 프레임으로 분류하고, 그렇지 않으면 비정상 프레임으로 분류한다(S675).

여기서, 전경 블랍의 모션 크기(m) 및 방향(θ)은 각각 식 (21) 및 식 (22)로 표현된다. 여기서, (x,y)는 전경 블랍 내 픽셀 위치이고, Vx와 Vy는 각각 옵티컬 플로우에서 수평 및 수직 속도 성분을 나타낸다.

...(21)

...(22)

평균 모션 크기(Mavg)는 식 (23)으로 표현된다. 여기서, R_B는 각 프레임의 전경 블랍 영역을 나타내고, N(R_B)는 전경 블랍 영역 내 픽셀의 개수이다.

...(23)

전경 블랍의 모션 방향이 정상 상황의 모션 방향 범위에 속하는 확률은 식 (24)로 표현된다. O_avg 는 평균 방향, O_std 는 표준 편차(standard deviation), s(·)는 비교 함수(comparison function)이다.

...(24)

이벤트 판단부(627)는 비정상 프레임 분류 결과를 누적하여 비정상 이벤트 발생 여부를 판단한다. 비정상 이벤트 발생 여부는 식 (25)로 표현된다. 여기서, Dn은 최종 검출 결과로서, n번째 프레임에서의 결과가 1일 경우 비정상 이벤트, 0일 경우 정상 이벤트를 의미한다. Bn은 비정상 프레임의 검출 결과로서 1일 경우 비정상 프레임, 0일 경우 정상 프레임을 의미한다. Ti_D는 시간 파라미터로 현재 시점부터 설정된 과거 시점까지의 프레임 수를 의미한다. T_E는 감도 파라미터로서 0에서 1의 범위를 갖는다. 이벤트 판단부(627)는 Ti_D 대비 비정상 프레임의 발생 빈도가 임계치(T_E)보다 클 경우 비정상 이벤트로 판단한다.

...(25)

도 23은 본 발명의 다른 실시예에 따른 영상 처리 장치의 이벤트 검출부의 구성을 개략적으로 도시한 블록도이다. 도 24는 도 23에 도시된 이벤트 검출부의 동작을 개략적으로 도시한 흐름도이다.

도 23에 도시된 이벤트 검출부는 문상태 검출부(629)가 추가된 점에서 도 19에 도시된 이벤트 검출부와 상이하다. 그 외 구성 요소의 기능 및 동작은 도 19와 동일하므로, 중복하는 내용의 상세한 설명은 생략하겠다. 도 19에 도시된 이벤트 검출부는 복도 등과 같이 문이 존재하지 않거나 문이 중요한 변수가 아닌 실내 감시 시스템에 적용될 수 있다. 도 23에 도시된 이벤트 검출부는 문의 개폐 상태가 중요한 변수가 되는 실내 감시 시스템에 적용될 수 있다. 엘리베이터의 경우, 벽면에 의한 그림자, 반사체가 많이 생성되며, 문이 자주 열리고 닫힘에 따라 내부 조명 변화가 심하다. 따라서, 반사체 제거 및 문 상태 검출이 필요하다. 이하에서는 엘리베이터 내부에서 이벤트 검출부를 적용한 예를 일 실시예로서 설명하겠다.

도 23을 참조하면, 이벤트 검출부(607)는 객체 분류부(621), 인원수 추정부(623), 프레임 분류기(625), 이벤트 판단부(627) 및 문상태 검출부(629)를 포함한다.

객체 분류부(621)는 전경 블랍의 사이즈 및 위치 정보를 기초로, 전경 블랍의 객체가 사람인지 아닌지를 판단한다(S651). 객체 분류부(621)는 사람으로 판단된 전경 블랍에 대해, 전경 블랍의 통계적 특징(전경 블랍의 모양 및 위치 정보)을 기초로, 전경 블랍이 그룹인지 개인인지를 판단한다(S652).

문 상태 검출부(629)는 카메라의 캘리브레이션 수행시 파악한 문의 위치 및 바닥의 위치 정보를 이용하고, 식 (26)에 따라 문 상단 1/3 영역의 전경 픽셀 개수를 기초로, 문 열림 및 문 닫힘 여부를 검출한다(S653). 여기서, S_n은 n번째 프레임의 문 상태 검출 결과로서 1일 때 문 열림, 0일 때 문 닫힘을 의미한다. R_D는 문 상단 1/3 영역을 의미하고,

는 R_D 내 픽셀의 개수이다. T_s는 문 열림 판단에 대한 임계치이다.

...(26)

S(x)는 비교 함수로서, x는 전경 픽셀 확률(h_FG)과 임계치(T_F)의 차이이며, S(x) 값은 식 (27)에 의해 결정된다.

...(27)

도 25는 본 발명의 일 실시예에 따른 문 열림 상태(a) 및 문 닫힘 상태(b)에서 문 영역 중 문 상단 1/3 영역(R_D)을 나타낸 도면이다. (a)와 (b)에서 왼쪽 영상은 각각 원본 영상 프레임이고, 오른쪽 영상은 각각 문 상태 검출 결과를 보여준다.

인원수 추정부(623)는 전경 블랍의 개수, 객체 분류 결과, 문 상태 검출 결과 등을 이용하여 엘리베이터 내부의 인원수를 추정할 수 있다(S655). 문이 열린 시점부터 현재 시점까지 매 프레임마다 인원수를 추정하고 그 정보를 누적시킨 히스토그램을 사용한다. 비정상 이벤트가 일어날 가능성이 있는 2명 이상의 인원이 탑승한 이벤트를 찾는 것이 중요하기 때문에 인원수 추정에 적용되는 기준은 0명, 1명, 2명, 3명 이상으로 단순화한다. 닫혀 있던 문이 열리는 순간 누적되어 있던 히스토그램을 초기화하고 다시 새로운 히스토그램을 누적시켜 간다. n번째 프레임에서 추정된 인원수(P_n)는 식 (28)에 따라 추정할 수 있다. 문이 열린 경우에는 단순히 히스토그램(H_n)에서 가장 큰 값을 가지는 인덱스를 추정 인원수(P_n)로 선택한다. 그러나 문이 닫혀 있는 경우에는 엘리베이터 내부의 인원 수가 변동될 수 없기 때문에 추정 인원수(P_n)는 문이 닫히는 순간에서 가장 큰 히스토그램 값을 가지는 인덱스 x_c로 선택한다. 그러나 x_c가 잘못 추정된 값이고 새로 추정된 인덱스의 히스토그램 값이 x_c의 히스토그램 값보다 일정 비율 이상 크게 나타날 경우, 문이 닫혀 있는 상태라도 인원 수 추정 값을 업데이트 한다. 각 프레임에서 인원수를 추정하는 방법과 추정된 인원수를 통해 히스토그램을 업데이트 하는 방법은 식 (29) 및 식 (30)으로 표현할 수 있다. 여기서 α_p는 1보다 큰 값을 가지는 가중치 파라미터이고, In과 Gn은 각각 n번째 프레임에서의 개인 객체의 수와 그룹 객체의 수이다. Cn은 전경 블랍으로부터 추정된 인원수이다.

...(28)

...(29)

...(30)

프레임 분류기(625)는 전경 블랍 개수, 인원수, 모션 정보를 기초로 프레임 단위로 영상 프레임이 비정상 프레임인지를 판단한다(S657). 비정상 프레임은 비정상 이벤트를 나타내는 프레임이다. 비정상 이벤트는 두 사람 간의 싸움의 형태로 정의된다. 엘리베이터가 비어있거나, 사람이 서있거나 들어오고 나가는 것은 정상 이벤트로 정의된다. 프레임 분류기(625)의 동작은 도 22에 도시된 동작과 동일하다.

프레임 분류기(625)는 먼저 전경 블랍의 개수가 1개 미만인지를 판단하고(S671), 전경 블랍의 개수가 1개 미만인 경우, 즉 전경 블랍이 검출되지 않은 영상 프레임은 정상 프레임으로 판단한다(S676). 이에 따라 빈 엘리베이터 경우의 영상 프레임은 정상 프레임으로 분류된다.

프레임 분류기(625)는 인원수가 두 명 이상이면, 전경 블랍 내 모션 크기의 평균(이하, '평균 모션 크기'라 함)이 임계치(T_M) 미만인지를 판단한다(S673). 판단 결과 평균 모션 크기가 임계치(T_M) 미만이면 영상 프레임을 정상 프레임으로 판단한다(S676). 전경 블랍의 평균 모션 크기가 임계치(T_M)보다 작은 프레임은 정상 프레임으로 분류할 수 있다. 임계치(T_M)는 엘리베이터 유형에 따라 다르게 설정될 수 있다.

마지막으로, 프레임 분류기(625)는 모션 방향의 일관성 정도를 판단한다. 일반적으로 문이 열려 있는 상황에서는 모션의 크기가 많이 발생하는데, 이는 사람들이 엘리베이터를 타고 내리면서 움직임이 발생하기 때문이다. 그러나 엘리베이터를 타고 내리는 움직임은 사람이 이동하는 방향에 따라 모션의 방향성이 일관성 있게 나타난다. 그러나 폭행이나 유괴 행위로 발생하는 모션은 방향성이 일정하지 않다. 따라서, 비정상 프레임 판단부(624)는 전경 블랍의 평균 모션 크기가 임계치(T_M) 이상이면, 모션 방향이 정상 상황의 모션 방향 범위에 속하는 확률이 임계치(T_D)보다 큰지를 판단한다(S674). 그리고, 프레임 분류기(625)는 전경 블랍의 모션 방향 확률이 임계치(T_D)보다 클 경우 정상 프레임으로 분류하고, 그렇지 않으면 비정상 프레임으로 분류한다(S675).

이벤트 판단부(627)는 비정상 프레임 분류 결과를 누적하여 비정상 이벤트 발생 여부를 판단한다(S659).

전술된 본 발명의 일 실시예는 엘리베이터 내 비정상 이벤트 검출을 위해 획득된 영상 데이터로부터 3단계의 특징을 추출한다. 입력 영상으로부터 객체 영역 검출 및 모션 벡터 추출 등의 하위 레벨(low-level) 특징을 추출하고, 추출된 하위 레벨 특징을 기반으로 하여 엘리베이터 내 인원 수, 인원의 이동 방향 및 속도 등의 중위 레벨(mid-level) 특징을 추출한다. 마지막으로 중위 레벨 특징을 기반으로 하여 상위 레벨(high-level) 특징인 정상/비정상 프레임 정보를 추출하여, 비정상 프레임의 발생 빈도에 따라 비정상 이벤트를 검출한다.

이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.

Claims

삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
영상 프레임으로부터 추출한 전경 영역 정보와 모션 정보를 기초로 전경 픽셀을 추정하고, 추정된 전경 픽셀에 대해 텍스쳐 특징을 기초로 유효성을 검사하여 전경 블랍을 추출하는 단계;
상기 모션 정보를 기초로 영상 프레임을 분류하는 단계; 및
일정 개수의 영상 프레임에 대한 분류 결과를 기초로, 감시 영역에서 비정상 이벤트 발생 여부를 판단하는 단계;를 포함하고,
상기 비정상 이벤트 발생 여부 판단 단계는,
상기 전경 블랍의 크기 및 위치 정보를 기초로 상기 전경 블랍의 객체가 사람인지 여부를 판단하고, 상기 전경 블랍의 모양 및 위치 정보를 기초로 사람으로 판단된 전경 블랍을 개인 또는 그룹으로 분류하는 단계;
상기 전경 블랍 분류 결과를 기초로 영상 프레임 내의 인원수를 추정하는 단계;
상기 전경 블랍의 개수, 상기 추정 인원수, 상기 전경 블랍의 평균 모션 크기와 모션 방향의 일관성 정도를 기초로 상기 영상 프레임을 분류하는 단계; 및
일정 시간 동안의 영상 프레임 분류 횟수에 대한 비정상 이벤트를 나타내는 비정상 프레임으로 분류된 횟수의 비가 임계값 이상이면 상기 감시 영역에서 비정상 이벤트가 발생한 것으로 판단하는 단계;를 포함하는 실내 감시 방법.
제13항에 있어서, 상기 전경 블랍 추출 단계는,
상기 영상 프레임에서 가우시안 혼합 모델을 사용하여 배경 픽셀과 전경 픽셀을 분류하여 전경 영역을 추정하는 단계;
상기 영상 프레임에서 옵티컬 플로우를 계산하여 각 픽셀의 모션 벡터를 추출하는 단계;
기준 배경 프레임과 영상 프레임 간의 상관 관계를 이용하여 각 픽셀의 텍스쳐 특징을 추출하고, 텍스쳐 특징 히스토그램으로부터 각 픽셀의 전경 픽셀 확률을 산출하는 단계; 및
상기 추정된 전경 영역과 상기 모션 벡터의 크기가 일정 값 이상인 영역으로부터 추정된 전경 픽셀의 전경 픽셀 확률이 임계값 이상인 픽셀을 전경 픽셀로 결정하는 단계;를 포함하는 실내 감시 방법.
제14항에 있어서,
이전 영상 프레임의 전경 블랍 정보를 이용하여 상기 전경 픽셀 확률을 조절하고, 상기 조절된 전경 픽셀 확률이 임계값 이상인 픽셀을 전경 픽셀로 결정하는 단계;를 더 포함하는 실내 감시 방법.
제15항에 있어서,
상기 추출된 전경 블랍에 의해 검출된 전경 영역에서 상기 감시 영역의 바닥면 모델을 이용하여 반사체를 제거하는 단계;를 더 포함하는 실내 감시 방법.
삭제
제13항에 있어서, 상기 영상 프레임 분류 단계는,
상기 영상 프레임 내 상기 전경 블랍의 개수가 1 이상, 추정 인원수가 2 이상, 상기 전경 블랍의 평균 모션 크기가 임계값 이상, 상기 모션 방향의 일관성이 임계값 이하이면, 비정상 프레임으로 판단하는 실내 감시 방법.
제13항에 있어서,
상기 감시 영역의 문 개폐 상태를 검출하는 단계;를 더 포함하고,
상기 인원수 추정 단계는, 상기 문 개폐 상태를 반영하여 인원수를 추정하는 실내 감시 방법.
제19항에 있어서,
상기 문 개폐 상태는, 상기 문의 상부 영역 내에서 전경 픽셀 개수를 기초로 문 개폐 상태를 검출하는 실내 감시 방법.
제13항에 있어서,
음향 신호로부터 음향 특징을 추출하고, 상기 추출된 음향 특징을 기초로 감시 영역에서 비정상 이벤트 발생 여부를 판단하는 단계; 및
상기 음향 신호에 대한 비정상 이벤트 판단 결과 및 상기 영상 신호에 대한 비정상 이벤트 판단 결과를 일정 시간 누적하여 음향 비정상 확률 및 영상 비정상 확률을 산출하고, 정상 상황 및 비정상 상황에 대한 결합 비정상 확률 분포 모델을 이용하여 상기 감시 영역에서 비정상 상황 발생 여부를 최종 판단하는 단계;를 더 포함하는 실내 감시 방법.
제21항에 있어서, 상기 음향 신호의 비정상 이벤트 발생 여부 판단 단계는,
상기 음향 신호에서 음향 프레임을 생성하고, 상기 음향 프레임에서 음향 특징을 추출하는 단계;
상기 추출된 음향 특징과 각 음향 모델과의 우도를 계산하고, 최대 우도 값을 갖는 음향 모델을 선택하는 단계;
계층적 접근 방식에 의해 상기 음향 프레임의 클래스를 분류하는 단계; 및
일정 시간 동안의 클래스 분류 횟수 중 비정상 이벤트로 분류된 횟수의 비가 임계값 이상이면 상기 감시 영역에서 비정상 이벤트가 발생한 것으로 판단하는 단계;를 포함하는 실내 감시 방법.
제22항에 있어서, 상기 클래스 분류 단계는,
상기 음향 프레임의 에너지 크기가 임계치보다 작으면 정상 이벤트로 분류하고, 에너지 크기가 임계치보다 크면 정상 이벤트와 비정상 이벤트 중 하나로 분류하는 실내 감시 방법.
삭제