KR101593187B1

KR101593187B1 - 3차원 영상 정보를 이용한 이상 행동 감시 장치 및 방법

Info

Publication number: KR101593187B1
Application number: KR1020140092765A
Authority: KR
Inventors: 주진선; 이동성
Original assignee: 주식회사 에스원
Priority date: 2014-07-22
Filing date: 2014-07-22
Publication date: 2016-02-11
Also published as: WO2016013719A1; KR20160011523A; US10540552B2; US20170206423A1

Abstract

3차원 영상 정보를 이용한 이상 행동 감시 장치 및 방법이 개시된다. 감시 장치는 3차원 영상 정보인 깊이 정보를 실세계 좌표로 변환하고, 실세계 좌표를 이용하여 평면 기준 거리 값을 계산한다. 감시 장치는 평면 기준 거리 값을 이용하여 배경 모델을 생하고, 배경 모델과 현재 영상의 평면 기준 거리 값을 비교하여 관심 영역을 검출한다. 그리고 감시 장치는 관심 영역의 3차원 특징 정보를 추출하여 객체의 이상 행동을 판단한다.

Description

3차원 영상 정보를 이용한 이상 행동 감시 장치 및 방법{DEVICE AND METHOD SURVEILING INNORMAL BEHAVIOR USING 3D IMAGE INFORMATION}

본 발명은 3차원 영상 정보를 이용한 이상 행동 감시 장치 및 방법에 관한 것이다.

CCTV 시스템은 영상 감시 장치로서 다양한 분야에서 적용되고 있다. 감시 장치로서의 기존의 CCTV에서는 사람이 촬영된 내용의 대부분을 AVR(Analog Video Recorder), DVR(Digital Video Recorder), NVR(Network Video Recorder)을 통해 직접 확인하고 이상 행동을 판단하였다. 이로 인해 기존의 감시 장치는 이상 행동을 직접 판단하기 위해 많은 운영인원이 필요하고, 운영인원이 식별해 할 객체나 행동을 놓치기 쉬었다. 따라서, 사람이 직접 24시간 영상을 감시할 필요 없이 특정 물체나 사람의 행위를 자동적으로 감시한 후 사용자에게 알려주고 이상 행동에 맞게 빠른 대처를 수행할 수 있는 지능형 감시 장치의 개발이 필요하다.

2차원 영상 정보를 이용하여 사람을 검출하는 방법은 두 프레임 간의 영상 차이를 이용하는 방법, 정적/동적 배경 모델을 생성하는 방법, 그리고 학습을 이용한 방법 등이 있다.

두 프레임 간의 영상 차이를 이용하는 방법은 이전 프레임과 현재 프레임에서 대응되는 좌표가 가지는 화소 값의 차이를 계산하는 방법이다. 두 프레임 사이에 움직이는 물체가 발생했을 경우에는 화소 값의 차이가 0 이외의 값을 가지게 되는 원리가 사용된다.

배경 모델을 생성하는 방법은 정적 배경 모델링 방법과 동적 배경 모델링 방법으로 나누어 진다. 정적 배경 모델링 방법은 카메라 구동 후 일정 시간 동안 사람/물체의 침입 없는 영상의 화소 값을 누적하여 평균 값을 계산함으로써 배경 모델을 생성하고, 이 배경 모델과 현재 들어오는 영상의 차이를 구하는 방법이다. 하지만, 정적 배경 모델링 방법은 배경 모델을 생성하는 동안 물체/사람이 들어오는 경우 물체/사람이 배경 모델에 흡수되어, 감지가 되지 않는 영역이 발생한다.

동적 배경 모델링 방법은 일정 시간 간격으로 배경 모델을 업데이트 함으로써, 정적 배경 모델링 방법을 개선하였다. 그러나, 동적 배경 모델링 방법은 사람/물체가 침입하여 같은 장소에 움직이지 않고 머무를 경우, 배경으로 흡수되는 단점이 있다.

한편, 학습을 이용한 방법은 사람의 형태에 대한 데이터를 사전에 수동으로 생성하여 AdaBoost(Adaptive Boosting)나 신경망, SVM(Support Vector Machine) 등에 학습하고, 현재 영상에서 학습된 데이터와 유사한 물체가 있는지를 찾는 방법이다. 이러한 방법은 사전에 많은 양의 학습 데이터를 수동으로 수집해야 하는 번거로움이 있으며, 사람 검출 성능이 수집된 학습 데이터에 의존적이라는 단점이 있다.

상기와 같은 종래의 방법들은 사람을 검출하고 검출된 픽셀 정보를 기반으로 사람/물체의 크기나 움직임 등을 계산하여 이상 행동을 감지한다. 2차원 영상을 사용하는 방법은 색상 정보만을 사용하여 사람을 검출하고 특징을 추출하므로 조명의 변화, 그림자 또는 사물에 의해 영상이 가려지는 등 주변 환경 변화에 민감하게 반응하여 오보율이 높다.

본 발명이 해결하고자 하는 과제는 이상 행동 감지율을 향상시키는 감시 장치 및 방법을 제공하는 것이다.

본 발명의 실시예에 따르면, 감시 장치가 3차원 카메라를 통해 입력되는 영상을 이용하여 객체를 감시하는 방법이 제공된다. 상기 방법은, 상기 영상을 공간 좌표인 실세계 좌표로 변환하는 단계, 상기 실세계 좌표를 이용하여, 바닥 평면과 상기 바닥 평면으로 떨어진 거리를 나타내는 평면 기준 거리 값을 계산하는 단계, 소정의 시간 동안, 상기 평면 기준 거리 값을 기준으로 상기 영상의 배경 부분인 배경 모델을 생성하는 단계, 그리고 상기 소정의 시간 후에 입력되는 영상에 대해서 상기 계산하는 단계에서 계산한 평면 기준 거리 값인 제1 평면 기준 거리 값과 상기 배경 모델을 비교하여, 관심 영역을 검출하는 단계를 포함할 수 있다.

상기 방법은, 상기 관심 영역의 실세계 좌표를 이용하여, 상기 관심 영역에 대한 레이블링을 수행하는 단계를 더 포함할 수 있다.

상기 방법은, 상기 레이블링된 관심 영역에 대한 중심점 정보를 이용하여 상기 레이블링된 관심 영역을 추적하는 단계를 더 포함할 수 있다.

상기 방법은, 상기 관심 영역의 실세계 좌표를 이용하여, 상기 객체의 이상 행동 유무를 판단하는 단계를 더 포함할 수 있다.

상기 바닥 평면을 계산하는 단계는, 상기 실세계 좌표에서 Y축 값이 최소 값인 한 점을 이용하여 상기 바닥 평면에 위치하는 세 점을 설정하는 단계, 그리고 상기 세 점을 이용하여 평면 방정식을 계산하는 단계를 포함할 수 있다.

상기 평면 기준 거리 값을 계산하는 단계는 상기 평면 방정식을 이용하여, 상기 평면 기준 거리 값을 계산하는 단계를 포함할 수 있다.

상기 생성하는 단계는, 상기 평면 기준 거리 값을 상기 소정의 시간 동안 누적하여 평균 값을 계산하는 단계, 그리고 상기 평균 값을 상기 배경 모델로 설정하는 단계를 포함할 수 있다.

상기 방법은, 상기 제1 평면 기준 거리 값과 상기 배경 모델을 비교하여, 상기 영상에서 배경 부분과 전경 부분을 판단하는 단계, 그리고 상기 배경 부분으로 판단된 영역을 이용하여, 상기 배경 모델을 업데이트하는 단계를 더 포함할 수 있다.

상기 관심 영역을 검출하는 단계는, 상기 제1 평면 기준 거리 값과 상기 업데이트된 배경 모델을 비교하여, 관심 영역을 검출하는 단계를 포함할 수 있다.

상기 배경 부분과 상기 전경 부분을 판단하는 단계는, 상기 제1 평면 기준 거리 값과 상기 배경 모델의 차이 값을 구하는 단계, 상기 차이 값이 소정의 임계치를 초과하면 상기 전경 부분으로 판단하는 단계, 그리고 상기 차이 값이 상기 소정의 임계치 이하이면 상기 배경 부분으로 판단하는 단계를 포함할 수 있으며, 상기 소정의 임계치는 상기 바닥 평면과의 거리 값에 따라 다르게 설정될 수 있다.

상기 객체의 이상 행동 유무를 판단하는 단계는, 상기 관심 영역의 상기 실세계 좌표를 이용하여, 상기 객체의 높이, 너비, 두께, 이동 속도 중 적어도 하나 포함하는 3차원 특징을 추출하는 단계, 그리고 상기 3차원 특징을 이용하여 객체의 이상 행동 유무를 판단하는 단계를 포함할 수 있다.

상기 객체의 이상 행동은 객체의 침입, 배회, 군집, 넘어짐, 달리기 중 적어도 하나의 행동일 수 있다.

본 발명의 다른 실시예에 따르면, 감시 장치가 제공된다. 상기 감시 장치는, 3차원 카메라를 통해 입력되는 깊이 영상을 공간 좌표인 실세계 좌표로 변환하는 좌표 변환부,

상기 실세계 좌표를 이용하여, 바닥 평면을 검출하고, 상기 바닥 평면으로부터 떨어진 거리를 나타내는 평면 기준 거리 값을 계산하는 바닥 영역 검출부, 제1 시간 동안, 상기 평면 기준 거리 값을 기준으로 상기 깊이 영상의 배경 부분인 배경 모델을 생성하는 배경 모델 생성부, 그리고 상기 제1 시간 후에 입력되는 상기 깊이 영상에 대해서 상기 바닥 영역 검출부에 의해 계산된 평면 기준 거리 값인 제1 평면 기준 거리 값과, 상기 배경 모델을 비교하여, 관심 영역을 검출하는 관심 영역 검출부를 포함할 수 있다.

상기 관심 영역 검출부는, 상기 관심 영역의 실세계 좌표를 이용하여, 상기 관심 영역에 대한 레이블을 수행할 수 있으며, 상기 감시 장치는 상기 레이블링된 관심 영역에 대한 중심점 정보를 이용하여 상기 레이블된 관심 영역을 추적하는 관심 영역 추적부를 더 포함할 수 있다.

상기 감시 장치는, 상기 관심 영역의 실세계 좌표를 이용하여, 객체에 대한 3차원 특징을 추출하는 관심 영역 계산부, 그리고 상기 3차원 특징을 이용하여, 상기 객체의 이상 행동을 판단하는 이상 행동 판단부를 더 포함할 수 있다.

상기 배경 모델 생성부는 상기 평면 기준 거리 값을 상기 제1 시간 동안 누적하여 평균 값을 계산하고 상기 평균 값을 상기 배경 모델로 설정할 수 있다.

상기 감시 장치는, 상기 제1 평면 기준 거리 값과 상기 배경 모델을 비교하여 상기 영상에서 배경 부분을 판단하고, 상기 배경 부분을 이용하여 상기 배경 모델을 업데이트하는 배경 판단부를 더 포함할 수 있다.

본 발명의 또 다른 실시예에 따르면, 감시 시스템이 제공된다. 상기 감시 시스템은, 감시하고자 하는 영역에 설치되며, 상기 영역의 영상을 획득하는 3차원 카메라, 그리고 상기 3차원 카메라로부터 획득된 깊이 영상을 공간 좌표인 실세계 좌표로 변환하고, 상기 실세계 좌표를 이용하여 상기 깊이 영상의 바닥 평면을 검출하고, 상기 바닥 평면으로부터 떨어진 거리를 나타내는 평면 기준 거리 값을 계산하며, 소정의 시간 동안 계산된 상기 평면 기준 거리 값을 기준으로 상기 깊이 영상의 배경 부분인 배경 모델을 생성하는 감시 장치를 포함할 수 있다.

상기 감시 장치는, 상기 소정의 시간 후에 들어오는 상기 깊이 영상에 대해서 상기 평면 기준 거리 값을 계산한 값인 제1 값을 계산하며, 상기 제1 값과 상기 배경 모델을 비교하여 관심 영역을 검출할 수 있다.

상기 감시 장치는 상기 관심 영역의 실세계 좌표를 이용하여 상기 관심 영역에 대한 레이블을 수행하고, 상기 관심 영역의 실세계 좌표를 이용하여 객체에 대한 3차원 특징을 추출하며, 상기 3차원 특징을 이용하여 상기 객체의 이상 행동을 판단할 수 있다.

본 발명의 실시예에 따르면, 3차원 영상을 통해 객체를 검출하고 이상행동을 감지함으로써, 이상 행동 감지율을 향상시킬 수 있다.

본 발명의 다른 실시예에 따르면, 배경 모델 생성시 배경 영역만을 선택적으로 배경 모델에 업데이트 함으로써, 객체가 배경으로 흡수되는 것을 막을 수 있다.

도 1은 본 발명의 실시예에 따른 감시 시스템을 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 감시 장치(200)의 구성을 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 감시 장치(300)의 동작 방법을 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 바닥 영역 검출부(220)에 의해 검출된 바닥 검출 결과를 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 배경 모델 생성부(230)에 의해 생성된 초기 배경 모델을 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른 관심 영역 검출부(250)에 의해 생성된 관심 영역 검출 결과를 나타내는 도면이다.
도 7은 본 발명의 실시예에 따른 관심 영역 검출부(250)에 의해 생성된 관심 영역 검출 결과를 나타내는 도면이다.
도 8은 관심 영역(ID0)에 대해서 상, 하, 좌, 우, 깊이(거리)의 최소, 최대 픽셀의 위치를 나타내는 도면이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

또한 명세서 전체에서 객체는 사람, 동물 또는 물체를 지칭할 수 있다. 다만, 아래의 설명에서 설명의 편의상 객체가 사람인 경우를 가정하여 설명하지만, 본 발명의 권리범위는 이에 한정되지 않는다.

본 발명의 실시예에 따른 감시 장치는 3차원 영상 정보를 이용하여, 객체의 이상 행동을 감시하는 장치이다. 즉, 본 발명의 실시예에 따른 감시 장치는 3차원 카메라를 통해 얻어진 정보를 기반으로 객체를 검출, 추적하고, 침입, 배회, 군집, 넘어짐, 달리기와 같은 이상 행동을 자동으로 감지하여 효율적인 영상 감시를 수행한다. 이러한 본 발명의 실시예에 따른 감시 장치 및 그 동작 방법에 대하여 이하에서 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 감시 시스템을 나타내는 도면이다.

도 1에 나타낸 바와 같이, 본 발명의 실시예에 따른 감시 시스템(1000)은 3차원 카메라(100) 및 감시 장치(200)를 포함한다.

3차원 카메라(100)는 감시하고자 하는 감시 영역에 설치되며, 감시 영역의 영상을 촬영한다. 본 발명의 실시예에 따른 3차원 카메라(100)는 거리(깊이) 정보가 포함되어 있는 깊이 영상을 획득한다. 3차원 카메라(100)는 거리(깊이) 정보를 제공하는 TOF(Time of Flight) 카메라, LRF(Laser Range Finder) 센서, 키넥트, 프라임센스, Soft Kinetic, 또는 2개의 컬러 영상을 기반으로 3차원 정보를 생성하는 스테레오 카메라를 통해 구현될 수 있다.

감시 장치(200)는 3차원 카메라(100)로부터 전송된 깊이 영상을 이용하여, 객체가 포함된 관심 영역을 검출 및 추적하며, 객체의 이상 행동을 판단한다. 그리고 감시 장치(200)는 객체의 이상 행동을 감지하는 경우에는 비상 알람 신호를 외부로 전송할 수 있다. 본 발명의 실시예에 따른 감시 장치(200)의 구체적인 구성 및 동작에 대해서 도 2 및 도 3을 참조하여 상세히 설명한다.

도 2는 본 발명의 실시예에 따른 감시 장치(200)의 구성을 나타내는 도면이며, 도 3은 본 발명의 실시예에 따른 감시 장치(300)의 동작 방법을 나타내는 도면이다.

도 2에 나타낸 바와 같이, 본 발명의 실시예에 따른 감시 장치(200)는 좌표 변환부(210), 바닥 영역 검출부(220), 배경모델 생성부(230), 배경 판단부(240), 관심 영역 검출부(250), 관심 영역 추적부(260), 관심 영역 계산부(270) 및 이상 행동 판단부(280)를 포함한다.

본 발명의 실시예에 따른 좌표 변환부(210)는 3차원 카메라(100)로부터 전송되는 깊이 영상을 실 세계 좌표(즉, 3차원 좌표)로 변환한다(S310). 3차원 카메라(100)는 Z 축에 대한 거리 정보만을 제공하므로, 좌표 변환부(210)는 아래의 수학식 1을 이용하여 깊이 영상을 3차원 좌표로 변환한다.

상기 수학식 1에서, Xrw는 X축의 실세계 좌표, Yrw는 Y축의 실세계 좌표를 나타내며, imagewidth는 영상의 너비, imageheight는 영상의 높이를 나타낸다. X, Y는 영상의 2D 픽셀 좌표를 나타내고 XtoZ는

이며, FovH는 카메라의 수평 화각을 나타낸다. 그리고 YtoZ는

이며, FovV는 카메라의 수직 화각을 나타낸다.

바닥 영역 검출부(220)는 소정의 초기 시간(t) 동안 좌표 변환부(210)로부터 전송되는 3차원 좌표를 이용하여, 전체 영상에서 바닥 평면을 검출하고, 영상의 모든 픽셀에 대해서 평면 기준 거리 값을 계산한다(S320). 여기서, 평면 기준 거리 값(d)은 모든 픽셀(3차원 좌표)이 바닥 평면으로부터 얼마나 떨어져 있는 지를 나타낸다. 바닥 영역 검출부(220)에 의해 검출된 바닥 평면의 정보는 아래에서 설명하는 배경모델 생성 및 관심 영역 검출한 뒤 3차원 특징을 추출하는데 사용된다. 본 발명의 실시예에 따른 바닥 영역 검출부(220)는 아래의 수학식 2 내지 5를 이용하여 바닥 평면 및 평면 기준 거리 값을 계산한다.

먼저, 바닥 영역 검출부(220)는 수학식 2와 같은 바닥 평면을 지나는 세점(p1, p2, p3)를 구한다.

상기 수학식 2에서, p1은 3차원 좌표(실 세계 좌표)에서 Yrw가 최소 값을 가지는 한 점으로 정의된다. p2는 p1의 z1보다 80cm 이상인 곳의 상, 하, 좌, 우 주변으로 50cm를 탐색하여, p1의 y1과의 차이가 임계치 이하인 한 점으로 정의된다. 그리고, p3는 p2의 z2보다 80cm 이상인 곳의 상, 하, 좌, 우 주변으로 50cm를 탐색하여, p2의 y2와의 차이가 임계치 이하인 한 점으로 정의된다. 여기서, 80cm와 50cm는 영상의 크기에 따라 임의로 설정되는 값으로, 영상상의 크기에 따라 변경될 수 있다.

상기 수학식 2의 세점(p1, p2, p3)을 이용하여, 아래의 수학식 3과 같은 평면 방정식을 구할 수 있다.

상기 수학식 3의 평면 방정식은 p1, p2, p3이 지나는 바닥 평면을 나타낸다. 수학식 3에서 a, b, c는 평면 방정식의 계수를 나타내며, 이는 수학식 4에 의해 얻을 수 있다. 그리고 수학식 3에서 d는 평면 기준 거리 값(d)으로 바닥 영역의 세점(p1,p2,p3)에 대해서는 0의 값을 가질 수 있다. 이러한 평면 기준 거리 값(d)는 아래의 수학식 5와 같이 구해질 수 있다.

수학식 5에서, realworldX, realworldY 및 realworldZ 는 실세계 좌표(즉, 3차원 좌표)를 의미하며, ptPointX, ptPointY 및 ptPointZ는 바닥 평면의 임의의 한점(예를 들면, p1,p2,p3가 될 수 있음)을 나타낸다. 따라서, 바닥 평면의 모든 픽셀을 수학식 5에 적용하면, 바닥 평면에 대한 평면 기준 거리 값(d)은 0이 될 수 있다. 그리고, 상기 수학식 5에 의해 얻어진 평균 기준 거리 값(d)이 소정의 임계치(예를 들면, 0) 이하이면, 바닥 영역(평면)으로 간주할 수 있다.

도 4는 본 발명의 실시예에 따른 바닥 영역 검출부(220)에 의해 검출된 바닥 검출 결과를 나타내는 도면이다. 도 4의 (a)는 바닥 검출 결과를 나타내며, 도 4(b)는 바닥 평면을 정의하는 세 점(p1, p2, p3)를 나타낸다. 도 4의 (a)에서 410은 실제 영상에서의 바닥 영역을 나타낸다. 도 4의 (a)에서 바닥 영역(평면)인 410은 상기 수학식 5에 의해 계산된 평균 기준 거리 값으로서 소정의 임계치 이하의 값을 가진다.

다음으로, 본 발명의 실시예에 따른 배경 모델 생성부(230)는 바닥 영역 검출부(220)에 의해 계산된 각 픽셀의 평면 기준 거리 값을 소정의 초기 시간(t) 동안 누적하여 평균 값을 계산하고, 이 평균 값을 초기 배경 모델로서 생성한다(S330). 여기서, 소정의 초기 시간(t)는 3차원 카메라(100)의 초기 구동 후의 소정의 시간으로 사용자에 의해 설정될 수 있다.

도 5는 본 발명의 실시예에 따른 배경 모델 생성부(230)에 의해 생성된 초기 배경 모델을 나타내는 도면이다. 도 5의 (a)는 컬러 영상이고, 도 5의 (b)는 3차원 카메라(100)에 의해 획득된 깊이 영상을 나타낸다.

도 5의 (c)는 본 발명의 실시예에 따른 바닥 영역 검출부(220)에 의해 계산된 평면 기준 거리 값을 나타낸 영상이다. 평면 기준 거리 값은 바닥 평면에 가까울 수록 0에 가까운 값을 가진다. 따라서, 도 5의 (b)와 같은 깊이 영상에 대해서 수학식 5를 사용하여 평면 기준 거리 값을 계산하면, 도 5의 (c)와 같이 바닥 영역에 가까울수록 어두운 그레이 레벨(낮은 값)을 가진다. 배경 모델 생성부(230)는 도 5의 (c)와 같이 생성된 평면 기준 거리 값을 소정의 초기 시간(t) 동안 누적하여 평균함으로써 도 5의 (d)와 같은 초기 배경 모델을 생성한다.

본 발명의 실시예와 같이 평면 기준 거리 값을 이용하여 배경 모델을 생성하는 경우, Z 값(깊이 값) 기반의 배경 모델보다 바닥면에 가까운 물체를 쉽게 검출할 수 있는 장점이 있다. Z 값은 카메라의 설치 높이, 기울어진 각도에 따라 왜곡이 발생하나, 본 발명의 실시예와 같이 바닥 평면을 기반(즉, 평면 기준 거리 값을 기준으로 하는 경우)으로 실 세계 좌표를 재구성하면 검출의 정확도를 더욱 높일 수 있다.

배경 판단부(240)는 S330 단계에서 생성된 초기 배경 모델을 바탕으로, 초기 시간(t) 후에 들어오는 영상에 대해서 배경과 전경을 구분하고 배경 영역을 실시간으로 배경 모델에 업데이트 한다(S340, S330). 여기서, 배경은 바닥 및 벽면 등 움직이지 않는 영역을 의미하며, 전경은 객체(사람/물체 등)가 움직이는 영역을 의미한다.

배경 판단부(240)는 S330 단계에서 생성된 초기 배경 모델과 현재 영상의 평면 기준 거리 값의 차이를 구하고, 그 차이가 임계치를 초과하면 전경으로 판단하고 임계치 이하이면 배경으로 판단한다. 그리고 배경 판단부(240)는 배경으로 판단된 영역을 실시간으로 초기 배경 모델에 업데이트 한다. 여기서, 상기 임계치는 평면 기준 거리 값(d)과 3차원 카메라에 의해 얻어지는 거리 값(Z)에 따라 다른 값을 가질 수 있다. 즉, 바닥 평면과 가깝고 거리가 가까운 영역은 임계치를 낮게 설정하고, 바닥 평면과 멀고 거리가 먼 영역은 임계치를 높게 설정할 수 있다. 본 발명의 실시예는 배경을 판단하는 단계(S340)를 통해 전경으로 검출된 영역을 제외하고 배경 영역만을 배경으로 업데이트하므로, 사람/물체가 침입 뒤 움직이지 않고 한 장소에 머물러 있어도 배경으로 흡수되지 않는다. 배경 모델을 판단하지 않고 업데이터 하지 않는 경우에는 배경 모델을 생성하는 동안 사람/물체가 지나가면 배경으로 흡수되어 검출이 불가능한 영역이 발생할 수 있다. 본 발명의 실시예는 이러한 검출 불가능한 영역의 발생을 막을 수 있다.

관심 영역 검출부(250)는 상기와 같이 실시간으로 업데이트된 배경 모델과 현재 평면 기준 거리 값 과의 차이를 구하여 최종적으로 관심 영역을 검출하고, 관심 영역에 대해서 거리 기반 레이블링(labeling)을 수행한다(S350).

관심 영역 검출부(250)은 다음의 세가지 조건 중 적어도 하나인 경우에는 관심 영역으로 검출한다. 먼저, 관심 영역 검출부(250)는 배경 모델과 현재 영상의 평면 기준 거리 값의 차이가 임계치 이상인 영역에 대해서 관심영역으로 설정할 수 있다. 다음으로, 관심 영역 검출부(250)는 배경 모델이 손실된 깊이 값(거리가 멀거나 적외선 흡수 재질에 의해 깊이 값이 손실될 수 있음)을 포함함으로 인해 평균 기준 거리 값이 0이 되었지만, 현재 영상의 평면 기준 거리 값이 0이 아니 영역에 대해서 관심 영역으로 설정할 수 있다. 그리고, 관심 영역 검출부(250)는 현재 영상에서 손실된 깊이 값을 가진 객체가 등장하여 평면 기준 거리 값이 0이지만 배경 모델의 평면 기준 거리 값이 0이 아닌 경우에도 관심 영역으로 설정할 수 있다.

도 6은 본 발명의 실시예에 따른 관심 영역 검출부(250)에 의해 생성된 관심 영역 검출 결과를 나타내는 도면이다.

도 6의 (a)는 컬러 영상이고, 도 6의 (b)는 3차원 카메라(100)에 의해 획득된 깊이 영상을 나타낸다. 그리고 도 6의 (c)는 본 발명의 실시예에 따른 관심 영역 검출부(250)에 의해 검출된 관심 영역을 나타내는 도면이다. 도 6의 (c)에서, 610은 초기 배경 모델과 현재 평면 기준 거리 값의 차이가 임계치 이상인 영역을 나타내며, 620은 업데이트된 배경 모델과 현재 평면 기준 거리 값의 차이가 임계치 이상인 영역을 나타낸다. 그리고 630은 배경 모델의 평면 기준 거리 값이 0이지만 현재 영상의 평면 기준 거리 값이 0이 아닌 영역을 나타낸다.

한편, 관심 영역 검출부(250)는 검출한 관심 영역에 대해서 거리 기반 레이블링을 적용하여 노이즈를 제거하고 최종적으로 관심 영역만을 남긴다(S350). 여기서, 레이블링이란 영상의 픽셀 값을 탐색하여 인접해 있는 픽셀 값은 동일한 객체로 판단하여 동일한 레이블을 할당하는 것을 말한다. 본 발명의 실시예에서는, 관심 영역의 픽셀 값과 각 픽셀이 가지고 있는 3차원 실세계 좌표 값(Xrw, Yrw, Zrw)를 사용하여 임계치 거리 이내에 있으면 하나의 객체로 판단하여 같은 레이블을 할당하고, 임계치 거리 이상이면 다른 물체로 판단하여 다른 레이블을 할당한다.

도 7은 본 발명의 실시예에 따른 관심 영역 검출부(250)에 의해 생성된 관심 영역 검출 결과를 나타내는 도면이다.

도 7의 (a)는 컬러 영상이고, 도 7의 (b)는 3차원 카메라(100)에 의해 획득된 깊이 영상을 나타낸다. 그리고 도 6의 (c)는 관심 영역 검출부(250)에 의해 검출된 관심 영역을 나타내며, 도 6의 (d)는 관심 영역 검출부(250)에 의해 레이블링된 후 최종적으로 검출된 관심 영역을 나타내는 도면이다. 도 6의 (c)와 같이 관심 영역이 검출된 경우, 3차원 영상 정보(즉, 도 6의 (b)와 같은 깊이 정보)를 사용하여 레이블링하면 픽셀이 인접하더라도 거리차이가 임계치 이상이면 서로 다른 레이블로 인식된다. 즉, 도 6의 (d)에 나타낸 바와 같이, ID0와 ID1은 거리차이가 임계치 이상이므로 서로 다르게 레이블링 된다. 2차원 영상을 기반으로 레이블링하는 경우에는 도 7의 (c)는 서로 같은 사람으로 레이블링되나, 본 발명의 실시예에와 같이 3차원 영상 거리 정보를 사용하여 레이블링 하는 경우에는 복수의 사람이 일정한 거리를 두고 붙어 있는 경우에도 다른 사람으로 레이블링되어 분리 검출 가능하다.

관심 영역 추적부(260)는 레이블링된 관심 영역의 중심점 정보를 이용하여 실시간으로 관심 영역을 추적한다(S360). 즉, 관심 영역 추적부(260)는 이전 프레임에서 검출된 관심영역에 대한 중심점(CoM3d(x,y,z))과 현재 프레임에서 검출된 관심 영역에 대한 중심점(CoM3d(x,y,z))의 유클리드 거리(Euclidean distance)를 계산하고 계산한 값이 임계치 이내인 경우에는 같은 객체로 판단하고 이전 프레임의 ID를 현재 프레임에 할당한다.

관심 영역 계산부(270)는 관심 영역 추적부(260)에 의해 추적한 관심 영역의 이상 행동 유무를 판단하기 위해, 관심 영역의 속도 및 크기 등 3차원 특징을 계산한다(S370).

먼저, 관심 영역 계산부(270)는 관심 영역의 상, 하, 좌, 우, Zrw의 최대 및 최소 위치에 대한 3차원 실 세계 좌표를 검출한다. 도 8은 관심 영역(ID0)에 대해서 상, 하, 좌, 우, 깊이(거리)의 최소, 최대 픽셀의 위치를 나타내는 도면이다. 도 8에서, XMin은 X축 좌표의 최소 값 픽셀 위치, XMax는 X축 좌표의 최대 값 픽셀 위치를 나타낸다. YMin 및 YMax는 각각 Y축 좌표의 최소 값 픽셀 및 최대 값 픽셀 위치를 나타내며, ZMin 및 ZMax는 각각 Z축 좌표의 최소 값 픽셀 및 최대 값 픽셀 위치를 나타낸다. 그리고 CoM3d는 관심 영역의 중심점에 대한 픽셀 위치를 나타낸다.

다음으로, 관심 영역 계산부(270)는 3차원 실세계 좌표(Xrw, Yrw, Zrw)를 이용하여 아래의 표 1과 같이, 객체의 높이, 너비, 두께, 이동 속도 등 3차원 특징을 추출한다.

본 발명의 실시예에 따른 이상 행동 판단부(280)는 관심 영역 계산부(270)에 의해 추출된 3차원 특징을 이용하여, 객체의 침입, 배회, 군집, 넘어짐, 달리기 행위 등 객체의 이상 행동을 판단한다(S380). 본 발명의 실시예에서는 '객체' 용어와 '관심 영역' 용어는 서로 혼용되어 사용될 수 있다.

이상 행동 판단부(280)는 소정의 침입 감지 구역을 설정한 후, 그 감지 구역 내에 높이, 너비, 두께가 임계치 이상을 가지는 객체가 나타나는 경우 침입으로 판단하고 알람을 발생시킬 수 있다.

이상 행동 판단부(280)는 감지 구역 내에 높이, 너비, 두께가 임계치 이상을 가지는 객체가 나타남과 함께 일정 시간 동안 소정의 이상의 이동 속도로 움직이는 경우 배회로 판단하고 알람을 발생시킬 수 있다.

이상 행동 판단부(280)는 군집을 감지할 구역을 설정한 뒤, 그 군집 감지 구역에 등장한 객체들(즉, 복수의 레이블)의 Z축(Zrw)에 대한 유클리드 거리(Euclidean distance)를 계산하고, 계산한 유클리드 거리가 임계치 이내인 객체(레이블)가 소정의 개수 이상인 경우 군집으로 판단하고 알람을 발생시킬 수 있다.

이상 행동 판단부(280)는 객체의 높이, 너비, 두께가 임계치 이상으로 판단하여 서 있는 사람으로 판단하고 난 후, 현재의 높이가 초기 높이보다 임계치 이상 낮아지고 너비/두께가 높이보다 크고, 바닥 평면과 객체(레이블)의 중심점 높이 차이가 임계치 이하이며, 일정 시간 이상 낮아진 높이가 유지되는 경우, 최종적으로 객체가 넘어진 것을 판단하여 알람을 발생시킬 수 있다. 이러한 본 발명의 실시예에 따른 이상 행동 판단부(280)는 바닥 평면과 객체의 중심적 높이 차를 고려하여 높이를 측정하므로, 객체가 일부 가려져도 안정적으로 높이를 추정할 수 있다.

이상 행동 판단부(280)는 이동 속도를 이용하여 객체가 달기를 하고 있는지를 판단할 수 있다. 이상 행동 판단부(280)는 높이, 너비, 두께가 임계치 이상에 해당하여 서 있는 객체로 판단한 경우이고, 현재 프레임의 검출 영상과 이전 프레임의 검출 영상의 차이를 연산하여 움직임 픽셀 개수를 구하여 움직임 픽셀 개수가 임계치 이상이며, 객체가 소정의 속도 이상으로 이동하는 경우, 달리기로 판단하고 알람을 발생시킬 수 있다. 여기서, 이상 행동 판단부(280)는 움직임 픽셀 개수에 대한 조건으로 인해 추적 실패로 인한 달리기 판단에 대한 오보율을 줄일 수 있다.

이와 같은 본 발명의 실시예에 따르면, 3차원 특징을 이용하여 객체의 이상 행동을 판단하므로, 조명이나 주변 환경의 변환에 따른 오보를 줄이고 이상 행동 감지율을 높일 수 있다.

본 발명의 실시예가 의료 시설 또는 가정에 설치되는 경우, 노인 및 환자의 갑작스러운 낙상이나 쓰러짐 행동을 자동으로 가지하고 빠르게 대처할 수 있다. 그리고 본 발명의 실시예가 위험물을 취급하는 공장에 설치되는 경우, 화재나 유독물질의 유출로 인해 쓰러지는 행위나 달리는 행위를 감지하여, 빠르게 대처할 수 있다.

그리고 본 발명의 실시예가 다수의 사람이 동시에 이용하는 공공장소 등에 설치되는 경우, 갑작스러운 쓰러짐이나 군집 상황, 달리기, 배회 등을 파악하여 그에 따라 신속하게 조치할 수 있다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims

삭제
감시 장치가 3차원 카메라를 통해 입력되는 영상을 이용하여 객체를 감시하는 방법으로서,
상기 영상을 공간 좌표인 실세계 좌표로 변환하는 단계,
상기 실세계 좌표를 이용하여, 바닥 평면과 상기 바닥 평면으로 떨어진 거리를 나타내는 평면 기준 거리 값을 계산하는 단계,
소정의 시간 동안, 상기 평면 기준 거리 값을 기준으로 상기 영상의 배경 부분인 배경 모델을 생성하는 단계,
상기 소정의 시간 후에 입력되는 영상에 대해서 상기 계산하는 단계에서 계산한 평면 기준 거리 값인 제1 평면 기준 거리 값과 상기 배경 모델을 비교하여, 관심 영역을 검출하는 단계, 그리고
상기 관심 영역의 실세계 좌표를 이용하여, 상기 관심 영역에 대한 레이블링을 수행하는 단계를 포함하는 방법.
제2항에 있어서,
상기 레이블링된 관심 영역에 대한 중심점 정보를 이용하여 상기 레이블링된 관심 영역을 추적하는 단계를 더 포함하는 방법.
제2항에 있어서,
상기 관심 영역의 실세계 좌표를 이용하여, 상기 객체의 이상 행동 유무를 판단하는 단계를 더 포함하는 방법.
감시 장치가 3차원 카메라를 통해 입력되는 영상을 이용하여 객체를 감시하는 방법으로서,
상기 영상을 공간 좌표인 실세계 좌표로 변환하는 단계,
상기 실세계 좌표를 이용하여, 바닥 평면과 상기 바닥 평면으로 떨어진 거리를 나타내는 평면 기준 거리 값을 계산하는 단계,
소정의 시간 동안, 상기 평면 기준 거리 값을 기준으로 상기 영상의 배경 부분인 배경 모델을 생성하는 단계, 그리고
상기 소정의 시간 후에 입력되는 영상에 대해서 상기 계산하는 단계에서 계산한 평면 기준 거리 값인 제1 평면 기준 거리 값과 상기 배경 모델을 비교하여, 관심 영역을 검출하는 단계를 포함하며,
상기 바닥 평면을 계산하는 단계는,
상기 실세계 좌표에서 Y축 값이 최소 값인 한 점을 이용하여 상기 바닥 평면에 위치하는 세 점을 설정하는 단계, 그리고
상기 세 점을 이용하여 평면 방정식을 계산하는 단계를 포함하는 방법.
제5항에 있어서,
상기 평면 기준 거리 값을 계산하는 단계는 상기 평면 방정식을 이용하여, 상기 평면 기준 거리 값을 계산하는 단계를 포함하는 방법.
감시 장치가 3차원 카메라를 통해 입력되는 영상을 이용하여 객체를 감시하는 방법으로서,
상기 영상을 공간 좌표인 실세계 좌표로 변환하는 단계,
상기 실세계 좌표를 이용하여, 바닥 평면과 상기 바닥 평면으로 떨어진 거리를 나타내는 평면 기준 거리 값을 계산하는 단계,
소정의 시간 동안, 상기 평면 기준 거리 값을 기준으로 상기 영상의 배경 부분인 배경 모델을 생성하는 단계, 그리고
상기 소정의 시간 후에 입력되는 영상에 대해서 상기 계산하는 단계에서 계산한 평면 기준 거리 값인 제1 평면 기준 거리 값과 상기 배경 모델을 비교하여, 관심 영역을 검출하는 단계를 포함하며,
상기 생성하는 단계는,
상기 평면 기준 거리 값을 상기 소정의 시간 동안 누적하여 평균 값을 계산하는 단계, 그리고
상기 평균 값을 상기 배경 모델로 설정하는 단계를 포함하는 방법.
감시 장치가 3차원 카메라를 통해 입력되는 영상을 이용하여 객체를 감시하는 방법으로서,
상기 영상을 공간 좌표인 실세계 좌표로 변환하는 단계,
상기 실세계 좌표를 이용하여, 바닥 평면과 상기 바닥 평면으로 떨어진 거리를 나타내는 평면 기준 거리 값을 계산하는 단계,
소정의 시간 동안, 상기 평면 기준 거리 값을 기준으로 상기 영상의 배경 부분인 배경 모델을 생성하는 단계,
상기 소정의 시간 후에 입력되는 영상에 대해서 상기 계산하는 단계에서 계산한 평면 기준 거리 값인 제1 평면 기준 거리 값과 상기 배경 모델을 비교하여, 관심 영역을 검출하는 단계,
상기 제1 평면 기준 거리 값과 상기 배경 모델을 비교하여, 상기 영상에서 배경 부분과 전경 부분을 판단하는 단계, 그리고
상기 배경 부분으로 판단된 영역을 이용하여, 상기 배경 모델을 업데이트하는 단계를 포함하는 방법.
제8항에 있어서,
상기 관심 영역을 검출하는 단계는, 상기 제1 평면 기준 거리 값과 상기 업데이트된 배경 모델을 비교하여, 관심 영역을 검출하는 단계를 포함하는 방법.
제8항에 있어서,
상기 배경 부분과 상기 전경 부분을 판단하는 단계는,
상기 제1 평면 기준 거리 값과 상기 배경 모델의 차이 값을 구하는 단계,
상기 차이 값이 소정의 임계치를 초과하면 상기 전경 부분으로 판단하는 단계, 그리고
상기 차이 값이 상기 소정의 임계치 이하이면 상기 배경 부분으로 판단하는 단계를 포함하며,
상기 소정의 임계치는 상기 바닥 평면과의 거리 값에 따라 다르게 설정되는 방법.
제4항에 있어서,
상기 객체의 이상 행동 유무를 판단하는 단계는,
상기 관심 영역의 상기 실세계 좌표를 이용하여, 상기 객체의 높이, 너비, 두께, 이동 속도 중 적어도 하나 포함하는 3차원 특징을 추출하는 단계, 그리고
상기 3차원 특징을 이용하여 객체의 이상 행동 유무를 판단하는 단계를 포함하는 방법.
제11항에 있어서,
상기 객체의 이상 행동은 객체의 침입, 배회, 군집, 넘어짐, 달리기 중 적어도 하나의 행동인 방법.
삭제
3차원 카메라를 통해 입력되는 깊이 영상을 공간 좌표인 실세계 좌표로 변환하는 좌표 변환부,
상기 실세계 좌표를 이용하여, 바닥 평면을 검출하고, 상기 바닥 평면으로부터 떨어진 거리를 나타내는 평면 기준 거리 값을 계산하는 바닥 영역 검출부,
제1 시간 동안, 상기 평면 기준 거리 값을 기준으로 상기 깊이 영상의 배경 부분인 배경 모델을 생성하는 배경 모델 생성부, 그리고
상기 제1 시간 후에 입력되는 상기 깊이 영상에 대해서 상기 바닥 영역 검출부에 의해 계산된 평면 기준 거리 값인 제1 평면 기준 거리 값과, 상기 배경 모델을 비교하여, 관심 영역을 검출하는 관심 영역 검출부를 포함하며,
상기 관심 영역 검출부는, 상기 관심 영역의 실세계 좌표를 이용하여, 상기 관심 영역에 대한 레이블을 수행하며,
상기 레이블링된 관심 영역에 대한 중심점 정보를 이용하여 상기 레이블된 관심 영역을 추적하는 관심 영역 추적부를 더 포함하는 감시 장치.
3차원 카메라를 통해 입력되는 깊이 영상을 공간 좌표인 실세계 좌표로 변환하는 좌표 변환부,
상기 실세계 좌표를 이용하여, 바닥 평면을 검출하고, 상기 바닥 평면으로부터 떨어진 거리를 나타내는 평면 기준 거리 값을 계산하는 바닥 영역 검출부,
제1 시간 동안, 상기 평면 기준 거리 값을 기준으로 상기 깊이 영상의 배경 부분인 배경 모델을 생성하는 배경 모델 생성부,
상기 제1 시간 후에 입력되는 상기 깊이 영상에 대해서 상기 바닥 영역 검출부에 의해 계산된 평면 기준 거리 값인 제1 평면 기준 거리 값과, 상기 배경 모델을 비교하여, 관심 영역을 검출하는 관심 영역 검출부,
상기 관심 영역의 실세계 좌표를 이용하여, 객체에 대한 3차원 특징을 추출하는 관심 영역 계산부, 그리고
상기 3차원 특징을 이용하여, 상기 객체의 이상 행동을 판단하는 이상 행동 판단부를 포함하는 감시 장치.
3차원 카메라를 통해 입력되는 깊이 영상을 공간 좌표인 실세계 좌표로 변환하는 좌표 변환부,
상기 실세계 좌표를 이용하여, 바닥 평면을 검출하고, 상기 바닥 평면으로부터 떨어진 거리를 나타내는 평면 기준 거리 값을 계산하는 바닥 영역 검출부,
제1 시간 동안, 상기 평면 기준 거리 값을 기준으로 상기 깊이 영상의 배경 부분인 배경 모델을 생성하는 배경 모델 생성부, 그리고
상기 제1 시간 후에 입력되는 상기 깊이 영상에 대해서 상기 바닥 영역 검출부에 의해 계산된 평면 기준 거리 값인 제1 평면 기준 거리 값과, 상기 배경 모델을 비교하여, 관심 영역을 검출하는 관심 영역 검출부를 포함하며,
상기 배경 모델 생성부는 상기 평면 기준 거리 값을 상기 제1 시간 동안 누적하여 평균 값을 계산하고 상기 평균 값을 상기 배경 모델로 설정하는 감시 장치.
3차원 카메라를 통해 입력되는 깊이 영상을 공간 좌표인 실세계 좌표로 변환하는 좌표 변환부,
상기 실세계 좌표를 이용하여, 바닥 평면을 검출하고, 상기 바닥 평면으로부터 떨어진 거리를 나타내는 평면 기준 거리 값을 계산하는 바닥 영역 검출부,
제1 시간 동안, 상기 평면 기준 거리 값을 기준으로 상기 깊이 영상의 배경 부분인 배경 모델을 생성하는 배경 모델 생성부,
상기 제1 시간 후에 입력되는 상기 깊이 영상에 대해서 상기 바닥 영역 검출부에 의해 계산된 평면 기준 거리 값인 제1 평면 기준 거리 값과, 상기 배경 모델을 비교하여, 관심 영역을 검출하는 관심 영역 검출부, 그리고
상기 제1 평면 기준 거리 값과 상기 배경 모델을 비교하여 상기 영상에서 배경 부분을 판단하고, 상기 배경 부분을 이용하여 상기 배경 모델을 업데이트하는 배경 판단부를 포함하는 감시 장치.
삭제
감시하고자 하는 영역에 설치되며, 상기 영역의 영상을 획득하는 3차원 카메라, 그리고
상기 3차원 카메라로부터 획득된 깊이 영상을 공간 좌표인 실세계 좌표로 변환하고, 상기 실세계 좌표를 이용하여 상기 깊이 영상의 바닥 평면을 검출하고, 상기 바닥 평면으로부터 떨어진 거리를 나타내는 평면 기준 거리 값을 계산하며, 소정의 시간 동안 계산된 상기 평면 기준 거리 값을 기준으로 상기 깊이 영상의 배경 부분인 배경 모델을 생성하는 감시 장치를 포함하며,
상기 감시 장치는, 상기 소정의 시간 후에 들어오는 상기 깊이 영상에 대해서 상기 평면 기준 거리 값을 계산한 값인 제1 값을 계산하며, 상기 제1 값과 상기 배경 모델을 비교하여 관심 영역을 검출하는 감시 시스템.
제19항에 있어서,
상기 감시 장치는 상기 관심 영역의 실세계 좌표를 이용하여 상기 관심 영역에 대한 레이블을 수행하고, 상기 관심 영역의 실세계 좌표를 이용하여 객체에 대한 3차원 특징을 추출하며, 상기 3차원 특징을 이용하여 상기 객체의 이상 행동을 판단하는 감시 시스템.