KR20080020595A - 보안 어플리케이션을 위한 사람을 감지하고 추적하는시스템 - Google Patents

Abstract

본 발명은 사람을 감지하고 추적하는 방법, 시스템, 장치, 제조된 물건을 포함한다.

실시예에서 본 발명은 사람 오브젝트의 다양한 단서와 일반적인 사람 모델과 함께 사람 감지 어프로치로 사용한다. 발명의 실시예는 또한 사람 타깃 추적과 일시적인 정보를 사용하여 감지의 안정성을 더욱 높인다.

본 발명의 실시예는 선택적인 상황에서의 사람 외관, 스킨 톤 감지, 사람의 움직임 또한 이용한다. 한 실시예에서 얼굴 감지는 머리 이미지 크기와 주요한 얼굴 피쳐(feature)뿐만 아니라 사람 오브젝트의 정면 또는 준-정면(semi-frontal)의 사람의 모습을 사용한다.

본 발명의 실시예에 따르면, 컴퓨터와 같은 기계에 의해 판독될 때 컴퓨터가 다음의 동작을 포함하는(하지만 그에 한정되지는 않는) 비디오 타깃 트래킹 방법을 수행하도록 하는 소프트웨어 코드를 보유하는 컴퓨터 판독가능 매체를 포함한다. 동작은 감시 비디오 입력의 변경 감지를 수행하고, 타깃을 감지 및 추적하고, 유저가 정의한 룰에 기초하여 흥미 있는 이벤트를 감지하는 것을 말한다.

실시예에서 본 발명의 시스템은 본 발명의 실시예에 따라 컴퓨터를 동작하는 소프트웨어가 내장된 컴퓨터 판독 가능 매체를 포함하는 컴퓨터 시스템을 포함한다. 실시예에서 본 발명의 장치는 본 발명의 실시예에 따라 컴퓨터를 작동시키는 소프트웨어가 내장된 컴퓨터 판독 가능 매체를 포함하는 컴퓨터를 포함한다.

실시예에서 본 발명에 의해 제조된 물건은 본 발명의 실시예에 따라 컴퓨터를 작동하는 소프트웨어가 내장된 컴퓨터 판독 가능 매체를 포함한다.

본 발명의 다양한 실시예의 구조와 동작뿐만 아니라 본 발명의 바람직한 특징과 장점은 이하 첨부된 도면을 참조하여 상세히 설명될 것이다.

감시 시스템, 사람 감지, 사람 추적

Description

보안 어플리케이션을 위한 사람을 감지하고 추적하는 시스템{HUMAN DETECTION AND TRACKING FOR SECURITY APPLICATIONS}

본 발명은 감시 시스템에 관한 것으로 보다 상세하게는 화면을 모니터링하면서 사람 타깃을 자동으로 감지하고 추적하는 비디오 기반 지능 감시 시스템이다.

강력한 사람 감지 및 추적은 현대 비디오 감시 그리고 보안 어플리케이션에 있어 굉장한 흥미꺼리이다. 주거 또는 상업 시스템에 있어서 하나의 걱정은 잘못된 알람 또는 잘못된 알람의 경향이 높다는 것이다. 여러 가지 요인들이 잘못된 알람을 유발한다. 예를 들어, 가정 보안 시스템에서 만약 생일축하 풍선 또는 애완동물 또는 크리스마스 트리위의 장식품과 같은 물체나 동물의 움직임, 열, 소리의 소스가 보안 센서의 감지 범위에 있게 되면 잘못된 알람을 유발한다. 이러한 잘못된 알람은 사람의 반응을 자극하여 시스템의 총 비용을 상당히 증가시킨다. 게다가 반복된 잘못된 알람은 시스템의 효율을 감소시키고, 진짜 사건이 발생하거나 위협이 있을 때 유해할 수 있다.

사람이 아닌 물체가 대부분의 잘못된 알람을 일으키므로, 보안 시스템이 화 면에서 안정적으로 사람 오브젝트를 탐지하기 위해서는 대다수의 잘못된 알람을 제거해야 한다. 잘못된 알람을 줄일 뿐만 아니라 더 높은 레벨의 사람 행동을 분석 수행을 위해서는 안정적으로 사람을 감지하고 추적하며, 사람 카운팅(counting), 노약자 또는 정신질환자 감시, 의심쩍은 사람의 범죄 행동 감지를 포함하며 이에 국한되지 않은 잠재적 어플리케이션의 범위가 넓은 시스템이 필요하다.

다음의 정의는 전술된 바를 포함하여 본 명세서 전체에 걸쳐서 적용된다.

"비디오"는 아날로그 그리고/또는 디지털 형식으로 표현되는 영화(motion pictures)를 의미한다. 비디오는 예를 들어, 텔레비전, 영화, 카메라 또는 다른 관찰자로부터의 이미지 시퀀스, 그리고 컴퓨터로 만들어진 이미지 시퀀스를 포함한다. 비디오는 예를 들어, 라이브 피드(live feed), 스토리지 장치, IEEE 1394에 기반을 둔 인터페이스, 비디오 디지타이저(video digitizer), 컴퓨터 그래픽 엔진, 또는 네트워크 커넥션으로부터 얻어질 수 있다. "프레임"은 비디오에서의 특정 이미지 또는 다른 디스크릿 유닛(discrete unit)을 의미한다.

"비디오카메라"는 비주얼 리코딩을 위한 장치이다. 비디오카메라는 예를 들어, 하나 또는 그 이상의 비디오카메라, 디지털 비디오카메라, 컬러 카메라, 흑백 카메라, 카메라, 캠코더, PC 카메라, 웹캠(webcam), 적외선(IR) 비디오카메라, 저광 비디오카메라(low-light video camera), 열 비디오카메라(thermal video camera), CCTV 카메라, 팬(pan), 틸트(tilt), 줌(PTZ) 카메라, 비디오 센싱 장치를 포함한다. 비디오카메라는 원하는 지역의 감시를 수행하기 위해 위치될 수 있다.

"오브젝트"는 비디오에서의 관심 있는 아이템을 말한다. 오브젝트는 예를 들어, 사람, 차량, 동물, 물리적 물질을 포함한다.

"타깃"은 오브젝트의 컴퓨터 모델을 말한다. 타깃은 이미지 프로세싱에 의해 만들어지고, 타깃과 오브젝트는 하나씩 대응한다. 본 명세서에서 타깃은 특히 어떤 시간 동안 오브젝트에 대하여 지속되는 컴퓨터 모델 기간을 의미한다.

"컴퓨터"는 구조화된 입력을 받아들일 수 있고, 규정된 규칙에 따라 구조화된 입력을 프로세싱하고, 프로세싱의 결과를 출력으로서 산출할 수 있는 모든 장치를 말한다. 컴퓨터는 예를 들어, 데이터를 받아들이고, 내장된 하나 또는 그 이상의 소프트웨어 프로그램에 따라 데이터를 프로세스하고, 결과를 산출하는 어떤 장치가 포함되고, 전형적으로 입력, 출력, 저장, 연산, 로직(logic), 제어 유닛; 컴퓨터; 일반적 목적의 컴퓨터; 슈퍼컴퓨터; 메인프레임(mainframe); 슈퍼 미니-컴퓨터; 미니-컴퓨터; 워크스테이션; 마이크로-컴퓨터; 서버; 대화식 컴퓨터(interactive computer); 웹 장비; 인터넷이 연결되는 원거리통신 장비; 휴대용 컴퓨터; PDA; 휴대전화; 컴퓨터 그리고/또는 소프트웨어를 대리 실행하는 특수용도의 하드웨어; 고정된 컴퓨터; 휴대용 컴퓨터; 하나의 프로세서가 있는 컴퓨터; 같은 목적 그리고/또는 다른 목적의 동작을 할 수 있는 다수의 프로세서가 있는 컴퓨터; 네트워크에 의해 링크된 컴퓨터를 통해 정보를 처리하는 분산된 컴퓨터 시스템처럼 컴퓨터 간에 정보를 전송하거나 전송 받기 위해 서로 네트워크를 통해 연결된 둘 또는 그 이상의 컴퓨터를 포함한다.

"컴퓨터 판독 가능 매체"는 데이터를 저장하기 위해 사용되는 컴퓨터에 의해 액세스 될 수 있는 모든 스토리지 장치를 말한다. 컴퓨터 판독가능 매체는 예를 들어, 마그네틱 하드 디스크, 플로피 디스크, CD-ROM 그리고 DVD 같은 광디스크, 마그네틱테이프, 메모리 칩, 이메일을 주고받는 것 또는 네트워크 연결처럼 컴퓨터 판독 가능한 전자정보를 전달하기 위해 사용되는 반송파를 포함한다.

"소프트웨어"는 컴퓨터를 작동하기 위해 규정된 규칙을 말한다. 소프트웨어의 예로는 소프트웨어, 코드 세그먼트(code segment), 명령어(instruction), 소프트웨어 프로그램, 컴퓨터 프로그램, 프로그램된 로직이 포함된다.

"컴퓨터 시스템"은 컴퓨터를 작동하기 위한 소프트웨어가 내장된 컴퓨터 판독가능 매체를 포함하는 컴퓨터가 있는 시스템을 말한다.

"네트워크"는 다수의 컴퓨터 및 통신 장비로 연결된 관련 장치를 의미한다. 네트워크는 케이블과 같은 영구적인 연결 또는 전화, 무선 또는 다른 통신 링크로 만들어진 것 같은 일시적인 연결을 포함한다. 네트워크의 예로는 인터넷과 같은 인터넷, 인트라넷, LAN(local area network), WAN(wide area network), 그리고 인터넷과 인트라넷 같은 네트워크의 조합이 포함될 수 있다.

본 발명의 전술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 본 발명의 바람직한 실시예의 상세한 설명을 통하여보다 분명해질 것이며, 도면에서 유사한 참조부호는 일반적으로 동일, 기능적으로 유사 그리고/또는 구조적으로 유사 한 구성인자를 가리키는 것으로 사용된다. 대응하는 참조 번호에서 가장 왼쪽의 숫자는 구성요소가 첫번째로 표시되는 도면을 나타낸다.

도 1은 본 발명의 일 실시예에 의한 지능 비디오 시스템(intelligent video system; IVS) 개념적인 블록 다이어그램이다.

도 2는 본 발명의 일 실시예에 의한 IVS 시스템의 사람 감지/추적에 기초한 콘텐츠 분석 모듈의 개념적인 블록 다이어그램이다.

도 3은 본 발명의 일 실시예에 의한 사람 감지/추적 모듈의 개념적인 블록 다이어그램이다.

도 4는 본 발명의 일 실시예에 의한 사람 피쳐 추출 모듈(human feature extraction module)의 주요한 컴포넌트의 리스트를 나타내는 도면이다.

도 5는 본 발명의 일 실시예에 의한 사람 헤드 감지 모듈을 묘사하는 개념적인 블록 다이어그램이다.

도 6은 본 발명의 일 실시예에 의한 사람 헤드 위치 감지 모듈을 묘사하는 개념적인 블록 다이어그램이다.

도 7은 본 발명의 일 실시예에 의한 타깃 탑 프로필(target top profile)의 예시를 나타내는 도면이다.

도 8은 본 발명의 일 실시예에 의한 감지된 잠재적 헤드 위치를 나타내는 도면이다.

도 9는 본 발명의 일 실시예에 의한 타원형 헤드 핏 모듈(elliptical head fit module)을 묘사하는 개념적인 블록 다이어그램이다.

도 10은 본 발명의 일 실시예에 의한 헤드 아웃라인 픽셀(head outline pixel)을 찾는 방법을 나타내는 도면이다.

도 11은 본 발명의 일 실시예에 의한 평가된 헤드 모델을 포인트하는 하나의 헤드 아웃라인의 피팅 에러(fitting error)의 정의를 설명하는 도면이다.

도 12는 본 발명의 일 실시예에 의한 타원형 헤드 정밀 핏 모듈(elliptical head refine fit module)을 설명하는 개념적인 블록 다이어그램이다.

도 13은 본 발명의 일 실시예에 의한 헤드 트래커 모듈(head tracker module;406)의 주요 컴포넌트의 리스트를 나타내는 도면이다.

도 14는 본 발명의 일 실시예에 의한 상대크기 평가 모듈(relative size estimator module)을 묘사하는 개념적인 블록 다이어그램이다.

도 15는 본 발명의 일 실시예에 의한 사람 모양 프로필 추출 모듈(human shape profile extraction module)을 묘사하는 개념적인 블록 다이어그램이다.

도 16은 본 발명의 일 실시예에 의한 사람 프로젝션 프로필 추출과 정규화의 예시를 보여주는 도면이다.

도 17은 본 발명의 일 실시예에 의한 사람 감지 모듈을 묘사하는 개념적인 블록 다이어그램이다.

도 18은 본 발명의 일 실시예에 의한 다른 레벨의 사람 피쳐 서포트를 나타내는 도면이다.

도 19는 본 발명의 일 실시예에 의한 사람 타깃 감지 및 추적 모듈에 의해 사용되는 잠재적인 사람 타깃 상태(state) 리스트를 나타내는 도면이다.

도 20은 본 발명의 일 실시예에 의한 사람 타깃 상태(state) 전이 다이어그램이다.

이 도면들은 본 발명의 실시예를 설명하는 것이다. 이 실시예를 다양하게 변화하는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이다. 예를 들어, 도면에 포함된 순서도와 블록 다이어그램은 특정 동작 흐름을 설명한다. 하지만 이 순서도에 포함된 기능과 단계는 다른 순서로 수행될 수 있고, 이는 본 명세서를 기초로 하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이다.

이하, 본 발명의 바람직한 실시예를 설명한다. 구체적인 바람직한 실시예들이 논의되지만, 이는 단지 예시에 불과한 것임을 명시해야 한다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 사상 및 범위로부터 벗어나지 않고 다른 구성 요소 및 구성을 이용할 수 있다.

본 발명의 바람직한 실시예의 구체적인 응용은 거주 시설 보안 감시 및 소매점, 헬스 센터, 창고와 같은 상업 시설 보안 감시나 예를 들어 정유 공장, 원자력 발전소, 항구, 공항, 철도와 같은 중요한 기간 시설의 비디오 감시를 포함한다.(하지만 그에 한정되지는 않는다.)

본 발명의 실시예의 설명에서 다음의 가이드라인은 일반적으로 사용되지만 본 발명이 그에 한정되는 것은 아니다. 본 발명이 관련된 분야에서 통상의 지식을 가진 자는 적어도 본 명세서의 설명에 기초하여 가이드라인에 대안 및 추가를 적용할 수 있다.

1. 사람 오브젝트는 카메라의 시야에서 적어도 어느 정도의 시간 동안 직립한 바디 서포트와 머리를 갖고 있다. 카메라는 머리 위의 시야에 있지 않고/않거나 사람이 항상 기어 다니지 않을 것이 요구된다.

2. 사람 오브젝트는 오브젝트가 움직일 때 팔다리를 움직인다.

3. 사람 크기는 평균 사람 크기에서 소정의 범위 이내이다.

4. 사람의 얼굴이 보인다.

이상의 일반적인 사람 오브젝트 특징(property)은 화면(scene)에서의 사람 타깃에 대한 다양한 단서로서 제공되는 가이드라인이고, 다른 단서는 관찰된 타깃이 사람 타깃인지에 대해 다른 확신을 가질 것이다. 실시예에 따르면 각 비디오 프레임에서 사람을 감지하는 것은 그 프레임으로부터 나온 모든 단서 또는 모든 단서의 부분집합의 비중이 있거나 없음에 의한 조합이다. 비디오 시퀀스에서 사람을 감지하는 것은 사람 타깃 트래킹(human target tracking)으로부터 나온 글로벌한 결정이다.

도 1은 본 발명의 일 실시예에 의한 전형적인 지능 비디오 시스템(intelligent video system; IVS;100)을 설명하는 개념적인 블록 다이어그램이다. 비디오 입력(102)은 보통의 폐쇄회로 텔레비전 (closed circuit television; CCTV) 비디오 신호 또는 일반적으로 비디오카메라의 비디오 신호일 수 있다. 구성인자(104)는 여기서 설명하는 바와 같이 화면의 콘텐츠 분석을 수행하는 콘텐츠 분 석 모듈을 갖는 컴퓨터일 수 있다. 사용자는 시스템(100)을 구성하고, 유저인터페이스(106)를 통해 이벤트를 정의한다. 일단 어떤 이벤트가 감지되면 필요한 정보 및 다른 주의와 조사를 위한 지시가 지정된 직원에게 보내진다. 비디오 데이터, 화면 콘텍스트 데이터, 그리고 다른 이벤트 관련 데이터가 차후의 범죄수사 분석을 위해 데이터 스토리지(108)에 저장된다. 이 실시예는 콘텐츠 분석 모듈(104)의 특징적인 성능 즉, 사람 타깃을 감지 및 추적하는 능력에 초점을 맞추고 있다. 경고는 비디오 입력(102)에서 사람 타깃이 감지되면 언제든지 생성될 수 있다.

도 2는 본 발명의 일 실시예에 따른 콘텐츠 분석 모듈(104)에 의한 사람 감지/추적의 동작의 실시예를 설명하는 블록 다이어그램이다.

첫째로 시스템은 전경(foreground)을 배경으로부터 분리하기 위해 움직임 및 변경 감지 모듈(202)을 사용할 수 있다. 그리고 이 모듈(202)의 출력은 각 프레임의 전경 마스크가 될 수 있다. 다음으로 전경 영역은 블랍 추출 모듈(206)에 의해 분리 블랍(separate blob)(208)으로 나누어질 수 있다. 그리고 이 블랍들은 각 타임 스탬프에서 타깃의 관찰결과이다. 사람 감지/추적 모듈(210)은 비디오에서 각 사람 타깃을 감지 및 추적하고, 화면에 사람이 있을 때 경고(110)를 내보낸다.

도 3은 본 발명의 일 실시예에 의한 사람 감지/추적 모듈(210)을 설명하는 개념적인 블록 다이어그램이다. 첫번째로 사람 컴포넌트 및 피쳐 감지(302)모듈은 다양한 오브젝트 피쳐(304)를 추출 및 분석한다. 이러한 피쳐(304)는 차후에 사람 감지 모듈(306)에 의해 화면에 사람 오브젝트가 있는지를 감지하도록 사용될 수 있다. 사람 모듈(308)은 각각의 감지된 사람에 대해 생성된다. 감지된 사람 모 듈(308)은 사람 트래킹 모듈(310)에 각 프레임에서의 사람 관찰 결과물로 제공될 수 있다.

도 4는 본 발명의 일 실시예에 의한 사람 컴포넌트 및 피쳐 추출 모듈(302)에서의 주요한 컴포넌트 리스트를 나타내는 도면이다. 블랍 트래커(402)는 기본 타깃 유닛이 전경 블랍 추출 모듈(206)에 의해 제공된 개인 블랍인 경우 블랍에 기초한 타깃 트래킹을 수행할 수 있다. 블랍은 사람 타깃의 기본 서포트-프레임에서의 어떤 사람 오브젝트도 전경 블랍 내에 존재함-임을 주지해야 한다. 헤드 감지 모듈(404) 및 트래커 모듈(406)은 사람 머리 감지 및 추적을 수행할 수 있다. 블랍에 사람의 머리가 존재하는 것은 블랍이 사람이거나 또는 적어도 사람이 있을 수 있다는 강력한 증거를 제공할 수 있다. 상대크기 측정부(408)는 평균 사람 타깃과 비교하여 타깃의 상대크기를 제공할 수 있다. 사람 프로필 추출 모듈(410)은 블랍 마스크의 수직 투영(vertical projection) 및 블랍의 탑 프로필을 조사하여 각 블랍에서의 수 많은 사람 프로필을 제공할 수 있다.

얼굴 감지 모듈(412) 또한 화면에서 사람이 존재하는지의 증거를 제공하기 위해서 사용될 수 있다. 이 단계에서 적용할 수 있는 얼굴 감지 알고리즘은 많고, 여기에서 설명하는 것은 실시예에 불과할 뿐 발명을 제한하지 않는다. 본 발명과 관련된 통상의 기술자는 적어도 본 명세서에서 설명하는 것에 기초하여 다른 얼굴감지 알고리즘을 적용할 수 있다. 이 비디오 사람 감지 시나리오에서는 전경 타깃은 전의 콘텐츠 분석 모듈에 의해 감지되고, 얼굴 감지는 오직 입력 블랍에 적용될 수 있다. 이는 계산 비용을 감소시킬 뿐만 아니라 감지의 안정성을 증가시킬 수 있 다.

다음 모듈(414)은 크기 불변 피쳐 추출(scale invariant feature transform; SIFT) 또는 추출 SIFT 피쳐라고 불리는 이미지 피쳐 생성 방법을 제공할 수 있다. 각 블랍에 대해 로컬 이미지 피쳐의 클래스가 추출될 수 있다. 이 피쳐들은 이미지 스케일링(scaling), 해석, 회전에 대해 불변한다. 그리고 조명(illumination)의 변화 및 아핀(affine) 또는 3차원(3D) 투영에 대해 부분적으로 불변한다. 이러한 피쳐들은 차량과 같은 단단한 오브젝트들을 사람과 같이 단단하지 않은 오브젝트로부터 분리하기 위해 사용될 수 있다. 단단한 오브젝트의 연속적인 프레임으로부터의 SIFT 피쳐는 단단하지 않은 오브젝트보다 훨씬 더 좋은 매치를 제공할 수 있다. 따라서 추적된 타깃의 SIFT 피쳐 매칭 스코어는 차량으로부터 사람 그룹을 분류하는 것처럼 특정 타깃 분류 시나리오에서도 사용될 수 있는 타깃의 엄밀한 측정으로 사용될 수 있다.

스킨 톤 감지 모듈(416)은 각각의 감지된 머리 영역에서 약간 혹은 전체 스킨 톤 픽셀을 감지할 수 있다. 본 발명의 실시예에서 헤드 영역에서의 스킨 톤 비율은 베스트 사람 스냅샷(best human snapshot)을 감지하기 위해 사용될 수 있다. 본 발명의 실시예에 따르면 스킨 톤 픽셀을 감지하는 방법은 트레이닝을 통해 YCrCb 컬러 스페이스에서 스킨 톤 룩업 테이블을 만드는 것일 수 있다. 적용 시나리오에서의 많은 양의 이미지 스냅샷은 미리 모아질 수 있다. 다음으로 그라운드 트루쓰(ground truth)시에 스킨 톤 픽셀은 메뉴얼적으로 얻어질 수 있다. 실시예에 따르면 이는 트레이팅 데이터의 세트에 기여되고, 확률 맵-각 위치는 하나의 YCrCb 값을 의미하고, 그 위치에서의 값은 YCrCb값에서의 픽셀이 스킨 톤 픽셀인 확률임-을 만드는데 사용될 수 있다. 스킨 톤 룩업 테이블은 스킨 톤 확률 맵에 임계값을 적용하여 얻어질 수 있다. 그리고 유저 제어가능 임계값보다 큰 스킨 톤 확률을 값는 어떤 YCrCb값이 스킨톤으로 고려될 수 있다.

얼굴 감지와 유사하게, 이 단계에서 적용 가능한 스킨 톤 감지 알고리즘이 많이 있다. 그리고 본 명세서에서 설명하는 것은 실시예에 불과하며 발명을 제한하지 않는다. 본 발명과 관련된 통상의 기술자는 적어도 본 명세서에서 설명하는 것에 기초하여 다른 스킨 톤 감지 알고리즘을 적용할 수 있다.

신체 크기 평가 모듈(418)은 감지된 타겟의 대략적인 신체 크기를 제공할 수 있다. 이것은 사용된 카메라의 눈금 측정을 적용해서 이루어진다. 카메라 눈금 측정 방법이 가능한 범위-계산적으로 강력한-가 있다. 비디오 감시 어플리케이션에서는 일반적으로 빠르고, 쉽고 안정적인 방법이 요구된다. 본 발명의 실시예에서 패턴에 기초한 눈금 측정은 이러한 목적에 부합된다. 예를 들어, Z.Zhang은 유연하고 새로운 카메라 눈금측정 기술이다. IEEE Transaction on Pattern Analysis and Machine Intelligence, 22(11): 1330-1334,2000은 전체가 본 명세서에 포함되어 있다. 오퍼레이터가 해야 하는 단 한가지 일은 비디오 카메라 앞에서 체스판과 같은 패턴이 있는 플랫 패널을 흔드는 것이다.

도 5는 본 발명의 일 실시예에 의한 사람 헤드 감지 모듈(404)을 설명하는 개념적인 블록 다이어그램이다. 모듈(404)로의 입력은 소스 비디오 프레임, 확신 레벨이 다른 전경 마스크, 조각난 전경 블랍과 같은 프레임에 기초한 이미지 데이 터를 포함할 수 있다. 각각의 전경 블랍에서 헤드 위치 감지 모듈(502)은 첫번째로 잠재적인 사람 머리의 위치를 감지할 수 있다. 각 블랍은 다수의 사람 머리를 포함할 수 있다는 것을 주지해야한다. 이때 각각의 사람 머리 위치는 최대 한 사람의 머리만을 포함할 수 있다. 다음으로 각각의 잠재적 사람 머리 위치에서 타원형 헤드 핏 모듈(504)에 의해 동일한 사람 오브젝트에 대응하는 다수의 머리가 다름 입력 데이터에 기초하여 감지될 수 있다.

본 발명의 실시예에 따르면 직립 타원형 헤드 모듈은 타원형 헤드 핏 모듈(504)에서 사용된다. 직립 타원형 헤드 모듈은 파라미터의 최소 또는 최대 파라미터 수 둘 다 아닌 3개의 기본 파라미터-중심 포인트, 단축에 대응하는 머리의 너비, 장축에 대응하는 머리 높이)를 포함할 수 있다. 또한 본 발명의 실시예에 따르면 머리 높이와 머리 너비의 비율은 1.1에서 1.4 사이의 범위로 제한된다. 본 발명의 실시예에서는 세 가지 타입의 입력 이미지 마스크-체인지 마스크, 뚜렷한 전경 마스크, 엣지 마스크)가 사람 머리를 감지하기 위해 독립적으로 를 사용될 수 있다. 체인지 마스크는 배경 모델로부터 어느 정도 다른 모든 픽셀을 나타낸다. 체인지 마스크는 전경 오브젝트 및 그림자 등과 같은 전경 오브젝트에 의해 유발되는 다른 단점을 둘 다 갖고 있다. 뚜렷한 전경 마스크는 더욱 자신감 있는 전경 마스크의 버전을 제공하고, 대부분의 쉐도우 픽셀을 제거한다. 엣지 마스크는 입력 블랍에 캐니(canny) 엣지 감지와 같은(한정되지는 않음) 엣지 감지를 수행하여 생성될 수 있다.

타원형 헤드 핏 모듈(504)은 세 개의 다른 마스크에 기초하여 세 개의 잠재 적 머리를 감지할 수 있다. 그리고 이 세 개의 잠재적 머리는 일관성 확인을 위해 일관성 확인 모듈(506)에 의해 비교될 수 있다. 만약 베스트 매칭 페어가 서로 동일하면, 결합된 머리는 바디 서포트 확인 모듈(508)에 의해서 페어가 충분한 사람 바디 서포트를 갖고 있는지가 또한 확인될 수 있다. 예를 들어, 풍선과 같은 어떤 오브젝트는 사람 머리 모양을 갖지만 바디 서포트 확인 테스트를 통과하지 못한다. 다른 실시예에서 바디 서포트 테스트는 감지된 머리가 다른 전경 영역-너비와 높이 측정에 있어 머리의 영역보다 더 큼-의 맨 위에 있을 것을 요구한다.

도 6은 본 발명의 일 실시예에 의한 사람 헤드 위치 감지 모듈(502)을 설명하는 개념적인 블록 다이어그램이다. 모듈(502)로의 입력은 블랍 바운딩 박스와 하나의 이미지 마스크를 포함할 수 있다. 탑 프로필 생성 모듈(602)은 타깃의 탑 프로필을 나타내는 이미지 마스크로부터 데이터 벡터를 생성할 수 있다. 벡터의 길이는 블랍 너비의 너비와 동일할 수 있다. 도 7은 본 발명의 실시예에 따른 타깃 탑 프로필의 예시를 나타낸다. 프레임(702)은 다양한 피쳐와 함께 다수의 블랍 타깃을 설명하고, 탑 프로필은 프로필을 결정하기 위해 적용된다. 그래프(704)는 거리 인자로써 결과 프로필을 나타낸다.

다음으로 프로필 유도체(derivative) 계산 모듈(604)은 프로필의 유도체 동작을 수행한다. 슬로프 모듈(606)은 약간의, 대부분, 어떤 또는 전체의 업 및 다운 슬로프 위치를 감지할 수 있다. 본 발명의 실시예에서 하나의 업 슬로프는 프로필 유도체가 로컬 맥시멈이고 그 값이 최소 헤드 경사 임계값보다 큰 곳에 위치될 수 있다. 유사하게 하나의 다운 슬로프는 프로필 유도체가 로컬 미니멈이고 그 값이 위의 최소 헤드 경사 임계값의 네거티브보다 작은 곳에 위치될 수 있다. 잠재적인 헤드 센터는 하나의 업 슬로프 위치와 하나의 다운 슬로프 사이에 있을 수 있고, 하나의 다운 슬로프는 업 슬로프가 다운 슬로프의 왼쪽에 있는 곳에 위치해야 한다. 적어도 하나의 사이드 어깨 서포트는 잠재적 머리를 위해 요구될 수 있다. 왼쪽 어깨는 양의 프로필 유도체 값을 갖는 업 슬로프의 왼쪽에 인접한 영역이다. 오른쪽 어깨는 음의 프로필 유도체 값을 갖는 업 슬로프의 오른쪽에 인접한 영역이다. 감지된 잠재적 머리 위치는 픽셀 바운딩 박스에 의해 정의된다. 만약 왼쪽 어깨가 감지되지 않으면 바운딩 박스의 왼쪽은 왼쪽 어깨의 포지션 혹은 업 슬로프 포지션의 최소한이다. 만약 오른쪽 어깨가 감지되지 않으면 바운딩 박스의 오른쪽은 오른쪽 어깨의 포지션 혹은 다운 슬로프 포지션의 최대한이다. 탑(top)은 바운딩 박스의 왼쪽 및 오른쪽 엣지 사이의 최대 프로필 포지션이 될 수 있다. 그리고 맨 밑(bottom)은 왼쪽 및 오른쪽 엣지에서 최소 프로필 위치일 수 있다. 다양한 잠재적 머리 위치는 이 모듈에서 발견될 수 있다.

도 8은 본 발명의 일 실시예에 의한 감지된 잠재적 헤드 위치를 나타내는 도면이다. 프레임(804)는 앞 또는 뒤를 바라보는 사람을 묘사한다. 프레임(808)은 오른쪽을 바라보는 사람이고, 프레임(810)은 왼쪽을 바라보는 사람이다. 각 프레임은 블랍 마스크(806), 적어도 하나의 잠재적 헤드 영역(812), 그리고 블랍 바운딩 박스(816)을 포함한다.

도 9는 본 발명의 일 실시예에 의한 타원형 헤드 핏 모듈(504)을 설명하는 개념적인 블록 다이어그램이다. 모듈(504)로의 입력은 앞에서 언급한 마스크들 중 하나와 잠재적 헤드 위치를 바운딩 박스로 포함할 수 있다. 마스크 엣지 감지 모듈(902)은 입력 바운딩 박스에서 입력된 마스크의 아웃라인 엣지를 추출할 수 있다. 그러면 헤드 아웃라인 발견 모듈(904)에 의해 헤드 아웃라인 픽셀이 추출된다.그러면 이 포인트들은 거친 핏 모듈(906)에 의해 대략적인 타원형 헤드 모델을 평가하는데 사용될 수 있다. 헤드 모델은 정밀 핏 모듈(908)로 국부적으로 더욱 다듬어져서 전체적인 피팅 에러(fitting error)를 최소한으로 줄인다.

도 10은 본 발명의 일 실시예에 의한 헤드 아웃라인 픽셀을 찾는 방법을 나타내는 도면이다. 설명된 프레임은 바운딩 박스(1002)-모듈(502), 입력 바운딩 박스, 입력 마스크(1004), 그리고 마스크의 아웃라인 엣지(1006)에서 감지된 잠재적 헤드 로케이션의 입력 바운딩 박스를 나타낼 수 있음-를 포함할 수 있다. 스킴(scheme)은 선(1008)이 나타내는 바와 같이 바운딩 박스의 위에서부터 바깥쪽에서 안쪽으로 수평으로 스캔을 수행할 수 있다. 각각의 스캔 라인에서 잠재적 헤드 아웃라인 포인트들의 페어는 포인트(1010)에서 화살표 끝에 의해 나타낸 것과 같이 구해질 수 있다. 두 개의 포인트는 헤드 슬라이스라고 불리는 잠재적 헤드의 슬라이스를 표현할 수 있다. 유효한 헤드 슬라이스로 고려되기 위해서, 두 개의 끝 포인트는 앞의 유효한 헤드 슬라이스의 대응되는 끝 포인트까지 충분히 가깝게 되어야 한다. 거리 임계값은 감지된 헤드 슬라이스의 길이를 평균하여 얻어진 평균 헤드 너비까지 적합할 수 있다. 예를 들어, 현재의 평균 헤드 너비의 사분의 일은 거리 임계값으로 선택될 수 있다.

도 9로 돌아가서, 감지된 잠재적 헤드 아웃라인 픽셀은 타원형 사람 헤드 모 델로 핏 되도록 사용될 수 있다. 만약 피팅 에러가 머리의 크기에 대해 상대적으로 작으면 그 머리는 잠재적 감지로 간주될 수 있다. 헤드 피팅 프로세스는 두 개의 스텝으로 구성될 수 있다. 거친 핏 모듈(906)에 의해 결정적인 거친 핏이 만들어지면, 정밀 핏 모듈(908)에 의한 반복적 파라미터 평가 정제(iterative parameter estimation refinement)가 이어진다. 거친 핏 모듈(906)에서 입력 헤드 아웃라인 픽셀로부터 4개의 타원형 모델 파라미터(헤드 센터포지션 Cx와 Cy, 헤드 너무 Hw 그리고 헤드 높이 Hh)가 평가될 수 있다. 헤드 아웃라인 픽셀은 페어로 오기 때문에 Cx는 아웃라인 픽셀의 모든 X 좌표의 평균이다. 타원형 모양의 기본적인 특징을 기초로 하여, 헤드 너비 Hw는 평균 헤드 슬라이스 길이와 헤드 슬라이스 길이의 표준편차의 합을 사용하여 대략적으로 구해질 수 있다. 근사 헤드 높이는 머리의 평균 높이와 너비의 비율인 1.25를 사용하여 계산될 수 있다. 결국 앞에서 주어진 헤드 센터 포지션 Cx, 헤드 너비 Hw, 그리고 헤드 높이 Hh의 세 개의 타원형 파라미터로 타원형 방정식의 공식을 이용하여 각 헤드 아웃라인 포인트, 타원형 센터의 예상되는 Y 좌표를 구할 수 있다. Cy의 마지막 평가는 예상되는 Cy 값 전체의 평균으로 구할 수 있다.

도 11은 본 발명의 일 실시예에 의한 평가된 헤드 모델을 포인트하는 하나의 헤드 아웃라인의 피팅 에러의 정의를 설명하는 도면이다. 도면은 평가된 타원형 헤드 모델(1102)과 헤드의 센터(1104)를 포함한다. 하나의 헤드 아웃라인 포인트(1106)의 헤드 모델까지의 피팅 에러(1110)은 아웃라인 포인트(1106)과 크로스 포인트(1108) 사이의 거리로 정의된다. 크로스 포인트(1108)은 타원형 헤드와 센터 포인트(1104)와 아웃라인 포인트(1106)에 의해 정해지는 선의 교차점이다.

도 12는 본 발명의 일 실시예에 의한 정밀 핏 모듈(908)을 묘사하는 개념적인 블록 다이어그램이다. 처음의 평균 핏 에러 계산 모듈(1202)은 거친 핏 모듈(906)에 의해 얻어진 헤드 모델에서 모든 헤드 아웃라인 픽셀의 평균 핏 에러를 계산한다. 다음으로 반복적인 파라미터 조절 모듈(1204)은 조절된 모델이 평균 핏 에러를 줄일 수 있도록각 타원형 파라미터가 결정되도록 약간의 조정을 한다. 조절값을 선택하는 한가지 방법은 평균 핏 에러의 절반을 사용하는 것이다. 조정은 양 방향에서 이루어진다. 따라서 각 반복마다 8번씩 조정을 테스트 하고 가장 작은 평균 핏 에러를 만드는 것으로 선택한다. 평균 핏 에러 감소 모듈(1206)은 조정 전후의 평균 핏 에러를 비교한다. 만약 핏 에러가 줄어들지 않으면 모듈은 마지막 평균 핏 에러 뿐만 아니라 다듬어진 헤드 모델도 출력한다. 또는 모듈(1204)로 돌아가 다음 파라미터 정제의 반복을 수행한다.

도 13은 본 발명의 일 실시예에 의한 헤드 트래커 모듈(406)의 바람직한 컴포넌트의 리스트를 나타내는 도면이다. 헤드 감지 모듈(404)은 사람 감지를 위해 안정적인 정보를 제공하지만 전경 마스크와 블랍 엣지 마스크에서 사람 헤드 프로필이 보일 것을 요구한다. 불행하게도 이것은 실제 상황에서는 항상 맞지 않는다. 사람 머리의 일부분이 배경과 아주 유사하거나 사람 머리가 보이지 않거나 일부가 보이지 않을 때 사람 헤드 감지 모듈(404)은 헤드 아웃라인을 감지하는데 어려움을 겪는다. 또한 비디오 시퀀스의 하나의 프레임에 기초한 결과는 보통 광학적이지 않다.

본 발명의 실시예에서 사람 헤드 트래커는 고려할 때 일시적 일관성을 사용한다. 이미지의 일시적인 시퀀스를 통해 오브젝트를 추적하는 문제는 도전적이다. 실시예에서 칼만 필터링(kalman filtering)과 같은 필터링이 시각적 혼란으로부터 자유로운 배경의 화면에서 오브젝트를 추적하기 위해 사용된다. 심각한 혼란이 있는 화면에서는 추가적인 프로세싱이 필요하다. 이러한 추가적인 프로세싱이 필요한 이유는 칼만 필터링에서 사용되는 가우시안 확률 밀도의 개념(Gaussian representation of probability density) 때문이다. 이 개념은 고유의 유니-모델이다. 따라서 언제든지, 배경 혼란이 진짜 타깃 피쳐와는 다른 가설을 제안할 때에도 하나의 가설만이 추적하는 오브젝트의 진짜 상태(state)라고 지지한다. 이러한 한계는 칼만 필터링의 실행시 배경이 추적하는 진짜 타깃보다 더 그럴듯한 핏이 되어 타깃 추적을 놓치고 대신 배경 피쳐를 추적하게 된다. 본 발명의 실시예에서 이러한 혼란이 있을 때에는 다음에 설명하는 대안이 적용될 수 있다.

일 실시예에서 추적시 발생하는 문제점의 해결책은 조건 확률 전파 모델(conditional density propagation; CONDENSATION) 알고리즘을 적용하는 것일 수 있다. CONDENSATION 알고리즘은 확률 밀도 개념을 멀티-모델로 하여 칼만 필터링의 문제점을 해결한다. 따라서 타깃의 진짜 상태(state)에 대한 다양한 가설을 동시에 유지할 수 있도록 한다. 이를 통해 배경 피쳐가 진짜 추적되는 오브젝트의 피쳐보다 더 타깃 같은(그래서 더 그럴듯한 가설인) 순간에 대한 해결책을 제시할 수 있다. 해결책은 차후의 타임-스텝(time-step)에서 이미지 시퀀스는 진짜 타깃 상태(state)의 가설을 강화시키고, 잘못된 타깃에 대한 가설은 강화되지 않고 점차 줄어들게 하는 것이다.

CONDENSATION 알고리즘과 칼만 필터링 트래커(Kalman filtering tracker)는 둘 다 시간에 따라 움직이는 오브젝트의 확률 밀도를 전파하는 프로세스이다. 타깃의 역학을 모델링하고 관찰 결과를 혼합하고, 주어진 관찰결과와 가정된 선(prior) 밀도에 의해 트래커의 목적인 각 타임 스텝 t의 타깃의 상태의 확률 밀도 결정이 이루어진다. 전파(propagation)는 드리프트, 확산, 그리고 측정에 의한 반동 강화를 포함하는 3-스텝의 프로세스이다. 오브젝트의 역학은 결정론적 그리고 확률론적 컴포넌트 둘 다에 의해 모델링된다. 결정론적 컴포넌트는 확률 함수의 드리프트를 유발한다. 그동안 전망의(probabilistic)컴포넌트는 불확실성을 증가시켜서 밀도 함수의 전개를 유발한다. 오브젝트 역학의 모델을 적용하여 이전 타임 스텝에서 밀도로부터 현재 타임-스텝의 확률밀도를 예지할 수 있다. 이를 통해 모델이 정확할 때는 합리적으로 예지할 수 있지만 다른 관찰 결과를 포함하지 않으므로 추적을 하기에는 부족하다. 밀도의 전파에서 최근의 혹은 거의 마지막 스텝은 현재의 타임-스텝에서 만들어진 관찰 결과를 설명한다. 이것은 관찰 결과 근처의 영역에서 예견된 밀도의 반동 강화 방법에 의해 행해진다. 칼민필터에서 유니-모달(uni-modal) 가우시안을 사용하는 경우에는 가우시안의 피크를 관찰 상태 쪽으로 이동한다. CONDENSATION 알고리즘의 경우에는 이 반동 강화가 관찰 결과의 인접 국부에서 밀도의 멀티-모드개념이 되는 피킹(peaking)을 만든다. 혼란스러운 화면의 경우는 현재의 상태에 대해 분리된 가설을 제시하는 다수의 관찰 결과가 있게 된다. CONDENSATION 알고리즘은 각 관찰 결과에 대해 밀도 함수에서 분리된 피크를 만들 고, 별개의 피크들은 혼란이 심한 경우에 강력한 수행 방법이 될 수 있다.

칼만 필터링 트래커를 사용하는 본 발명의 실시예와 같이 CONDENSATION 알고리즘은 본 발명의 더 나아간 혹은 대안의 실시예에서 감지가 상당히 어플리케이션에 의존적이므로 실질적인 실행을 위해 수정된다. 도 13에서 CONDENSATION 트래커는 일반적으로 다음의 인자를 사용한다. 대안의 그리고/또는 추가적인 인자는 적어도 본 명세서에서 설명하는 기술을 기초로 하여 관련된 기술에서의 일반적인 기술에 대해 명백하다.

1. 타깃의 모델링 또는 상태 벡터x의 선택(1302)

2. 타깃 상태 초기화(1304)

3. 동적 전파 모델(1306)

4. 후반 확률 생성과 측정(1308)

5. 계산 비용 고려(1310)

실시예에서 헤드 트래커 모듈은 전체 사람추적 시스템의 작은 일부분인 멀티플 타겟 시스템이다. 다음의 바람직한 실시예는 실질적인 실시를 설명하기 위해 제공되는 것이고, 발명을 한정하는 것은 아니다. 본 발명이 속한 기술 분야에서 통상의 지식을 가진 자는 본 명세서에 기재된 기술을 기초로 하여 대안적인 또는 추가적인 실행을 할 수 있다.

타깃 모델 인자(1302)에서 CONDENSATION 알고리즘은 전경 오브젝트의 전형적으로 표현되는 아웃라인이나 피쳐인 커브를 추적하기 위해 특별히 발전됐다. 전형적인 문제는 추적되는 오브젝트의 상태를 낮은 차원의 파라미터 x에 의해 표현하는 것처럼 커브의 낮은 차원 파라미터화(parameterization)를 허용하는 것에 한정되어 있다는 것이다. 예를 들어, 상태 x는 전체를 변형할 수 없는 커브의 아핀(affine) 변형을 표현한다. 더 복잡한 예시로는 각 손가락이 독립적으로 움직일 수 있는 사람 손의 윤곽 아웃라인과 같이 변형할 수 있는 커브의 파라미터화(parameterization)가 있다. CONDENSATION 알고리즘은 간단한 케이스와 복잡한 케이스 모두 간단히 더 높은 차원의 상태 x를 이용하여 동일한 일반 과정으로 다룬다. 하지만 상태의 차원을 높이는 것은 계산 범위를 증가시킬 뿐만 아니라 알고리즘에 의해 요구되는 모델링(예를 들어, 움직임 모델)의 범위를 크게 증가시킨다. 이것이 일반적으로 상태를 낮은 차원으로 제한하는 이유이다. 앞에서 설명한 이유 때문에 헤드 트래킹의 세가지 상태는 헤드의 센터 위치 Cx와 Cy 그리고 헤드크기는 헤드 타원형 모델의 단축 길이에 의해 표현된다. 머리는 항상 위를 향하고 있고, 머리는 고정된 범위의 스펙트 비율(spect ratio)dl 있어야 한다는 두가지 제한이 있다. 바람직한 결과는 실제 데이터와 비교할 때 이러한 두가지 제한이 합리적임을 보여준다.

타깃 초기화 인자(1304)에서는, 화면에서의 배경 혼란 때문에 CONDENSATION 트래커의 현재 실행 대부분은 메뉴얼적으로 타깃 모델의 처음 상태를 선택한다. 현재의 발명에서 헤드 감지 모듈(404)는 각 비디오 프레임에서 자동 헤드 감지를 수행한다. 이러한 감지된 머리들은 다른 사람 트래커에 의해 추적된 현재 사람의 머리이거나 새롭게 감지된 사람 머리이다. 새롭게 감지된 머리들에 대해 일시적 확인이 이루어질 수 있고, 헤드 트래킹 모듈(310)을 초기화하고, 새롭게 감지된 머리가 일시적인 일관성 확인을 통과하면 추가적인 자동 트래킹을 시작한다.

동적 전파 모델 인자(1306)에서는, 전형적인 동적 전파 모델이 수학식 1, 수학식 2에 기재된 것과 같이 랜덤확산에 의해 선형 예측 조합된다.

f(*)는 칼만 필터 또는 보통의 IIR 필터일 수 있고, 파라미터 A와 B는 동적 모델의 결정론적 그리고 확률론적 컴포넌트를 표현한다. Wt는 보통 가우시안이다. f(*)와 Wt로부터의 불확실성은 한계 수행의 주요한 소스이다. 이 불확실성을 오프셋(offset)하기 위해서는 더 많은 샘플이 필요하고 이는 계산 비용을 상당히 증가시킬 것이다. 본 발명에서 평균 쉬프트 프레딕터는 이 문제를 해결하기 위해 사용된다. 실시예에서 평균 쉬프트 트래커는 색깔 구별로 오브젝트를 추적하기 위해 사용된다. 타겟이 주변 배경과 다른 색깔을 가지고 있다는 가정은 항상 맞지는 않다는 사실에 의해 실시는 제한된다. 하지만 헤드 트래킹의 경우는 평균 쉬프트 프레딕터는 주어진 데이터 포인트의 처음의 평균으로부터 쉬프트 벡터를 결정해서 데이터 평균의 정확한 위치를 평가하기 위해 사용되고, 이 데이터의 평균의 위치를 대략 구한다. 헤드 트래킹 케이스에서 데이터 포인트는 헤드 영역 안의 픽셀을 말하 고, 평균(mean)은 헤드센터의 위치를 말하고, 평균(mean)은 헤드센터의 위치를 말하고, 평균의 대략적인 위치는 선형 예측인 동적 모델 f(*)로부터 얻어진다.

후반 확률 생성 및 측정 인자(1308)에서는 각 샘플의 윤곽(confoguration)에 의해 후반 확률이 필요해지고, 색깔 히스토그램 매치와 헤드 윤곽 매치를 정규화해서 만들어질 수 있다. 색깔 히스토그램은 헤드 타원형 안에서의 모든 픽셀을 사용해서 만들어진다. 헤드 윤곽 매치는 에드 아웃라인 모델을 따르는 엣지 픽셀의 비율이다. 매칭 스코어 좋을수록 진짜 헤드와 샘플이 오버랩될 확률이 더 높다. 완벽한 매치는 확률이 1인 것처럼 확률은 일반화된다.

일반적으로, 계산 비용 인자(1310)에서 실시와 계산 비용 둘 다는 사용된 샘플의 수의 일정 비율이다. 샘플의 수를 고정하는 대신에 샘플의 수가 트래킹 컨피던스(확신)에 상당히 기초하는 것처럼 후반 확률의 합을 고정한다. 높은 확신의 순간에 더 매칭이 좋은 샘플이 얻어진다. 따라서 더 적은 샘플이 필요하게 된다. 반면에 트래킹 확신이 낮으면 알고리즘은 자동적으로 추적을 하기 위해 더 많은 샘플을 사용한다. 따라서 계산 비용은 화면에서의 타깃의 수와 얼마나 터프하게 그 타깃들을 추적하는지에 따라 다양하다. 평균 쉬프트 프레딕터와 적합한 샘플 번호 선택의 조합에 의하면 여러개 머리의 실시간 추적이 추적 안정성을 놓치지 않고 쉽게 이루어진다.

도 14는 본 발명의 일 실시예에 의한 상대크기 평가 모듈(408)을 묘사하는 개념적인 블록 다이어그램이다. 감지되고 추적되는 사람 타깃은 모듈(408)에서 데이터 입력(1402)처럼 사용된다. 사람 크기 트레이닝 모듈(1404)는 하나 또는 이상 의 확신의 준위가 높다고 생각되는 사람타깃 예시들을 선택하고, 사람 크기 통계를 축적한다. 사람 크기 평균은 실질적으로 룩업 테이블 모듈(1406)에서 평균적인 사람의 키, 너비, 그리고 이미지 영역 데이터, 이미지 프레임에 있어서 모든 픽셀 위치의 이미지 영역 데이터를 저장한다. 통계 업데이트는 모든 사람 타깃이 사라진 후에 이루어져서, 타깃의 실질적 타입에 의해 최대의 확신이 얻어진다. 풋 프린트 트라젝토리(footprint trajectory)는 통계 업데이트를 위한 위치 인덱스로 사용된다. 풋 프린트의 위치 평가에는 불확실성이 있을 수 있고, 타깃들은 주변 영역에서 비슷한 크기를 가질 수 있다는 사실에 의할 때, 확실한 풋 프린트 위치와 그것의 주변은 둘 다 동일한 사람 인스턴트 타깃 데이터를 사용하여 업데이트 될 수 있다. 상대크기 질문 모듈(1408)을 통해 새로운 타깃을 감지할 때 평균 사람 타깃에 대한 그것의 상대크기는 풋 프린트 위치를 해결의 열쇠로 사용하여 상대크기 평가 모듈로부터 조사되어 평가된다. 상대크기 질문 모듈(1408)은 조사된 위치에 충분한 데이터 포인트가 있는 경우에는 그 값을 돌려보낸다.

도 15는 본 발명의 일 실시예에 의한 사람 프로필 추출 모듈(410)을 설명하는 개념적인 블록 다이어그램이다. 먼저 블록(1502)는 타깃 수직 투영 프로필(target vertical projection profile)을 생성한다. 컬럼(column)을 위한 투영 프로필 값은 입력 전경 마스트에서의 컬럼의 전체 전경 픽셀 수이다. 다음으로 투영 프로필(projection profile)은 투영 프로필 정규화 모듈(1504)에서 최대값을 1로 정규화된다. 마지막으로 사람 프로필 감지 모듈(1506)에서 잠재적 사람 모양 프로젝트 프로필은 투영 프로필(1506)에서 피크와 밸리(valley)를 찾아서 추출한다.

도 16은 본 발명의 일 실시예에 의한 사람 투영 프로필 추출과 정규화의 예시를 보여주는 도면이다. 1604(a)는 입력 블랍 마스트와 바운딩 박스를 나타낸다. 1604(b)는 입력 타깃의 수직 투영 프로필을 나타낸다. 1604(c)는 정규화된 수직 투영 프로필을 나타낸다.

도 17은 본 발명의 일 실시예에 의한 사람 추출 모듈(306)을 설명하는 개념적인 블록 다이어그램이다. 먼저 블랍 서포트 모듈(1702)은 타깃이 블랍 서포트가 있는지 체크한다. 잠재적 사람 타깃은 다양한 레벨의 서포트를 가질 수 있다. 가장 기본적인 서포트는 블랍이다. 다시 말해 사람 타깃은 블랍 트래커에 의해 추적되는 오직 특정한 블랍 내에서만 존재한다. 다음으로 머리와 얼굴 서포트 체크 모듈(1704)은 블랍 내에 사람의 머리나 얼굴이 있는지를 체크한다. 사람의 머리 또는 사람의 얼굴 중 적어도 하나는 사람 타깃의 강력한 인디케이터(indicator)이다. 세 번째로 바디 서포트 체크 모듈(1706)은 블랍이 사람 몸을 갖고 있는지를 더 체크한다. 다음의 예시를 포함하여 여러 피쳐가 사람 몸 인디케이터로 사용될 수 있는 몇가지 특징이 있다.

1. 사람 블랍 가로세로비(aspect ratio): 머리 위의 시야가 아닌 경우, 사람 블랍은 하나의 대응되는 사람 투영 프로필 피크를 가진다.

2. 사람 블랍 상대크기: 상대적 높이, 너비, 사람 블랍의 면적은 평균 사람 블랍 높이, 너비, 각 이미지 픽셀 위치의 면적에 가깝다.

3. 사람 수직 투영 프로필: 모든 사람 블랍은 하나의 대응되는 사람 투영 프로필 피크를 가진다.

4. 내부의 사람 움직임: 사람 오브젝트의 움직임은 SIFT 피쳐의 일관성에 의해 측정되는 중요한 움직임을 갖는다.

마지막으로 사람 상태 결정 모듈(1708)은 입력 블랍 타깃이 사람 타깃인지 만약 그렇다면 사람 상태가 무엇인지를 결정한다.

도 18은 본 발명의 일 실시예에 의한 사람 피쳐 서포트의 다른 레벨의 예시를 보여주는 도면이다. 도 18은 비디오 프레임(1802), 추적된 타깃 블록의 바운딩 박스(1804), 동일한 블랍의 전경 마스크(1806), 그리고 사람 헤드 서포트(1810)을 포함한다. 보여지는 예시에는 4개의 잠재적 사람 타깃이 있고, 모두는 사람 피쳐 서포트의 세 개의 레벨을 갖고 있다.

도 19는 본 발명의 일 실시예에 의한 사람 타깃 감지 및 추적 모듈(210) 의해 사용되는 잠재적인 사람 타깃 상태 리스트를 나타내는 도면이다. “완전함” 사람 상태는 머리와 얼굴, 사람 몸이 전부 감지되는 것을 나타낸다. 다시 마해 타깃이 “블랍”, “몸”, “머리” 서포트들을 전부 가지고 있음을 말한다. 도 18의 예시는 4개의 “완전함” 사람 타깃을 보여준다. “머리만” 사람 상태는 블랍에서 사람 머리 또는 얼굴이 감지되지만 사람 몸의 피쳐가 일부만 유용한 것을 말한다. 이것은 사람 몸의 낮은 부분은 가려지거나 카메라의 시야에서 벗어난 것에 대응한다. “몸통만” 상태는 타깃 블랍에서 사람 몸 피쳐는 관찰되지만 사람 머리나 얼굴은 감지되지 않는 것을 말한다. 타깃 블랍에서 사람 얼굴 또는 머리가 없을지라도 감지된다는 것을 주의해야한다. 만약 위의 모든 피쳐들이 감지되면 그 블랍은 여전히 사람 타깃으로 간주된다. “차단됨(occluded)” 상태는 사람 타깃이 다른 타겟과 합쳐졌고, 부정확한 사람 모습 표현과 위치가 있음을 말한다. “사라짐” 상태는 사람 타깃이 이미 화면을 떠났음을 나타낸다.

도 20은 본 발명의 일 실시예에 의한 사람 타깃 상태 전이 다이어그램을 나타낸다. 이 프로세스는 사람 감지/추적 모듈(210)에 의해 다루어진다. 이 상태 전이 다이어그램은 적어도 상태 2006, 2008, 그리고 처음의 상태 2004에 연결된 2010를 포함하여 5개의 상태를 포함한다. 머리만 상태 2006, 완전함 상태 2008, 몸통 이트 2010, 사라짐 상태 2012, 그리고 차단됨 상태 2014는 서로 또한 자기 자신과 연결되어 있다. 사람 타깃이 만들어지면 완전함, 머리만, 몸통만 세 개의 상태 중 하나의 상태에 있게된다. 상태에서 상태로의 전이는 주로 현재의 사람 타깃 상태에 기초하고, 사람 감지는 다음에 설명되는 바와 같이 새로운 매칭 블랍에 의해 결정될 수 있다.

만약 현재의 상태가 “머리만”이면 다음의 상태는 다음과 같이 될 것이다.

“머리만”: 매칭 얼굴이 있거나, 머리 추적을 계속함;

“완전함”: 위에 덧붙여 사람 몸 추적;

“차단됨”: 매칭 블랍이 있지만 머리와 매칭 얼굴 추적을 놓침

“사라짐”: 매칭 블랍을 놓침

만약 현재의 상태가 “완전함”이면 다음의 상태는 다음과 같이 될 것이다.

“완전함”: 매칭 얼굴이 있거나 머리 추적뿐만 아니라 사람 몸 감지를 계속함;

“머리만”: 블랍 합침이나 배경 폐색(occlusion)에 의해 사람 몸통을 놓침;

“몸통만”: 머리 추적을 놓치고, 매칭 얼굴 감지;

“차단됨”: 사람 몸 서포트 뿐만 아니라 머리 추적, 매칭 페이스를 놓쳤지만 여전히 매칭 블랍이 있음;

“사라짐”: 블랍 서포트까지 모든 것을 놓침;

만약 현재의 상태가 “몸통만”이면 다음의 상태는 다음과 같이 될 것이다.

“완전함”: 머리 또는 얼굴와 사람 몸통을 계속 감지함;

“몸통만”: 머리 또는 얼굴은 감지되지 않지만 사람 몸은 계속 감지됨;

“차단됨”: 사람 바디 서포트를 놓쳤지만 여전히 매칭 블랍이 있음;

“사라짐”: 사람 바디 서포트와 블랍 서포트 모두 놓침;

만약 현재의 상태가 “차단됨”이면 다음의 상태는 다음과 같이 될 것이다.

“완전함”: 머리/얼굴 그리고 사람 바디 서포트를 둘다 갖는 새로운 매칭 사람 타깃 블랍을 가짐;

“몸통만”: 사람 바디 서포트를 가지는 새로운 새로운 매칭 사람 타깃 블랍을 가짐;

“머리만”: 매칭 블랍에서 매칭 사람 머리/얼굴을 가짐;

“차단됨”: 매칭 사람 블랍은 없지만 여전히 대응하는 블랍 추적을 하고 있음;

“사라짐”: 블랍 서포트를 놓침;

만약 현재의 상태가 “사라짐”이면 다음의 상태는 다음과 같이 될 것이다.

“완전함”: 머리/얼굴 그리고 사람 바디 서포트를 둘다 갖는 새로운 매칭 사람 타깃 블랍을 가짐;

“사라짐”: 계속 매칭 사람 블랍이 없음;

“완전함” 상태는 가장 확신있는 사람 타겟 예시임을 주의해야 한다. 타깃에서 모든 사람 가지 확신 수단은 전체 타깃 슬라이스 수에 있어서 사람 타깃 슬라이스 수의 중요한 비율을 사용하여 평가된다. “완전함” 사람 슬라이스의 중요성은 “머리만”이나 “몸통만” 사람 슬라이스의 중요도보다 두배정도 크다. 높은 확신의 사람 타깃을 위해 그것의 추적 히스토리 데이터, 특히 “완전함” 또는 “몸통만” 타깃 슬라이스가 있는 타깃 슬라이스들은 사람 크기 평가 모듈(408)을 트레이닝하기 위해 사용된다.

앞에서 설명한 머리 감지와 사람 모델은 베스트 사람 스냅샷 감지(best human snapshot detection)같은 시스템에 의해 더욱 기능적으로 제공된다. 사람 타깃이 이벤트를 유발하면 시스템은 타깃의 깨끗한 스냅샷과 함께 경고를 내보낸다. 본 발명의 실시예에 따른 하나의 스냅샷은 오퍼레이터가 타깃에 대해 얻을 수 있는 최대한의 정보일 것이다. 사람 스냅샷이나 베스트 유용 스냅샷 혹은 베스트 스냅샷이라고 불리는 것을 감지하기 위해 다음의 메트릭(metric)이 조사된다.

1. 머리 영역에서 스킨톤의 양(ration): 사람 머리의 앞에서의 관찰 결과는 보통 뒤에서 본 것 보다 더 많은 스킨 톤 픽셀을 포함하고, 또한 리어-페이싱 뷰(rear-facing view)라고 불리는 것도 사용된다. 따라서 높은 머리 영역 스킨 톤 비율은 더 나은 스냅샷을 나타낸다.

2. 타깃 경로: 타깃의 풋 프린트(foot print)로부터 사람이 카메라쪽으로 혹 은 카메라로부터 멀리 움직이는지를 결정한다. 카메라쪽으로 움직이는 것이 카메라로부터 멀리 움직이는 것보다 훨씬 더 좋은 스냅샷을 제공한다.

3. 머리의 크기: 사람 머리의 이미지 크기가 더 클수록 사람 타깃에 대해 더 상세한 이미지가 제공된다. 머리의 크기는 머리 타원형 모델의 장축과 단축에 의해 정의된다.

안정적인 베스트 사람 스냅샷 감지는 앞에서 설명한 세 개의 메트릭(metric)을 함께 고려하여 얻어진다. 한가지 방법은 어느것이든 두 개의 사람 스냅샷을 측정하여 상대적 베스트 사람 스냅샛을 만드는 것이다. 예를 들어, 사람1과 사람2:

R=Rs*Rt*Rh

여기서, Rs는 사람1의 머리 스킨톤 비율에 대한 사람2의 스킨 톤 비율이다;

만약 두 개의 타깃이 카메라쪽으로 같은 상대적 속도로 움직이면 Rt는 1이다. 만약 사람1이 카메라로부터 멀리 움직이는 동안 사람2가 카메라 쪽으로 움직이면 Rt는 2이다. 만약 사람1이 카메라쪽으로 움직이는 동안 사람2가 카메라로부터 멀리 움직이면 Rt는 0.5이다.

Rh는 사람1의 머리크기에 대한 사람 2의 머리크기이다.

만약 R 값이 더 크다면 사람2는 더 좋은 스냅샷으로 간주된다. 시스템에서 같은 사람 타깃에 대해 가장 최근의 사람 스냅샷은 그 때의 베스트 스냅샷과 계속하여 비교된다. 만약 최근 스냅샷의 상대적 측정값 R이 더 크면 베스트 스냅샷은 가장 최근의 스냅샷으로 교체된다.

또 다른 새로운 가능성은 프라이버시와 관계가 있다. 정확한 머리를 감지하 면 프라이버시를 보호하기 위해 사람 머리/얼굴의 경고 이미지가 디지털적으로 관찰되고, 오퍼레이터에게 사람의 존재를 시각적으로 확인할 수 있도록 제공한다. 이것은 주거지 어플리케이션에 특히 유용하다.

앞에서 설명한 사람 감지 및 추적에 의하면, 시스템은 언제든지 원하는 때에 카메라의 시야 내에 몇 개의 사람 타깃이 존재하는지에 대한 정확한 평가를 제공할 수 있다. 이 시스템은 유저들로 하여금 더욱 정교한 분석 예를 들어, 사람 행동 인지, 화면 상황(scene context) 인식과 같은 실시를 적어도 본 명세서에서 설명하는 것에 기초하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가지는 자에 의해 가능하도록 한다.

본 명세서에서 논의된 다양한 모듈은 컴퓨터 판독 가능 매체에 저장되고, 여기에서 정의된 바와 같이 컴퓨터에 의해 또는 컴퓨터에서 동작되는 소프트웨어에서 실행된다.

여기에서 예시로 논의된 모든 것들은 컴퓨터 판독 가능 매체에 저장된 소프트웨어에서 실행될 수 있고, 여기서 정의된 바와 같이 컴퓨터에 의해 또는 컴퓨터에서 동작되기에 적합하다.

이상, 본 발명의 여러 실시예를 설명하였지만, 이는 예시로서 제시된 것 일뿐이며 이에 국한되지는 않는다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 사상 및 범위로부터 벗어나지 않고 형식과 디테일(detail)을 다양하게 변경할 수 있다. 이후에 발전된 관련 기술내의 용어나 테크놀로지에 대해서도 또한 해당된다. 따라서 본 발명은 앞에서 설명한 어떠한 실시예에도 국한되지 않으며 다음의 청구항 및 그 등가물에 따라 정의된다.

본 발명은 거주 시설 보안 감시 및 소매점, 헬스 센터, 창고와 같은 상업 시설 보안 감시 및 정유 공장, 원자력 발전소, 항구, 공항, 철도와 같은 중요한 기간 시설의 비디오 감시에 응용 가능하다.

Claims (13)

1. 사람을 감지하고 추적하기 위해 화면 콘텐츠(scene content)를 분석하는 컴퓨터 기반 시스템에 있어서,

   비디오 신호를 수신하기 위한 비디오 입력단과,

   상기 비디오 입력단과 연결되고, 상기 비디오 입력단으로부터 상기 비디오 신호를 수신하며, 상기 비디오 신호로부터 화면 콘텐츠를 분석하고, 상기 비디오 신호에서 눈에 보이는 하나 또는 그 이상의 오브젝트로부터 이벤트를 결정하는 콘텐츠 분석 모듈과,

   상기 비디오 신호, 상기 이벤트와 관련된 데이터, 또는 상기 시스템의 구성(configuration) 및 동작과 관련된 데이터를 저장하는 데이터 스토리지 모듈과,

   상기 콘텐츠 분석 모듈과 연결되고, 상기 이벤트에 대해 경고를 제공하도록 상기 유저로 하여금 상기 콘텐츠 분석 모듈을 구성하도록 하는 유저 인터페이스 모듈- 여기서, 이벤트를 인식하면 상기 콘텐츠 분석 모듈은 경고를 생성함-을

   포함하는 것을 특징으로 하는 화면 콘텐츠 분석 시스템.
2. 제 1 항에 있어서,

   상기 이벤트는 상기 비디오 신호에서의 사람 타깃 또는 상기 사람 타깃의 움 직임과 관련한 데이터의 감지에 대응하는 것을 특징으로 하는 화면 콘텐츠 분석 시스템.
3. 제 1 항에 있어서,

   상기 콘텐츠 분석 모듈은

   상기 비디오 신호에서의 상기 하나 또는 그 이상의 오브젝트의 움직임 또는 상기 움직임의 변경을 감지하고, 상기 비디오 신호에서 전경(foreground)을 결정하는 움직임 및 변경 감지 모듈과,

   상기 전경을 하나 또는 그 이상의 블랍(blob)으로 분리하는 전경 블랍 추출 모듈(foreground blob extraction module)과,

   상기 하나 또는 그 이상의 블랍으로부터 하나 또는 그 이상의 사람 타깃을 결정하는 사람 감지 및 추적 모듈을

   포함하는 것을 특징으로 하는 화면 콘텐츠 분석 시스템.
4. 제 3 항에 있어서,

   상기 사람 감지 및 추적 모듈은

   상기 하나 또는 그 이상의 블랍을 매핑(mapping)하고, 하나 또는 그 이상의 오브젝트 피쳐(feature)가 사람 컴포넌트(human component)를 포함하는지 여부를 결정하는 사람 컴포넌트 및 피쳐 감지 모듈과,

   상기 사람 컴포넌트를 포함하는 것으로 결정된 상기 하나 또는 그 이상의 오브젝트 피쳐와 관련된 데이터를 수신하고, 상기 데이터로부터 하나 또는 그 이상의 사람 모델을 생성하는 사람 감지 모듈과,

   상기 하나 또는 그 이상의 사람 모듈과 관련된 데이터를 수신하고, 상기 하나 또는 그 이상의 사람 모듈 중 하나 또는 그 이상의 움직임을 추적하는 사람 추적 모듈을

   포함하는 것을 특징으로 하는 화면 콘텐츠 분석 시스템.
5. 제 4 항에 있어서,

   상기 사람 컴포넌트 및 피쳐 감지 모듈은

   블랍 트래커 모듈(a blob tracker module)과,

   헤드 감지 모듈(a head detector module)과,

   헤드 트래커 모듈(a head tracker module)과,

   상대크기 평가 모듈(a relative size estimator module)과,

   사람 프로필 추출 모듈(a human profile extraction module)과,

   얼굴 감지 모듈(a face detector module)과,

   크기 불변 피쳐 추출(scale invariant feature transform; SIFT) 모듈을

   포함하는 것을 특징으로 하는 화면 콘텐츠 분석 시스템.
6. 제 5 항에 있어서,

   상기 헤드 감지 모듈은

   헤드 위치 감지 모듈(a head location detection module)과,

   타원형 헤드 핏 모듈(an elliptical head fit module)과,

   일관성 확인 모듈(a consistency verification module)과,

   바디 서포트 확인 모듈(a body support verification module)을

   포함하는 것을 특징으로 하는 화면 콘텐츠 분석 시스템.
7. 제 6 항에 있어서,

   상기 머리 위치 감지 모듈은

   탑 프로필 생성 모듈(a generate top profile module)과,

   유도체 계산 모듈(a compute derivative module)과,

   슬로프 모듈(a slope module)과,

   헤드 위치 탐지 모듈(a head position locator module)을

   포함하는 것을 특징으로 하는 화면 콘텐츠 분석 시스템.
8. 제 6 항에 있어서,

   상기 타원형 헤드 핏 모듈은

   마스크 엣지 감지 모듈(a mask edge detector module)과,

   헤드 아웃라인 결정 모듈(a head outline determiner module)과,

   거친 핏 모듈(a coarse fit module)과,

   정밀 핏 모듈(a refined fit module)을

   포함하는 것을 특징으로 하는 화면 콘텐츠 분석 시스템.
9. 제 8 항에 있어서,

   상기 정밀 핏 모듈은

   초기 평균 핏 에러 모듈(an initial mean fit error module)과

   조절 모듈(an adjustment module)을

   포함하는 것을 특징으로 하는 화면 콘텐츠 분석 시스템.
10. 제 5 항에 있어서

    상기 헤드 트래커 모듈은

    타깃 모델 모듈(a target model module)과,

    타깃 초기화 모듈(a target initialization module)과,

    동적 전파 모델 모듈(a dynamic propagation model module)과,

    후반 확률 생성 및 측정 모듈(a posterior probability generation and measurement module)과,

    계산 비용 모듈(a computational cost module)을

    포함하는 것을 특징으로 하는 화면 콘텐츠 분석 시스템.
11. 제 5 항에 있어서,

    상기 상대크기 평가 모듈은

    사람 크기 트레이닝 모듈(a human size training module)과,

    사람 크기 통계 룩업 모듈(a human size statistics lookup module)과,

    상대크기 질문 모듈(a relative size query module)을

    포함하는 것을 특징으로 하는 화면 콘텐츠 분석 시스템.
12. 제 5 항에 있어서,

    상기 사람 프로필 추출 모듈은

    수직 투영 프로필 모듈(a vertical projection profile module)과,

    수직 투영 프로필 정규화 모듈(a vertical projection profile normalizer module)과,

    사람 프로필 감지 모듈(a human profile detector module)을

    포함하는 것을 특징으로 하는 화면 콘텐츠 분석 시스템.
13. 제 4 항에 있어서,

    상기 사람 감지 모듈은

    블랍 서포트 체크 모듈(check blob support module)과,

    머리 및 얼굴 서포트 체크 모듈(check head and face support module)과,

    바디 서포트 체크 모듈(check body support module)과,

    사람 상태 결정 모듈(a human state determiner module)을

    포함하는 것을 특징으로 하는 화면 콘텐츠 분석 시스템.

Images