KR101434768B1 - 이동 물체 추적 시스템 및 이동 물체 추적 방법 - Google Patents

Abstract

이동 물체 추적 시스템은, 입력부와, 검출부와, 작성부와, 가중치 계산부와, 계산부와, 출력부를 갖는다. 입력부는, 카메라가 촬영한 복수의 시계열의 화상을 입력한다. 검출부는, 입력한 각 화상으로부터 추적 대상으로 되는 모든 이동 물체를 검출한다. 작성부는, 검출부가 제1 화상에서 검출한 각 이동 물체와 제1 화상에 연속하는 제2 화상에서 검출된 각 이동 물체를 연결시킨 패스, 제1 화상에서 검출한 각 이동 물체와 제2 화상에서 검출 실패한 상태를 연결시킨 패스 및, 제1 화상에서 검출 실패한 상태와 제2 화상에서 검출된 각 이동 물체를 연결시킨 패스를 작성한다. 가중치 계산부는, 작성된 패스에 대한 가중치를 계산한다. 계산부는, 가중치 계산부가 계산한 가중치를 할당한 패스의 조합에 대한 값을 계산한다. 출력부는, 계산부가 계산한 패스의 조합에 대한 값에 기초하여 추적 결과를 출력한다.

Description

이동 물체 추적 시스템 및 이동 물체 추적 방법{MOVING OBJECT TRACKING SYSTEM AND MOVING OBJECT TRACKING METHOD}

본 실시예는, 이동 물체를 추적하는 이동 물체 추적 시스템 및 이동 물체 추적 방법에 관한 것이다.

이동 물체 추적 시스템은, 예를 들어 화상의 시계열에 있어서 복수의 프레임에 포함되는 복수의 이동 물체를 검출하고, 동일한 이동 물체끼리를 프레임간에서 대응지음으로써, 이동 물체를 추적한다. 이 이동 물체 추적 시스템은, 이동 물체의 추적 결과를 기록하거나, 추적 결과를 바탕으로 이동 물체를 식별하기도 한다. 즉, 이동 물체 추적 시스템은, 이동 물체를 추적하고, 추적 결과를 감시자에게 전달한다.

이동 물체를 추적하기 위한 주된 방법으로는 이하의 3가지가 제안되어 있다.

제1 추적 방법은, 인접 프레임간의 검출 결과로부터 그래프를 구성하고, 대응짓기를 요구하는 문제를 적당한 평가 함수를 최대로 하는 편성 최적화 문제(2부 그래프상의 할당 문제)로서 정식화하고, 복수 물체의 추적을 행한다.

제2 추적 방법은, 이동 중인 물체를 검출할 수 없는 프레임이 존재하는 경우에도 물체를 추적하기 위해서, 물체의 주위의 정보를 이용함으로써 검출을 보완한다. 구체예로서는, 얼굴의 추적 처리에 있어서, 상반신과 같은 주위의 정보를 이용하는 방법이 있다.

제3 추적 방법은, 사전에 동화상 중의 모든 프레임에 있어서 물체의 검출을 행해 두고, 그들을 이어나가는 것으로 복수 물체의 추적을 행한다.

또한, 추적 결과를 관리하기 위한 방법으로는 이하의 두가지가 제안되어 있다.

제1 추적 결과의 관리 방법은, 복수의 간격을 가지게 하여 복수의 이동 물체를 추적할 수 있도록 대응한다. 또한, 제2 추적 결과의 방법은, 이동 물체를 추적하여 기록하는 기술에 있어서 이동 물체의 얼굴이 보이지 않을 때에도 헤드부 영역을 검출하여 추적을 계속하고, 동일 인물로서 계속하여 추적한 결과 패턴 변동이 크면 나누어서 기록을 관리한다.

그러나, 상술한 종래의 기술에서는, 이하와 같은 문제가 있다.

우선, 제1 추적 방법에서는, 인접하는 프레임간에서의 검출 결과만으로 대응짓기를 행하기 때문에, 물체의 이동중에 검출이 실패하는 프레임이 존재한 경우에는 추적이 중단되어 버린다. 제2 추적 방법은, 인물의 얼굴을 추적하는 방법으로서, 검출이 중단된 경우에 대응하기 위해 상반신과 같은 주위의 정보를 이용하는 것을 제안하고 있다. 그러나, 제2 추적 방법에서는, 복수 물체의 추적에 대응하지 않고 있는 얼굴 이외의 다른 부위를 검출하는 수단을 필요로 한다고 한 문제가 있다. 제3 추적 방법에서는, 미리 대상 물체가 비치고 있는 프레임 모두를 입력한 후에 추적 결과를 출력할 필요가 있다. 또한, 제3 추적 방법은, false positive(추적 대상이 아닌 것을 오검출하는 것)에는 대응하고 있지만, false negative(추적 대상인 것을 검출할 수 없는 것)에 의해 추적이 중단된 경우에는 대응하지 않고 있다.

또한, 제1 추적 결과의 관리 방법은, 복수 물체의 추적을 단시간에 처리시키기 위한 기술이며 추적 처리 결과의 정밀도나 신뢰성을 향상시키는 것이 아니다. 제2 추적 결과의 관리 방법은, 복수인의 추적 결과를 최적의 추적 결과로서 결과를 하나만 출력하게 된다. 그러나, 제2 추적 결과의 관리 방법에서는, 추적 정밀도의 문제로 추적이 잘 되지 않았을 경우는 부정한 추적 결과로 기록되고, 거기에 준하는 후보로서 기록시키거나 상태에 따라 출력 결과를 제어할 수 없다.

일본 특허 공개 제2001-155165호 공보 일본 특허 공개 제2007-42072호 공보 일본 특허 공개 제2004-54610호 공보 일본 특허 공개 제2007-6324호 공보

"Global Data Association for Multi-Object Tracking Using Network Flows, Univ. Southern California", CVPR '08.

본 발명의 일 형태는, 복수의 이동 물체에 대하여도, 양호한 추적 결과를 얻을 수 있는 이동 물체 추적 시스템 및 이동 물체 추적 방법을 제공하는 것을 목적으로 한다.

이동 물체 추적 시스템은, 입력부와, 검출부와, 작성부와, 가중치 계산부와, 계산부와, 출력부를 갖는다. 입력부는, 카메라가 촬영한 복수의 시계열의 화상을 입력한다. 검출부는, 입력한 각 화상으로부터 추적 대상으로 되는 모든 이동 물체를 검출한다. 작성부는, 검출부가 제1 화상에서 검출한 각 이동 물체와 상기 제1 화상에 연속하는 제2 화상에서 검출된 각 이동 물체를 연결시킨 패스, 제1 화상에서 검출한 각 이동 물체와 제2 화상에서 검출 실패한 상태를 연결시킨 패스 및, 제1 화상에서 검출 실패한 상태와 제2 화상에서 검출된 각 이동 물체를 연결시킨 패스를 작성한다. 가중치 계산부는, 작성된 패스에 대한 가중치를 계산한다. 계산부는, 가중치 계산부가 계산한 가중치를 할당한 패스의 조합에 대한 값을 계산한다. 출력부는, 계산부가 계산한 패스의 조합에 대한 값에 기초하여 추적 결과를 출력한다.

도 1은 각 실시예의 적용예가 되는 시스템 구성예를 도시하는 도면이다.
도 2는 제1 실시예에 관한 이동 물체 추적 시스템으로서 인물 추적 시스템의 구성예를 도시하는 도면이다.
도 3은 추적 결과에 대한 신뢰도의 산출 처리의 예를 설명하기 위한 흐름도이다.
도 4는 얼굴 추적부로부터 출력되는 추적 결과를 설명하기 위한 도면이다.
도 5는 통신 제어부에 있어서의 통신 설정 처리의 예를 설명하기 위한 흐름도이다.
도 6은 감시부의 표시부에 있어서의 표시예를 도시하는 도면이다.
도 7은 제2 실시예에 관한 이동 물체 추적 시스템으로서 인물 추적 시스템의 구성예를 도시하는 도면이다.
도 8은 제2 실시예로서의 감시부의 표시부에 표시되는 표시예를 도시하는 도면이다.
도 9는 제3 실시예에 관한 이동 물체 추적 시스템으로서의 인물 추적 시스템의 구성예를 도시하는 도면이다.
도 10은 얼굴 검출 결과 축적부가 축적하는 얼굴의 검출 결과를 나타내는 데이터의 구성예를 도시하는 도면이다.
도 11은 그래프 작성부가 작성하는 그래프의 예를 나타내는 도면이다.
도 12는 어떤 화상에서 검출된 얼굴과 연속하는 다른 화상에서 검출된 얼굴이 대응지을 확률과 대응짓지 않을 확률과의 예를 나타내는 도면이다.
도 13은 대응지을 확률과 대응짓지 않을 확률의 관계에 따른 가지 가중치의 값을 개념적으로 도시하는 도면이다.
도 14는 제4 실시예에 관한 이동 물체 추적 시스템으로서 인물 추적 시스템의 구성예를 도시하는 도면이다.
도 15는 씬 선택부에 있어서의 처리예를 설명하기 위한 도면이다.
도 16은 검출 결과열에 대한 신뢰도의 수치예이다.
도 17의 (a), (b) 및 (c)는, 신뢰도의 산출 기준이 되는 추적된 프레임 수의 예를 나타내는 도면이다.
도 18은 추적 파라미터를 사용한 추적 처리에 의한 이동 물체의 추적 결과의 예를 나타내는 도면이다.
도 19는 씬 선택부에 의한 처리 수순을 개략적으로 나타내는 흐름도이다.
도 20은 파라미터 추정부에 의한 처리 수순을 개략적으로 나타내는 흐름도이다.
도 21은 전체적인 처리의 흐름을 설명하기 위한 흐름도이다.

이하, 제1, 제2, 제3 및 제4 실시예에 대하여 도면을 참조하여 상세하게 설명한다.

각 실시예의 시스템은, 다수의 카메라가 촬영하는 화상으로부터 이동 물체를 검출하고, 검출한 이동 물체를 추적(감시)하는 이동 물체 추적 시스템(이동 물체 감시 시스템)이다. 각 실시예에서는, 이동 물체 추적 시스템의 예로서, 인물(이동 물체)의 이동을 추적하는 인물 추적 시스템에 대하여 설명한다. 단, 후술하는 각 실시예에 관한 인물 추적 시스템은, 인물의 얼굴을 검출하는 처리를 추적 대상으로 하는 이동 물체에 적합한 검출 처리로 전환함으로써, 인물 이외의 다른 이동 물체(예를 들어, 차량, 동물 등)를 추적하는 추적 시스템으로서도 운용할 수 있다.

도 1은, 후술하는 각 실시예의 적용예가 되는 시스템 구성예를 도시하는 도면이다.

도 1에 도시하는 시스템은, 대량(예를 들어, 100대 이상)의 카메라(1(1A, …1N, …))와, 대량의 클라이언트 단말 장치(2(2A, …, 2N, …))와, 복수의 서버(3(3A, 3B))와, 복수의 감시 장치(4(4A, 4B))를 갖는다.

도 1에 도시하는 구성의 시스템에서는, 대량의 카메라(1(1A, …1N, …))가 촬영한 대량의 영상을 처리한다. 또한, 도 1에 도시하는 시스템에서는, 추적 대상(검색 대상)이 되는 이동 물체로서의 인물(인물의 얼굴)도 대량인 것을 상정한다. 도 1에 도시하는 이동 물체 추적 시스템은, 대량의 카메라가 촬영하는 대량의 영상으로부터 얼굴 화상을 추출하고, 각 얼굴 화상을 추적하는 인물 추적 시스템이다. 또한, 도 1에 도시하는 인물 추적 시스템은, 추적이 대상으로 되는 얼굴 화상을 얼굴 화상 데이터베이스에 등록되어 있는 얼굴 화상과 대조(얼굴 대조)하도록 해도 좋다. 이 경우, 얼굴 화상 데이터베이스는, 대량의 검색 대상의 얼굴 화상을 등록하기 위해 복수이거나, 대규모이거나 한다. 각 실시예의 이동 물체 추적 시스템은, 대량의 영상에 대한 처리 결과(추적 결과 혹은 얼굴 대조 결과 등)를 감시원이 육안으로 보는 감시 장치에 표시시킨다.

도 1에 도시하는 인물 추적 시스템은, 대량의 카메라로 촬영한 대량의 영상을 처리한다. 이로 인해, 인물 추적 시스템은, 추적 처리 및 얼굴 대조 처리를 복수의 서버에 의한 복수의 처리계에서 실행하도록 해도 좋다. 각 실시예의 이동 물체 추적 시스템은, 대량의 카메라가 촬영한 대량의 영상을 처리하기 위해 가동 상황에 따라서는 대량의 처리 결과(추적 결과 등)가 얻어지는 경우가 있다. 감시원이 효율적으로 감시하기 위해 각 실시예의 이동 물체 추적 시스템에서는, 단 시간 동안에 대량의 처리 결과가 얻어진 경우라도, 효율적으로 감시 장치에 처리 결과(추적 결과)를 표시시킬 필요가 있다. 예를 들어, 각 실시예의 이동 물체 추적 시스템은 시스템의 가동 상황에 따라 신뢰성이 높은 순서대로 추적 결과를 표시시킴으로써, 감시원이 중요한 처리 결과를 놓쳐 버리는 것을 방지함과 함께, 감시원의 부담을 경감시킨다.

이하에 설명하는 각 실시예에 있어서, 이동체 추적 시스템으로서의 인물 추적 시스템은, 각 카메라로부터 얻어진 영상(시계열의 복수 화상, 복수 프레임으로 이루어지는 동화상)에 있어서, 복수의 인물의 얼굴이 촬영되어 있는 경우에는, 그들의 복수의 인물(얼굴)을 각각 추적한다. 또한, 각 실시예에서 설명하는 시스템은, 예를 들어 다수의 카메라로부터 수집한 대량의 영상 중에서 이동 물체(인물 혹은 차량 등)를 검출하고, 그들의 검출 결과(씬)를 추적 결과와 함께 기록 장치에 기록하는 시스템이다. 또한, 각 실시예에서 설명하는 시스템은, 카메라로 촬영한 화상으로부터 검출한 이동 물체(예를 들어, 인물의 얼굴)를 추적하고, 그 추적한 이동 물체(피촬영자의 얼굴)의 특징량과 사전에 데이터베이스(얼굴 데이터베이스)에 등록되어 있는 사전 데이터(등록자의 얼굴의 특징량)를 대조하여 이동 물체를 식별하고, 그 이동 물체의 식별 결과를 통지하는 감시 시스템이어도 좋다.

우선, 제1 실시예에 대하여 설명을 행한다.

도 2는, 제1 실시예에 관한 이동 물체 추적 시스템으로서 인물 추적 시스템의 하드웨어 구성예를 도시하는 도면이다.

제1 실시예에서는, 카메라로 촬영한 화상으로부터 검출한 인물의 얼굴(이동 물체)을 검출 대상으로서 추적하고, 추적한 결과를 기록 장치에 기록하는 인물 추적 시스템(이동 물체 추적 시스템)에 대하여 설명한다.

도 2에 도시하는 인물 추적 시스템은, 복수의 카메라(1(1A, 1B, …))와, 복수의 단말 장치(2(2A, 2B, …))와, 서버(3)과, 감시 장치(4)에 의해 구성된다. 각 단말 장치(2)와 서버(3)는, 통신 회선(5)을 통하여 접속된다. 서버(3)와 감시 장치(4)는, 통신 회선(5)을 통하여 접속해도 좋고, 로컬에 접속해도 좋다.

각 카메라(1)는, 각각에 할당된 감시 에리어를 촬영한다. 단말 장치(2)는, 카메라(1)가 촬영한 화상을 처리한다. 서버(3)는, 각 단말 장치(2)에서의 처리 결과를 통괄적으로 관리한다. 감시 장치(4)는, 서버(3)가 관리하는 처리 결과를 표시한다. 또한, 서버(3) 및 감시 장치(4)는, 복수이어도 좋다.

도 2에 도시하는 구성예에 있어서, 복수의 카메라(1(1A, 1B, …))와 복수의 단말 장치(2(2A, 2B, …))는 화상 전송용 통신선에 의해 접속하는 것으로 한다. 예를 들어, 카메라(1)과 단말 장치(2)는 각각을 NTSC 등의 카메라용 신호 케이블을 이용하여 접속하도록 해도 좋다. 단, 카메라(1)와 단말 장치(2)는, 도 1에 도시하는 구성과 같이 통신 회선(네트워크)(5)을 통하여 접속하도록 해도 좋다.

단말 장치(2(2A, 2B))는 제어부(21), 화상 인터페이스(22, 화상 메모리(23), 처리부(24) 및 네트워크 인터페이스(25)를 갖는다.

제어부(21)는, 단말 장치(2)의 제어를 담당하는 것이다. 제어부(21)는, 프로그램에 따라 동작하는 프로세서 및 프로세서가 실행하는 프로그램을 기억한 메모리 등에 의해 구성된다. 즉, 제어부(21)는, 프로세서가 메모리에 프로그램을 실행함으로써 갖가지의 처리를 실현한다.

화상 인터페이스(22)는, 카메라(1)로부터 복수의 시계열의 화상(예를 들어, 소정 프레임 단위의 동화상)을 입력하는 인터페이스이다. 또한, 카메라(1)와 단말 장치(2)를 통신 회선(5)을 통해 접속하는 경우, 화상 인터페이스(22)는 네트워크 인터페이스이어도 좋다. 또한, 화상 인터페이스(22)는, 카메라(1)로부터 입력한 화상을 디지털화(A/D 변환)하고, 처리부(24) 혹은 화상 메모리(23)에 공급하는 기능을 갖는다. 화상 메모리(23)는, 예를 들어 화상 인터페이스(22)에 의해 취득한 카메라가 촬영한 화상을 기억한다.

처리부(24)는 취득한 화상에 대한 처리를 행한다. 예를 들어, 처리부(24)는, 프로그램에 따라 동작하는 프로세서 및 프로세서가 실행하는 프로그램을 기억한 메모리 등에 의해 구성된다. 처리부(24)는 처리 기능으로서, 이동 물체(인물의 얼굴)가 포함되는 경우는 이동 물체의 영역을 검출하는 얼굴 검출부(26)와, 동일한 이동 물체를 입력되는 화상간에서 어디로 이동했는지를 대응지어 추적하는 얼굴 추적부(27)를 갖는다. 이들 처리부(24)의 기능은, 제어부(21)의 기능으로서 실현해도 좋다. 또한, 얼굴 추적부(27)는 단말 장치(2)와 통신 가능한 서버(3)에 설치하더라도 좋다.

네트워크 인터페이스(25)는, 통신 회선(네트워크)을 통하여 통신을 행하기 위한 인터페이스이다. 각 단말 장치(2)는, 네트워크 인터페이스(25)를 통하여 서버(3)와 데이터 통신한다.

서버(3)는, 제어부(31), 네트워크 인터페이스(32), 추적 결과 관리부(33) 및 통신 제어부(34)를 갖는다. 감시 장치(4)는, 제어부(41), 네트워크 인터페이스(42), 표시부(43) 및 조작부(44)를 갖는다.

제어부(31)는, 서버(3) 전체의 제어를 담당한다. 제어부(31)는, 프로그램에 따라 동작하는 프로세서 및 프로세서가 실행하는 프로그램을 기억한 메모리 등에 의해 구성된다. 즉, 제어부(31)는, 프로세서가 메모리에 기억한 프로그램을 실행함으로써 여러가지의 처리를 실현한다. 예를 들어, 단말 장치(2)의 얼굴 추적부(27)와 마찬가지의 처리 기능은, 서버(3)의 제어부(31)에 있어서, 프로세서가 프로그램을 실행함으로써 실현해도 좋다.

네트워크 인터페이스(32)는, 통신 회선(5)을 통하여 각 단말 장치(2) 및 감시 장치(4)와 통신하기 위한 인터페이스이다. 추적 결과 관리부(33)는, 기억부(33a) 및 기억부를 제어하는 제어 유닛에 의해 구성된다. 추적 결과 관리부(33)는, 각 단말 장치(2)로부터 취득하는 이동 물체(인물의 얼굴)의 추적 결과를 기억부(33a)에 기억한다. 추적 결과 관리부(33)의 기억부(33a)는, 추적 결과를 나타내는 정보뿐만 아니라, 카메라(1)가 촬영한 화상 등도 기억한다.

통신 제어부(34)는 통신 제어를 행한다. 예를 들어, 통신 제어부(34)는 각 단말 장치(2)의 통신 조정을 행한다. 통신 제어부(34)는, 통신 측정부(37)와 통신 설정부(36)를 갖는다. 통신 측정부(37)는 각 단말 장치(2)에 접속되어 있는 카메라의 수, 혹은 각 단말 장치(2)로부터 공급되는 추적 결과 등의 정보량 등에 기초하여 통신량 등의 통신 부하를 구한다. 통신 설정부(36)는, 통신 측정부(37)에 의해 계측한 통신량 등에 기초하여 각 단말 장치(2)에 대하여 추적 결과로서 출력해야 할 정보의 파라미터 설정을 행한다.

제어부(41)는, 감시 장치(4) 전체의 제어를 담당한다. 네트워크 인터페이스(42)는 통신 회선(5)을 통해 통신하기 위한 인터페이스이다. 표시부(43)는, 서버(3)로부터 공급되는 추적 결과 및 카메라(1)가 촬영한 화상 등을 표시한다. 조작부(44)는 오퍼레이터에 의해 조작되는 키보드 혹은 마우스 등에 의해 구성된다.

이어서, 도 2에 도시하는 시스템에 있어서의 각 부의 구성 및 처리에 대하여 설명한다.

각 카메라(1)는 감시 에리어의 화상을 촬영한다. 도 2의 구성예에 있어서, 카메라(1)는 동화상 등의 복수의 시계열의 화상을 촬영한다. 카메라(1)에서는, 추적 대상으로 하는 이동 물체로서, 감시 에리어 내에 존재하는 인물의 얼굴 화상을 포함하는 화상을 촬상한다. 카메라(1)로 촬영한 화상은, 단말 장치(2)의 화상 인터페이스(22)를 통해 A/D 변환되어, 디지털화된 화상 정보로서 처리부(24) 내의 얼굴 검출부(26)에 보내진다. 또한, 화상 인터페이스(22)는, 카메라(1) 이외의 기기로부터 화상을 입력하는 것이어도 좋다. 예를 들어, 화상 인터페이스(22)는, 기록 매체에 기록된 동화상 등의 화상 정보를 도입함으로써, 복수의 시계열의 화상을 입력하도록 해도 좋다.

얼굴 검출부(26)는, 입력한 화상 내에 존재하는 모든 얼굴 (하나 또는 복수의 얼굴)을 검출하는 처리를 행한다. 얼굴을 검출하는 구체적인 처리 방법으로는, 이하의 방법을 적용할 수 있다. 우선, 미리 준비된 템플릿을 화상 내에서 이동시키면서 상관값을 구함으로써, 가장 높은 상관값을 부여하는 위치를 얼굴 화상의 영역으로서 검출한다. 그 외, 고유 공간법이나 부분 공간법을 이용한 얼굴 추출법 등으로도 얼굴의 검출은 실현 가능하다. 또한, 검출된 얼굴 화상의 영역 중에서 눈, 코 등의 얼굴 부위의 위치를 검출함으로써, 얼굴의 검출의 정밀도를 높이는 것도 가능하다. 이러한 얼굴의 검출 방법은, 예를 들어 문헌(후쿠이 가즈히로, 야마구치 오사무: 「형상 추출과 패턴 대조의 조합에 의한 얼굴 특징점 추출」, 전자 정보 통신 학회 논문지(D), vol. J80-D-II, No. 8, pp2170-2177(1997)) 등 기재의 방법이 적용 가능하다. 또한, 상기 눈 및 코의 검출 외에, 입의 영역의 검출에 대해서는 문헌(유아사 마유미, 나까지마 아키꼬: 「고정밀도 얼굴 특징점 검출에 기초하는 디지털 메이크 시스템」 제10회 화상 센싱 심포지엄 예고집, pp219-224(2004))의 기술을 이용할 수 있다. 어느 방법이든 2차원 배열 형상의 화상으로 서 취급할 수 있는 정보를 획득하고, 그 중에서 얼굴 특징의 영역을 검출한다.

또한, 상술한 처리에서는 1매의 화상 중에서 하나의 얼굴 특징만을 추출하기 위해서는 전 화상에 대하여 템플릿과의 상관값을 구해 최대가 되는 위치와 크기를 출력하면 된다. 또한, 복수의 얼굴 특징을 추출하기 위해서는, 화상 전체에 대한 상관값의 국소 최대값을 구하고, 하나의 화상 내에서의 겹침을 고려하여 얼굴의 후보 위치를 좁혀가고, 마지막에는 연속하여 입력된 과거의 화상의 관계성(시간적인 추이)도 고려하여 최종적으로 복수의 얼굴 특징을 동시에 찾는 것도 가능하다.

얼굴 추적부(27)는, 이동 물체로서의 인물의 얼굴을 추적하는 처리를 행한다. 얼굴 추적부(27)는, 예를 들어 후술하는 제3 실시예에서 상세하게 설명하는 방법이 적용 가능하다. 얼굴 추적부(27)는, 입력되는 복수의 화상으로부터 검출된 인물의 얼굴의 좌표, 혹은 크기 등의 정보를 통합하여 최적의 대응짓기를 행하고, 동일 인물이 복수 프레임에 걸쳐 대응지어진 결과를 통합 관리하여 추적 결과로서 결과를 출력한다.

또한, 얼굴 추적부(27)는 복수의 화상에 대한 각 인물의 대응짓기 결과(추적 결과)가 한번에 결정되지 않을 가능성이 있다. 예를 들어, 복수의 인물이 여기 저기 움직이고 있을 경우, 인물이 교차하는 등의 복잡한 동작이 포함될 가능성이 높기 때문에, 얼굴 추적부(27)는 복수의 추적 결과를 얻는다. 이러한 경우, 얼굴 추적부(27)는 대응짓기를 행했을 때의 우도가 가장 높아지는 것을 제1 후보로서 출력할 뿐만 아니라, 거기에 준하는 대응짓기 결과를 복수 관리하는 것도 가능하다.

또한, 얼굴 추적부(27)는, 추적 결과에 대한 신뢰도를 산출하는 기능을 갖는다. 얼굴 추적부(27)는, 신뢰도에 기초하여 출력하는 추적 결과를 선별할 수 있다. 신뢰도는 얻어진 프레임 수 및, 얼굴의 검출 수 등의 정보로부터 종합적으로 판단한다. 예를 들어, 얼굴 추적부(27)는 추적할 수 있는 프레임 수를 기초로 신뢰도의 수치를 정할 수 있다. 이 경우, 얼굴 추적부(27)는, 적은 프레임 수 밖에 추적할 수 없었던 추적 결과의 신뢰도를 낮게 할 수 있다.

또한, 얼굴 추적부(27)는, 복수의 기준을 조합하여 신뢰도를 산출해도 좋다. 예를 들어, 얼굴 추적부(27)는, 검출한 얼굴 화상에 대한 유사도를 취득할 수 있을 경우, 추적된 프레임 수가 적어도 각 얼굴 화상의 유사도가 평균하여 높은 추적 결과의 신뢰도를 추적할 수 있는 프레임 수는 많아도 각 얼굴 화상의 유사도가 평균하여 낮은 추적 결과의 신뢰도보다도 높게 할 수 있다.

도 3은, 추적 결과에 대한 신뢰도의 산출 처리의 예를 설명하기 위한 흐름도이다.

단, 도 3에 있어서, 추적 결과로서의 입력은, N개의 시계열의 얼굴 검출 결과(화상과 화상 내의 위치) X1, …, Xn인 것으로 하고, 상수로서, 임계값 θs, 임계값 θd, 신뢰도의 파라미터 α, β, γ, δ(α+β+γ+δ=1, α, β, γ, δ≥0)이 설정되어 있는 것으로 한다.

우선, 얼굴 추적부(27)는, 얼굴 검출 결과로서 N개의 시계열의 얼굴 검출 결과(X1, …, Xn)를 취득한 것으로 한다(스텝 S1). 그러면, 얼굴 추적부(27)는, 얼굴 검출 결과의 개수 N이 소정수 T(예를 들어 하나)보다도 많은지 여부를 판단한다(스텝 S2). 얼굴 검출 결과 N의 수가 소정수 T 이하인 경우(스텝 S2, "아니오"), 얼굴 추적부(27)는, 신뢰도를 0으로 한다(스텝 S3). 얼굴 검출 결과 N의 수가 소정수 T보다도 많다고 판단한 경우(스텝 S2, "예"), 얼굴 추적부(27)는, 반복수(변수) t와, 신뢰도 r(X)을 초기화한다(스텝 S4). 도 3에 도시하는 예에서는, 얼굴 추적부(27)는 반복수 t의 초기값을 1로 하고, 신뢰도 r(X)을 1로 하기로 한다.

반복수(변수) t 및 신뢰도 r(X)을 초기화하면, 얼굴 추적부(27)는, 반복수 t가 얼굴 검출 결과의 개수 N보다도 작은 것을 확인한다(스텝 S5). 즉, t<N인 경우(스텝 S5, "예"), 얼굴 추적부(27)는 Xt와 Xt+1과의 유사도 S(t, t+1)를 산출한다(스텝 S6). 또한, 얼굴 추적부(27)는 Xt와 Xt+1과의 이동량 D(t, t+1) 및, Xt의 크기 L(t)을 산출한다(스텝 S7).

얼굴 추적부(27)는 유사도 S(t, t+1), 이동량 D(t, t+1) 및 L(t)의 각 값에 따라, 이하와 같이 신뢰도 r(X)을 산출(갱신)한다.

S(t, t+1)>θs, 또한, D(t, t+1)/L(t)<θd면, r(X)←r(X)*α,

S(t, t+1)>θs, 또한, D(t, t+1)/L(t)>θd면, r(X)←r(X)*β,

S(t, t+1)<θs, 또한, D(t, t+1)/L(t)<θd면, r(X)←r(X)*γ,

S(t, t+1)<θs, 또한, D(t, t+1)/L(t)>θd면, r(X)←r(X)*δ.

신뢰도 r(X)을 산출(갱신)하면, 얼굴 추적부(27)는 반복수 t를 인크리먼트(t=t+1)하고(스텝 S9), 상기 스텝 S5로 복귀된다. 또한, 개개의 얼굴 검출 결과 (씬)X1, …, Xn 자체에 대해서도, 유사도 S(t, t+1), 이동량 D(t, t+1) 및 L(t)의 각 값에 따른 신뢰도를 산출해도 좋다. 단, 여기서는, 추적 결과 전체에 대한 신뢰도를 산출하는 것으로 한다.

이상의 스텝 S5 내지 S9의 처리를 반복하여 실행함으로써, 얼굴 추적부(27)는 취득한 N개의 얼굴 검출 결과로 이루어지는 추적 결과에 대한 신뢰도를 산출한다. 즉, 상기 스텝 S5로 t<N이 아니라고 판단한 경우(스텝 S5, "아니오"), 얼굴 추적부(27)는 산출한 신뢰도 r(X)을, N개의 시계열의 얼굴 검출 결과에 대한 추적 결과의 신뢰도로서 출력한다(스텝 S10).

상기의 처리예에 있어서, 추적 결과는, 복수의 얼굴 검출 결과의 시계열이다. 각 얼굴 검출 결과는, 구체적으로는 얼굴 화상과 화상 내의 위치 정보로부터 성립되고 있다. 신뢰도는, 0 이상 1 이하의 수치이다. 신뢰도는, 얼굴끼리를 인접하는 프레임간에서 비교한 경우, 유사도가 높고, 또한, 이동량이 크지 않을 경우, 추적 결과의 신뢰도가 높아지도록 결정되어 있다. 예를 들어, 복수의 인물의 검출 결과가 혼재한 경우, 마찬가지의 비교를 행하면, 유사도가 낮아진다. 상술한 신뢰도의 산출 처리에 있어서, 얼굴 추적부(27)는, 미리 설정한 임계값과의 비교에 의해, 유사도의 고저 및, 이동량의 대소를 판정한다. 예를 들어, 유사도가 낮고, 또한, 이동량이 큰 화상의 세트가 추적 결과에 포함되는 경우, 얼굴 추적부(27)는, 신뢰도의 값을 작게 하는 파라미터 δ을 승산하여 신뢰도를 작게 한다.

도 4는, 얼굴 추적부(27)로부터 출력되는 추적 결과를 설명하기 위한 도면이다.

도 4에 도시한 바와 같이, 얼굴 추적부(27)는 하나의 추적 결과만을 출력할 뿐만 아니라, 복수의 추적 결과(추적 후보)를 출력할 수 있다. 얼굴 추적부(27)는, 어떤 추적 결과를 출력할지를 동적으로 설정할 수 있는 기능을 갖는다. 예를 들어, 얼굴 추적부(27)는, 상기 서버의 통신 설정부에 의해 설정되는 기준값에 기초하여 어떤 추적 결과를 출력할지를 판단한다. 얼굴 추적부(27)는, 추적 결과 후보에 대하여 각각 신뢰도를 산출하고, 통신 설정부(36)에 의해 설정되는 기준값을 초과하는 신뢰도의 추적 결과를 출력한다. 또한, 얼굴 추적부(27)는, 서버의 통신 설정부(36)에 의해 출력해야 할 추적 결과 후보의 건수(예를 들어 N개)를 설정하는 경우, 설정된 건수까지의 추적 결과 후보(상위 N개까지의 추적 결과 후보)를 신뢰도와 함께 출력하도록 할 수도 있다.

도 4에 도시하는 추적 결과에 대하여 「신뢰도 70％ 이상」으로 설정된 경우, 얼굴 추적부(27)는, 추적 결과의 신뢰도가 70％ 이상이 되는 추적 결과 1과 추적 결과 2를 출력한다. 또한, 설정값이 「상위 하나까지」라고 하는 설정이면, 얼굴 추적부(27)는 가장 신뢰도가 높은 추적 결과 하나만을 송신한다. 또한, 추적 결과로서 출력하는 데이터는 통신 설정부(36)에 의해 설정 가능으로 하거나, 오퍼레이터가 조작부에 의해 선택 가능하게 하거나 해도 좋다.

예를 들어, 하나의 추적 결과 후보의 데이터로서는, 입력된 화상과 추적 결과를 출력하도록 해도 좋다. 또한, 하나의 추적 결과 후보의 데이터로서는, 입력 화상과 추적 결과와 외에 검출된 이동 물체(얼굴) 부근의 화상을 잘라낸 화상(얼굴 화상)을 출력하도록 해도 좋고, 이들의 정보 외에, 복수의 화상에서 동일한 이동 물체(얼굴)로서 대응지을 수 있는 모든 화상(또는 대응지어진 화상 중에서 선택한 소정의 기준 매수의 화상)을 사전에 선택할 수 있도록 해도 좋다. 이들 파라미터의 설정(하나의 추적 결과 후보로서 출력해야 할 데이터의 설정)에 대해서는, 감시 장치(4)의 조작부(44)에 의해 지정된 파라미터를 각 얼굴 추적부(27)에 대하여 설정하도록 해도 좋다.

추적 결과 관리부(33)는, 각 단말 장치(2)로부터 취득한 추적 결과를 서버(3)로 관리하는 것이다. 서버(3)의 추적 결과 관리부(33)에서는, 상술한 바와 같은 추적 결과 후보의 데이터를 각 단말 장치(2)로부터 취득하고, 각 단말 장치(2)로부터 취득한 추적 결과 후보의 데이터를 기억부(33a)에 기록하여 관리한다.

또한, 추적 결과 관리부(33)는, 카메라(1)가 촬영한 영상을 통째로 동화상으로서 기억부(33a)에 기록해도 좋고, 얼굴이 검출된 경우 혹은 추적 결과가 얻어진 경우만 그 부분의 영상을 동화상으로서 기억부(33a)에 기록하도록 해도 좋다. 또한, 추적 결과 관리부(33)는, 검출한 얼굴 영역, 혹은, 인물 영역만을 기억부(33a)에 기록하도록 해도 좋고, 추적한 복수 프레임 중에서 가장 보기 쉽다고 판단된 베스트 샷 화상만을 기억부(33a)에 기록하도록 해도 좋다. 또한, 본 시스템에 있어서, 추적 결과 관리부(33)는, 추적 결과를 복수 수취할 가능성이 있다. 이로 인해, 추적 결과 관리부(33)는, 카메라(1)로 촬영한 동화상과 대응짓기 하여 각 프레임의 이동 물체(인물)의 장소와 동일한 이동 물체인 것을 나타내는 식별 ID 및, 추적 결과에 대한 신뢰도를 관련되게 만들어서 기억부(33a)에 기억하여 관리하도록 해도 좋다.

통신 설정부(36)는, 추적 결과 관리부(33)가 각 단말 장치로부터 취득하는 추적 결과로서의 데이터의 양을 조정하기 위한 파라미터를 설정한다. 통신 설정부(36)는, 예를 들어 「추적 결과의 신뢰도에 대한 임계값」 혹은 「추적 결과 후보의 최대수」 중 어느 하나 또는 양쪽을 설정할 수 있다. 이들 파라미터를 설정하면, 통신 설정부(36)는, 각 단말 장치에 대하여, 추적 처리의 결과로서 복수의 추적 결과 후보가 얻어진 경우에, 설정한 임계값 이상의 신뢰도의 추적 결과를 송신하도록 설정할 수 있다. 또한, 통신 설정부(36)는 각 단말 장치에 대하여, 추적 처리의 결과로서 복수의 추적 결과 후보가 있는 경우에, 신뢰도가 높은 순서대로 송신해야 할 후보의 수를 설정할 수 있다.

또한, 통신 설정부(36)는, 오퍼레이터의 지시에 따라 파라미터를 설정하도록 해도 좋고, 통신 측정부(37)에 의해 계측되는 통신 부하(예를 들어, 통신량)에 기초하여 파라미터를 동적으로 설정하도록 해도 좋다. 또한, 전자의 경우에는, 조작부에 의해 오퍼레이터가 입력하는 값에 따라 파라미터를 설정하도록 하면 된다.

통신 측정부(37)는, 복수의 단말 장치(2)로부터 보내져 오는 데이터량 등을 감시함으로써, 통신 부하의 상태를 계측한다. 통신 설정부(36)에서는, 통신 측정부(37)에서 계측한 통신 부하에 기초하여 각 단말 장치(2)에 대하여 출력해야 할 추적 결과를 제어하기 위한 파라미터를 동적으로 변경한다. 예를 들어, 통신 측정부(37)는, 일정 시간 내에 보내져 오는 동화상의 용량 혹은 추적 결과의 양(통신량)을 계측한다. 이에 의해, 통신 설정부(36)는, 통신 측정부(37)가 계측한 통신량에 기초하여, 각 단말 장치(2)에 대하여 추적 결과의 출력 기준을 변경하는 설정을 행한다. 즉, 통신 설정부(36)는, 통신 측정부(37)가 계측하는 통신량에 따라, 각 단말 장치가 출력하는 얼굴 추적 결과에 대한 신뢰도의 기준값을 변경하거나, 추적 결과 후보의 최대 송신수(상위 N개까지 보낸다고 하는 설정의 N의 수)를 조정하거나 하도록 한다.

즉, 통신 부하가 높은 상태인 경우, 시스템 전체적으로는, 각 단말 장치(2)로부터 취득하는 데이터(추적 결과 후보의 데이터)를 가능한 한 적게 할 필요가 있다. 이러한 상태로 되었을 경우, 본시스템에서는, 통신 측정부(37)에 의한 계측 결과에 따라, 신뢰도가 높은 추적 결과만을 출력하거나, 추적 결과 후보로서 출력하는 수를 적게 하거나 하는 대응이 가능해진다.

도 5는, 통신 제어부(34)에 있어서의 통신 설정 처리의 예를 설명하기 위한 흐름도이다.

즉, 통신 제어부(34)에 있어서, 통신 설정부(36)는, 각 단말 장치(2)에 대한 통신 설정이 자동 설정인지 오퍼레이터에 의한 수동 설정인지를 판단한다(스텝 S11). 오퍼레이터가 각 단말 장치(2)에 대한 통신 설정의 내용을 지정하고 있을 경우(스텝 S11, "아니오"), 통신 설정부(36)는, 오퍼레이터에 의해 지시된 내용에 따라 각 단말 장치(2)에 대한 통신 설정의 파라미터를 판정하고, 각 단말 장치(2)에 대하여 설정한다. 즉, 오퍼레이터가 수동으로 통신 설정의 내용을 지시한 경우, 통신 설정부(36)는, 통신 측정부(37)가 측정하는 통신 부하에 관계없이, 지정된 내용으로 통신 설정을 행한다(스텝 S12).

또한, 각 단말 장치(2)에 대한 통신 설정이 자동 설정인 경우(스텝 S11, "예"), 통신 측정부(37)는, 각 단말 장치(2)로부터 공급되는 데이터량 등에 의한 서버(3)에 있어서의 통신 부하를 계측한다(스텝 S13). 통신 설정부(36)는, 통신 측정부(37)에 의해 계측된 통신 부하가 소정의 기준 범위 이상인지의 여부(즉, 고부하의 통신 상태인지의 여부)를 판단한다(스텝 S14).

통신 측정부(37)에 의해 계측된 통신 부하가 소정의 기준 범위 이상이라고 판단한 경우(스텝 S14, "예"), 통신 설정부(36)는, 통신 부하를 경감하기 위해서, 각 단말 장치로부터 출력되는 데이터량을 억제하는 통신 설정의 파라미터를 판단한다(스텝 S15).

예를 들어, 상술한 예에서는, 통신 부하를 경감시키기 위해서는, 출력해야 할 추적 결과 후보의 신뢰도에 대한 임계값을 올리거나, 추적 결과 후보의 최대 출력수의 설정을 저감시키거나 하는 설정을 생각할 수 있다. 통신 부하를 경감하기 위한 파라미터(단말 장치로부터의 출력 데이터를 억제하는 파라미터)를 판정하면, 통신 설정부(36)는, 그 판정한 파라미터를 각 단말 장치(2)에 대하여 설정한다(스텝 S16). 이에 의해, 각 단말 장치(2)로부터의 출력되는 데이터량이 감소하기 때문에, 서버(3)에서는, 통신 부하를 저감시킬 수 있다.

또한, 통신 측정부(37)에 의해 계측한 통신 부하가 소정의 기준 범위 미만이라고 판단한 경우(스텝 S17, "예"), 통신 설정부(36)는, 각 단말 장치로부터 보다 많은 데이터가 취득 가능하기 때문에, 각 단말 장치로부터 출력되는 데이터량을 완화하는 통신 설정의 파라미터를 판단한다(스텝 S18).

예를 들어, 상술한 예에서는, 출력해야 할 추적 결과 후보의 신뢰도에 대한 임계값을 내리거나, 추적 결과 후보의 최대 출력수의 설정을 증가시키거나 하는 설정을 생각할 수 있다. 공급되는 데이터량의 증가가 예상되는 파라미터(단말 장치로부터의 출력 데이터를 완화하는 파라미터)를 판정하면, 통신 설정부(36)는, 그 판정한 파라미터를 각 단말 장치(2)에 대하여 설정한다(스텝 S19). 이에 의해, 각 단말 장치(2)로부터의 출력되는 데이터량이 증가하기 때문에 서버(3)에서는, 보다 많은 데이터가 얻어진다.

상기와 같은 통신 설정 처리에 의하면, 자동 설정인 경우에는, 서버는, 통신 부하에 따라 각 단말 장치로부터의 데이터량을 조정할 수 있다.

감시 장치(4)는, 추적 결과 관리부(33)에서 관리하고 있는 추적 결과와 추적 결과에 대응하는 화상을 표시하는 표시부(43)와 오퍼레이터로부터 입력을 접수하는 조작부(44)를 갖는 사용자 인터페이스이다. 예를 들어, 감시 장치(4)는, 표시부와 키보드 혹은 포인팅 디바이스를 구비한 PC, 혹은, 터치 패널 내용의 표시 장치 등으로 구성할 수 있다. 즉, 감시 장치(4)에서는, 오퍼레이터의 요구에 따라 추적 결과 관리부(33)에서 관리하고 있는 추적 결과와 당해 추적 결과에 대응하는 화상을 표시한다.

도 6은, 감시 장치(4)의 표시부(43)에 있어서의 표시예를 도시하는 도면이다. 도 6에 나타내는 표시예와 같이, 감시 장치(4)에서는, 표시부(43)에 표시된 메뉴에 따라 오퍼레이터가 지시한 원하는 일시 혹은 원하는 장소에 있어서의 동화상을 표시하는 기능을 갖는다. 또한, 감시 장치(4)는, 도 6에 도시한 바와 같이, 소정의 시간에서 추적 결과가 있을 경우에는 그 추적 결과를 포함하는 촬영 영상의 화면 A를 표시부(43)에 표시한다.

또한, 추적 결과의 후보가 복수인 경우, 감시 장치(4)는, 복수의 추적 결과 후보가 있는 취지를 안내 화면 B에서 표시하고, 그들의 추적 결과 후보를 오퍼레이터가 선택하기 위한 아이콘 C1, C2를 일람으로서 표시한다. 또한, 오퍼레이터가 추적 결과 후보의 아이콘을 선택하면, 선택된 아이콘의 추적 결과 후보에 맞추어 추적을 행하도록 해도 좋다. 또한, 오퍼레이터가 추적 결과 후보의 아이콘을 선택한 경우, 그 이후, 그 시각의 추적 결과는, 오퍼레이터가 선택한 아이콘에 대응하는 추적 결과를 표시하도록 한다.

도 6에 나타내는 표시예에서는, 촬영 영상의 화면 A에는, 화면 A의 바로 아래에 설치된 시크 바, 혹은, 각종 조작 버튼을 오퍼레이터가 선택함으로써 재생하거나, 원점으로 돌아오거나, 임의의 시간의 영상을 표시시키거나 하는 것이 가능하다. 또한, 도 6에 나타내는 표시예에서는, 표시 대상으로 되는 카메라의 선택란 E 및, 검색 대상으로 하는 시각의 입력란 D도 설정되어 있다. 또한, 촬영 영상의 화면 A에는, 추적 결과 및 얼굴의 검출 결과를 나타내는 정보로서, 각 인물의 얼굴에 대한 추적 결과(궤적)를 나타내는 선 a1, a2 및, 각 인물의 얼굴의 검출 결과를 나타내는 프레임 b1, b2도 표시되어 있다.

또한, 도 6에 나타내는 표시예에서는, 영상 검색을 위한 키 정보로서는, 추적 결과에 대한 「추적 개시 시각」, 혹은 「추적 종료 시각」을 지정하는 것이 가능하다. 또한, 영상 검색을 위한 키 정보로서는, 추적 결과에 포함되는 촬영 장소의 정보(지정 장소를 지나간 사람을 영상 중에서 검색하기 위해서)를 지정하거나 하는 것도 가능하다. 또한, 도 6에 나타내는 표시예에서는, 추적 결과를 검색하기 위한 버튼 F도 설치되어 있다. 예를 들어, 도 6에 나타내는 표시예에 있어서, 버튼 F를 지시함으로써, 다음에 인물을 검출한 추적 결과로 점프하는 것 등도 가능하다.

도 6에 도시한 바와 같은 표시 화면에 의하면, 추적 결과 관리부(33)에 관리되고 있는 영상 중에서 임의의 추적 결과를 용이하게 찾을 수 있어, 추적 결과가 복잡하여 틀리기 쉬울 경우에도 오퍼레이터에 의한 육안의 확인에 의해 수정하거나, 올바른 추적 결과를 선택하거나 하는 인터페이스를 제공할 수 있다.

상기와 같은, 제1 실시예에 관한 인물 추적 시스템은, 감시 영상 중의 이동 물체를 검출하여 추적하여, 이동 물체의 영상을 기록하는 이동 물체 추적 시스템에 적용할 수 있다. 상기와 같은 제1 실시예를 적용한 이동 물체 추적 시스템에서는, 이동 물체의 추적 처리에 대한 신뢰도를 구하고, 신뢰도가 높은 추적 결과에 대해서는 하나의 추적 결과를 출력하고, 신뢰도가 낮은 경우에는 복수의 추적 결과 후보로서 영상을 기록해 둘 수 있다. 이 결과로서, 상기와 같은 이동 물체 추적 시스템에서는, 기록된 영상을 나중에 검색하면서 추적 결과 혹은 추적 결과의 후보를 표시하거나 오퍼레이터가 선택하거나 하는 것이 가능해진다.

이어서, 제2 실시예에 대하여 설명한다.

도 7은, 제2 실시예에 관한 인물 추적 장치로서 인물 추적 시스템의 하드웨어 구성예를 도시하는 도면이다.

제2 실시예에서는, 감시 카메라로 촬영한 인물의 얼굴을 검출 대상(이동 물체)으로서 추적하고, 추적한 인물과 미리 등록되어 있는 복수의 인물과 일치할지 여부를 식별하고, 식별 결과를 추적 결과와 함께 기록 장치에 기록하는 시스템이다. 도 7에 나타내는 제2 실시예로서의 인물 추적 시스템은, 도 2에 도시하는 구성에 인물 식별부(38)와 인물 정보 관리부(39)를 첨가한 구성으로 되어 있다. 이로 인해, 도 2에 도시하는 인물 추적 시스템과 마찬가지의 구성에 대해서는, 동일지점에 동일 부호를 붙여 상세한 설명을 생략한다.

도 7에 나타내는 인물 추적 시스템의 구성예에 있어서, 인물 식별부(38)는, 이동 물체로서의 인물을 식별(인식)한다. 인물 정보 관리부(39)는, 미리 식별하고 싶은 인물의 특징 정보로서 얼굴 화상에 관한 특징 정보를 기억하여 관리한다. 즉, 인물 식별부(38)는, 입력된 화상으로부터 검출된 이동 물체로서의 얼굴 화상의 특징 정보와 인물 정보 관리부(39)에 등록되어 있는 인물의 얼굴 화상의 특징 정보를 비교함으로써, 입력 화상으로부터 검출한 이동 물체로서의 인물을 식별한다.

본 실시예의 인물 추적 시스템에 있어서, 인물 식별부(38)에서는, 추적 결과 관리부(33)에서 관리하고 있는 얼굴을 포함하는 화상과 인물(얼굴)의 추적 결과(좌표 정보)를 바탕으로, 동일 인물이라고 판단되어 있는 복수의 화상군을 이용하여 인물을 식별하기 위한 특징 정보를 계산한다. 이 특징 정보는, 예를 들어 이하의 방법에 의해 산출된다. 우선, 얼굴 화상에 있어서 눈, 코, 입 등의 부품을 검출하고, 검출된 부품의 위치를 바탕으로, 얼굴 영역을 일정한 크기, 형상으로 잘라내고, 그 농담 정보를 특징량으로서 사용한다. 예를 들어, m 픽셀×n 픽셀의 영역의 농담값을, 그대로 m×n차원의 정보로 이루어지는 특징 벡터로서 사용한다. 이들은, 단순 유사도법이라고 하는 방법에 의해 벡터와 벡터의 길이를 각각 1로 하도록 정규화를 행하고, 내적을 계산함으로써 특징 벡터간의 유사성을 나타내는 유사도가 구해진다. 1매의 화상으로 인식 결과를 내는 처리이면, 이것으로 특징 추출은 완료한다.

단, 연속한 복수의 화상을 이용한 동화상에 의한 계산을 함으로써 보다 정밀도가 높은 인식 처리를 행할 수 있다. 이로 인해, 본 실시예에서는, 이쪽 방법을 상정하여 설명한다. 즉, 연속하여 얻어진 입력 화상으로부터 특징 추출 수단과 마찬가지로 m×n 픽셀의 화상을 잘라내고, 이들의 데이터를 특징 벡터의 상관 행렬을 구하고, K-L 전개에 의한 정규 직교 벡터를 구함으로써, 연속한 화상으로부터 얻어지는 얼굴의 특징을 나타내는 부분 공간을 계산한다.

부분 공간의 계산법은, 특징 벡터의 상관 행렬(또는 공분산 행렬)을 구하고, 그 K-L 전개에 의한 정규 직교 벡터(고유 벡터)를 구함으로써, 부분 공간을 계산한다. 부분 공간은, 고유값에 대응하는 고유 벡터를, 고유값의 큰 순서대로 k개 선정, 그 고유 벡터 집합을 사용하여 표현한다. 본 실시예에서는, 상관 행렬 Cd를 특징 벡터로부터 구하고, 상관 행렬 Cd =Φd Λd Φd T 와 대각화하고, 고유 벡터의 행렬Φ을 구한다. 이 정보가 현재 인식 대상으로 하고 있는 인물의 얼굴의 특징을 나타내는 부분 공간이 된다. 또한, 상기와 같은 특징 정보를 계산하는 처리는, 인물 식별부(38) 내에서 할 수도 있지만, 카메라측의 얼굴 추적부(27) 중에서 처리를 하도록 해도 좋다.

또한, 상술한 방법에서는 복수 프레임을 이용하여 특징 정보를 계산하는 실시예를 설명했지만, 인물을 추적하여 얻어지는 복수의 프레임 중에서 가장 식별 처리에 적합하다고 생각되는 프레임을 1매 또는 복수매 선택하여 식별 처리를 행하는 방법을 이용해도 좋다. 그 경우는 얼굴의 방향을 구하여 정면에 가까운 것을 우선적으로 선택하거나, 얼굴의 크기가 가장 큰 것을 선택하는 등, 얼굴 상태가 바뀌는 지표이면, 어떤 지표를 사용하여 프레임을 선택하는 방법을 적용해도 좋다.

또한, 특징 추출 수단에서 얻어진 입력 부분 공간과 미리 등록된 하나 또는 복수의 부분 공간과의 유사도를 비교함으로써, 미리 등록된 인물이 현재의 화상 중에 있는지 판정하는 것이 가능해진다. 부분 공간끼리의 유사성을 구하는 계산 방법은, 부분 공간법이나 복합 유사도법 등의 방법을 사용하여 좋다. 본 실시예에서의 인식 방법은, 예를 들어 문헌(마에다 겐이치, 와타나베 사다까즈: 「국소적 구조를 도입한 패턴·매칭법」, 전자 정보 통신 학회 논문지(D), vol.J68-D, No.3, pp345-352(1985))에 기재된 상호 부분 공간법이 적용 가능하다. 이 방법에서는, 미리 축적된 등록 정보 중 인식 데이터도, 입력되는 데이터도 복수의 화상으로부터 계산되는 부분 공간으로서 표현되어, 2개의 부분 공간이 이루는 「각도」를 유사도로서 정의한다. 여기서 입력되는 부분 공간을 입력 수단분 공간이라고 한다. 입력 데이터 열에 대하여 마찬가지로 상관 행렬 Cin을 구하고, Cin=ΦinΛinΦinT와 대각화하고, 고유 벡터 Φin을 구한다. 2개의 Φin, Φd 로 표현되는 부분 공간의 부분 공간간 유사도(0.0 내지 1.0)를 구하고, 이것을 인식하기 위한 유사도로 한다.

복수의 얼굴이 화상 내에 존재하는 경우에는, 각각 순서대로 인물 정보 관리부(39)에 등록되어 있는 얼굴 화상의 특징 정보와의 유사도 계산을 순차 순환 대기 방식으로 계산하면, 모든 인물에 대한 결과를 얻을 수 있다. 예를 들어, X명의 인물이 걸어 왔을 때에 Y명의 사전이 존재하면 X×Y회의 유사도 연산을 행함으로써 X명 전원의 결과를 출력할 수 있다. 또한, m매의 화상이 입력된 계산 결과에서 인식 결과를 출력할 수 없을 경우(등록자의 누구라고도 판정되지 않고 다음 프레임을 취득하여 계산한 경우에는 상기 부분 공간에 입력되는 상관 행렬을 그 프레임의 1개분을 과거의 복수의 프레임으로 작성된 상관 행렬의 합에 추가하고, 다시 고유 벡터 계산, 부분 공간 작성을 행하여 입력측의 부분 공간의 갱신이 가능해진다. 즉 보행자의 얼굴 화상을 연속하여 촬영하여 대조를 행하는 경우, 화상을 1매씩 취득하여 부분 공간을 갱신하면서 대조 계산을 해 나감으로써 서서히 정밀도가 높아지는 계산도 가능해진다.

또한, 추적 결과 관리부(33)에 동일한 씬으로 복수의 추적 결과가 관리되고 있는 경우, 복수의 인물 식별 결과를 계산하는 것도 가능해진다. 그 계산을 할지의 여부는, 감시 장치(4)의 조작부(44)에 의해 오퍼레이터가 지시하도록 해도 좋고, 항상 결과를 구해 둘 필요한 정보를 오퍼레이터의 지시에 따라 선택적으로 출력하도록 해도 좋다.

인물 정보 관리부(39)는, 인물을 식별(동정)하기 위하여 입력되는 화상으로부터 얻어지는 특징 정보를 인물마다 관리한다. 여기에서는, 인물 정보 관리부(39)는, 인물 식별부(38)에서 설명한 처리로 만들어진 특징 정보를 데이터베이스로서 관리하는 것이며, 본 실시예에서는 입력 화상으로부터 얻어지는 특징 정보와 동일한 특징 추출을 한 후의 m×n의 특징 벡터인 것을 상정하지만, 특징 추출을 하기 전의 얼굴 화상이어도 좋고, 이용하는 부분 공간 혹은 KL 전개를 행하기 직전의 상관 행렬이어도 상관없다. 이들은, 개인을 식별하기 위한 개인 ID 번호를 키로서 축적한다. 여기서 등록되는 얼굴의 특징 정보는, 1명당 하나라도 좋고, 상황에 따라 전환하여 동시에 인식에 이용할 수 있도록 복수의 얼굴의 특징 정보를 유지하고 있어도 좋다.

감시 장치(4)는, 제1 실시예에서 설명한 것과 마찬가지로, 추적 결과 관리부(33)에서 관리되고 있는 추적 결과와 추적 결과에 대응하는 화상을 표시한다. 도 8은, 제2 실시예로서의 감시 장치(4)의 표시부(43)에 표시되는 표시예를 도시하는 도면이다. 제2 실시예에서는, 카메라가 촬영한 화상으로부터 검출된 인물을 추적할 뿐만 아니라, 검출된 인물을 식별하는 처리를 행한다. 이로 인해, 제2 실시예에서는, 감시 장치(4)는, 도 8에 도시한 바와 같이, 추적 결과 및 추적 결과에 대응하는 화상 외에, 검출한 인물의 식별 결과등을 나타내는 화면을 표시하게 되어 있다.

즉, 도 8에 나타내는 표시예에 있어서, 표시부(43)에는, 각 카메라가 촬영한 영상에 있어서의 대표적인 프레임의 화상을 순차 표시하기 위한 입력 화상의 이력 표시란 H에 표시된다. 도 8에 나타내는 표시예에서는, 이력 표시란 H에는, 카메라(1)에 의해 촬영된 화상으로부터 검출된 이동 물체로서의 인물의 얼굴 화상의 대표 화상이, 촬영 장소와 시간에 대응시켜 표시되어 있다. 또한, 이력 표시부 H에 표시된 인물의 얼굴 화상은, 오퍼레이터가 조작부(44)에 의해 선택하는 것이 가능하다.

이력 표시부 H에 표시된 하나의 인물의 얼굴 화상을 선택하면, 선택한 입력 화상은, 식별 대상으로 된 인물의 얼굴 화상을 나타내는 입력 화상란 I에 표시된다. 입력 화상란 I는, 인물의 검색 결과란 J에 배열하여 표시된다. 검색 결과란 J에는, 입력 화상란 I에 표시된 얼굴 화상에 유사하는 등록 완료된 얼굴 화상이 일람에서 표시된다. 검색 결과란 J에 표시되는 얼굴 화상은, 사전에 인물 정보 관리부(39)에 등록되어 있는 인물의 얼굴 화상 중 입력 화상란 I에 표시된 얼굴 화상과 유사하는 등록 얼굴 화상이다.

또한, 도 8에 나타내는 표시예에서는, 입력 화상과 일치하는 인물의 후보가 되는 얼굴 화상을 일람 표시하고 있지만, 검색 결과로서 얻어진 후보에 대한 유사도가 소정의 임계값 이상이면, 색을 바꾸어서 표시하거나, 소리 등의 알람을 적응시키거나 하는 것도 가능하다. 이에 의해, 카메라(1)로 촬영한 화상으로부터 소정의 인물이 검출된 것을 통지하는 것도 가능하다.

또한, 도 8에 나타내는 표시예에서는, 입력 화상의 이력 표시란 H에 표시된 입력 얼굴 화상의 하나가 선택된 경우, 선택된 얼굴 화상(입력 화상)이 검출된, 카메라(1)에 의한 촬영 영상을 동시에 영상 표시란 K에 표시한다. 이에 의해, 도 8에 나타내는 표시예에서는, 인물의 얼굴 화상뿐만 아니라, 그 촬영 장소에 있어서의 당해 인물의 거동 혹은 주변의 모습등도 용이하게 확인하는 것이 가능해진다. 즉, 이력 표시란 H로부터 하나의 입력 화상이 선택된 경우, 도 8에 도시한 바와 같이, 그 선택된 입력 화상의 촬영시를 포함하는 동화상을 영상 표시란 K에 표시함과 함께, 입력 화상에 대응하는 인물의 후보자를 나타내는 프레임 K1을 표시한다. 또한, 여기에서는, 서버(3)에는, 단말 장치(2)로부터 카메라(1)로 촬영한 영상 전체도 공급되어, 기억부(33a) 등에 기억되는 것으로 한다.

또한, 추적 결과가 복수인 경우에는, 복수의 추적 결과 후보가 있는 취지를 안내 화면 L로 표시하고, 그들 추적 결과 후보를 오퍼레이터가 선택하기 위한 아이콘 M1, M2를 일람으로 표시한다. 오퍼레이터가 어느 하나의 아이콘 M1, M2를 선택하면, 상기한 인물 검색란에 표시되는 얼굴 화상과 동화상에 대해서도, 선택된 아이콘에 대응하는 추적 결과에 맞춰서 표시 내용이 갱신되도록 할 수 있다. 이것은, 추적 결과가 상이하게 됨으로써, 검색에 이용되는 화상군도 상이할 가능성이 있기 때문이다. 이러한 검색 결과의 변화의 가능성이 있는 경우라도, 도 8에 나타내는 표시예에서는, 오퍼레이터가 육안으로 확인을 하면서 복수의 추적 결과의 후보를 확인하는 것이 가능해진다.

또한, 추적 결과 관리부에서 관리되고 있는 영상에 대해서는, 제1 실시예에서 설명한 것과 마찬가지로 영상 검색이 가능하다.

이상과 같이, 제2 실시예의 인물 추적 시스템은, 카메라가 촬영하는 감시 영상 중의 이동 물체를 검출하여 추적함과 함께, 추적한 이동 물체를 사전에 등록해 둔 정보와 비교함으로써 식별을 하는 이동 물체 추적 시스템으로서 적용할 수 있다. 제2 실시예를 적용한 이동 물체 추적 시스템에서는, 이동 물체의 추적 처리에 대한 신뢰도를 구하고, 신뢰도가 높은 추적 결과에 대해서는 하나의 추적 결과를 바탕으로 추적한 이동 물체의 식별 처리를 행하고, 신뢰도가 낮은 경우에는 복수의 추적 결과를 바탕으로 추적한 이동 물체의 식별 처리를 행한다.

이에 의해, 제2 실시예를 적용한 이동 물체 추적 시스템에서는, 신뢰도가 낮은 경우등의 추적 결과로서 실수가 발생하기 쉬운 경우에는, 복수의 추적 결과 후보에 기초하는 화상군으로부터 인물의 식별 처리를 행할 수 있고, 시스템의 관리자 혹은 오퍼레이터에 대하여 영상의 촬영 장소에서 추적한 이동 물체에 관한 정보(이동 물체의 추적 결과 및 이동 물체의 식별 결과)를 정확하고 확인하기 쉽게 표시할 수 있다.

이어서, 제3 실시예에 대하여 설명한다.

제3 실시예에서는, 상기 제1 및 제2 실시예에서 설명한 인물 추적 시스템의 얼굴 추적부(27)에 있어서의 처리 등에 적용할 수 있는 처리를 포함하는 것이다.

도 9는, 제3 실시예로서 인물 추적 시스템의 구성예를 도시하는 도면이다. 도 9에 나타내는 구성예에서는, 인물 추적 시스템은, 카메라(51), 단말 장치(52) 및 서버(53) 등의 하드웨어에 의해 구성된다. 카메라(51)는, 감시 영역의 영상을 촬영하는 것이다. 단말 장치(52)는, 추적 처리를 행하는 클라이언트 장치이다. 서버(53)는, 추적 결과를 관리하거나, 표시하거나 하는 장치이다. 단말 장치(52)와 서버(53)는, 네트워크에 의해 접속된다. 카메라(51)와 단말 장치(52)는, 네트워크 케이블에서 접속하도록 해도 좋고, NTSC 등의 카메라용 신호 케이블을 이용하여 접속해도 좋다.

또한, 단말 장치(52)는, 도 9에 도시한 바와 같이, 제어부(61), 화상 인터페이스(62), 화상 메모리(63), 처리부(64) 및 네트워크 인터페이스(65)를 갖는다. 제어부(61)는, 단말 장치(2)의 제어를 담당한다. 제어부(61)는, 프로그램에 따라 동작하는 프로세서 및 프로세서가 실행하는 프로그램을 기억하는 메모리 등에 의해 구성된다. 화상 인터페이스(62)는, 카메라(51)로부터 이동 물체(인물의 얼굴)를 포함하는 화상을 취득하는 인터페이스이다. 화상 메모리(63)는, 예를 들어 카메라(51)로부터 취득한 화상을 기억한다. 처리부(64)는, 입력된 화상을 처리하는 처리부이다. 네트워크 인터페이스(65)는 네트워크를 통해 서버와 통신을 행하기 위한 인터페이스이다.

처리부(64)는 프로그램을 실행하는 프로세서 및 프로그램을 기억하는 메모리 등에 의해 구성한다. 즉, 처리부(64)는, 프로세서가 메모리에 기억한 프로그램을 실행함으로써 각종 처리 기능을 실현한다. 도 9에 나타내는 구성예에 있어서, 처리부(64)는, 프로세서가 프로그램을 실행함으로써 실현하는 기능으로서, 얼굴 검출부(72), 얼굴 검출 결과 축적부(73), 추적 결과 관리부(74), 그래프 작성부(75), 가지 가중치 계산부(76), 최적 패스 집합 계산부(77), 추적 상태 판정부(78) 및 출력부(79) 등을 갖는다.

얼굴 검출부(72)는, 입력된 화상에 이동 물체(인물의 얼굴)가 포함되는 경우는 이동 물체의 영역을 검출하는 기능이다. 얼굴 검출 결과 축적부(73)는, 검출한 추적 대상으로서의 이동 물체를 포함하는 화상을 과거 수 프레임에 걸쳐 축적하는 기능이다. 추적 결과 관리부(74)는, 추적 결과를 관리하는 기능이다. 추적 결과 관리부(74)는, 후술하는 처리에서 얻어지는 추적 결과를 축적하여 관리하고, 이동 도중의 프레임에서 검출이 실패한 경우에 다시 추적 후보로서 추가하거나, 혹은, 출력부에 의해 처리 결과를 출력시키거나 한다.

그래프 작성부(75)는, 얼굴 검출 결과 축적부(73)에 축적된 얼굴 검출 결과와 추적 결과 관리부(74)에 축적된 추적 결과의 후보로부터 그래프를 작성하는 기능이다. 가지 가중치 계산부(76)는, 그래프 작성부(75)에 의해 작성한 그래프의 가지에 가중치를 할당하는 기능이다. 최적 패스 집합 계산부(77)는 그래프 중에서 목적 함수를 최적으로 하는 패스의 조합을 계산하는 기능이다. 추적 상태 판정부(78)는, 추적 결과 관리부(74)에서 축적하여 관리되어 있는 추적 대상의 사이에 물체(얼굴)의 검출이 실패한 프레임이 있을 경우, 추적 도중에 중단된 것인지 화면으로부터 없어져서 추적을 종료한 것인지를 판정하는 기능이다. 출력부(79)는, 추적 결과 관리부(74)로부터 출력되는 추적 결과 등의 정보를 출력하는 기능이다.

이어서, 각 부의 구성 및 동작에 대하여 상세하게 설명한다.

화상 인터페이스(62)는, 추적 대상으로 되는 인물의 얼굴을 포함하는 화상을 입력하는 인터페이스이다. 도 9에 나타내는 구성예에서는, 화상 인터페이스(62)는, 감시 대상으로 되는 에리어를 촬영하는 카메라(51)가 촬영한 영상을 취득한다. 화상 인터페이스(62)는, 카메라(51)로부터 취득한 화상을 A/D 변환기에 의해 디지털화하여 얼굴 검출부(72)에 공급한다. 화상 인터페이스(62)가 입력한 화상(카메라(51)로 촬영한 얼굴 화상을 1매, 복수매 또는 동화상)은, 추적 결과 혹은 얼굴의 검출 결과를 감시원이 육안으로 확인할 수 있도록, 처리부(64)에 의한 처리 결과에 대응짓고, 서버(53)에 송신한다. 또한, 각 카메라(51)와 각 단말 장치(2)를 통신 회선(네트워크)을 통하여 접속하는 경우, 화상 인터페이스(62)는, 네트워크 인터페이스와 A/D 변환기에 의해 구성하도록 해도 좋다.

얼굴 검출부(72)는, 입력 화상 내에서, 하나 또는 복수의 얼굴을 검출하는 처리를 행한다. 구체적인 처리 방법으로서는, 제1 실시예에서 설명한 방법을 적용할 수 있다. 예를 들어, 미리 준비된 템플릿을 화상 내에서 이동시키면서 상관값을 구함으로써, 가장 높은 상관값을 부여하는 위치를 얼굴 영역으로 한다. 그 외, 얼굴 검출부(72)에는, 고유 공간법이나 부분 공간법을 이용한 얼굴 추출법 등을 적용하는 것도 가능하다.

얼굴 검출 결과 축적부(73)에서는, 추적 대상으로 하는 얼굴의 검출 결과를 축적하여 관리한다. 본 제3 실시예에서는, 카메라(51)가 촬영하는 영상에 있어서의 각 프레임의 화상을 입력 화상으로 하고, 얼굴 검출부(72)에 의해 얻어지는 얼굴 검출 결과의 개수, 동화상의 프레임 번호 및, 검출된 얼굴의 수만큼 「얼굴 정보」를 관리한다. 「얼굴 정보」로서는, 입력 화상 내에 있어서의 얼굴의 검출 위치(좌표), 추적된 동일 인물마다 부여되는 식별 정보(ID 정보), 검출된 얼굴 영역의 부분 화상(얼굴 화상) 등의 정보가 포함되어 있는 것으로 한다.

예를 들어, 도 10은, 얼굴 검출 결과 축적부(73)가 축적하는 얼굴의 검출 결과를 나타내는 데이터의 구성예를 도시하는 도면이다. 도 10에 도시하는 예에서는 3개의 프레임(t-1, t-2, t-3)에 대한 얼굴 검출 결과의 데이터를 나타내고 있다. 도 10에 도시하는 예에 있어서, t-1의 프레임의 화상에 대하여는, 검출된 얼굴의 수가 「3」개인 것을 나타내는 정보와 그들 3개의 얼굴에 대한 「얼굴 정보」가 얼굴 검출 결과의 데이터로서 얼굴 검출 결과 축적부(73)에 축적되어 있다. 또한, 도 10에 도시하는 예에 있어서, t-2의 프레임의 화상에 대해서는 검출된 얼굴 화상의 수가 「4」개인 것을 나타내는 정보와, 그들 4개의 「얼굴 정보」가 얼굴 검출 결과의 데이터로서 얼굴 검출 결과 축적부(73)에 축적되어 있다. 또한, 도 10에 도시하는 예에 있어서, t-3의 프레임의 화상에 대해서, 검출된 얼굴 화상의 수가 「2」개인 것을 나타내는 정보와, 그들 2개의 「얼굴 정보」가 얼굴 검출 결과의 데이터로서 얼굴 검출 결과 축적부(73)에 축적되어 있다. 또한, 도 10에 도시하는 예에 있어서는, t-T의 프레임의 화상에 대하여는 2개의 「얼굴 정보」, t-T-1의 프레임의 화상에 대하여는 2개의 「얼굴 정보」, t-T-T'의 프레임의 화상에 대하여는 3개의 「얼굴 정보」가 얼굴 검출 결과의 데이터로서 얼굴 검출 결과 축적부(73)에 축적되어 있다.

추적 결과 관리부(74)에서는, 추적 결과 혹은 검출 결과를 기억하여 관리한다. 예를 들어, 추적 결과 관리부(74)는, 직전의 프레임(t-1)부터 t-T-T'의 프레임(T>=0과 T'>=0은 파라미터)까지의 사이에서, 추적 혹은 검출된 정보를 관리한다. 이 경우, t-T의 프레임 화상까지는, 추적 처리의 대상으로 되는 검출 결과를 나타내는 정보가 기억되어, t-T-1부터 t-T-T'까지의 프레임에 대해서는, 과거의 추적 결과를 나타내는 정보가 기억된다. 또한, 추적 결과 관리부(74)는, 각 프레임의 화상에 대한 얼굴 정보를 관리하도록 해도 좋다.

그래프 작성부(75)에서는, 얼굴 검출 결과 축적부(73)에 축적된 얼굴 검출 결과의 데이터와 추적 결과 관리부(74)에서 관리되고 있는 추적 결과(선별된 추적 대상 정보)에 대응하는 정점(얼굴의 검출 위치) 외에, 「추적 도중의 검출 실패」, 「소멸」 및 「출현」의 각 상태에 대응하는 정점으로 이루어지는 그래프를 작성한다. 여기에서 말하는 「출현」이란, 직전의 프레임의 화상에 존재하지 않은 인물이 후의 프레임 화상에 새롭게 나타난 상태를 의미한다. 또한, 「소멸」이란, 직전의 프레임 화상 내에 존재한 인물이 후의 프레임 화상에 존재하지 않는 상태를 의미한다. 또한, 「추적 도중의 검출 실패」란, 프레임 화상 내에 존재하고 있을 터이지만, 얼굴의 검출에 실패한 상태인 것을 의미한다. 또한, 부가하는 정점으로서는 「false positive」를 고려해도 좋다. 이것은 얼굴이 아닌 물체를 잘못하여 얼굴로서 검출해 버린 상태를 의미한다. 이 정점을 부가함으로써 검출 정밀도에 의한 추적 정밀도의 저하를 방지하는 효과를 얻을 수 있다.

도 11은, 그래프 작성부(75)에 의해 작성되는 그래프의 예를 나타내는 도면이다. 도 11에 도시하는 예에서는, 시계열의 복수 화상에 있어서 검출된 얼굴과 출현과 소멸과 검출 실패를 각각 노드로 한 가지(패스)의 조합을 나타내고 있다. 또한, 도 11에 도시하는 예에서는, 추적을 마친 추적 결과를 반영하고, 추적을 마친 패스가 특정되어 있는 상태를 나타내고 있다. 도 11에 도시하는 것 같은 그래프가 얻어지면, 후단의 처리에서는, 그래프에 나타나는 패스 중 어느 하나의 패스가 추적 결과로 확실한지를 판정한다.

도 11에 도시한 바와 같이, 본 인물 추적 시스템에서는, 추적 처리에 있어서 추적 도중의 화상에 있어서의 얼굴의 검출 실패에 대응한 노드를 추가하도록 한 것이다. 이에 의해, 본 실시예의 이동 물체 추적 시스템으로서의 인물 추적 시스템에서는, 추적 도중에 일시적으로 검출할 수 없는 프레임 화상이 있는 경우에도, 그 전후의 프레임 화상에서 추적 중의 이동 물체(얼굴)와 정확하게 대응지어 확실하게 이동 물체(얼굴)의 추적을 계속할 수 있다고 하는 효과가 얻어진다. 가지 가중치 계산부(76)에서는, 그래프 작성부(75)로 설정한 가지(패스)에 가중치, 즉, 어떤 실수값을 설정한다. 이것은, 얼굴 검출 결과끼리가 대응지을 확률 p(X)와 대응짓지 않을 확률 q(X)의 양쪽을 고려함으로써, 정밀도가 높은 추적을 실현 가능하게 하는 것이다. 본 실시예에서는, 대응지을 확률 p(X)와 대응짓지 않을 확률 q(X)의 비의 대수를 취함으로써 가지 가중치를 산출하는 예에 대하여 설명한다.

단, 가지 가중치는, 대응지을 확률 p(X)와 대응짓지 않을 확률 q(X)를 고려하여 산출하는 것이면 된다. 즉, 가지 가중치는, 대응지을 확률 p(X)와 대응짓지 않을 확률 q(X)의 상대적인 관계를 나타내는 값으로서 산출되는 것이면 된다. 예를 들어, 가지 가중치는, 대응지을 확률 p(X)와 대응짓지 않을 확률 q(X)의 감산으로 해도 좋고, 대응지을 확률 p(X)와 대응짓지 않을 확률 q(X)를 사용하여 가지 가중치를 산출하는 함수를 작성해 두고, 그 소정의 함수에 의해 가지 가중치를 산출하도록 해도 좋다.

또한, 대응지을 확률 p(X) 및 대응짓지 않을 확률 q(X)는, 특징량 혹은 확률 변수로서, 얼굴 검출 결과끼리의 거리, 얼굴의 검출 프레임의 크기비, 속도 벡터, 색 히스토그램의 상관값 등을 사용하여 얻을 수 있어, 적당한 학습 데이터에 의해 확률 분포를 추정해 둔다. 즉, 본 인물 추적 시스템에서는, 각 노드가 대응지을 확률뿐만 아니라, 대응짓지 않을 확률도 가미함으로써, 추적 대상의 혼동을 방지할 수 있다.

예를 들어, 도 12는, 어떤 프레임 화상에서 검출된 얼굴의 위치에 대응하는 정점 u와 그 프레임에 연속하는 프레임 화상에서 검출된 얼굴의 위치로서의 정점 v가 대응지을 확률 p(X)와 대응짓지 않을 확률 q(X)의 예를 나타내는 도면이다. 도 12에 도시한 바와 같은 확률 p(X)와 확률 q(X)가 부여된 경우, 가지 가중치 계산부(76)는, 그래프 작성부(75)에 의해 작성되는 그래프에 있어서의 정점 u와 정점 v 사이의 가지 가중치를, 확률의 비 log(p(X)/q(X))에 의해 산출한다.

이 경우, 가지 가중치는, 확률 p(X) 및 확률 q(X)의 값에 따라, 이하와 같은 값으로 산출된다.

p(X)>q(X)=0인 경우(CASE A), log(p(X)/q(X))=+∞

p(X)>q(X)> 0인 경우(CASE B), log(p(X)/q(X))=+a(X)

q(X)≥p(X)> 0인 경우(CASE C), log(p(X)/q(X))=-b(X)

q(X)≥p(X)=0인 경우(CASE D), log(p(X)/q(X))=-∞

단, a(X)와 b(X)는 각각 음이 아닌 실제 수치값이다.

도 13은, 상술한 CASE A 내지 D와 같은 경우에 있어서의 가지 가중치의 값을 개념적으로 도시하는 도면이다.

CASE A의 경우, 대응짓지 않을 확률 q(X)가 「0」, 또한, 대응지을 확률 p(X)가 「0」이 아니므로, 가지 가중치가 +∞이 된다. 가지 가중치가 정의 무한대라고 하는 것은, 최적화 계산에 있어서, 반드시 가지가 선택되게 된다.

CASE B의 경우, 대응지을 확률 p(X)가 대응짓지 않을 확률 q(X)보다도 크기 때문에, 가지 가중치가 양의 값이 된다. 가지 가중치가 양의 값이라고 하는 것은, 최적화 계산에 있어서, 이 가지의 신뢰도가 높아져 선택되기 쉽게 된다.

CASE C의 경우, 대응지을 확률 p(X)가 대응짓지 않을 확률 q(X)보다도 작기 때문에, 가지 가중치가 음의 값이 된다. 가지 가중치가 음의 값이라고 하는 것은, 최적화 계산에 있어서, 이 가지의 신뢰도가 낮아져 선택되기 어렵게 된다.

CASE D의 경우, 대응짓는 확률 p(X)가 「0」이고, 또한, 대응짓지 않을 확률 q(X)가 「0」이 아니므로, 가지 가중치가 -∞이 된다. 가지 가중치가 양의 무한대라고 하는 것은, 최적화 계산에 있어서, 반드시 이 가지가 선택되지 않게 된다.

또한, 가지 가중치 계산부(76))에서는, 소멸할 확률, 출현할 확률 및, 추적 도중에 검출이 실패할 확률의 대수값에 의해, 가지의 가중치를 산출한다. 이들의 확률은, 사전에 해당하는 데이터(예를 들어, 서버(53)에 축적되는 데이터)를 사용한 학습에 의해 정해 두는 것이 가능하다. 또한, 대응지을 확률 p(X), 대응짓지 않을 확률 q(X) 중 어느 한쪽이 고정밀도로 추정할 수 없는 경우에도 p(X)=상수, 혹은 q(X)=상수라고 한 바와 같이 임의의 X의 값에 대하여 상수값을 취하도록 하면 대응이 가능하다.

최적 패스 집합 계산부(77)에서는, 그래프 작성부(75)로 작성한 그래프에 있어서의 패스의 조합에 대해서, 가지 가중치 계산부(76)로 계산한 가지 가중치를 할당한 값의 총합을 계산하고, 가지 가중치의 총합이 최대가 되는 패스의 조합을 계산(최적화 계산)한다. 이 최적화 계산은, 잘 알려진 조합 최적화의 알고리즘을 적용할 수 있다.

예를 들어, 가지 가중치 계산부(76)에서 설명한 바와 같은 확률을 사용하면, 최적 패스 집합 계산부(77)는, 최적화 계산에 의해 사후 확률이 최대인 패스의 조합을 구할 수 있다. 최적의 패스의 조합을 구함으로써, 과거의 프레임으로부터 추적이 계속된 얼굴, 새롭게 출현한 얼굴, 대응짓지 않은 얼굴이 얻어진다. 최적 패스 집합 계산부(77)는, 최적화 계산의 결과를 추적 결과 관리부(74)에 기록한다.

추적 상태 판정부(78)는, 추적 상태를 판정한다. 예를 들어, 추적 상태 판정부(78)는, 추적 결과 관리부(74)에 있어서 관리하고 있는 추적 대상에 대한 추적이 종료되었는지의 여부를 판정한다. 추적이 종료했다고 판정한 경우, 추적 상태 판정부(78)가 추적이 종료된 것을 추적 결과 관리부(74)에 통지함으로써, 추적 결과 관리부(74)로부터 출력부(79)에 추적 결과를 출력한다.

추적 대상 중에 이동 물체로서의 얼굴의 검출이 실패한 프레임이 있을 경우, 추적 도중에 중단(검출 실패)된 것인지 프레임 화상(촬영 화상)으로부터 소멸하여 추적을 종료한 것인지를 판정한다. 이러한 판정의 결과를 포함한 정보가 추적 상태 판정부(78)로부터 추적 결과 관리부(74)에 통지된다.

추적 상태 판정부(78)는, 추적 결과를 추적 결과 관리부(74)로부터 출력부(79)에 출력시키기 위한 기준으로서, 각 프레임에서 출력하는, 서버(53) 등으로부터의 문의가 있었을 때에 출력하는, 추적 대상으로 되는 인물이 화면내로부터 없어졌다고 판단된 시점에서 대응지은 복수 프레임에 걸친 추적 정보를 통합하여 출력하는, 일정 이상의 프레임에 걸쳐 추적한 경우에는 일단 종료 판정을 내려서 추적 결과를 출력하는, 등이 있다.

출력부(79)에서는, 추적 결과 관리부(74)에 있어서 관리되고 있는 추적 결과 등을 포함하는 정보를 영상의 감시 장치로서 기능하는 서버(53)에 출력하는 것이다. 또한, 당해 단말 장치(52)에 표시부 및 조작부 등을 갖는 사용자 인터페이스를 설정하여 오퍼레이터가 영상 및 추적 결과의 감시를 할 수 있도록 해도 좋다. 이 경우, 출력부(79)는, 추적 결과 관리부(74)에 있어서 관리되고 있는 추적 결과 등을 포함하는 정보를 단말 장치(52)의 사용자 인터페이스에서 표시하는 것도 가능하다.

또한, 출력부(79)는 추적 결과 관리부(74)에 있어서 관리되고 있는 정보로서, 얼굴의 정보, 즉, 화상 내에 있어서의 얼굴의 검출 위치, 동화상의 프레임 번호, 추적된 동일 인물마다 부여되는 ID 정보, 얼굴이 검출된 화상에 관한 정보(촬영 장소 등) 등의 정보를 서버(53)로 출력한다.

출력부(79)는, 예를 들어 동일 인물(추적한 인물)에 대해서, 복수 프레임에 걸치는 얼굴의 좌표, 크기, 얼굴 화상, 프레임의 번호, 시각, 특징을 통합한 정보, 혹은, 그들 정보와 디지털 비디오 리코더에 있어서의 기록 화상(화상 메모리(63) 등에 기억하는 영상)을 대응지은 정보 등을 출력하도록 해도 좋다. 또한, 출력하는 얼굴 영역 화상에 대해서는, 추적 중인 화상을 모두, 혹은 화상 중 소정의 조건에서 최적으로 된 것(얼굴의 크기, 방향, 눈을 뜨고 있는가, 조명 조건이 양호한가, 얼굴 검출 시의 얼굴다움의 정도가 높은가, 등)만을 다루도록 해도 좋다.

상기한 바와 같이 제3 실시예의 인물 추적 시스템에서는, 감시 카메라 등으로부터 입력되는 동화상의 각 프레임 화상으로부터 검출되는 대량의 얼굴 화상을 데이터베이스에 대조하는 경우에도, 불필요한 대조 횟수를 저감시키고, 시스템의 부하를 경감하는 것이 가능하게 됨과 함께, 동일 인물이 복잡한 움직임을 한 경우이어도 복수 프레임에 있어서의 얼굴의 검출 결과에 대하여 검출 실패의 상태를 포함하는 확실한 대응짓기를 행할 수 있어, 정밀도가 높은 추적 결과를 얻는 것이 가능해진다.

상기의 인물 추적 시스템은, 다수의 카메라로 촬영한 화상으로부터 복잡한 거동을 행하는 인물(이동 물체)을 추적하여, 네트워크에 있어서의 통신량의 부하를 저감시키면서, 서버에 인물의 추적 결과 등의 정보를 송신한다. 이에 의해, 추적 대상으로 하는 인물이 이동하고 있는 도중에 당해 인물의 검출에 실패한 프레임이 존재한 경우에도, 인물 추적 시스템에 의하면, 추적이 중단되지 않고 안정적으로 복수 인물의 추적을 행하는 것이 가능해진다.

또한, 인물 추적 시스템은, 인물(이동 물체)의 추적의 신뢰도에 따라 추적 결과의 기록, 혹은, 추적한 인물에 대한 식별 결과를 복수 관리할 수 있다. 이에 의해, 인물 추적 시스템에 의하면, 복수 인물을 추적하고 있을 때에, 다른 인물과 혼동하는 것을 방지하는 효과가 있다. 또한, 인물 추적 시스템에 의하면, 현 시점으로부터 N 프레임 만큼 과거로 거슬러 올라간 과거의 프레임 화상까지를 대상으로 한 추적 결과를 순서대로 출력한다는 의미에서 온라인 추적을 행할 수 있다.

상기의 인물 추적 시스템에서는, 추적을 정확하게 할 수 있을 경우에는 최적의 추적 결과를 바탕으로 영상의 기록 혹은 인물(이동 물체)의 식별을 할 수 있다. 또한, 상기의 인물 추적 시스템에서는, 추적 결과가 복잡하여 복수의 추적 결과 후보가 존재할 것 같다고 판정한 경우에는, 통신의 부하 상황 혹은 추적 결과의 신뢰도에 따라 추적 결과의 복수 후보를 오퍼레이터에 제시하거나, 영상의 기록, 표시,혹은 인물의 식별 등의 처리를 복수의 추적 결과 후보를 바탕으로 확실하게 실행하거나 하는 것이 가능해진다.

이하, 제4 실시예에 대하여 도면을 참조하여 설명한다.

제4 실시예는, 카메라로부터 얻어진 시계열의 복수 화상에 나타나는 이동 물체(인물)를 추적하는 이동 물체 추적 시스템(인물 추적 시스템)에 대하여 설명한다. 인물 추적 시스템은, 카메라가 촬영한 시계열의 복수 화상 내에서 인물의 얼굴을 검출하여 복수의 얼굴을 검출한 경우, 그들 인물의 얼굴을 추적한다. 제4 실시예에서 설명하는 인물 추적 시스템은, 이동 물체의 검출 방법을 이동 물체에 적합한 것으로 전환함으로써 다른 이동 물체(예를 들어, 차량, 동물 등)에 대한 이동 물체 추적 시스템에도 적용할 수 있다.

또한, 제4 실시예에 관한 이동 물체 추적 시스템은, 예를 들어 감시 카메라로부터 수집한 대량의 동화상 중에서 이동 물체(인물, 차량, 동물 등)를 검출하고, 그들 씬을 추적 결과와 함께 기록 장치에 기록하는 시스템이다. 또한, 제4 실시예에 관한 이동 물체 추적 시스템은, 감시 카메라로 촬영된 이동 물체(인물 혹은 차량 등)을 추적하고, 그 추적한 이동 물체와 사전에 데이터베이스에 등록되어 있는 사전 데이터를 대조하여 이동 물체를 식별하여 그 식별 결과를 통지하는 감시 시스템으로서도 기능한다.

이하에 설명하는 제4 실시예에 관한 인물 추적 시스템은, 적절히 설정되는 추적 파라미터를 적용한 추적 처리에 의해, 감시 카메라가 촬영한 화상 내에 존재하는 복수의 인물(인물의 얼굴)을 추적 대상으로 한다. 또한, 제4 실시예에 관한 인물 추적 시스템은, 인물의 검출 결과가 추적 파라미터의 추정에 적합한지 여부를 판단한다. 제4 실시예에 관한 인물 추적 시스템은, 추적 파라미터의 추정에 어울린다고 판단한 인물의 검출 결과를 추적 파라미터의 학습용 정보로 한다.

도 14는, 제4 실시예에 관한 인물 추적 시스템의 하드웨어 구성예를 도시하는 도면이다.

도 14에 도시하는 제4 실시예로서의 인물 추적 시스템은, 복수의 카메라(101(101A, 101B)), 복수의 단말 장치(102(102A, 102)), 서버(103) 및 감시 장치(104)를 갖는다. 도 14에 도시하는 카메라(101(101A, 101B)) 및 감시 장치(104)는, 상술한 도 2 등에 나타내는 카메라(1(1A, 1B)) 및 감시 장치(1)와 마찬가지의 것으로 실현할 수 있다.

단말 장치(102)는, 제어부(121), 화상 인터페이스(122), 화상 메모리(123), 처리부(124) 및 네트워크 인터페이스(125)를 갖는다. 제어부(121), 화상 인터페이스(122), 화상 메모리(123) 및 네트워크 인터페이스(125)의 구성은, 상술한 도 2 등에 나타내는 제어부(21), 화상 인터페이스(22), 화상 메모리(23) 및 네트워크 인터페이스(25)와 마찬가지의 것으로 실현할 수 있다.

또한, 처리부(124)는, 처리부(24)와 마찬가지로, 프로그램에 따라 동작하는 프로세서 및 프로세서가 실행하는 프로그램을 기억한 메모리 등에 의해 구성된다. 처리부(124)는, 처리 기능으로서, 입력한 화상에 이동 물체(인물의 얼굴)가 포함되는 경우는 이동 물체의 영역을 검출하는 얼굴 검출부(126)와 씬 선택부(127)를 갖는다. 얼굴 검출부(126)는, 얼굴 검출부(26)와 마찬가지의 처리를 행하는 기능을 갖는다. 즉, 얼굴 검출부(126)는, 입력한 화상으로부터 이동 물체로서의 인물의 얼굴을 나타내는 정보(이동 물체의 영역)를 검출한다. 또한, 씬 선택부(127)는, 얼굴 검출부(126)에 의해 검출된 검출 결과로부터, 후술하는 추적 파라미터의 추정에 이용하는 이동 물체의 이동 씬(이후, 간단히 씬이라고도 함)을 선택한다. 씬 선택부(127)에 대해서는, 나중에 상세하게 설명한다.

또한, 서버(103)는, 제어부(131), 네트워크 인터페이스(132), 추적 결과 관리부(133), 파라미터 추정부(135) 및 추적부(136)를 갖는다. 제어부(131), 네트워크 인터페이스(132) 및 추적 결과 관리부(133)는, 상술한 도 2 등에 나타내는 제어부(31), 네트워크 인터페이스(32) 및 추적 결과 관리부(33)와 마찬가지의 것으로 실현할 수 있다.

파라미터 추정부(135) 및 추적부(136)는 각각 프로그램에 따라 동작하는 프로세서 및 프로세서가 실행하는 프로그램을 기억한 메모리 등에 의해 구성된다. 즉, 파라미터 추정부(135)는, 프로세서가 메모리에 기억한 프로그램을 실행함으로써 파라미터 설정 처리 등의 처리를 실현한다. 추적부(136)는, 프로세서가 메모리에 기억한 프로그램을 실행함으로써 추적 처리 등의 처리를 실현한다. 또한, 파라미터 추정부(135) 및 추적부(136)는, 제어부(131)에 있어서, 프로세서가 프로그램을 실행함으로써 실현하는 것으로 해도 좋다.

파라미터 추정부(135)는, 단말 장치(2)의 씬 선택부(127)가 선택한 씬에 기초하여, 어떤 기준에서 이동 물체(인물의 얼굴)의 추적을 행할지를 나타내는 추적 파라미터를 추정하고, 이 추정한 추적 파라미터를 추적부(136)에 대하여 출력한다. 추적부(136)는, 파라미터 추정부(135)가 추정한 추적 파라미터에 기초하여, 얼굴 검출부(126)가 복수의 화상으로부터 검출한 동일한 이동 물체(인물의 얼굴)를 대응지어 추적한다.

이어서, 씬 선택부(127)에 대하여 설명한다.

씬 선택부(127)는, 얼굴 검출부(126)가 검출한 검출 결과로부터, 당해 검출 결과가 추적 파라미터의 추정에 어울리는 것인지 아닌지를 판단한다. 씬 선택부(127)는, 씬 선택 처리 및 추적 결과의 선택 처리의 2단계의 처리를 행한다.

우선, 씬 선택 처리는, 검출 결과열이 추적 파라미터의 추정에 사용할 수 있는지 여부의 신뢰도를 결정한다. 씬 선택 처리는, 미리 정해진 임계값 이상의 프레임 매수만 검출할 수 있는 것과, 복수의 인물의 검출 결과열을 혼동하지 않고 있는 것을 기준으로 신뢰도를 판정한다. 예를 들어, 씬 선택부(127)는, 검출 결과열의 상대적 위치 관계로부터 신뢰도를 계산한다. 도 15를 참조하여 씬 선택 처리에 대하여 설명한다. 예를 들어, 검출 결과(검출된 얼굴)의 개수가 일정 프레임 수에 걸쳐 하나인 경우, 검출된 얼굴이 미리 정해진 임계값보다도 작은 범위로 이동하고 있으면, 1명만이 이동하고 있는 상황이라고 추정한다. 도 15에 도시하는 예에서는, t 프레임에 있어서의 검출 결과를 a, t-1 프레임에 있어서의 검출 결과를 c라 하면,

D(a, c)<rS(c)

인지의 여부에 의해, 1명의 인물이 프레임간을 이동하고 있는지 여부를 판단한다. 단, D(a, b)는 a와 b의 화상 내에서의 거리(화소)이며, S(c)는 검출 결과의 크기(화소)이다. 또한, r은, 파라미터이다.

얼굴의 검출 결과가 복수인 경우도, 미리 정해진 임계값보다도 작은 범위에서 화상 중의 이격된 위치에서 이동하고 있는 경우 등의 경우에는 동일 인물의 이동 계열이 얻어진다. 이것을 사용하여 추적 파라미터가 학습된다. 복수 인물의 검출 결과열을 동일 인물채에 나누기 위해서는, t 프레임에 있어서의 검출 결과를 ai, aj, t-1 프레임에 있어서의 검출 결과를 ci, cj 로 놓으면,

D(ai, aj)>C, D(ai, cj)>C, D(ai, ci)<rS(ci),

D(aj, cj)<rS(cj)

와 같이 프레임간의 검출 결과의 쌍에 대하여 비교를 행함으로써 판단한다. 단, D(a, b)는 a와 b의 화상 내에서의 거리(화소)이며, S(c)은 검출 결과의 크기(화소)이다. 또한, r과 C는 파라미터이다.

또한, 씬 선택부(127)는, 화상 중에서 인물이 밀집하고 있는 상태를 적당한 화상 특징량 등에 의해 회귀 분석함으로써, 씬의 선택을 실행할 수도 있다. 또한, 씬 선택부(127)는, 학습시에만 검출된 복수의 얼굴을 프레임간에 걸쳐 화상을 사용한 개인 식별 처리를 행하여, 동일 인물마다의 이동 계열을 얻는 것도 가능하다.

또한, 씬 선택부(127)는, 오검출한 결과를 배제하기 위해서, 검출한 위치에 대한 크기가 미리 정해진 일정한 임계값 이하의 변동밖에 없는 검출 결과를 배제하거나, 움직임이 일정한 임계값 이하의 것을 배제하거나, 주위의 화상에 대한 문자 인식 처리에 의해 얻어지는 문자 인식 정보 등을 사용하여 배제하거나 한다. 이에 의해, 씬 선택부(127)는, 포스터 혹은 문자 등에 의한 오검출을 배제할 수 있다.

또한, 씬 선택부(127)는, 얼굴의 검출 결과가 얻어진 프레임 수, 검출한 얼굴의 수등에 따른 신뢰도를 데이터에 대하여 부여한다. 신뢰도는, 얼굴이 검출된 프레임 수, 검출한 얼굴의 수(검출수), 검출한 얼굴의 이동량, 검출한 얼굴의 크기 등의 정보로부터 종합적으로 판단한다. 씬 선택부(127)는, 예를 들어 도 2를 사용하여 설명한 신뢰도의 산출 방법에 의해 산출할 수 있다.

도 16은, 검출 결과열에 대한 신뢰도의 수치예이다. 도 16은, 후술하는 도 17에 대응하는 도면이다. 도 16에 도시한 바와 같은 신뢰도는, 사전에 준비한 추적 성공 예와 실패 예의 경향(화상 유사도의 값) 등을 기초로 산출할 수 있다.

또한, 신뢰도의 수치는, 도 17의 (a), (b), (c)에 도시한 바와 같이, 추적된 프레임 수를 기초로 정할 수 있다. 도 17의 (a)의 검출 결과열 A는, 동일 인물의 얼굴이 연속적으로 충분한 프레임 수만 출력된 경우를 나타낸다. 도 17의 (b)의 검출 결과열 B는, 동일 인물이지만 프레임 수가 적은 경우를 나타낸다. 도 17의 (c)의 검출 결과열 C는, 다른 인물이 포함되어 버린 경우를 나타내고 있다. 도 17에 도시한 바와 같이, 적은 프레임 수만큼 밖에 추적할 수 없었던 것은, 신뢰도를 낮게 설정할 수 있다. 이들 기준을 조합하여, 신뢰도를 산출할 수 있다. 예를 들어, 추적된 프레임 수는 많지만, 각 얼굴 화상의 유사도가 평균하여 낮은 경우, 프레임 수가 적어도 유사도가 높은 추적 결과의 신뢰도를 보다 높게 설정할 수도 있다.

이어서, 추적 결과 선택 처리에 대하여 설명한다.

도 18은, 적당한 추적 파라미터를 사용하여 이동 물체(인물)의 추적을 실행한 결과(추적 결과)의 예를 나타내는 도면이다.

추적 결과의 선택 처리에 있어서, 씬 선택부(127)는, 개개의 추적 결과가 올바른 추적 결과인지의 여부를 판단한다. 예를 들어, 도 18에 나타내는 바와 같은 추적 결과가 얻어진 경우, 씬 선택부(127)는, 각각의 추적 결과에 대해서, 올바른 추적인지 여부를 판정한다. 올바른 추적 결과라고 판단한 경우, 씬 선택부(127)는, 그 추적 결과를 추적 파라미터를 추정하기 위한 데이터(학습용 데이터)로서 파라미터 추정부(135)에 출력한다. 예를 들어, 복수의 인물을 추적한 궤적이 교차 등을 한 경우, 씬 선택부(127)는, 추적 대상의 ID 정보가 도중에 바뀌어 틀렸을 가능성이 발생하므로 신뢰도를 낮게 설정한다. 예를 들어, 신뢰도에 대한 임계값을 「신뢰도 70％ 이상」이라고 설정된 경우, 씬 선택부(127)는, 도 18에 나타내는 추적 결과의 예로부터 신뢰도가 70％ 이상으로 되는 추적 결과 1과 추적 결과 2를 학습용으로 출력한다.

도 19는 추적 결과의 선택 처리의 예를 설명하기 위한 흐름도이다.

도 19에 도시한 바와 같이, 씬 선택부(127)는, 추적 결과의 선택 처리로서, 입력된 각 프레임의 검출 결과에 대하여 상대적인 위치 관계를 계산한다(스텝 S21). 씬 선택부(127)는, 산출한 상대적인 위치 관계가 미리 정해진 임계값보다도 이격되어 있는지의 여부를 판단한다(스텝 S22). 소정의 임계값보다도 이격되어 있는 경우(스텝 S22, "예"), 씬 선택부(127)는, 오검출이 있는지의 여부를 확인한다(스텝 S23). 오검출이 아니라고 확인한 경우(스텝 S23, "아니오"), 씬 선택부(127)는, 당해 검출 결과가 추적 파라미터의 추정에 적절한 씬이라고 판단한다(스텝 S24). 이 경우, 씬 선택부(127)는, 추적 파라미터의 추정에 적절한 씬이라고 판단한 검출 결과(동화상열, 검출 결과열 및 추적 결과 등을 포함함)를 서버(103)의 파라미터 추정부(135)에 송신한다.

이어서, 파라미터 추정부(135)에 대하여 설명한다.

파라미터 추정부(135)는, 씬 선택부(127)로부터 얻어진 동화상열, 검출 결과열 및 추적 결과를 이용하여, 추적 파라미터를 추정한다. 예를 들어, 적당한 확률 변수 X에 대해서, 씬 선택부(127)는 얻어진 N개의 데이터 D={X1,…, XN}를 관찰했다고 하자. θ를 X의 확률 분포의 파라미터로 한 경우, 예를 들어 X가 정규 분포에 따른다고 가정하고, D의 평균 μ=(X1+X2+…+XN)/N, 분산((X1-μ) 2+…+(XN-μ)2)/N 등을 추정값으로 한다.

또한, 파라미터 추정부(135)는, 추적 파라미터의 추정이 아니고, 직접 분포를 계산하는 것을 행하도록 해도 좋다. 구체적으로는, 파라미터 추정부(135)는, 사후 확률 p(θ|D)를 계산하고, p(X|D)=∫p(X|θ) p(θ|D)dθ에 의해 대응지을 확률을 계산한다. 이 사후 확률은, θ의 사전 확률 p(θ)과 우도 p(X|θ)를, 예를 들어 정규 분포 등과 같이 정하면, p(θ|D)=p(θ) p(D|θ)/p(D)와 같이 하여 계산할 수 있다.

또한, 확률 변수로서 사용하는 양은, 이동 물체(인물의 얼굴)끼리의 이동량, 검출 크기, 각종 화상 특징량에 관한 유사도, 이동 방향 등을 사용해도 좋다. 추적 파라미터는, 예를 들어 정규 분포의 경우, 평균이나 분산 공분산 행렬로 된다. 단, 추적 파라미터에는, 다양한 확률 분포를 사용해도 좋다.

도 20은, 파라미터 추정부(135)의 처리 수순을 설명하기 위한 흐름도이다. 도 20에 도시한 바와 같이, 파라미터 추정부(135)는, 씬 선택부(127)에 의해 선택된 씬의 신뢰도를 산출한다(스텝 S31). 파라미터 추정부(135)는, 구한 신뢰도가 미리 정해진 기준값(임계값) 보다도 높은지의 여부를 판단한다(스텝 S32). 신뢰도가 기준값보다도 높다고 판단한 경우(스텝 S32, "예"), 파라미터 추정부(135)는, 당해 씬에 기초하여 추적 파라미터의 추정값을 갱신하고, 갱신한 추적 파라미터의 값을 추적부(136)에 출력한다(스텝 S33). 또한, 신뢰도가 기준값보다도 높지 않을 경우, 파라미터 추정부(135)는, 신뢰도가 미리 정해진 기준값(임계값)보다도 높은지의 여부를 판단한다(스텝 S34). 구한 신뢰도가 기준값보다도 낮다고 판단한 경우(스텝 S34, "예"), 파라미터 추정부(135)는, 씬 선택부(127)에 의해 선택된 씬을 추적 파라미터의 추정(학습)에는 사용하지 않고, 추적 파라미터의 추정을 행하지 않는다(스텝 S35).

이어서, 추적부(136)에 대하여 설명한다.

추적부(136)는, 입력되는 복수의 화상에 걸쳐 검출된 인물의 얼굴의 좌표 및, 크기 등의 정보를 통합하여 최적의 대응짓기를 행한다. 추적부(136)는, 동일 인물이 복수 프레임에 걸쳐 대응지어진 추적 결과를 통합하여 추적 결과로서 출력한다. 또한, 복수의 인물이 보행하는 화상에 있어서, 복수 인물이 교차하는 등의 복잡한 동작을 하고 있을 경우, 대응짓기 결과가 임의적으로 결정되지 않는 가능성이 있다. 이러한 경우, 추적부(136)는, 대응짓기를 행했을 때의 우도가 가장 높아지는 것을 제1 후보로서 출력할 뿐만 아니라, 거기에 준하는 대응짓기 결과를 복수 관리(즉, 복수의 추적 결과를 출력)하는 것도 가능하게 한다.

또한, 추적부(136)는, 인물의 이동을 예측하는 것 같은 추적 방법인 옵티컬플로우 혹은 파티클 필터 등에 의해서도, 추적 결과를 출력해도 좋다. 이들의 처리는, 예를 들어 문헌(다키자와 게이, 하세베 미쓰타케, 스케가와 히로시, 사토 도시오, 에노모토 노부요시, 이리에 분페이, 오카자키 아키오:보행자 얼굴 대조 시스템 「Face Passenger」의 개발, 제4회 정보과학 기술 포럼(FIT2005), pp.27--28.)에 기재된 방법 등에 의해 실현 가능하다.

추적부(136)는, 구체적인 추적 방법으로서, 제3 실시예에서 설명한 도 9에 나타내는 추적 결과 관리부(74), 그래프 작성부(75), 가지 가중치 계산부(76), 최적 패스 집합 계산부(77) 및 추적 상태 판정부(78)와 마찬가지의 처리 기능을 갖는 것으로 실현할 수 있다.

이 경우, 추적부(136)는, 직전의 프레임(t-1)부터 t-T-T'의 프레임(T>=0과 T'>=0은 파라미터)까지의 사이에, 추적 혹은 검출된 정보를 관리한다. t-T까지의 검출 결과는, 추적 처리의 대상으로 되는 검출 결과이다. t-T-1부터 t-T-T'까지의 검출 결과는, 과거의 추적 결과이다. 추적부(136)는, 각 프레임에 대하여, 얼굴 정보(얼굴 검출부(126)로부터 얻어지는 얼굴 검출 결과에 포함되는 화상 내에서의 위치, 동화상의 프레임 번호, 추적된 동일 인물마다 부여되는 ID 정보, 검출된 영역의 부분 화상 등)를 관리한다.

추적부(136)는, 얼굴 검출 정보와 추적 대상 정보에 대응하는 정점 외에, 「추적 도중의 검출 실패」, 「소멸」, 「출현」 각각의 상태에 대응하는 정점으로 이루어지는 그래프를 작성한다. 여기서, 「출현」이란, 화면에 없었던 인물이 화면에 새롭게 나타난 것을 의미하고, 「소멸」은 화면 내에 있던 인물이 화면으로부터 없어지는 것을 의미하고, 「추적 도중의 검출 실패」는 화면 내에 존재하고 있을 터이지만 얼굴의 검출에 실패한 상태인 것을 의미하는 것으로 한다. 추적 결과는, 이 그래프상의 패스의 조합에 대응하고 있다.

추적 도중의 검출 실패에 대응한 노드를 추가함으로써, 추적부(136)는, 추적 도중에 일시적으로 검출할 수 없는 프레임이 있는 경우에도, 그 전후의 프레임으로 정확하게 대응짓기를 행하여 추적을 계속할 수 있다. 그래프 작성으로 설정한 가지에 가중치, 즉, 어떤 실수값을 설정한다. 이것은, 얼굴의 검출 결과끼리가 대응지을 확률과 대응짓지 않을 확률의 양쪽을 고려함으로써 보다 정밀도가 높은 추적이 실현 가능하다.

추적부(136)에서는, 그 2개의 확률(대응지을 확률과 대응짓지 않을 확률)의 비의 대수를 취하는 것으로 정하기로 한다. 단, 이 2개의 확률을 고려하고 있는 것이라면, 확률의 감산, 혹은, 소정의 함수 f(P1,P2)를 작성하여 대응하는 것도 실현 가능하다. 특징량 혹은 확률 변수로서는, 검출 결과끼리의 거리, 검출 프레임의 크기비, 속도 벡터, 색 히스토그램의 상관값 등을 사용할 수 있다. 추적부(136)는, 적당한 학습 데이터에 의해 확률 분포를 추정해 둔다. 즉, 추적부(136)는, 대응짓지 않을 확률도 가미함으로써, 추적 대상의 혼동을 방지하는 효과가 있다.

상기의 특징량에 대하여, 프레임간의 얼굴 검출 정보 u와 v가 대응지을 확률 p(X)와 대응짓지 않을 확률 q(X)가 부여되었을 때, 그래프에 있어서 정점 u와 정점 v 사이의 가지 가중치를 확률의 비 log(p(X)/q(X))에 의해 정한다. 이때, 이하와 같이 가지 가중치가 계산된다.

p(X)>q(X)=0인 경우(CASE A), log(p(X)/q(X))=+∞

p(X)>q(X)> 0인 경우(CASE B), log(p(X)/q(X))=+a(X)

q(X)≥p(X)> 0인 경우(CASE C), log(p(X)/q(X))=-b(X)

q(X)≥p(X)=0인 경우(CASE D), log(p(X)/q(X))=-∞

단, a(X)와 b(X)는 각각 음이 아닌 실제 수치값이다. CASE A에서는, 대응짓지 않을 확률 q(X)가 0 또한 대응지을 확률 p(X)가 0이 아니므로 가지 가중치가 +∞이 되고, 최적화 계산에 있어서 반드시 가지가 선택되게 된다. 그 밖의 경우(CASE B, CASE C, CASE D)도 마찬가지이다.

마찬가지로, 추적부(136)는, 소멸할 확률, 출현할 확률, 보행 도중에 검출이 실패할 확률의 대수값에 의해 가지의 가중치를 정한다. 이들 확률은, 사전에 해당하는 데이터를 사용한 학습에 의해 정해 두는 것이 가능하다. 구성한 가지 가중치 부여 그래프에 있어서, 추적부(136)는, 가지 가중치의 총합이 최대가 되는 패스의 조합을 계산한다. 이것은, 잘 알려진 조합 최적화의 알고리즘에 의해 용이하게 구할 수 있다. 예를 들어, 상기의 확률을 사용하면, 사후 확률이 최대인 패스의 조합을 구할 수 있다. 패스의 조합을 구함으로써, 추적부(136)는, 과거의 프레임으로부터 추적이 계속된 얼굴, 새롭게 출현한 얼굴, 대응짓지 않은 얼굴이 얻어진다. 이에 의해, 추적부(136)는, 상술한 처리 결과를 추적 결과 관리부(133)의 기억부(133a)에 기록한다.

이어서, 제4 실시예로서의 전체적인 처리의 흐름에 대하여 설명한다.

도 21은, 제4 실시예로서의 전체적인 처리의 흐름을 설명하기 위한 흐름도이다.

각 단말 장치(102)는, 카메라(101)가 촬영한 복수의 시계열의 화상을 화상 인터페이스(122)에 의해 입력한다. 단말 장치(102)에 있어서, 제어부(121)는, 화상 인터페이스에 의해 카메라(101)로부터 입력한 시계열의 입력 화상을 디지털화하고, 처리부(124)의 얼굴 검출부(126)에 공급한다(스텝 S41). 얼굴 검출부(126)는, 입력된 각 프레임의 화상으로부터 추적 대상으로 되는 이동 물체로서의 얼굴을 검출한다(스텝 S42).

얼굴 검출부(126)에 있어서 입력 화상으로부터 얼굴이 검출되지 않은 경우(스텝 S43, "아니오"), 제어부(121)는, 당해 입력 화상을 추적 파라미터의 추정에 사용하지 않는다(스텝 S44). 이 경우, 추적 처리는 실행되지 않는다. 또한, 입력 화상으로부터 얼굴이 검출된 경우(스텝 S43, "예"), 씬 선택부(127)는, 얼굴 검출부(126)가 출력한 검출 결과로부터, 검출 결과의 씬이 추적 파라미터의 추정에 사용할 수 있는지 여부를 판정하기 위한 신뢰도를 산출한다(스텝 S45).

검출 결과에 대한 신뢰도를 산출하면, 씬 선택부(127)는, 산출한 검출 결과의 신뢰도가 미리 정해진 기준값(임계값)보다도 높은지의 여부를 판정한다(스텝 S46). 이 판정에 의해 산출한 검출 결과에 대한 신뢰도가 기준값보다도 낮다고 판정한 경우(스텝 S46, "아니오"), 당해 씬 선택부(127)는, 당해 검출 결과를 추적 파라미터의 추정에 사용하지 않는다(스텝 S47). 이 경우, 추적부(136)는, 갱신하기 직전의 추적 파라미터를 사용하여 시계열의 입력 화상에 있어서의 인물의 추적 처리를 실행한다(스텝 S58).

산출한 검출 결과에 대한 신뢰도가 기준값보다도 높다고 판정한 경우(스텝 S46, "예"), 씬 선택부(127)는, 당해 검출 결과(씬)를 유지(기록)하고, 당해 검출 결과에 기초하는 추적 결과를 산출한다(스텝 S48). 또한, 씬 선택부(127)는, 당해 추적 결과에 대한 신뢰도를 산출하고, 산출한 추적 처리의 결과에 대한 신뢰도가 미리 정해진 기준값(임계값)보다도 높은지의 여부를 판정한다(스텝 S49).

추적 결과에 대한 신뢰도가 기준값보다도 낮은 경우(스텝 S49, "예"), 씬 선택부(127)는, 당해 검출 결과(씬)를 추적 파라미터의 추정에 사용하지 않는다(스텝 S50). 이 경우, 추적부(136)는, 갱신하기 직전의 추적 파라미터를 사용하여 시계열의 입력 화상에 있어서의 인물의 추적 처리를 실행한다(스텝 S58).

추적 결과에 대한 신뢰도가 기준값보다도 높은 경우(스텝 S49, "예"), 씬 선택부(127)는, 당해 검출 결과(씬)를 추적 파라미터를 추정하기 위한 데이터로 하여 파라미터 추정부(135)에 출력한다. 파라미터 추정부(135)는, 당해 신뢰도가 높은 검출 결과(씬)의 수가 미리 정해진 기준값(임계값)보다도 많은지의 여부를 판정한다(스텝 S51).

신뢰도가 높은 씬의 수가 기준값보다도 적은 경우(스텝 S51, "아니오"), 파라미터 추정부(13)는, 추적 파라미터의 추정을 실행하지 않는다(스텝 S52). 이 경우, 추적부(136)는, 현재의 추적 파라미터를 사용하여 시계열의 입력 화상에 있어서의 인물의 추적 처리를 실행한다(스텝 S58).

신뢰도가 높은 씬의 수가 기준값보다도 많은 경우(스텝 S51, "예"), 파라미터 추정부(135)는, 씬 선택부(127)로부터 부여된 씬에 기초하여 추적 파라미터를 추정한다(스텝 S53). 파라미터 추정부(135)가 추적 파라미터를 추정하면, 추적부(136)는, 상기 스텝 S48로 유지한 씬에 대하여 추적 처리를 행한다(스텝 S54).

추적부(136)는, 파라미터 추정부(135)가 추정한 추적 파라미터와, 유지하고 있는 갱신하기 직전의 추적 파라미터의 양쪽으로 추적 처리를 행한다. 추적부(136)는, 파라미터 추정부(135)가 추정한 추적 파라미터를 사용하여 추적 처리한 추적 결과의 신뢰도와, 갱신하기 직전의 추적 파라미터를 사용하여 추적 처리한 추적 결과의 신뢰도를 비교한다. 파라미터 추정부(135)가 추정한 추적 파라미터를 사용한 추적 결과의 신뢰도가 갱신하기 직전의 추적 파라미터를 사용한 추적 결과의 신뢰도보다도 낮은 경우(스텝 S55), 추적부(136)는, 파라미터 추정부(135)가 추정한 추적 파라미터를 유지해 두기만 하고 사용하지 않는다(스텝 S56).

이 경우, 추적부(136)는, 갱신하기 직전의 추적 파라미터를 사용하여 시계열의 입력 화상에 있어서의 인물의 추적 처리를 실행한다(스텝 S58).

파라미터 추정부(135)가 추정한 추적 파라미터에 의한 신뢰도가 갱신하기 직전의 추적 파라미터에 의한 신뢰도보다도 높은 경우, 추적부(136)는, 갱신하기 직전의 추적 파라미터를, 파라미터 추정부(135)가 추정한 추적 파라미터로 갱신한다(스텝 S57). 이 경우, 추적부(136)는, 갱신한 추적 파라미터에 기초하여 시계열의 입력 화상에 있어서의 인물(이동 물체)을 추적한다(스텝 S58).

이상 설명한 바와 같이, 제4 실시예의 이동 물체 추적 시스템은, 이동 물체의 추적 처리에 대한 신뢰도를 구하고, 구한 신뢰도가 높은 경우는 추적 파라미터를 추정(학습)하여, 추적 처리에 사용하는 추적 파라미터를 조정한다. 제4 실시예의 이동 물체 추적 시스템에 의하면, 복수의 이동 물체를 추적한 경우, 촬영 기기의 변화에 유래하는 변동, 혹은, 촬영 환경의 변화에 유래하는 변동 등에 대하여도, 추적 파라미터를 조정함으로써, 오퍼레이터가 정답을 교시하는 등의 수고를 생략할 수 있다.

본 발명의 몇개의 실시예를 설명했지만, 이들 실시예는, 예로 제시한 것이며, 발명의 범위를 한정하는 것은 의도하지 않고 있다. 이들 신규의 실시예는, 그 밖의 다양한 형태로 실시되는 것이 가능하고, 발명의 요지를 일탈하지 않는 범위에서, 다양한 생략, 치환, 변경을 행할 수 있다. 이들 실시예나 그 변형은, 발명의 범위나 요지에 포함됨과 함께, 특허 청구 범위에 기재된 발명과 그 균등한 범위에 포함된다.

Claims (19)

1. 삭제
2. 삭제
3. 이동 물체 추적 시스템이며,
   카메라가 촬영한 복수의 시계열의 화상을 입력하는 입력부와,
   상기 입력부에 의해 입력한 각 화상으로부터 추적 대상으로 되는 이동 물체를 검출하는 검출부와,
   상기 검출부가 제1 화상에서 검출한 각 이동 물체와 상기 제1 화상에 연속하는 제2 화상에서 검출된 각 이동 물체를 연결시킨 패스의 조합을 작성하는 작성부와,
   상기 제1 화상에서 검출된 이동 물체와 상기 제2 화상에서 검출된 이동 물체가 대응지을 확률과 대응짓지 않을 확률에 기초하여, 상기 작성부가 작성한 패스에 대한 가중치를 계산하는 가중치 계산부와,
   상기 가중치 계산부가 계산한 가중치를 할당한 패스의 조합에 대한 값을 계산하는 계산부와,
   상기 계산부가 계산한 패스의 조합에 대한 값에 기초하는 추적 결과를 출력하는 출력부를 갖는, 이동 물체 추적 시스템.
4. 제3항에 있어서, 상기 가중치 계산부는, 상기 대응지을 확률과 상기 대응짓지 않을 확률의 비에 기초하여 상기 패스에 대한 가중치를 계산하는, 이동 물체 추적 시스템.
5. 이동 물체 추적 시스템이며,
   카메라가 촬영한 복수의 시계열의 화상을 입력하는 입력부와,
   상기 입력부에 의해 입력한 각 화상으로부터 추적 대상으로 되는 이동 물체를 검출하는 검출부와,
   상기 검출부가 제1 화상에서 검출한 각 이동 물체와 상기 제1 화상에 연속하는 제2 화상에서 검출된 각 이동 물체를 연결시킨 패스의 조합을 작성하는 작성부와,
   상기 제1 화상에서 검출된 이동 물체와 상기 제2 화상에서 검출된 이동 물체가 대응지을 확률과 대응짓지 않을 확률에 기초하여, 상기 작성부가 작성한 패스에 대한 가중치를 계산하는 가중치 계산부와,
   상기 가중치 계산부가 계산한 가중치를 할당한 패스의 조합에 대한 값을 계산하는 계산부와,
   상기 계산부가 계산한 패스의 조합에 대한 값에 기초하는 추적 결과를 출력하는 출력부를 갖고,
   상기 가중치 계산부는, 또한, 상기 제2 화상에 이동 물체가 출현할 확률, 상기 제2 화상으로부터 이동 물체가 소멸할 확률, 상기 제1 화상에서 검출된 이동 물체가 상기 제2 화상에서 검출 실패할 확률, 상기 제1 화상에서 검출되지 않은 이동 물체가 상기 제2 화상에서 검출될 확률을 더하여 상기 패스에 대한 가중치를 계산하는, 이동 물체 추적 시스템.
6. 이동 물체 추적 시스템이며,
   카메라가 촬영한 복수의 시계열의 화상을 입력하는 입력부와,
   상기 입력부에 의해 입력한 각 화상으로부터 추적 대상으로 되는 모든 이동 물체를 검출하는 검출부와,
   상기 이동 물체 검출부가 제1 화상에서 검출한 각 이동 물체와, 상기 제1 화상에 연속하는 제2 화상에서 검출되는 이동 물체 중 동일한 이동 물체를 대응짓기한 추적 결과를 얻는 추적부와,
   상기 추적부가 출력해야 할 추적 결과를 선별하기 위한 파라미터를 설정하는 출력 설정부와,
   상기 출력 설정부가 설정한 파라미터에 기초하여 선별한 상기 추적부에 의한 이동 물체의 추적 결과를 출력하는 출력부를 갖는 것을 특징으로 하는, 이동 물체 추적 시스템.
7. 제6항에 있어서, 상기 추적부는, 이동 물체의 추적 결과의 신뢰도를 판정하고,
   상기 출력 설정부는, 상기 추적부가 출력해야 할 추적 결과의 신뢰도에 대한 임계값을 설정하는, 이동 물체 추적 시스템.
8. 제6항에 있어서, 상기 추적부는, 이동 물체의 추적 결과의 신뢰도를 판정하고,
   상기 출력 설정부는, 상기 추적부가 출력해야 할 추적 결과의 수를 설정하는, 이동 물체 추적 시스템.
9. 제6항에 있어서, 상기 추적부에 있어서의 처리의 부하를 계측하는 계측부를 더 갖고,
   상기 출력 설정부는, 상기 계측부에 의해 계측한 부하에 따라 파라미터를 설정하는, 이동 물체 추적 시스템.
10. 제6항 내지 제9항 중 어느 한 항에 있어서, 식별 대상으로 하는 이동 물체의 특징 정보를 등록하는 정보 관리부와,
    상기 정보 관리부에 등록되어 있는 이동 물체의 특징 정보를 참조하여, 상기 추적 결과가 얻어진 이동 물체를 식별하는 식별부를 더 갖는, 이동 물체 추적 시스템.
11. 이동 물체 추적 시스템이며,
    카메라가 촬영한 복수의 시계열의 화상을 입력하는 입력부와,
    상기 입력부에 의해 입력된 각 화상으로부터 추적 대상으로 되는 이동 물체를 검출하는 검출부와,
    상기 검출부가 제1 화상에서 검출한 각 이동 물체와, 상기 제1 화상에 연속하는 제2 화상에서 검출되는 이동 물체 중 동일한 이동 물체와, 추적 파라미터에 기초하여 대응짓기한 추적 결과를 얻는 추적부와,
    상기 추적부에 의한 추적 결과를 출력하는 출력부와,
    상기 검출부가 검출한 검출 결과로부터 상기 추적 파라미터의 추정에 이용할 수 있는 이동 물체의 검출 결과를 선택하는 선택부와,
    상기 선택부에 의해 선택된 이동 물체의 검출 결과에 기초하여 상기 추적 파라미터를 추정하고, 이 추정한 추적 파라미터를 상기 추적부에 설정하는 파라미터 추정부를 갖는, 이동 물체 추적 시스템.
12. 제11항에 있어서, 상기 선택부는, 복수의 열로 이루어진 상기 검출부의 검출 결과 중에서, 동일한 이동 물체에 해당하는, 신뢰도가 미리 정해진 기준값보다 높은 검출 결과의 열을 선택하는, 이동 물체 추적 시스템.
13. 제11항에 있어서, 상기 선택부는, 상기 검출부가 검출한 적어도 하나 이상의 화상에서의 이동 물체의 이동량이 미리 정해진 임계값 이상인 경우, 혹은, 상기 검출부가 검출한 이동 물체끼리의 거리가 미리 정해진 임계값 이상인 경우, 각각의 이동 물체를 구별하여 각 검출 결과를 선택하는, 이동 물체 추적 시스템.
14. 제11항에 있어서, 상기 선택부는, 일정 기간 이상, 동일한 장소에서 검출된 이동 물체의 검출 결과를 오검출이라고 판단하는, 이동 물체 추적 시스템.
15. 제11항 내지 제14항 중 어느 한 항에 있어서, 상기 파라미터 추정부는, 상기 선택부가 선택한 검출 결과에 대한 신뢰도를 구하고, 구한 신뢰도가 미리 정해진 기준값보다도 높은 경우, 당해 검출 결과에 기초하여 상기 추적 파라미터를 추정하는, 이동 물체 추적 시스템.
16. 삭제
17. 이동 물체 추적 방법이며,
    카메라가 촬영한 복수의 시계열의 화상을 입력하고,
    입력한 각 화상으로부터 추적 대상으로 되는 모든 이동 물체를 검출하고,
    입력한 제1 화상에서 검출된 각 이동 물체와 상기 제1 화상에 연속하는 제2 화상에서 검출된 각 이동 물체를 연결시킨 패스의 조합을 작성하고,
    상기 제1 화상에서 검출된 이동 물체와 상기 제2 화상에서 검출된 이동 물체가 대응지을 확률과 대응짓지 않을 확률에 기초하여, 작성한 상기 패스에 대한 가중치를 계산하고,
    계산한 상기 가중치를 할당한 패스의 조합에 대한 값을 계산하고,
    계산된 상기 패스의 조합에 대한 값에 기초하는 추적 결과를 출력하는, 이동 물체 추적 방법.
18. 이동 물체 추적 방법이며,
    카메라가 촬영한 복수의 시계열의 화상을 입력하고,
    입력한 각 화상으로부터 추적 대상으로 되는 모든 이동 물체를 검출하고,
    상기 검출에 의해 제1 화상으로부터 검출된 각 이동 물체와, 상기 제1 화상에 연속하는 제2 화상에서 검출되는 각 이동 물체를 대응짓기하여 추적하고,
    상기 추적의 처리 결과로서 출력해야 할 추적 결과를 선별하기 위한 파라미터를 설정하고,
    설정된 상기 파라미터에 기초하여 선별한 이동 물체의 추적 결과를 출력하는, 이동 물체 추적 방법.
19. 이동 물체 추적 방법이며,
    카메라가 촬영한 복수의 시계열의 화상을 입력하고,
    입력된 각 화상으로부터 추적 대상으로 되는 이동 물체를 검출하고,
    상기 검출에 의해 제1 화상에서 검출한 각 이동 물체와, 상기 제1 화상에 연속하는 제2 화상에서 검출되는 이동 물체 중 동일한 이동 물체와, 추적 파라미터에 기초하여 대응지어 추적 처리하고,
    상기 추적 처리에 의한 추적 결과를 출력하고,
    검출한 검출 결과로부터 상기 추적 파라미터의 추정에 이용할 수 있는 이동 물체의 검출 결과를 선택하고,
    선택된 상기 이동 물체의 검출 결과에 기초하여 추적 파라미터의 값을 추정하고,
    상기 추적 처리에 사용하는 추적 파라미터를, 추정한 상기 추적 파라미터로 갱신하는, 이동 물체 추적 방법.

Images