KR20220139540A

KR20220139540A - Ｐｔｚ 카메라의 객체 추적 방법 및 장치

Info

Publication number: KR20220139540A
Application number: KR1020210045616A
Authority: KR
Inventors: 김준
Original assignee: 주식회사 에스원
Priority date: 2021-04-08
Filing date: 2021-04-08
Publication date: 2022-10-17
Also published as: KR102482669B1

Abstract

객체 추적 장치에서 PTZ(Pan Tilt Zoom) 카메라로부터의 영상을 분석하여 객체를 검출하는 지능형 분석 서버로부터 검출된 객체의 화면 상 위치정보 및 크기정보를 포함하는 메타 트랙 정보를 수신하고, 상기 메타 트랙 정보를 이용하여 상기 PTZ 카메라의 PTZ 제어를 수행하며, 상기 메타 트랙 정보를 이용하여 상기 PTZ 카메라의 PTZ 이동속도를 제어한다.

Description

ＰＴＺ 카메라의 객체 추적 방법 및 장치{METHOD AND APPARATUS FOR TRACKING OBJECT OF PTZ CAMERA}

본 발명은 PTZ(Pan Tilt Zoom) 카메라의 객체 추적 방법 및 장치에 관한 것으로, 특히 검출된 객체의 화면 상 위치정보를 이용하여 PTZ 카메라를 제어하여 객체를 추적하는 PTZ 카메라의 객체 추적 방법 및 장치에 관한 것이다.

기존 영상 감시 시스템은 관제 담당자가 육안으로 VMS(Digital Video Recorder) 및 NVR(Network Video Recorder)을 통해 계속 화면을 모니터링하고 PTZ 카메라를 직접 제어해야 했다. 따라서, 범죄 인식 및 실시간 대응이 어렵고, 관제 담당자가 자리를 비울 경우 감시 및 추적이 불가능하다.

최근에는 사물이나 사람의 특징적인 객체를 인식하고 추적할 수 있는 지능형 영상 감시 시스템으로 빠르게 발전하고 있다. 지능형 영상 감시 시스템을 위한 PTZ 카메라 제어 기술은 실시간으로 감시 대상 영역을 모니터링하며 등장하는 객체를 인식하여 PTZ 카메라를 제어한다.

그러나 카메라 제조사 및 모델, 그리고 카메라 설정 값에 따라 PTZ 이동속도가 다르므로, PTZ 이동속도가 고려된 객체 추적이 필요하다.

한편, 카메라 자체에서 객체를 검출 및 분류하고, 분류된 객체를 추적할 수 있는 지능형 PTZ 카메라 시스템도 제안되었지만, 객체 추적 기능이 있는 카메라는 일부에 해당한다.

따라서, PTZ 카메라의 모델에 종속적이지 않으면서 PTZ 카메라를 제어함에 있어서 PTZ 이동속도까지 고려한 객체 추적 방법이 필요하다.

본 발명이 해결하려는 과제는 PTZ 카메라의 모델에 종속적이지 않고 PTZ 이동속도까지 고려한 PTZ 카메라의 객체 추적 방법 및 장치를 제공하는 것이다.

본 발명의 한 실시 예에 따르면, 객체 추적 장치에서 PTZ(Pan Tilt Zoom) 카메라를 제어하여 객체를 추적하는 방법이 제공된다. 객체 추적 방법은 상기 PTZ 카메라로부터의 영상을 분석하여 객체를 검출하는 지능형 분석 서버로부터 검출된 객체의 화면 상 위치정보 및 크기정보를 포함하는 메타 트랙 정보를 수신하는 단계, 상기 메타 트랙 정보를 이용하여 상기 PTZ 카메라의 PTZ 제어를 수행하는 단계, 그리고 상기 메타 트랙 정보를 이용하여 상기 PTZ 카메라의 PTZ 이동속도를 제어하는 단계를 포함한다.

상기 PTZ 제어를 수행하는 단계는 화면 상에서 중심 영역을 설정하는 단계, 상기 중심 영역을 기준으로 상기 위치정보를 토대로 상기 객체의 방향을 계산하는 단계, 상기 객체의 방향을 토대로 팬 및 틸트 값을 결정하는 단계, 그리고 상기 팬 및 틸트 값을 포함하는 제어 명령을 생성하는 단계를 포함할 수 있다.

상기 객체의 방향을 계산하는 단계는 상기 중심 영역의 x 좌표에서 객체의 x 좌표까지의 x축 거리를 계산하고, 화면 크기 대비 상기 x축 거리의 비율을 계산하는 단계, 그리고 상기 중심 영역의 y 좌표에서 객체의 y 좌표까지의 y축 거리를 계산하고, 화면 크기 대비 상기 y축 거리의 비율을 계산하는 단계를 포함할 수 있고, 상기 팬 및 틸트 값을 결정하는 단계는 상기 x축 거리의 비율과 y축 거리의 비율을 각각 팬 값 및 틸트 값으로 변환하는 단계를 포함할 수 있다.

상기 PTZ 제어를 수행하는 단계는 상기 객체의 크기를 설정된 기준 크기와 비교하는 단계, 상기 객체가 기준 객체의 크기보다 설정된 제1 기준비율 이상 크면, 줌 아웃 명령을 생성하는 단계, 그리고 상기 객체의 크기가 상기 기준 크기보다 설정된 제2 기준비율 이상 작으면, 줌 인 명령을 생성하는 단계를 포함할 수 있다.

상기 PTZ 이동속도를 제어하는 단계는 화면 상에서의 중심 영역을 설정하는 단계, 상기 중심 영역에서 상기 객체의 이전 위치의 거리를 계산하는 단계, 상기 중심 영역에서 상기 객체의 현재 위치의 거리를 계산하는 단계, 그리고 상기 이전 위치의 거리와 상기 현재 위치의 거리를 토대로 상기 PTZ 이동 속도를 결정하는 단계를 포함할 수 있다.

상기 PTZ 이동 속도를 결정하는 단계는 상기 현재 위치의 거리가 상기 이전 위치의 거리 이상인 경우, 상기 PTZ 이동속도를 증가시키는 단계, 그리고 상기 현재 위치의 거리가 상기 이전 위치의 거리 미만인 경우, 상기 PTZ 이동속도를 유지하는 단계를 포함할 수 있다.

상기 PTZ 이동 속도를 결정하는 단계는 상기 객체가 상기 중심 영역과 겹치거나 포함되는지 판단하는 단계, 그리고 상기 객체가 상기 중심 영역과 겹치거나 포함되면 상기 PTZ 이동속도를 감소시키는 단계를 포함할 수 있다.

상기 객체 추적 방법은 상기 객체와 화면 상 중심 영역간의 겹침 영역을 토대로 객체 추적 시작 또는 객체 추적 중지를 결정하는 단계, 그리고 상기 객체 추적 중지의 경우, PTZ 중지 명령을 생성하는 단계를 포함할 수 있다.

본 발명의 다른 실시 예에 따르면, PTZ(Pan Tilt Zoom) 카메라를 제어하여 객체를 추적하도록 하는 객체 추적 장치가 제공된다. 객체 추적 장치는 데이터 송수신부, 객체 방향 계산부, 객체 크기 비교부, 그리고 객체 거리 비교부를 포함한다. 상기 데이터 송수신부는 상기 PTZ 카메라로부터의 영상을 분석하는 지능형 분석 서버로부터 검출된 객체의 화면 상 위치정보 및 크기정보를 포함하는 메타 트랙 정보를 수신하며, 팬, 틸트 및 줌 값을 포함하는 PTZ 제어 명령을 상기 PTZ 카메라로 전송한다. 상기 객체 방향 계산부는 상기 메타 트랙 정보를 이용하여 화면 상의 중심 영역을 기준으로 상기 객체의 방향을 계산하고, 상기 객체의 방향을 토대로 팬 및 틸트 값을 결정한다. 상기 객체 크기 비교부는 상기 메타 트랙 정보를 이용하여 상기 객체의 크기를 설정된 기준 크기와 비교하여 줌 값을 결정한다. 그리고 상기 객체 거리 비교부는 상기 중심 영역에서 상기 객체의 이전 위치의 거리와 상기 중심 영역에서 상기 객체의 현재 위치의 거리를 계산하고, 상기 이전 위치의 거리와 상기 현재 위치의 거리를 토대로 PTZ 이동속도를 결정하며, 상기 PTZ 이동속도를 상기 팬 및 틸트 값에 반영한다.

상기 객체 추적 장치는 상기 중심 영역과 상기 객체간 겹침 영역을 계산하고, 상기 겹침 영역을 토대로 객체 추적 일시 정지 및 시작을 결정하는 동작 제어부를 더 포함할 수 있다.

상기 동작 제어부는 상기 겹침 영역을 토대로 상기 객체가 중심 영역에 포함되어 있거나 겹쳐져 있는 것으로 판단되면, 상기 객체 추적 일시 정지를 결정하고, PTZ 중지 명령을 상기 데이터 송수신부를 통해 전송할 수 있다.

상기 객체 방향 계산부는 화면 크기 대비 상기 중심 영역의 x 좌표에서 객체의 x 좌표까지의 x축 거리의 비율을 계산하고, 상기 x축 거리의 비율을 상기 팬 값으로 변환하고, 상기 화면 크기 대비 상기 중심 영역의 y 좌표에서 객체의 y 좌표까지의 y축 거리의 비율을 계산하고, 상기 y축 거리의 비율을 상기 틸트 값으로 변환할 수 있다.

상기 객체 거리 비교부는 상기 현재 위치의 거리가 상기 이전 위치의 거리 이상인 경우 상기 PTZ 이동속도를 증가시키고, 상기 현재 위치의 거리가 상기 이전 위치의 거리 미만인 경우 상기 PTZ 이동속도를 유지할 수 있다.

상기 객체 거리 비교부는 상기 현재 위치의 거리와 상기 이전 위치의 거리의 차이에 비례하여 상기 PTZ 이동속도를 증가시킬 수 있다.

상기 객체 거리 비교부는 상기 객체가 상기 중심 영역과 적어도 일부 겹치면 상기 PTZ 이동속도를 감소시킬 수 있다.

본 발명의 실시 예에 의하면, 별도의 카메라 SDK(Software Development Kits) 연동 작업이나 프로토콜 연동 작업 없이 PTZ 추적이 가능하며, 객체 위치정보만 있으면 객체 검출을 하는 특정 지능형 모듈에 종속 되지 않고 ONVIF(Open Network Video Interface Forum) 프로토콜을 사용하여 PTZ 카메라를 제어할 수 있다.

도 1은 본 발명의 실시 예에 따른 PTZ 카메라의 객체 추적 장치를 개략적으로 설명하는 도면이다.
도 2는 본 발명의 실시 예에 따른 객체 추적 장치를 세부적으로 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 객체 방향 계산부에서 팬 및 틸트 제어 명령을 생성하는 방법을 나타낸 흐름도이다.
도 4는 본 발명의 실시 예에 따른 객체 방향 계산부에서 객체의 방향을 계산하는 방법을 설명하는 도면이다.
도 5는 본 발명의 실시 예에 따른 객체 크기 비교부에서 줌 제어 명령을 생성하는 방법을 설명하는 도면이다.
도 6은 객체의 크기와 기준 크기를 비교하는 일 예를 나타낸 도면이다.
도 7은 본 발명의 실시 예에 따른 객체 거리 비교부에서 PTZ 이동속도를 결정하는 방법을 나타낸 흐름도이다.
도 8은 본 발명의 실시 예에 따른 동작 제어부에서 추적 일시 중지와 추적 추적을 설정하는 방법을 설명하는 도면이다.
도 9는 본 발명의 실시 예에 따른 동작 제어부에서 객체가 중심 영역과 중심 에지 영역에 겹쳐지는 겹침 영역을 나타낸 도면이다.
도 10은 본 발명의 실시 예에 따른 객체 추적 장치와 SVMS 시스템간 연동을 나타내는 도면이다.
도 11은 본 발명의 다른 한 실시 예에 따른 객체 추적 장치를 나타낸 도면이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.

이제 본 발명의 실시 예에 따른 PTZ 카메라의 객체 추적 방법 및 장치에 대하여 도면을 참고로 하여 상세하게 설명한다.

도 1은 본 발명의 실시 예에 따른 PTZ 카메라의 객체 추적 장치를 개략적으로 설명하는 도면이다.

도 1을 참고하면, 객체 추적 장치(100)는 지능형 분석 서버(200)에서 검출된 객체의 화면 상 위치정보를 나타내는 메타 트랙(meta track) 정보를 사용하여 객체를 추적할 수 있도록 PTZ 카메라(300)를 실시간으로 제어한다. PTZ 카메라(300)의 제어는 팬, 틸트 및 줌 제어를 위한 PTZ 제어 명령을 통해 수행될 수 있다. 메타 트랙(meta track) 정보에는 화면 상에서의 객체의 위치(x, y)와 객체의 크기정보 및 객체의 식별정보 등이 포함될 수 있다. 객체의 크기정보는 예를 들면, 너비와 높이 정보를 포함할 수 있다.

객체 추적 장치(100)와 PTZ 카메라(300)는 ONVIF 프로토콜(Open Network Video Interface Forum)을 통해 서로 연결되어 동작할 수 있다. 객체 추적 장치(100)는 ONVIF 프로토콜을 통해 PTZ 카메라(300)를 제어할 수 있다.

이와 같이, ONVIF 프로토콜을 사용하면, PTZ 카메라(300)의 모델이나 제조사 등에 종속적이지 않고 PTZ 카메라(300)를 제어하여 객체 추적이 가능할 수 있다.

객체 추적 장치(100)는 화면 상의 중심 영역(center area)을 설정하고, 중심 영역으로부터의 객체의 방향, 중심 영역으로부터 객체의 거리, 객체의 크기 및 중심 영역과 객체의 겹침 등을 계산하고, 계산된 값들을 이용하여 PTZ 카메라(300)를 제어한다.

PTZ 카메라(300)는 객체 추적 장치(100)의 PTZ 제어 명령에 따라 팬, 틸트 및 줌을 제어한다. PTZ 카메라(300)는 PTZ 제어 명령에 따라 촬영영역을 설정하고, 촬영영역의 영상을 지능형 분석 서버(200)로 전송한다.

지능형 분석 서버(200)는 PTZ 카메라(300)로부터 획득된 영상으로부터 객체를 검출하고, 이상 행위, 즉 이벤트를 감지한다. 지능형 분석 서버(200)는 검출된 객체의 위치정보, 크기정보 및 식별정보 등의 메타 트랙 정보를 객체 추적 장치(100)로 전달한다.

도 2는 본 발명의 실시 예에 따른 객체 추적 장치를 세부적으로 나타낸 도면이다.

도 2를 참고하면, 객체 추적 장치(100)는 데이터 송수신부(110), 객체 방향 계산부(120), 객체 크기 비교부(130), 객체 거리 비교부(140) 및 동작 제어부(150)를 포함한다.

데이터 송수신부(110)는 지능형 분석 서버(200)로부터 메타 트랙 정보를 수신하면, 메타 트랙 정보를 객체 방향 계산부(120)로 전달한다. 데이터 송수신부(110)는 PTZ 카메라(300)의 PTZ 제어 명령을 PTZ 카메라(300)로 전달한다.

객체 방향 계산부(120)는 메타 트랙 정보를 토대로 중심 영역을 기준으로 객체의 방향을 계산하고, 객체의 방향을 토대로 PTZ 카메라(300)의 팬 및 틸트를 이동시키기 위한 팬 및 틸트 값을 결정하고, 팬 및 틸트 값을 포함한 팬 및 틸트 제어 명령을 생성한다.

객체 크기 비교부(130)는 메타 트랙 정보를 토대로 객체의 크기를 설정하고, 객체의 크기와 설정된 기준 크기를 비교하여 PTZ 카메라(300)의 줌을 제어하기 위한 줌 제어 명령을 생성한다. 기준 크기는 객체의 크기 변화에 따라 확대하거나 축소될 수 있다.

객체 거리 비교부(140)는 객체의 거리를 계산하고, 객체의 거리를 토대로 PTZ 이동속도를 결정한다. PTZ 이동속도는 PTZ 카메라(300)를 물리적으로 이동시키기 위한 속도 값을 나타낸다. 객체 거리 비교부(140)는 결정된 PTZ 이동속도를 팬 및 틸트 값에 반영할 수 있다.

동작 제어부(150)는 객체의 중심 영역과의 겹침을 계산하여 객체 추적 일시정지 및 시작/재시작을 결정한다. 동작 제어부(150)는 정해진 주기로 중앙 영역과의 겹침 여부를 확인하여 객체 추적 일시 정지 및 시작/재시작을 결정한다.

도 3은 본 발명의 실시 예에 따른 객체 방향 계산부에서 팬 및 틸트 제어 명령을 생성하는 방법을 나타낸 흐름도이고, 도 4는 본 발명의 실시 예에 따른 객체 방향 계산부에서 객체의 방향을 계산하는 방법을 설명하는 도면이다.

도 3 및 도 4를 참고하면, 객체 방향 계산부(120)는 중심 영역의 x 좌표에서 객체의 x 좌표까지의 x축 거리를 계산하고(S310), 화면 크기 대비 x축 거리의 비율을 계산한다(S320). 객체 방향 계산부(120)는 계산된 x축 거리의 비율을 토대로 PTZ 카메라(300)의 팬 값을 포함한 팬 이동 명령을 생성한다(S330).

객체 방향 계산부(120)는 중심 영역의 y 좌표에서 객체의 y 좌표까지의 y축 거리를 계산하고(S340), 화면 크기 대비 y축 거리의 비율을 계산한다(S350). 객체 방향 계산부(120)는 y축 거리의 비율을 토대로 PTZ 카메라(300)의 틸트 값을 포함한 틸트 이동 명령을 생성한다(S360).

즉, 객체 방향 계산부(120)는 x축 거리의 비율과 y축 거리의 비율을 PTZ 명령에 맞게 팬 및 틸트 값으로 변환한다. 팬 및 틸트 값에 따라 PTZ 카메라(300)의 팬 및 틸트가 이동되고, PTZ 카메라(300)에 의해 촬영된 영상의 화면에는 객체가 화면 상의 중심 영역에 위치하게 된다.

도 5는 본 발명의 실시 예에 따른 객체 크기 비교부에서 줌 제어 명령을 생성하는 방법을 설명하는 도면이고, 도 6은 객체의 크기와 기준 크기를 비교하는 일 예를 나타낸 도면이다.

도 5를 참고하면, 객체 크기 비교부(130)는 추적 중인 객체의 크기를 도 6에 도시한 바와 같이 설정된 기준 크기와 비교한다(S510). 객체의 크기는 지능형 분석 서버(200)로부터 수신된 메타 트랙 정보를 통해 획득할 수 있다.

객체 크기 비교부(130)는 추적 중인 객체가 기준 크기보다 설정된 제1 기준비율(%) 이상 크면(S520), 줌 아웃 명령을 생성한다(S530).

한편, 객체 크기 비교부(130)는 추적 중인 객체의 크기가 기준 크기보다 설정된 제2 기준비율(%) 이상보다 작으면(S540), 줌 인 명령을 생성한다(S550).

그렇지 않으면, 객체 크기 비교부(130)는 줌을 유지할 수 있다(S560).

예를 들어, 객체 추적 장치(100)는 추적 중인 객체의 크기가 기준크기보다 20% 이상 크면 줌 아웃을 실행시키고, 추적 중인 객체의 크기가 기준크기보다 20% 이상 작으면 줌 인을 실행시킬 수 있다. 이때 제1 기준비율과 제2 기준비율은 다르게 설정될 수 있다.

도 7은 본 발명의 실시 예에 따른 객체 거리 비교부에서 PTZ 이동속도를 결정하는 방법을 나타낸 흐름도이다.

도 7을 참고하면, 객체 거리 비교부(140)는 중심 영역에서 객체의 이전 위치의 거리를 계산하고(S710), 중심 영역에서 객체의 현재 위치의 거리를 계산한다(S720).

객체 거리 비교부(140)는 객체의 현재 위치의 거리가 이전 위치의 거리 이상인 경우(S730), PTZ 이동속도를 증가시킨다(S740). 이때 증가시키는 값은 임의의 값으로 설정될 수도 있고, 객체의 현재 위치의 거리와 이전 위치의 거리의 차이에 따라 비례하여 PTZ 이동속도가 증가될 수도 있다.

객체 거리 비교부(140)는 객체의 현재 위치의 거리가 이전 위치의 거리 미만이면(S730), PTZ 이동속도를 유지한다(S750).

또한 객체 거리 비교부(140)는 객체가 중심 영역에 겹치거나 포함되었는지 판단한다. 객체 거리 비교부(140)는 객체가 중심 영역에 겹치거나 포함되면(S760), PTZ 이동속도를 소폭 감소시킬 수 있다(S770). 객체가 중심 영역에 겹치거나 포함되는지의 판단은 도 9를 토대로 후술한다.

도 8은 본 발명의 실시 예에 따른 동작 제어부에서 추적 일시 중지와 추적 추적을 설정하는 방법을 설명하는 도면이고, 도 9는 본 발명의 실시 예에 따른 동작 제어부에서 객체가 중심 영역과 중심 에지 영역에 겹쳐지는 겹침 영역을 나타낸 도면이다.

도 8 및 도 9를 참고하면, 동작 제어부(150)는 중심 영역(910)과 중심 에지 영역(920)을 설정한다(S810). 중심 에지 영역(920)은 중심 영역(910)을 포함하면서 중심 영역(910)보다 크게 설정될 수 있다. 중심 에지 영역은 움직임에 민감한 카메라들을 대비하기 위해 설정된 영역이다.

동작 제어부(150)는 추적 중인 객체가 중심 영역(910)에 포함되어 있거나 겹쳐져 있는지 판단하기 위해, 객체와 중심 영역(910)간 겹침 영역(930)을 계산한다(S820). 움직임에 민감한 카메라의 경우, 객체와 중심 영역(910)간 겹침 영역(930)은 객체와 중심 에지 영역(920)간 겹침 영역으로 대체될 수 있다.

동작 제어부(150)는 겹침 영역(930)의 크기가 설정된 값 이상일 경우(S830), 객체가 중심 영역(910)에 포함되어 있거나 겹쳐져 있다고 판단하고 객체 추적 일시 중지를 결정하며(S840), PTZ 중지(Stop) 명령을 생성한다(S850).

동작 제어부(150)는 겹침 영역(930)의 크기가 설정된 값보다 작은 경우, 추적 중인 객체가 중심 영역(910) 밖에 있다고 판단하고, 객체 추적 시작/재시작 명령을 생성하여(S860), 객체추적을 계속하거나 재시작 하도록 한다.

동작 제어부(150)는 정해진 주기로 겹침 영역(930)을 계산하여 객체 추적 및 일시 정지를 결정한다.

이와 같이, 본 발명의 실시 예에 따른 객체 추적 장치(100)는 ONVIF 프로토콜로 PTZ 카메라(300)를 제어하더라도 카메라 제조사 및 모델, 그리고 카메라 설정 값에 따라 PTZ 이동 속도가 다르기 때문에, 객체의 기준 크기, 중심 영역, 중심 에지 영역을 설정하고, PTZ 이동 속도를 제어함으로써, 좀 더 유연하게 PTZ 카메라(300)를 제어할 수 있다.

도 10은 본 발명의 실시 예에 따른 객체 추적 장치와 SVMS 시스템간 연동을 나타내는 도면이다.

도 10을 참고하면, 객체 추적 장치(100)는 SVMS(Smart Video Management System) 시스템(400)과 연동하여 PTZ 카메라(300)를 제어할 수 있다.

SVMS 시스템(400)은 지능형 분석 서버(410), 스트리밍 서버(420) 및 관리 서버(430)로 구성될 수 있다. 지능형 분석 서버(410)는 앞에서 설명한 지능형 분석 서버(200)의 기능을 수행할 수 있다.

SVMS 시스템(400)에서 지능형 분석 서버(410)는 PTZ 카메라(300)로부터 스트리밍 서버(420)를 통해 실시간 촬영된 영상을 실시간으로 분석하여, 객체를 검출하고, 이상상황 등의 이벤트를 탐지한다. 지능형 분석 서버(410)는 이벤트 탐지 단계에서 객체의 식별정보 및 객체의 이동정보를 바탕으로 보안 관리자가 정의한 규칙을 위반하는지 여부를 판단하여 이벤트를 탐지하고, 탐지된 정보를 메타데이터 형태로 관리 서버로 전송할 수 있다. 또한 이벤트 탐지 시 관제 센터로 통보할 수 있다. 이때 지능형 분석 서버(410)는 영상 분석을 통해 검출된 객체의 위치정보를 나타내는 메타 트랙 정보를 객체 추적 장치(100)로 전달한다.

PTZ 카메라(300)는 촬영된 영상을 SVMS 시스템(400) 내 지능형 분석 서버(410) 또는 외부의 지능형 분석 서버(200)로 전달한다.

객체 추적 장치(100)는 SVMS 시스템(400) 내 지능형 분석 서버(410) 또는 외부의 지능형 분석 서버(200)로부터 검출된 객체의 메타 트랙 정보를 수신하면, 앞에서 설명한 바와 같이 PTZ 카메라(300)를 제어하여 객체를 추적한다. 이때 PTZ 카메라의 PTZ 제어 명령은 SVMS 시스템(400)의 지능형 분석 서버(410)로 전달되고, 지능형 분석 서버(410)는 관리 서버(430)를 통해 PTZ 제어 명령을 PTZ 카메라(300)로 전달한다.

PTZ 카메라(300)는 PTZ 제어 명령에 따라 PTZ를 제어한다.

이와 같이, 객체 추적 장치(100)는 SVMS 시스템(400) 및 외부의 지능형 분석 서버(2000와 연동을 통해 실시간으로 PTZ 카메라(300)를 제어하여 자동으로 객체를 추적할 수 있도록 한다.

도 11은 본 발명의 다른 한 실시 예에 따른 객체 추적 장치를 나타낸 도면이다.

도 11을 참고하면, 객체 추적 장치(1100)는 앞에서 설명한 본 발명의 실시 예에 따른 객체 추적 방법이 구현된 컴퓨팅 장치를 나타낼 수 있다.

객체 추적 장치(1100)는 프로세서(1110), 메모리(1120), 입력 인터페이스 장치(1130), 출력 인터페이스 장치(1140), 및 저장 장치(1150) 중 적어도 하나를 포함할 수 있다. 각각의 구성 요소들은 공통 버스(bus)(1160)에 의해 연결되어 서로 통신을 수행할 수 있다. 또한, 각각의 구성 요소들은 공통 버스(1160)가 아니라, 프로세서(1110)를 중심으로 개별 인터페이스 또는 개별 버스를 통하여 연결될 수도 있다.

프로세서(1110)는 AP(Application Processor), CPU(Central Processing Unit), GPU(Graphic　Processing　Unit) 등과 같은 다양한 종류들로 구현될 수 있으며, 메모리(1120) 또는 저장 장치(1150)에 저장된 명령을 실행하는 임의의 반도체 장치일 수 있다. 프로세서(1110)는 메모리(1120) 및 저장 장치(1150) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 이러한 프로세서(1110)는 위의 도 1 내지 도 10을 토대로 설명한 기능 및 방법들을 구현하도록 구성될 수 있다. 예를 들어, 프로세서(1110)는 도 1에서 설명한 객체 방향 계산부(120), 객체 크기 비교부(130), 객체 거리 비교부(140) 및 동작 제어부(150)의 적어도 일부 기능을 수행하도록 구성될 수 있다.

메모리(1120) 및 저장 장치(1150)는 다양한 형태의 휘발성 또는 비 휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1120)는 ROM(read-only memory)(1121) 및 RAM(random access memory)(1122)를 포함할 수 있다. 본 발명의 실시 예에서 메모리(1120)는 프로세서(1110)의 내부 또는 외부에 위치할 수 있고, 메모리(1120)는 이미 알려진 다양한 수단을 통해 프로세서(1110)와 연결될 수 있다.

입력 인터페이스 장치(1130)는 데이터(예를 들어, 메타 트랙 정보)를 프로세서(1110)로 제공하도록 구성되며, 출력 인터페이스 장치(1140)는 프로세서(1110)로부터의 데이터(예를 들어, PTZ 제어 명령)를 출력하도록 구성된다.

또한 본 발명의 실시 예에 따른 객체 추적 방법 중 적어도 일부는 컴퓨팅 장치에서 실행되는 프로그램 또는 소프트웨어로 구현될 수 있고, 프로그램 또는 소프트웨어는 컴퓨터로 판독 가능한 매체에 저장될 수 있다.

또한 본 발명의 실시 예에 따른 객체 추적 방법 중 적어도 일부는 컴퓨팅 장치와 전기적으로 접속될 수 있는 하드웨어로 구현될 수도 있다.

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리 범위에 속하는 것이다.

Claims

객체 추적 장치에서 PTZ(Pan Tilt Zoom) 카메라를 제어하여 객체를 추적하는 방법에서,
상기 PTZ 카메라로부터의 영상을 분석하여 객체를 검출하는 지능형 분석 서버로부터 검출된 객체의 화면 상 위치정보 및 크기정보를 포함하는 메타 트랙 정보를 수신하는 단계,
상기 메타 트랙 정보를 이용하여 상기 PTZ 카메라의 PTZ 제어를 수행하는 단계, 그리고
상기 메타 트랙 정보를 이용하여 상기 PTZ 카메라의 PTZ 이동속도를 제어하는 단계
를 포함하는 객체 추적 방법.
제1항에서,
상기 PTZ 제어를 수행하는 단계는
화면 상에서 중심 영역을 설정하는 단계,
상기 중심 영역을 기준으로 상기 위치정보를 토대로 상기 객체의 방향을 계산하는 단계,
상기 객체의 방향을 토대로 팬 및 틸트 값을 결정하는 단계, 그리고
상기 팬 및 틸트 값을 포함하는 제어 명령을 생성하는 단계를 포함하는 객체 추적 방법.
제2항에서,
상기 객체의 방향을 계산하는 단계는
상기 중심 영역의 x 좌표에서 객체의 x 좌표까지의 x축 거리를 계산하고, 화면 크기 대비 상기 x축 거리의 비율을 계산하는 단계, 그리고
상기 중심 영역의 y 좌표에서 객체의 y 좌표까지의 y축 거리를 계산하고, 화면 크기 대비 상기 y축 거리의 비율을 계산하는 단계를 포함하고,
상기 팬 및 틸트 값을 결정하는 단계는 상기 x축 거리의 비율과 y축 거리의 비율을 각각 팬 값 및 틸트 값으로 변환하는 단계를 포함하는 객체 추적 방법.
제1항에서,
상기 PTZ 제어를 수행하는 단계는
상기 객체의 크기를 설정된 기준 크기와 비교하는 단계,
상기 객체가 기준 객체의 크기보다 설정된 제1 기준비율 이상 크면, 줌 아웃 명령을 생성하는 단계, 그리고
상기 객체의 크기가 상기 기준 크기보다 설정된 제2 기준비율 이상 작으면, 줌 인 명령을 생성하는 단계를 포함하는 객체 추적 방법.
제1항에서,
상기 PTZ 이동속도를 제어하는 단계는
화면 상에서의 중심 영역을 설정하는 단계,
상기 중심 영역에서 상기 객체의 이전 위치의 거리를 계산하는 단계,
상기 중심 영역에서 상기 객체의 현재 위치의 거리를 계산하는 단계, 그리고
상기 이전 위치의 거리와 상기 현재 위치의 거리를 토대로 상기 PTZ 이동 속도를 결정하는 단계를 포함하는 객체 추적 방법.
제5항에서,
상기 PTZ 이동 속도를 결정하는 단계는
상기 현재 위치의 거리가 상기 이전 위치의 거리 이상인 경우, 상기 PTZ 이동속도를 증가시키는 단계, 그리고
상기 현재 위치의 거리가 상기 이전 위치의 거리 미만인 경우, 상기 PTZ 이동속도를 유지하는 단계를 포함하는 객체 추적 방법.
제6항에서,
상기 PTZ 이동 속도를 결정하는 단계는
상기 객체가 상기 중심 영역과 겹치거나 포함되는지 판단하는 단계, 그리고
상기 객체가 상기 중심 영역과 겹치거나 포함되면 상기 PTZ 이동속도를 감소시키는 단계를 포함하는 객체 추적 방법.
제1항에서,
상기 객체와 화면 상 중심 영역간의 겹침 영역을 토대로 객체 추적 시작 또는 객체 추적 중지를 결정하는 단계, 그리고
상기 객체 추적 중지의 경우, PTZ 중지 명령을 생성하는 단계
를 더 포함하는 객체 추적 방법.
PTZ(Pan Tilt Zoom) 카메라를 제어하여 객체를 추적하도록 하는 객체 추적 장치에서,
상기 PTZ 카메라로부터의 영상을 분석하는 지능형 분석 서버로부터 검출된 객체의 화면 상 위치정보 및 크기정보를 포함하는 메타 트랙 정보를 수신하며, 팬, 틸트 및 줌 값을 포함하는 PTZ 제어 명령을 상기 PTZ 카메라로 전송하는 데이터 송수신부,
상기 메타 트랙 정보를 이용하여 화면 상의 중심 영역을 기준으로 상기 객체의 방향을 계산하고, 상기 객체의 방향을 토대로 팬 및 틸트 값을 결정하는 객체 방향 계산부,
상기 메타 트랙 정보를 이용하여 상기 객체의 크기를 설정된 기준 크기와 비교하여 줌 값을 결정하는 객체 크기 비교부, 그리고
상기 중심 영역에서 상기 객체의 이전 위치의 거리와 상기 중심 영역에서 상기 객체의 현재 위치의 거리를 계산하고, 상기 이전 위치의 거리와 상기 현재 위치의 거리를 토대로 PTZ 이동속도를 결정하며, 상기 PTZ 이동속도를 상기 팬 및 틸트 값에 반영하는 객체 거리 비교부
를 포함하는 객체 추적 장치.
제9항에서,
상기 중심 영역과 상기 객체간 겹침 영역을 계산하고, 상기 겹침 영역을 토대로 객체 추적 일시 정지 및 시작을 결정하는 동작 제어부
를 더 포함하는 객체 추적 장치.
제10항에서,
상기 동작 제어부는 상기 겹침 영역을 토대로 상기 객체가 중심 영역에 포함되어 있거나 겹쳐져 있는 것으로 판단되면, 상기 객체 추적 일시 정지를 결정하고, PTZ 중지 명령을 상기 데이터 송수신부를 통해 전송하는 객체 추적 장치.
제9항에서,
상기 객체 방향 계산부는 화면 크기 대비 상기 중심 영역의 x 좌표에서 객체의 x 좌표까지의 x축 거리의 비율을 계산하고, 상기 x축 거리의 비율을 상기 팬 값으로 변환하고, 상기 화면 크기 대비 상기 중심 영역의 y 좌표에서 객체의 y 좌표까지의 y축 거리의 비율을 계산하고, 상기 y축 거리의 비율을 상기 틸트 값으로 변환하는 객체 추적 장치.
제9항에서,
상기 객체 거리 비교부는 상기 현재 위치의 거리가 상기 이전 위치의 거리 이상인 경우 상기 PTZ 이동속도를 증가시키고, 상기 현재 위치의 거리가 상기 이전 위치의 거리 미만인 경우 상기 PTZ 이동속도를 유지하는 객체 추적 장치.
제13항에서,
상기 객체 거리 비교부는 상기 현재 위치의 거리와 상기 이전 위치의 거리의 차이에 비례하여 상기 PTZ 이동속도를 증가시키는 객체 추적 장치.
제9항에서,
상기 객체 거리 비교부는 상기 객체가 상기 중심 영역과 적어도 일부 겹치면 상기 PTZ 이동속도를 감소시키는 객체 추적 장치.