KR101526499B1 - 객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템 및 이를 이용한 지능형 영상 분석 방법 - Google Patents

객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템 및 이를 이용한 지능형 영상 분석 방법 Download PDF

Info

Publication number
KR101526499B1
KR101526499B1 KR1020150000154A KR20150000154A KR101526499B1 KR 101526499 B1 KR101526499 B1 KR 101526499B1 KR 1020150000154 A KR1020150000154 A KR 1020150000154A KR 20150000154 A KR20150000154 A KR 20150000154A KR 101526499 B1 KR101526499 B1 KR 101526499B1
Authority
KR
South Korea
Prior art keywords
image
power
video camera
unit
power source
Prior art date
Application number
KR1020150000154A
Other languages
English (en)
Inventor
허강
Original Assignee
주식회사 아이티엑스시큐리티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이티엑스시큐리티 filed Critical 주식회사 아이티엑스시큐리티
Priority to KR1020150000154A priority Critical patent/KR101526499B1/ko
Application granted granted Critical
Publication of KR101526499B1 publication Critical patent/KR101526499B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 파워 확장 장치의 사용자 편의성 향상과 촬영된 영상에 대한 다양한 분석을 수행할 수 있는 객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템 및 이를 이용한 지능형 영상 분석 방법에 관한 것으로, 상세하게는, 통신 인터페이스가 구비된 적어도 하나 이상의 비디오 카메라; 상기 비디오 카메라로부터 촬영되는 영상 데이터를 저장 및 관리하며, 선택된 영상으로부터 조건 지정에 따른 대상 객체를 식별하고, 움직임 객체 추정 시 움직임 객체의 구동축 영역을 판단하도록 영상을 분석하는 영상관리서버; 상기 비디오 카메라의 영상 데이터와 상기 비디오 카메라가 설치된 영역에 존재하는 스마트 장치로부터 수집되는 수집 데이터를 취합하여 영상을 분석하는 지능형 영상분석서버; 및 상기 비디오 카메라와 관제센터 간의 데이터 통신을 중계하며 이더넷 케이블을 통해 상기 비디오 카메라로 전원을 공급하기 위한 PoE 지원 파워 확장 장치;를 포함하는 것이 특징이다.

Description

객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템 및 이를 이용한 지능형 영상 분석 방법{Network security monitoring System using detecting an object and method for intelligently analyzing video data using thereof}
본 발명은 보안용 네트워크 방범 감시 시스템 및 비디오 카메라와 스마트 장치로부터 획득한 데이터에 대한 지능형 영상 분석 방법에 관한 것으로, 상세하게는 파워 확장 장치의 사용자 편의성 향상과 촬영된 영상에 대한 다양한 분석을 수행할 수 있는 객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템 및 이를 이용한 지능형 영상 분석 방법에 관한 것이다.
대한민국 공개특허 제10-2008-0072454호(2008. 08. 06)에서 배경과 이동 객체를 분리하여 움직임을 추정하는 기술을 개시하고 있다. 본 발명자는 이러한 객체의 움직임 추정 기술을 이용해 움직임 객체 추정시, 움직임 객체의 구동축 영역을 검출할 수 있는 기술에 대한 연구를 하게 되었다.
영상 분석은 비디오 카메라 등이 촬영한 영상을 분석하여 상황을 파악하고자 하는 시도로, 영상 처리 기술의 발전에 따라 보안 분야에 도입되고 있다. 예를 들어 카메라를 통해 획득된 영상을 분석하여 움직임을 검출하거나, 검출영역에서 사람 또는 차량의 존재 혹은 움직임 관련 정보를 추출하고 분석하여 관제 부담을 덜고자 시도한다. 그러나 군중이나 도심을 촬영한 영상의 복잡도나, 조명과 같은 촬영조건의 제한으로 인해 영상 분석도 한계가 있다.
한편 PoE(Power over Ethernet)은 이더넷 케이블(Ethernet cable)을 통해 데이터와 전원을 동시에 전송하는 기술로, 비디오 관련 기술에서도 IP 카메라와 영상수집장치 간에 PoE 지원의 파워 확장 장치가 적용되고 있다.
이러한 PoE 지원의 파워 확장 장치는 파워 확장 장치가 송신장치에 내장 또는 외장되는 파워 소스 장치(PSE)로부터 공급되어 이더넷 케이블(Ethernet Cable)을 통해 전송되는 신호로부터 전력을 검출하는 전력 검출부와, 파워 확장 장치가 송신장치로부터 출력되는 데이터 신호를 중계하는 데이터 중계부를 포함한다.
일 예로, 데이터 중계부는 1차측 코일 및 2차측 코일로 이루어져 송신장치로부터 출력되어 이더넷 케이블을 통해 전송되는 데이터 신호의 신호 레벨을 일정 수준으로 변환하여 신호 열화를 방지하는 데이터 변환기(Transfomer)로 구현될 수 있다.
대한민국 공개특허 제10-2011-0129872호(2011.12.02) 등에 기재된 종래 이더넷 네트워크 관련 기술의 경우 통신 장애와 같이 통상의 네트워크 상 문제가 발생하게 되면, 이더넷 네트워크를 셧 다운(Shut down)시킨 후 재부팅(Rebooting) 해야 한다.
그러나, 종래 기술에 따르면 파워 확장 장치(PE) 자체는 전원 온/오프 기능이 없었기 때문에, 파워 소스 장치(PSE)의 전원을 오프시켜도, 외부 전원으로부터 공급되는 전원이 계속 수신장치 측으로 공급하는 문제가 있기 때문에 사용자가 파워 소스 장치(PSE)와는 이격되어 설치되어 파워 확장장치(PE)에 전원을 공급하는 외부 전원을 일일이 찾아가서 수동으로 전원을 온/오프해야만 하는 불편함이 있었다.
대한민국 공개특허 제10-2008-0072454호(2008. 08.06) 대한민국 공개특허 제10-2011-0129872호(2011.12.02)
따라서 본 발명은 상기한 취지하에 발명된 것으로, 대상 객체를 식별함에 있어 식별 대상 객체의 조건 지정이 용이하며, 움직임 객체 추정시에는 움직임 객체의 구동축 영역을 판단할 수 있는 객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템 및 이를 이용한 지능형 영상 분석 방법을 제공함에 목적이 있다.
제안된 발명은 비디오 카메라로부터 얻은 영상 정보 및 스마트 장치로부터 얻은 정보를 결합하여 자동적인 영상 분석의 신뢰성을 높일 수 있는 객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템 및 이를 이용한 지능형 영상 분석 방법을 제공함에 목적이 있다.
제안된 발명은 비디오 카메라로부터 얻은 영상 정보 및 스마트 장치로부터 얻은 정보를 결합하여 영상 분석 중 기 설정된 조건 만족 시에 사용자에게 알려 관제 부담과 비용을 덜고 긴급 상황에 신속하게 대처할 수 있는 객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템 및 이를 이용한 지능형 영상 분석 방법을 제공함에 목적이 있다.
제안된 발명은 비디오 카메라로부터 얻은 영상 정보 및 스마트 장치로부터 얻은 정보를 결합하여 인구사회학적 데이터를 생성하고 기업의 효율적인 운용을 도모할 수 있는 객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템 및 이를 이용한 지능형 영상 분석 방법을 제공함에 목적이 있다.
제안된 발명은 파워 소스 장치(PSE)의 전원 온/오프 여부에 따라 파워 확장 장치(PE)에 전원을 공급하는 외부 전원의 전원 공급을 자동으로 온/오프 제어할 수 있는 PoE 지원 파워 확장 장치를 포함하는 객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템 및 이를 이용한 지능형 영상 분석 방법을 제공함에 목적이 있다.
상기 목적을 이루기 위한 본 발명의 객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템은 통신 인터페이스가 구비된 적어도 하나 이상의 비디오 카메라; 상기 비디오 카메라로부터 촬영되는 영상 데이터를 저장 및 관리하며, 선택된 영상으로부터 조건 지정에 따른 대상 객체를 식별하고, 움직임 객체 추정 시 움직임 객체의 구동축 영역을 판단하도록 영상을 분석하는 영상관리서버; 상기 비디오 카메라의 영상 데이터와 상기 비디오 카메라가 설치된 영역에 존재하는 스마트 장치로부터 수집되는 수집 데이터를 취합하여 영상을 분석하는 지능형 영상분석서버; 및 상기 비디오 카메라와 관제센터 간의 데이터 통신을 중계하며 이더넷 케이블을 통해 상기 비디오 카메라로 전원을 공급하기 위한 PoE 지원 파워 확장 장치;를 포함할 수 있다.
하나의 예로써, 상기 지능형 영상분석서버는, 상기 비디오 카메라가 촬영한 영상으로부터 획득되는 제 1 메타데이터와 상기 비디오 카메라가 설치된 영역 근처에 존재하는 스마트 장치가 생성한 제 2 메타데이터를 시공간적으로 매칭시켜 비디오 카메라 촬영 영상에 대한 분석 정보를 제공할 수 있다.
하나의 예로써, 상기 지능형 영상분석서버는, 해당 비디오 카메라의 영상 획득 시점 및 영상 획득 위치와 매칭되는 제 2 메타데이터를 선별하는 선별부; 및 상기 제 1 메타데이터와 선별된 제 2 메타데이터를 분석하여 기 설정된 보안 관련 조건이 만족되는지를 판단하는 보안 이벤트 분석부;를 포함할 수 있다.
하나의 예로써, 상기 지능형 영상분석서버는, 상기 제 1 메타데이터와 선별된 제 2 메타데이터를 분석하여 외부의 요구에 따라 인구사회학적 데이터를 생성하는 CRM 정보 분석부;를 더 포함할 수 있다.
하나의 예로써, 상기 지능형 영상분석서버는, 상기 보안 이벤트 분석부에서 판단한 보안 관련 조건의 만족 여부를 표시하고 상기 CRM 정보 분석부에서 생성한 인구사회학적 데이터를 카테고리별로 맵상에서 매핑하여 표시할 수 있도록 하는 분석 정보를 출력하는 출력부;를 더 포함할 수 있다.
하나의 예로써, 상기 영상관리서버는, 상기 하나 이상의 비디오 카메라로부터 전달되는 영상에서 객체를 식별하는 객체 식별부와, 식별된 객체의 속성들을 추출하는 속성 추출부와, 추출된 속성들 중 적어도 일부를 대상 객체 식별을 위한 관심 속성으로 지정하는 관심 속성 지정부 및 상기 비디오 카메라의 영상에서 식별된 객체의 속성이 관심 속성의 유사범위에 속할 경우에 그 식별된 해당 객체를 대상 객체로 인식하는 대상 객체 인식부를 포함하는 객체식별장치를 포함할 수 있다.
하나의 예로써, 상기 관심 속성 지정부는, 관리자에 의해 선택된 객체로부터 추출된 속성들 중 적어도 일부를 관심 속성으로 지정할 수 있다.
하나의 예로써, 상기 관심 속성 지정부는, 추출된 속성들 중 관리자에 의해 선택된 적어도 일부를 관심 속성으로 지정할 수 있다.
하나의 예로써, 상기 영상관리서버는, 상기 비디오 카메라로부터 촬영된 영상에서 일련의 영상 프레임들로부터 시간적으로 짧은 특정의 시간동안 정지한 영역을 검출하는 정지 영역 검출부 및 상기 정지 영역 검출부에 의해 검출된 시간적으로 짧은 특정의 시간 동안 정지한 영역으로부터 오탐지 영역을 제외한 구동축 영역을 검출하는 구동축 영역 검출부를 포함하는 구동축검출장치를 포함할 수 있다.
하나의 예로서, 상기 구동축검출장치는, 상기 구동축 영역 검출부에 의해 검출된 구동축 영역에 대한 추적을 수행하는 구동축 영역 추적부를 더 포함할 수 있다.
하나의 예로써, 상기 정지 영역 검출부는, 일련의 영상 프레임들에 포함되는 적어도 하나의 객체 윤곽의 시간적 특징을 이용하여 확률적으로 모델링된 배경으로부터 시간적으로 짧은 특정의 시간 동안 정지한 영역을 검출할 수 있다.
하나의 예로써, 상기 구동축 영역 검출부는, 일련의 영상 프레임들에 대한 정지한 영역들의 내부 특징을 이용해 유사한 양상을 가지는 화소를 제외한 영역을 오탐지 영역으로 검출할 수 있다.
하나의 예로써, 상기 구동축 영역 추적부는, 일련의 영상 프레임들로부터 구동축 영역과 유사한 양상의 내부 특징을 유지하는 영역을 추적할 수 있다.
하나의 예로써, 상기 PoE 지원 파워 확장 장치는, 송신장치에 내장 또는 외장되는 파워 소스 장치(PSE : Power Source Equipment)로부터 전원이 공급되는지 여부를 감지하는 전원 감지부; 상기 전원 감지부에 의해 파워 소스 장치(PSE)로부터 전원이 공급된다 판단된 경우에는 온되어 외부 전원으로부터 파워 확장 장치로 전원을 공급하고, 전원이 공급되지 않는다 판단된 경우에는 오프되어 외부 전원으로부터 파워 확장 장치(PE)로 전원이 공급되지 않도록 하는 스위치부; 및 상기 파워 소스 장치(PSE)로부터 공급되는 전원 또는 외부 전원으로부터 공급되는 전원을 수신장치 측으로 출력하는 비교기를;포함할 수 있다.
하나의 예로써, 상기 PoE 지원 파워 확장 장치는, 송신장치에 내장 또는 외장되는 파워 소스 장치(PSE : Power Source Equipment)로부터 공급되어 이더넷 케이블(Ethernet Cable)을 통해 전송되는 신호로부터 전력을 검출하는 전력 검출부;를 더 포함하며, 상기 전원 감지부는, 상기 전력 검출부에 의해 검출되는 전력으로부터 이더넷 케이블에 인가되는 저항 또는 전류를 검출하고, 검출된 저항 또는 전류를 기준 저항 또는 기준 전류와 비교하여, 파워 소스 장치(PSE)로부터 전원이 공급되는지 여부를 감지할 수 있다.
하나의 예로써, 상기 비교기는, 상기 파워 소스 장치(PSE)로부터 공급되는 전원과 외부 전원으로부터 공급되는 전원의 전압을 비교하여, 더 큰 전압을 공급하는 전원을 수신장치 측으로 출력할 수 있다.
한편, 본 발명의 객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템 를 이용한 지능형 영상 분석 방법은, 특정 비디오 카메라가 촬영한 영상으로부터 획득된 제 1 메타데이터와 상기 비디오 카메라가 설치된 영역 근처에 존재하는 스마트 장치가 생성한 제 2 메타데이터를 시공간적으로 매칭시켜 해당 비디오 카메라가 촬영한 영상에 대하여 분석 정보를 제공하는 것이 특징이다.
하나의 예로써, 상기 지능형 영상 분석 방법은, 상기 비디오 카메라의 영상 획득 시점 및 영상 획득 위치와 매칭되는 제 2 메타데이터를 선별하는 선별단계; 상기 제 1 메타데이터와 선별된 제 2 메타데이터를 분석하여 기 설정된 보안 관련 조건이 만족되는지를 판단하는 보안 이벤트 분석단계; 및 상기 제 1 메타데이터와 선별된 제 2 메타데이터를 분석하여 외부의 요구에 따라 인구사회학적 데이터를 생성하는 CRM 정보 분석단계;를 포함할 수 있다.
하나의 예로써, 지능형 영상 분석 방법은, 상기 보안 이벤트 분석단계에서 판단한 보안 관련 조건의 만족 여부를 표시하고 CRM 정보 분석단계에서 생성한 인구사회학적 데이터를 카테고리별로 맵상에서 매핑하여 표시하는 출력단계;를 더 포함할 수 있다.
본 발명의 객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템 및 이를 이용한 지능형 영상 분석 방법은, 대상 객체를 식별함에 있어 식별 대상 객체의 조건 지정이 용이하여 실제 감시 대상이 되어야 할 객체를 보다 효과적으로 구별함으로써 보안 성능을 향상시킬 수 있으며, 움직임 객체 추정시에는 움직임 객체의 구동축 영역을 효율적으로 검출할 수 있는 이점이 있다.
또한 제안된 발명은 비디오 카메라가 설치된 영역에 존재하는 스마트 장치와 연동한 영상 분석 정보를 제공하는 지능형 영상분석서버가 구비됨에 따라 자동적인 영상 분석의 신뢰성을 향상시킬 수 있으며, 관제 부담과 비용을 덜고 긴급 상황에 신속하게 대처할 수 있는 이점이 있다.
그리고 제안된 발명은 상기 지능형 영상분석서버는 감시 정보로부터 인구사회학적 데이터를 생성 및 제공함으로 기업의 상업적 활용을 도모할 수 있는 이점이 있다.
또한 제안된 발명은 파워 소스 장치(PSE)의 전원 온/오프 여부에 따라, 파워 확장 장치(PE)에 전원을 공급하는 외부 전원의 전원 공급을 자동으로 온/오프 제어할 수 있으므로, 이더넷 네트워크 셧 다운시 사용자가 파워 소스 장치(PSE)와는 이격되어 설치되어 파워 확장 장치(PE)에 전원을 공급하는 외부 전원을 일일이 찾아가서 수동으로 전원을 온/오프하지 않아도 되므로, 사용자 편의성을 향상시킬 수 있는 유용한 이점이 있다.
도 1은 본 발명의 객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템의 구성을 개략적으로 나타내는 블럭도이다.
도 2는 본 발명의 일 실시 예에 따른 PoE 지원 파워 확장 장치를 나타내는 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 객체식별장치를 나타내는 블럭도이다.
도 4는 본 발명의 일 실시 예에 따른 조건 지정에 따른 감시 영상 분석 방법을 나타낸 순서도이다.
도 5는 본 발명의 일 실시 예에 따른 구동축검출장치를 나타내는 블럭도이다.
도 6은 본 발명의 일 실시 예에 따른 정지 영역을 설명하기 위한 예시도이다.
도 7은 본 발명에 일 실시 예에 따른 구동축검출장치의 구동축 영역 검출 과정을 나타내는 순서도이다.
도 8은 본 발명의 일 실시 예에 따른 지능형 영상분석서버를 나타내는 블럭도이다.
도 9는 본 발명의 일 실시 예에 따른 지능형 영상분석서버의 영상 분석 방법을 설명하는 흐름도이다.
도 10은 본 발명의 일 실시 예에 따른 지능형 영상 분석 방법을 나타내는 순서도이다.
도 11은 본 발명의 일 실시 예에 따른 지능형 영상 분석 방법 중 출력단계를 설명하는 순서도이다.
도 12는 본 발명의 일 실시 예에 따른 지능형 영상 분석 방법에 따라 군중에서 특정 객체를 추출하는 장면을 도시한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템 및 이를 이용한 지능형 영상 분석 방법에 대하여 상세히 설명하기로 한다.
도 1은 본 발명의 객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템의 구성을 개략적으로 나타내는 블럭도이다.
도 1을 참조하면, 본 발명은 지정된 영역을 촬영하는 하나 이상의 비디오 카메라(10)와, 상기 비디오 카메라(10)에 통신망을 중계하며 전원을 공급하기 위한 PoE 지원 파워 확장 장치(20)와, 상기 비디오 카메라(10)의 촬영 영상을 관리 및 분석하는 영상관리서버(30)와, 상기 비디오 카메라(10)와 외부의 스마트 장치(70)를 연동시켜 지능형 영상 분석 정보를 제공하는 지능형 영상분석서버(60)를 포함하여 구성될 수 있다.
먼저, 상기 비디오 카메라(10)는 지정된 영역을 촬영하는 것으로 통상의 아날로그 방범 카메라 또는 촬영된 디지털 영상을 직접 압축한 영상 데이터로 생성할 수 있는 네트워크 IP 카메라 중 어느 하나일 수 있다.
상기 비디오 카메라(10)에서 생성되는 영상 데이터는 지정된 네트워크 망을 통해 원격지에 위치하는 관제센터(40)를 전송되어 모니터링되거나, 분석이 요구되는 경우 선택적으로 상기 영상관리서버(30) 또는 지능형 영상분석서버(60)로 전달될 수 있다.
상기 비디오 카메라(10)는 설치 목적과 장소 및 관리 규모를 고려하여 적어도 하나 이상 설치될 수 있다. 이러한 비디오 카메라(10)는 원격지의 관제센터(40) 또는 상기 영상관리서버(30) 또는 지능형 영상분석서버(60)로부터 전송되는 제어 신호에 의해 구동이 제어될 수 있다.
그리고 상기 비디오 카메라(10)는 통신 인터페이스가 구비되어 데이터 통신을 수행되는 것으로, 바람직하게는 PoE(Power over Ethernet ; 이더넷 전원장치. 이하 'PoE(Power over Ethernet)'라 칭함)가 적용된 이더넷 케이블(Ethernet cable)을 통해 데이터 통신과 함께 전원이 공급될 수 있다.
이때 상기 비디오 카메라(10)와 원격지의 관제센터(40) 간에는 신호 처리, 전원 공급 및 네트워크 중계 등의 기능을 수행할 수 있는 중계 수단이 구비될 수 있는 바, 이하에서는 중계 수단의 일 예로서 제시되는 본 발명의 PoE 지원 파워 확장 장치(20)를 설명하기로 한다.
본 발명의 일 실시 예에 따른 PoE 지원 파워 확장 장치(20)는 PoE(Power over Ethernet)를 지원하는 장치로, 복수의 입출력 포트가 구비되어 이더넷 케이블(Ethernet cable)을 통해 상기 비디오 카메라(10)로 데이터와 전원을 동시에 전송할 수 있다. 이러한 PoE 지원 파워 확장 장치(20)는 비디오 감시 시스템의 특성상 원거리에 상호 위치하는 비디오 카메라(10)와 상기 관제센터(40) 간의 데이터 통신을 중계하게 된다.
상기 PoE 지원 파워 확장 장치(20)는 도면에 도시된 바 없으나 외부로부터 공급되는 외부전원(50)을 상기 비디오 카메라(10)로 전달하거나 설정정보 내지 제어신호를 포함한 특정 신호를 상기 비디오 카메라(10)로 송신하기 위한 송신장치가 구비될 수 있다.
이때 상기 송신장치에는 실질적으로 비디오 카메라(10)에 전원을 공급하는 파워 소스 장치(PSE : Power Source Equipment)가 내장 또는 외장될 수 있다.
본 발명에서는 상기 PoE 지원 파워 확장 장치(20)가 파워 소스 장치(PSE)의 전원 온/오프 여부에 따라, 파워 확장 장치(PE)에 전원을 공급하는 외부 전원의 전원 공급을 자동으로 온/오프 제어될 수 있도록 구성됨에 특징이 있다.
도 2는 본 발명의 일 실시 예에 따른 PoE 지원 파워 확장 장치를 나타내는 블럭도이다.
구체적으로 본 실시 예에 따른 PoE 지원 파워 확장 장치(20)는 전원 감지부(200)와, 스위치부(210)와, 비교기(220)를 포함하여 구성될 수 있다.
먼저 상기 전원 감지부(200)는 앞서 설명한 바와 같이 송신장치에 내장 또는 외장되는 파워 소스 장치(PSE : Power Source Equipment)로부터 전원이 공급되는지 여부를 감지한다.
예를 들면 상기 송신장치가 원격에 설치되는 복수의 비디오 카메라(10)들을 관리하고 비디오 카메라(10)들에 의해 촬영되는 영상을 기록하는 NVR(Network Video Recoder)일 수 있다.
상기 스위치부(210)는 상기 전원 감지부(200)에 의해 감지된 파워 소스 장치(PSE)의 전원 공급 여부에 따라, 파워 확장 장치(PE : Power Extender)로 전원을 공급하는 외부 전원(External Power)(50)의 전원 공급을 온/오프시킨다.
즉, 상기 전원 감지부(200)에 의해 파워 소스 장치(PSE)로부터 전원이 공급된다 판단된 경우에는 상기 스위치부(210)가 온되어 외부 전원(50)으로부터 파워 확장 장치(PE)로 전원이 공급된다.
상기 전원 감지부(200)에 의해 파워 소스 장치(PSE)로부터 전원이 공급되지 않는다 판단된 경우에는 상기 스위치부(210)가 오프되어 외부 전원(50)으로부터 파워 확장 장치(PE)로 전원이 공급되지 않게 된다.
한편 상기 비교기(220)는 상기 파워 소스 장치(PSE)로부터 공급되는 전원 또는 외부 전원(50)으로부터 공급되는 전원을 수신장치 측으로 출력한다. 이때, 상기 수신장치는 전원 공급 대상인 하나의 비디오 카메라(10)가 해당된다.
상기 비교기(220)가 파워 소스 장치(PSE)로부터 공급되는 전원과 외부 전원(50)으로부터 공급되는 전원의 전압을 비교하여, 더 큰 전압을 공급하는 전원을 수신장치 측으로 출력하도록 구현될 수 있다.
따라서 본 발명은 파워 소스 장치(PSE)의 전원 온/오프 여부에 따라 파워 확장 장치(PE)에 전원을 공급하는 외부 전원의 전원 공급을 자동으로 온/오프 제어할 수 구현됨에 의해 이더넷 네트워크 셧 다운 시 관리자가 파워 소스 장치(PSE)와는 이격되어 설치되어 파워 확장 장치(PE)에 전원을 공급하는 외부 전원을 일일이 찾아가서 수동으로 전원을 온/오프하지 않아도 되므로, 사용자 편의성을 향상시킬 수 있다.
발명의 일 실시 예에 따른 상기 PoE 지원 파워 확장 장치(20)는 전력 검출부(230)를 더 포함할 수 있다.
상기 전력 검출부(230)는 상기 송신장치에 내장 또는 외장되는 파워 소스 장치(PSE)로부터 공급되어 이더넷 케이블(Ethernet Cable)을 통해 전송되는 신호로부터 전력을 검출한다.
이때 상기 전원 감지부(200)가 상기 전력 검출부(230)에 의해 검출되는 전력으로부터 이더넷 케이블에 인가되는 저항 또는 전류를 검출하고, 검출된 저항 또는 전류를 기준 저항 또는 기준 전류와 비교하여, 파워 소스 장치(PSE)로부터 전원이 공급되는지 여부를 감지하도록 구현될 수 있다.
예들 들면 상기 전원 감지부(200)가 이더넷 케이블에 인가되는 전류가 기준전류 이상이라 검출된 경우에는 파워 소스 장치(PSE)로부터 전원이 공급된다 판단하고, 이더넷 케이블에 인가되는 전류가 기준 전류 미만이라 검출된 경우에는 파워 소스 장치(PSE)로부터 전원이 공급되지 않는다 판단하도록 구현될 수 있다.
그리고 상기 전원 감지부(200)는 이더넷 케이블에 인가되는 저항이 기준 저항 범위라 검출된 경우에는 파워 소스 장치(PSE)로부터 전원이 공급된다 판단하고, 이더넷 케이블에 인가되는 저항이 기준 저항 범위 이외라 검출된 경우에는 파워 소스 장치(PSE)로부터 전원이 공급되지 않는다 판단하도록 구현될 수도 있다.
이에 더하여 상기 PoE 지원 파워 확장 장치(20)는 상기 송신장치로부터 출력되는 데이터 신호를 중계하기 위한 데이터 중계부(240)를 더 포함할 수 있다.
상기 데이터 중계부(240)는 1차측 코일(241) 및 2차측 코일(242)로 이루어져 상기 송신장치로부터 출력되어 이더넷 케이블을 통해 전송되는 데이터 신호의 신호 레벨을 일정 수준으로 변환하여 신호 열화를 방지하는 데이터 변환기(Transfomer)로 구현될 수 있다.
즉, 본 실시 예에서는 이더넷 네트워크에서의 송신 거리에 따른 데이터 신호 열화를 데이터 중계부(240)를 통해 보상하여 전송할 수 있게 되는 것이다.
또한 상기 비교기(220)가 상기 파워 소스 장치(PSE)로부터 공급되는 전원 또는 외부 전원(50)으로부터 공급되는 전원을 상기 데이터 중계부(240)의 2차측 코일(242)의 중간탭으로 공급하도록 구현될 수 있다. 즉, 이더넷 케이블의 데이터 신호가 전송되는 라인과 동일한 라인으로 전원 신호를 함께 전송하는 경우의 전원 신호 열화를 보상하도록 구현되는 것이다.
한편, 상기 영상관리서버(30)는 상기 하나 이상의 비디오 카메라(10)에서 촬영된 영상 데이터를 수집 및 관리하며, 상기 PoE 지원 파워 확장 장치(20)를 통해 수집된 영상 데이터를 상기 관제센터(40)로 송신할 수 있다.
이때 수집된 비디오 카메라(10)의 영상 데이터에는 고유의 식별정보를 포함할 수 있으며, 상기 관제센터(40)에서는 상기 식별정보를 기반으로 비디오 카메라의 정보 내지 설치 구역 등을 파악하여 수집된 영상 데이터를 분류 및 모니터링할 수 있게 된다.
상기 영상관리서버(30)는 상기 비디오 카메라(10)로부터 전송되는 영상 데이터를 저장 및 관리함에 있어 자체적으로 또는 상기 관제센터(40)의 요청 명령에 따라 영상에 대한 다양한 분석을 수행할 수 있다.
예를 들면 상기 영상관리서버(30)에서는 영상 데이터를 분석하여 영상 내의 객체 식별, 모션 검출 또는 움직임 객체의 구동축 영역을 검출하는 등의 영상 분석을 수행함으로써 최근 방범용으로 요구되어 지는 비디오 감시 시스템을 만족하도록 구현될 수 있다.
먼저 이하에서는 상기 영상관리서버(30)가 수신된 영상 또는 데이터베이스(미도시)에 저장된 영상으로부터 설정된 조건에 따라 대상 객체를 식별하도록 하는 영상 분석의 예를 설명하기로 한다.
도 3은 본 발명의 일 실시 예에 따른 객체식별장치를 나타내는 블럭도이다.
본 실시 예에 따른 영상관리서버(30)는 객체 식별을 수행할 수 있는 객체식별장치(300)를 포함할 수 있다.
상기 객체식별장치(300)는 상기 영상관리서버(30)로부터 객체 분석에 요구되는 비디오 카메라(10)의 영상 데이터를 요청할 수 있으며, 상기 영상관리서버(30)는 그에 대응하는 데이터를 상기 객체식별장치(300)로 제공할 수 있다.
그리고 상기 객체식별장치(300)는 입력된 영상 데이터의 영상을 분석함에 있어, 대상 객체를 식별함과 더불어 식별 대상 객체의 조건 지정을 용이하게 수행할 수 있도록 구성될 수 있으며, 프로세서, 메모리 등의 하드웨어 자원과 프로세서에 의해 실행되는 VA(Video Analytics) 소프트웨어 등을 포함할 수 있다.
구체적으로, 상기 객체식별장치(300)는 도 3에 도시된 바와 같이 객체 식별부(310)와 속성 추출부(320)와 관심 속성 지정부(330) 및 대상 객체 인식부(340)를 포함할 수 있다.
먼저, 상기 객체 식별부(310)는 수신된 영상 데이터를 처리하여 객체를 식별한다. 예를 들어, 상기 객체 식별부(310)는 수신된 영상 데이터에 따른 영상을 배경(background)과 전경(foreground)으로 분리하고, 전경만을 대상으로 하여 객체를 식별할 수 있다.
여기서 '객체'라 함은 움직이는 물체로서, 사람이나 차량 등을 예로 들 수 있다. 이때, 영상 처리를 통해 객체의 외곽선을 추출하여 객체를 식별하는 기술은 공지기술 등을 통해 다양하게 실시될 수 있는 바, 구체적인 설명은 생략한다.
상기 속성 추출부(320)는 상기 객체 식별부(310)에 의해 식별된 객체의 속성들을 추출한다. 예를 들어, 객체가 사람일 경우 속성들로는 신장, 크기, 옷 색상, 모자 유형, 모자 색상, 이동 속도 등을 예로 들 수 있으며, 객체가 차량일 경우에는 대형차/중형차/소형차, 승용차, 트럭, RV, 속도, 색상 등을 예로 들 수 있다.
상기 관심 속성 지정부(330)는 상기 속성 추출부(320)에 의해 추출된 속성들 중 적어도 일부를 대상 객체 식별을 위한 관심 속성으로 지정한다. 이때 관심 속성은 이하에서 설명하는 저장부(360)에 저장된 이벤트 탐지 조건 리스트(361)에 추가되어 관리될 수 있다.
상기 대상 객체 인식부(340)는 상기 객체 식별부(310)를 통해 객체가 식별될 경우에 그 식별된 해당 객체로부터 추출된 속성이 관심 속성의 유사범위에 속하는지 판단한다. 예를 들면, 상기 관심 속성이 ‘신장 180cm & 검은 색상의 옷’이고 영상에서 식별된 객체의 속성이 ‘신장 177cm & 검정 계열의 옷’일 경우에는 유사범위에 속하는 것으로 판단한다.
그러나 어느 하나라도 다르면 유사 범위에 속하지 않는 것으로 판단한다. 여기서 유사 범위는 관리자에 의해 수동으로 그 범위가 적절히 설정될 수 있으며 관리자의 설정이 없을 경우에는 디폴트로 정해질 수 있다.
유사범위에 속하는 것으로 판단되면 상기 대상 객체 인식부(340)는 그 식별된 객체를 대상 객체로 인식할 수 있다.
상기 이벤트 탐지부(350)는 상기 대상 객체가 이벤트 탐지 조건 리스트(361)에 포함된 이벤트 탐지 조건에 부합하는 움직임을 보이는지 탐지하며, 탐지될 경우에 이벤트 발생을 외부로 알린다. 여기서, 이벤트 탐지로는 경계선 탐지(Tripwire Detection), 다중 경계선 탐지(Multi-line Tripwire Detection), 배회 탐지(Loitering Detection) 중 어느 하나일 수 있다.
이들에 대해 부연 설명하면, 경계선 이벤트 탐지의 경우 대상 객체가 카메라 영상에 그려진 가상의 트립와이어를 넘어서 특정한 방향으로 움직이는 것을 탐지하는 것이다. 다중 경계선 탐지는 두 개의 가상 트립와이어 사이에 조합된 규칙을 가능하게 하는 것으로, 예를 들어 대상 객체가 트립와이어 하나를 넘어선 후 두 번째 트립와이어를 넘는 시간 등을 탐지할 수 있다.
또한 상기 다중 경계선 탐지에 의하면, 불법적인 턴 또는 교통 흐름, 지정된 속도를 탐지할 수 있다. 그리고 배회 탐지는 대상 객체가 특정 장소를 지속적으로 배회하는 것을 탐지할 수 있다.
상기 관심 속성 지정부(330)는 사용자 인터페이스를 통해 선택된 객체의 속성들 중 적어도 일부를 관심 속성으로 지정할 수 있다. 즉, 상기 관심 속성 지정부(330)는 상기 속성 추출부(320)에 의해 추출된 모든 객체의 속성들 중 적어도 일부를 무조건 관심 속성으로 지정하는 것이 아니라, 관리자에 의해 선택된 객체의 속성들만을 대상으로 하여 적어도 일부를 관심 속성으로 지정하는 것이다.
예를 들어, 상기 관리자가 LCD(Liquid Crystal Display) 등의 디스플레이부(380)에 표시된 영상 내의 객체를 마우스 등의 입력부(370)를 이용하여 기준 대상 객체로 선택하면, 관심 속성 지정부(330)는 그 선택된 기준 대상 객체로부터 추출된 객체의 속성들 중 적어도 일부를 관심 속성으로 지정한다.
정리하자면, 관리자가 상기 디스플레이부(380)를 통해 영상을 감시하는 중에 기준 대상 객체를 선정하면, 기준 대상 객체의 적어도 일부 속성들이 대상 객체 식별을 위한 정보로 사용되는 것이다.
이에 더하여 상기 관심 속성 지정부(330)는 상기 속성 추출부(320)에 의해 추출된 속성들 중 사용자 인터페이스를 통해 선택된 하나 이상의 속성을 관심 속성으로 지정할 수 있다. 일 예로서 상기 관심 속성 지정부(330)는 상기 속성 추출부(320)에 의해 추출된 속성들을 디스플레이부(380)를 통해 관리자에게 제시할 수 있다.
이에 관리자는 상기 입력부(370)를 이용하여 하나 이상의 속성을 선택할 수 있으며, 적어도 일부 속성이 선택되면 상기 관심 속성 지정부(330)는 선택된 일부 속성을 관심 속성으로 지정하여 상기 저장부(360)에 저장된 이벤트 탐지 조건 리스트(361)를 갱신할 수 있다. 그리고 이벤트 탐지 조건 리스트(361)는 객체별 관심 속성을 보유할 수 있다.
이때 상기 속성 지정 등에 대한 설정 변경은 상기 관제센터(40)로부터 전송되는 제어 신호에 의해 이루어지는 것일 수 있다.
그리고 상기 사용자 인터페이스를 통해 속성이 선택되지 않으면, 디폴트로서 모든 속성이 관심 속성으로 지정될 수 있다.
도 4는 본 발명의 일 실시 예에 따른 조건 지정에 따른 감시 영상 분석 방법을 나타낸 순서도이다.
본 발명의 일 실시 예에 따른 상기 객체식별장치(300)의 프로세서는 적어도 하나 이상의 비디오 카메라(100)로부터 전달되는 영상파일에서 객체를 식별한다(S110).
이후 객체가 식별되면, 프로세서는 식별된 객체의 속성들을 추출한다(S120). 그리고, 프로세서는 추출된 속성들 중 적어도 일부를 대상 객체 식별을 위한 관심 속성으로 지정한다(S130).
상기 S130 단계에서는 모든 객체의 속성들 중 적어도 일부를 무조건 관심 속성으로 지정하는 것이 아니라, 관리자에 의해 선택된 객체의 속성들만을 대상으로 하여 적어도 일부를 관심 속성으로 지정할 수 있다.
또한 상기 S130 단계에서는 객체의 전체 속성들 중에서 사용자 인터페이스를 통해 선택된 적어도 일부를 관심 속성으로 지정할 수 있다. 즉, 사용자에 의해 선택된 속성만을 관심 속성으로 지정하는 것이다.
한편, 상기 객체식별장치(300)는 영상 내 객체로부터 추출된 속성이 관심 속성의 유사범위에 속할 경우에 그 식별된 객체를 대상 객체로 인식한다(S140).
상기 S140 단계는 앞서 S130 단계와는 무관하게 수행되는 절차로서, 상기 S110 단계와 S120 단계의 후속으로 수행될 수 있다. 그리고 S130 단계 역시 상기 S120 단계의 후속으로서 매번 수행될 수도 있지만, 관리자에 의해 기준 대상 객체의 선택이 있을 시에만 수행될 수도 있다.
한편 상기 S140 이후, 상기 객체식별장치(300)의 프로세서는 대상 객체가 이벤트 탐지 조건에 부합하는 움직임을 보이는지 탐지하며, 탐지될 경우에 이벤트 발생을 외부로 알린다(S150).
이와 같이 본 발명의 비디오 감시 시스템에 의하면 감시 대상 객체를 식별할 수 있는 조건의 지정을 용이하게 하며, 이에 따라 실제 감시 대상이 되어야 할 객체를 보다 효과적으로 구별하여 보안 성능을 향상시킬 수 있게 되는 것이다.
한편, 본 발명의 일 실시 예에 따른 상기 영상관리서버(30)는 상기 PoE 지원 파워 확장 장치(20)로부터 수신한 또는 자체 데이터베이스에 저장된 특정 영상으로부터 식별되는 대상 객체에 대한 추적이 가능하도록 구성될 수 있다.
도 5는 본 발명의 일 실시 예에 따른 구동축검출장치를 나타내는 블럭도이다.
본 실시 예의 영상관리서버(30)는 앞서 설명한 객체식별장치(300)를 이용하여 영상으로부터 특정 객체를 식별할 수 있으며, 이렇게 식별된 특정 객체를 지정하여 특정 객체의 움직임 추정 시, 움직임 객체의 구동축 영역을 검출함으로써 대상 객체에 대한 추적이 가능하도록 하는 구동축검출장치(400)를 더 포함할 수 있다.
도 5에 도시된 바와 같이 상기 구동축검출장치(400)는 정지 영역 검출부(410)및 구동축 영역 검출부(420)를 포함하여 구성될 수 있다.
먼저 상기 정지 영역 검출부(410)는 분석 대상이 되는 영상에 대한 일련의 영상 프레임들로부터 시간적으로 짧은 특정의 시간 동안 정지한 영역을 검출한다.
예를 들면 상기 정지 영역 검출부(410)가 일련의 영상 프레임들에 포함되는 적어도 하나의 객체 윤곽의 시간적 특징을 이용하여 확률적으로 모델링된 배경으로부터 시간적으로 짧은 특정의 시간 동안 정지한 영역을 검출하도록 구현될 수 있다.
연속하는 영상 프레임들에서 배경은 많은 영상 프레임(영상의 한 이미지)에서 가장 많이 나타나는 색상 값으로 가정할 수 있다. 예를 들면 촬영된 카메라가 고정되어 있을 경우 각각의 픽셀은 독립적인 이상적인 배경값을 갖는다고 말할 수 있고, 긴 시간 동안 이 픽셀값들을 통계로 내면 그 평균값과 분산을 알 수 있다.
그리고 긴 시간 동안 모아진 픽셀값들의 평균값들로부터 배경 이미지를 만들어낼 수 있고, 분산이 높고 낮음에 따라 이 평균값(배경색)의 확실성을 예상할 수 있다. 즉, 긴 시간 동안 모아진 픽셀값들의 평균값들과 분산을 이용해서 새로운 영상 프레임의 한 픽셀값이 배경인지 아닌지를 알 수 있게 되는 것이다. 이와 같은 배경을 백그라운드 모델(background model)이라고 한다.
또한 통상의 배경 이미지는 세 가지 색 값(RGB)으로 모델링한다. 즉, 각각의 영상 채널에 대한 세 개의 배경 이미지가 만들어지는 것으로, 여기서 색은 보통 특징(feature) 중 하나라고 말할 수 있다.
상기 정지 영역 검출부(110)는 일련의 영상 프레임들로부터 시간적으로 짧은 특정의 시간 동안 정지한 영역을 검출하기 위하여 윤곽 이미지 특징(feature)을 이용한다. 일단 매 영상 프레임에서 윤곽 이미지를 만들어내고, 통계적 배경 모델을 이용하여 배경 이미지를 만들어낸다. 윤곽 이미지는 하나의 영상 프레임 내에서 한 픽셀의 좌/우,위/아래 값을 비교하여 만들 수 있다.
이와 같은 방법으로 새 영상 프레임으로부터 윤곽 이미지를 만들어내고 기존의 배경과 비교하여 물체의 윤곽의 변화에 대한 확률을 이끌어 낼 수 있다. 이를 통해 배경이 아닌 전경(foreground) 윤곽을 찾을 수 있다.
뿐만 아니라 시간적으로 짧은 특정의 시간 동안 정지한 영역은 배경이 아니지만 잠시 동안 움직이지 않는 특징을 갖는 픽셀들이다. 이는 윤곽의 시간적 특징(temporal feature)을 이용하여 검출할 수 있다. 시간적 특징은 공간적 특징(spatial feature)과 달리 하나의 영상 프레임이 아닌 두 개 이상의 영상 프레임을 사용해야 검출할 수 있다.
예를 들어 과거 영상 프레임에서 동일한 위치의 점의 값이 항상 똑같다면 그 점의 평균값이 일정하며 분산은 0이 된다. 한편, 전경 객체가 그 점을 지나쳐 색값이 변하게 되면 그 점의 평균값이 변하는 동시에 분산도 커지게 된다.
이때, 다음 영상 프레임에서의 동일 위치의 점의 색 값과 이전까지 만들어둔 평균값, 분산 등을 고려하면 현재 점이 전경인지 배경인지 알 수 있다.
윤곽의 시간적 특징을 이용한다는 것은 이전 영상 프레임과 다음 영상 프레임간의 또는 좀더 긴 시간(일련의 영상 프레임들간)에 걸쳐서 각 픽셀에서의 윤곽의 변화를 본다는 의미이다. 배경을 모델링할 때 윤곽의 크기(magnitude of gradient)를 이용했다면, 이번에는 윤곽의 방향(orientations of gradient)를 사용한다.
일반적으로 멈춰있는 객체는 이 값이 일정하게 유지된다. 이 방향 벡터의 변화량을 살펴봄으로써 정지 영역을 검출할 수 있다.
만약 전체 영상이 10개의 영상 프레임으로 이루어지며 각 10개의 영상 프레임 내에 하나의 움직임 객체가 존재하고, 1번째 영상 프레임부터 10번째 영상 프레임까지 각 영상 프레임에 포함된 움직임 객체의 윤곽이 추출되었다면, 1번째 영상 프레임부터 10번째 영상프레임까지 차례로 이웃 영상 프레임과 비교하여 움직임 객체의 전체 영역 중 정지 영역을 검출할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 정지 영역을 설명하기 위한 예시도이다. 첫 번째 영상 프레임은 오른쪽 다리 이동 전, 두 번째 영상 프레임은 오른쪽 다리 이동 후를 나타낸 영상이고, 첫 번째 영상 프레임과 두 번째 영상 프레임에서 왼쪽 다리의 왼발 부분은 이동하지 않은 것을 볼 수 있다. 이 경우, 움직임 객체인 사람의 전체 영역 중 왼발 부분 영역이 정지 영역이 된다
상기 구동축 영역 검출부(420)는 상기 정지 영역 검출부(410)에 의해 검출된 시간적으로 짧은 특정의 시간 동안 정지한 영역으로부터 오탐지 영역을 제외한 구동축 영역을 검출한다.
예를 들면 상기 구동축 영역 검출부(420)가 일련의 영상 프레임들에 대한 정지한 영역들의 기울기(gradient), 모양(shape), 크기(size), 실루엣(silhouette) 등의 내부 특징을 이용해 유사한 양상(feature)을 가지는 화소를 제외한 영역을 오탐지 영역으로 검출하도록 구현될 수 있다.
따라서 이와 같이 구현함에 의해 본 발명은 움직임 객체 추정시, 시간적으로 짧은 특정의 시간 동안 정지한 영역을 효율적으로 검출할 수 있게 된다.
한편, 본 실시 예에 따른 구동축검출장치(400)는 구동축 영역 추적부(430)를 더 포함할 수 있는 바, 상기 구동축 영역 추적부(430)는 상기 구동축 영역 검출부(420)에 의해 검출된 구동축 영역에 대한 추적을 수행할 수 있다.
이때 상기 구동축 영역 추적부(430)가 일련의 영상 프레임들로부터 구동축 영역과 유사한 양상의 내부 특징을 유지하는 영역을 추적하도록 구현될 수 있다.
예를 들면 상기 구동축 영역 추적부(430)가 일련의 영상 프레임들에서 구동축 영역과 유사한 기울기(gradient), 모양(shape), 크기(size), 실루엣(silhouette) 등의 내부 특징을 유지하는 영역을 검출함으로써, 상기 구동축 영역 검출부(420)에 의해 검출된 구동축 영역에 대한 추적을 할 수 있다.
즉, 이전의 영상 프레임에서 검출된 구동축 영역과 유사한 기울기(gradient), 모양(shape), 크기(size), 실루엣(silhouette) 등의 내부 특징을 가지는 영역을 이후 영상 프레임들에서 계속 검출하면 구동축 영역에 대한 추적을 할 수 있다.
이하에서는 본 발명의 일 실시 예에 따른 구동축검출장치(400)를 이용하여 움직임 객체에 대한 구동축 영역 검출 동작을 설명하기로 한다.
도 7은 본 발명에 일 실시 예에 따른 구동축검출장치의 구동축 영역 검출 과정을 나타내는 순서도이다.
먼저, 선택된 영상으로부터 객체 인식 및 움직임 추정 기술을 통해 영상 프레임에 포함되는 움직임 객체가 결정되었다고 가정한다.
그 후 움직임 객체의 일련의 영상 프레임들로부터 시간적으로 짧은 특정의 시간 동안 정지한 영역을 검출한다.(S210) 그 다음 상기 단계 S210에 의해 검출된 시간적으로 짧은 특정의 시간 동안 정지한 영역으로부터 오탐지 영역을 제외한 구동축 영역을 검출한다.(S220)
그리고, 상기 단계 S220에 의해 검출된 구동축 영역에 대한 추적을 수행한다.(S230) 이와 같이 구현함에 의해 본 발명은 움직임 객체 추정시, 시간적으로 짧은 특정의 시간 동안 정지한 영역을 효율적으로 검출할 수 있다.
한편, 본 발명의 감시 시스템에서는 앞서 설명한 바와 같이 영상관리서버(30)에 더하여 선택된 영상에 대하여 하나 이사의 스마트 장치(70)에서 수집된 데이터를 연동하여 보다 지능적인 영상 분석을 수행할 수 있는 지능형 영상분석서버(60)를 더 포함할 수 있다.
즉, 상기 지능형 영상분석서버(60)는 비디오 카메라(10)로부터 생성되는 영상 데이터 및 스마트 장치로부터 얻은 정보를 취합하여 영상 분석의 신뢰성을 더욱 향상시키도록 하는 것이다.
도 8은 본 발명의 일 실시 예에 따른 지능형 영상분석서버를 나타내는 블럭도이다.
본 실시 예의 지능형 영상분석서버(60)는 상기 비디오 카메라(10)가 촬영한 영상으로부터 추출된 제 1 메타데이터와 상기 비디오 카메라(10)가 설치된 영역에 존재하는 스마트 장치(70)가 생성한 제 2 메타데이터를 시·공간적으로 매칭시켜 촬영 영상에 대한 분석 정보로 제공할 수 있다.
상기 지능형 영상분석서버(60)는 도 8에 도시된 바와 같이 상기 비디오 카메라(10)의 영상 데이터를 분석하는 분석처리부(640)를 포함할 수 있다.
상기 분석처리부(640)는 분석 대상으로 선택된 영상의 구조를 분석하여 제1 메타 데이터를 생성한다. 여기서 상기 메타데이터는 데이터(data)에 대한 데이터로, 어떤 데이터 즉 구조화된 정보를 분석, 분류하고 부가적 정보를 추가하기 위해 그 데이터와 함께 관리되는 정보를 말한다.
그리고 상기 분석처리부(640)는 촬영된 영상의 필요 부분과 불필요 부분을 구분하며, 불필요 부분은 배경 영역으로 이전 영상과 현재 영상의 밝기 차이를 계산하여 분리하거나 배경 영역에 대한 특성 정보를 가우시안(Gaussian) 등을 사용하여 모델링 하여 분리하기도 한다.
분리 후에 필요부분에서 움직임의 객체가 사람, 동물, 기계 등 중에서 무엇인지, 해당 객체가 사람이라면 뛰고 있는지 걷고 있는지의 정보를 제공할 수 있다.
여기서 상기 객체의 움직임을 판단하려면 그 객체의 이동 경로를 추적해야 한다. 이때 객체의 움직임 판단은 앞서 설명한 본 발명의 상기 구동축검출장치(400) 등을 포함하여 공지 기술이 적용될 수 있다.
그리고 상기 분석처리부(640)는 객체의 색깔, 크기, 속도, 움직임 경로 정보 등을 포함한 제 1 메타 데이터를 생성할 수 있다.
한편 상기 스마트 장치(70)는 네트워크를 통해 통신이 가능하고 지능적으로 정보를 수집, 가공 처리 등을 할 수 있는 생활 속 사물일 수 있다. 자동차, 책 및 선풍기 등의 사물이 인간 및 서비스라는 분산된 환경 요소와 협력적으로 센싱, 네트워킹, 정보 처리 등 지능적 관계를 형성하는 것이다.
그리고 상기 스마트 장치(70)는 그 장치 자체에 대한 정보 예를 들면, 시계, 자동차 유모차 등 그 자체에 대한 정보를 생성할 수 있으며, 그 장치가 만들어내는 정보 예를 들면, 시계가 감지한 사람의 심박수 등과 같은 객체 자체를 추측하는 정보를 생성할 수 있다.
이러한 스마트 장치(70)는 그 장치 자체 또는 그 장치가 만들어내는 정보인 제 2 메타데이터를 생성하여 출력하여 상기 지능형 영상분석서버(60)로 전달될 수 있다.
도 8을 참조하면 본 실시 예의 지능형 영상분석서버(60)는 상기 비디오 카메라(10)로부터 촬영되는 감시 지역의 영상 중 이벤트 발생과 관련된 부분을 녹화하여 저장하거나, 외부의 제어 명령에 따라 설정되는 이벤트 관련 정보를 수신하여 저장하는 감시 녹화 제어부(650)를 더 포함하여 효율적으로 영상 정보를 확인 및 관리하도록 할 수 있다.
한편 상기 지능형 영상분석서버(60)는 상기 제 1 메타 데이터와 제2 메타 데이터를 시공간적으로 매칭한다. 영상이 촬영된 위치 근방에서 촬영된 시각 즈음에 획득된 제2 메타 데이터가 대응되는 제 1 메타 데이터와 함께 고려되어 분석된다. 예를 들어 상기 비디오 카메라(10)로 휠체어를 탄 사람을 촬영했을 때 상기 비디오 카메라(10)로부터 얻은 영상 정보로는 불특정 사물의 높이, 폭, 움직이는 방향 등의 물리적인 정보를 얻는다.
본 발명의 지능형 영상분석서버(60)는 상기 비디오 카메라(10)의 촬영 범위에 있는 스마트 장치(70) 예를 들어 휠체어로부터 카메라로 포착한 사물이 휠체어를 타고 있는 사람이라는 정보, 휠체어를 탄 사람이 어떤 장애를 가지고 있는지 등의 정보도 얻는다.
다른 실시 예로서 상기 비디오 카메라(10)가 얻은 영상을 인식(Recognition)알고리즘을 통해 불특정 사물이 휠체어를 탄 사람이라는 영상 정보도 얻는다. 즉, 상기 비디오 카메라(10)의 촬영 범위에 있는 스마트 장치(200) 예를 들어 휠체어로부터 휠체어를 탄 사람이 어떤 장애를 가지고 있는지, 휠체어를 탄 사람이 얼마나 휠체어를 타고 있었는지 등의 정보도 얻는다.
또 다른 실시 예에 의하면 상기 비디오 카메라(10)가 얻은 영상을 인식 알고리즘을 통해 사람이 쓰러졌다라는 정보를 얻을 수 있다. 즉, 쓰러진 사람이 차고 있는 심장 박동 측정 스마트 장치를 통해 쓰러진 사람이 예를 들어, 심근경색으로 쓰러 졌다 라는 정보를 얻을 수 있다.
한편 상기 지능형 영상분석서버(60)는 도 8에 도시된 바와 같이 선별부(600)와 보안이벤트 분석부(610)와 CRM(Customer Relationship Management ; 고객관계관리. 이하 'CRM(Customer Relationship Management)'라 칭함) 정보분석부(620) 및 출력부(630)를 포함할 수 있다.
상기 선별부(600)는 비디오 카메라의 영상 획득 시점 및 영상 획득 위치와 매칭되는 시각과 위치에 관계된 제 1 메타데이터와 제 2 메타데이터를 선별한다.
예를 들어 상기 비디오 카메라(10)가 설치된 지역은 설치 시 시스템에 입력되어 관리되거나, 카메라의 위치를 관리하는 관제센터(40)로부터 수신하거나 측위 센서를 구비한 경우 비디오 카메라(10)로부터 수신하여 획득할 수 있다.
그리고 상기 스마트 장치(70)의 위치는 측위 센서를 구비한 경우 스마트 장치(70)로부터 수신하거나 고정된 위치에 설치된 경우 설치 시 입력되어 관리되거나, 혹은 그 위치를 관리하는 서버로부터 수신할 수 있다.
예를 들어, 스마트 장치(70)의 IP(Internet Protocol address)주소, User Agent Profile을 이용한 기지국 위치 정보, Paging Request를 이용한 기지국 위치 정보, 위경도 좌표 및 Paging Request를 이용한 GPS(Global Positioning System) 위치 정보, Zigbee를 이용한 위치 정보, Wi-Fi를 이용한 위치 정보 또는 Usim 기반의 위치 정보를 통해 스마트 장치(70)의 위치를 확인할 수 있다.
이와 같이 상기 비디오 카메라(10) 및 스마트 장치(70)는 시간 정보를 획득하여 송신할 수 있기 때문에 비디오 카메라(10)의 촬영 시점과 스마트 장치(70)의 정보 생성 시점이 동일한 데이터들만 매칭할 수 있다.
예를 들어 MPEG 계열 표준에서 영상 프레임 중 I-프레임은 타임 스탬프(time stamp)로 시각이 관리된다. 메타 데이터들은 데이터마다 촬영된 시각의 타임 스탬프가 함께 기록된다.
상기 선별부(600)는 비디오 카메라(10)의 시간 정보와 위치 정보 및 스마트 장치(70)의 시간 정보와 위치 정보를 각각 대응시키고, 스마트 장치(70)가 생성한 제 2 메타데이터 중 제 1 메타데이터와 매칭되는 제 2 메타데이터를 선별한다.
상기 보안 이벤트 분석부(610)는 선별된 상기 비디오 카메라(10)가 촬영한 영상 및 비디오 카메라(10)가 촬영한 영상이 가공된 제 1 메타데이터와 스마트 장치(70)가 생성한 제 2 메타데이터를 분석하여 기 설정된 보안 관련 조건이 만족되는지를 판단한다.
보안 관련 조건은 관리자가 필요로 하는 환경에 적합한 조건으로 설정될 수 있다. 예를 들면, 관리자가 설정한 경로와 방향을 영상에 출현한 객체의 경로와 방향과 비교하여 동일한지, 유리의 깨짐, 갑작스런 객체의 출현 또는 사라짐, 특정 객체의 색깔의 변화, 원래 일정한 방향으로 움직이는 객체의 다른 움직임, 동반되지 않은 짐, 정차되어 있는 자동차 등이 있다. 객체의 위치, 크기에 나아가 폭력, 납치 등과 같은 이상 행위를 감지하는 것도 가능하다.
도 12는 지능형 영상분석서버가 군중에서 특정 객체를 추출하는 장면을 도시한 도면으로 상기 분석 처리부(640)는 비디오 카메라(10)에서 입력된 영상을 분석하되, X, Y 시간축으로 구성된 3차원 공간을 큐브로 분할한 후, 각 큐브에 대해서 움직임 변화와 같은 특징 정보를 모델링하고 큐브의 연관관계에 대해서 통계적 분석을 통하여 특정 객체를 추출한다.
본 실시 예에 따른 지능형 영상분석서버(60)는 스마트 장치(70)로부터 제 2 메타데이터를 수신하기 때문에 용이하게 객체 추출이 가능하다. 도 12에 도시된 바와 같이 비디오 카메라(10)와 가까운 사람의 스마트 신발(710) 및 카메라와 멀리 있는 사람의 스마트 시계(700)가 각각 다른 메타데이터를 송신한다. 각각의 메타데이터를 통해 두 사람이 겹쳐진 영상이 카메라에 잡히더라도, 겹쳐진 객체가 두 사람이라는 것을 알 수 있고 기 설정된 조건을 만족하는 개인을 포착하는 것도 가능하다. 비디오 카메라(10)의 영상, 제 1 메타데이터 및 제 2 메타데이터를 종합하여 분석하기 때문에 기 설정된 보안 관련 조건의 충족 여부를 정밀하게 판단한다.
상기 CRM 정보 분석부(620)는 상기 비디오 카메라(10)가 촬영한 영상으로부터 획득되는 제 1 메타데이터와 스마트 장치(70)가 생성한 제 2 메타데이터를 분석하여 관제센터(40) 등을 포함한 외부의 요구에 따라 인구사회학적 데이터를 생성한다.
상기 스마트 장치(70) 예를 들어, 스마트 폰으로부터 제 2 메타데이터와 비디오 카메라(10)의 영상으로부터 획득한 제 1 메타데이터 예를 들어, 옷을 색깔 정보를 얻을 수 있고, 이에 따라 고가의 스마트폰을 소지하고 있는 사람이 어떤 색깔의 옷을 주로입는지의 정보를 얻을 수 있다.
CRM은 소비자(80)들을 자신의 고객으로 만들고, 이를 장기간 유지하고자 하는 경영 방식이다. 인구 사회학적 데이터는 예를 들어, 소비자(80)의 이동 패턴, 이동 시간, 체류 시간, 특정 구역의 인구밀도, 유동인구, 소득수준, 공간 점유율 등과 같은 특정 집단의 동향을 파악할 수 있는 정보이다.
상기 비디오 카메라(10)의 영상, 제 1 메타데이터 및 제 2 메타데이터를 종합하여 분석하며 오랜 시간 분석 및 생성한 데이터를 DB(660)에 축적하기 때문에, 비디오 카메라(10) 영상만으로는 도출할 수 없었던 기업에 유용한 구체적 정보 생성이 가능하다.
여기서 상기 DB(660)(Data Base)는 스마트 장치(70)가 생성한 제 2 메타데이터, 상기 비디오 카메라(10) 영상, 분석처리부(640)가 생성한 제 1 메타데이터 및 지능형 영상분석서버(60)가 생성한 제 3 메타데이터를 저장하고 통합하여 관리한다.
지능형 영상분석서버(60)는 일정 기간 동안 분석되어 축적된 정보를 통계학적으로 제공할 필요도 있기 때문에 DB(660)에서 데이터를 저장한다.
상기 출력부(630)는 상기 보안 이벤트 분석부(610)에서 보안관련 조건의 만족 여부를 표시하고 CRM 정보 분석부(620)에서 생성한 인구사회학적 데이터를 카테고리 별로 맵(MAP)상에서 매핑하여 표시할 수 있는 분석 정보를 생성 및 출력한다. 인구사회학적 데이터는 나이, 시간, 성별 등 카테고리 별로 다양하게 분류가 가능하기 때문에 특정한 요구에 맞추어 그래프 등으로 도식적으로 제공된다.
상기 출력부(630)는 모니터, 프린트 등 중 어느 하나와 접속되어 출력된 분석 정보가 표시될 수 있다.
도 9는 본 발명의 일 실시 예에 따른 지능형 영상분석서버의 영상 분석 방법을 설명하는 흐름도이다.
본 발명에서는 상술한 지능형 영상분석서버(60)을 포함함으로써 지능형 영상 분석을 수행할 수 있다.
구체적으로 본 발명의 일 실시 예에 따른 지능형 영상 분석 방법은 비디오 카메라(10)가 촬영한 영상으로부터 획득되는 제 1 메타데이터와 상기 비디오 카메라(10)가 촬영한 영역에 존재하는 스마트 장치(70)가 생성한 제 2 메타데이터를 시공간적으로 매칭시켜 기 설정된 이벤트를 분석 및 제공한다.
도 9를 참조하면, 지능형 영상분석서버(60)는 비디오 카메라(10), 분석 처리부(640) 및 스마트 장치(70)에서 데이터를 수신한다. 제 1 메타데이터 예를 들어 비디오 카메라(10)로 휠체어를 탄 사람을 촬영했을 때 비디오 카메라(10)로부터 얻은 영상 정보로는 불특정 사물의 높이, 폭, 움직이는 방향 등의 물리적인 정보를 얻는다.
그리고 비디오 카메라(10)의 촬영 범위에 있는 스마트 장치(70), 예를 들어 휠체어로부터, 카메라로 포착한 사물이 휠체어를 타고 있는 사람이라는 정보, 휠체어를 탄 사람이 어떤 장애를 가지고 있는지 등의 정보도 얻는다.
다른 실시 예에 의하면, 비디오 카메라(10)가 얻은 영상을 인식(Recognition)알고리즘을 통해 불특정 사물이 휠체어를 탄 사람이라는 영상 정보도 얻는다. 본 실시 예에서는 비디오 카메라(10)의 촬영 범위에 있는 스마트 장치(70), 예를 들어 휠체어로부터, 휠체어를 탄 사람이 어떤 장애를 가지고 있는지 휠체어를 탄 사람이 얼마나 휠체어를 타고 있었는지 등의 정보도 얻을 수 있다.
또 다른 실시 예에 의하면 비디오 카메라(10)가 얻은 영상을 인식 알고리즘을 통해 사람이 쓰러졌다라는 정보를 얻을 수 있다. 본 실시 예에 따르면 쓰러진 사람이 차고 있는 심장 박동 측정 스마트 장치를 통해 쓰러진 사람이 예를 들어, 심근경색으로 쓰러 졌다 라는 정보를를 얻는다.
이때 도면에 도시된 바 없으나 지능형 영상분석서버(60)는 통신부를 더 포함할 수 있다. 통신부를 통해 심근경색으로 사람이 쓰러졌다는 정보를 관제 센터에 송신하여 빠른 구급 조치를 취할 수 있다.
이와 같은 지능형 영상 분석 방법은 소비자(80)가 원하는 정보를 구체적으로 분석하여 제공하기 때문에 영상 분석의 신뢰성을 높인다.
도 10은 본 발명의 일 실시 예에 따른 지능형 영상 분석 방법을 나타내는 순서도로, 본 실시 예의 영상 분석 방법은 선별단계(S300), 보안 이벤트 분석 단계(S310) 및 CRM 정보 분석단계(S320)를 포함할 수 있다.
상기 선별단계(S300)에서 비디오 카메라(10)의 영상 획득 시점 및 영상 획득 위치와 매칭되는 시각과 위치에 관계된 제 1 메타데이터와 제 2 메타데이터를 선별한다. 예를 들어 비디오 카메라(10)가 설치된 지역은 설치 시 시스템에 입력되어 관리되거나, 비디오 카메라(10)의 위치를 관리하는 관제센터(40)로부터 수신하거나, 측위 센서를 구비한 경우 비디오 카메라(10) 자체로부터 수신하여 획득할 수 있다.
상기 스마트 장치(70)의 위치는 측위 센서를 구비한 경우 스마트 장치(70) 자체로부터 수신하거나, 고정된 위치에 설치된 경우 설치 시 입력되어 관리되거나, 혹은 그 위치를 관리하는 서버로부터 수신할 수 있다.
예를 들어, 스마트 장치(70)의 IP(Internet Protocol address)주소, User Agent Profile을 이용한 기지국 위치 정보, Paging Request를 이용한 기지국 위치 정보, 위경도 좌표 및 Paging Request를 이용한 GPS(Global Positioning System) 위치 정보, Zigbee를 이용한 위치 정보, Wi-Fi를 이용한 위치 정보 또는 Usim 기반의 위치 정보를 통해 스마트 장치(70)의 위치를 확인할 수 있다.
상기 비디오 카메라(10)와 스마트 장치(70)는 시간 정보를 상기 지능형 영상분석서버(60)로 송신하기 때문에, 비디오 카메라(10)의 촬영 시점과 스마트 장치(70)의 정보 생성 시점이 동일한 데이터들만 매칭할 수 있다. 예를 들어 MPEG 계열 표준에서 영상 프레임 중 I-프레임은 타임 스탬프(time stamp)로 시각이 관리된다. 메타 데이터들은 데이터마다 촬영된 시각의 타임 스탬프가 함께 기록된다.
그리고 상기 선별단계(S300)는 비디오 카메라(10)의 시간 정보와 위치 정보 및 스마트 장치(70)의 시간 정보와 위치 정보를 각각 대응시키고, 스마트 장치(70)가 생성한 제 2 메타데이터 중 제 1 메타데이터와 매칭되는 제 2 메타데이터를 선별한다.
상기 보안 이벤트 분석단계(S310)는 상기 선별 단계(S300)에서 선별된 비디오 카메라(10)가 촬영한 영상 및 비디오 카메라(10)가 촬영한 영상이 가공된 제 1 메타데이터 중 적어도 하나와 스마트 장치(70)가 생성한 제 2 메타데이터를 분석하여 기 설정된 보안 관련 조건이 만족되는지를 판단한다.
보안 관련 조건은 관리자가 필요로 하는 환경에 적합한 조건으로 설정될 수 있다. 예를 들면, 관리자가 설정한 경로와 방향을 영상에 출현한 객체의 경로와 방향과 비교하여 동일한지, 유리의 깨짐, 갑작스런 객체의 출현 또는 사라짐, 특정 객체의 색깔의 변화 원래 일정한 방향으로 움직이는 객체의 다른 움직임, 동반되지 않은 짐, 정차되어 있는 자동차 등이 있다. 객체의 위치, 크기에 나아가 폭력, 납치 등과 같은 이상 행위를 감지하는 것도 가능하다.
도 12는 본 발명의 일 실시 예에 따른 지능형 영상 분석 방법에 따라 군중에서 특정 객체를 추출하는 장면을 도시한 도면이다. 예를 들어 분석 처리 단계는 비디오 카메라(10)에서 입력된 영상을 분석하되, X, Y 시간축으로 구성된 3차원 공간을 큐브로 분할한 후, 각 큐브에 대해서 움직임 변화와 같은 특징 정보를 모델링하고 큐브의 연관관계에 대해서 통계적 분석을 통하여 특정 객체를 추출한다.
본 실시 예에 따른 지능형 영상 분석 방법은 스마트 장치(70)로부터 제 2 메타데이터를 수신하기 때문에 용이하게 객체 추출이 가능하다. 도 12에 도시된 바와 같이 비디오 카메라(10)와 가까운 사람의 스마트 신발(710) 및 비디오 카메라(10)와 멀리 있는 사람의 스마트 시계(700)가 각각 다른 메타데이터를 송신한다. 각각의 메타데이터를 통해 두 사람이 겹쳐진 영상이 카메라에 잡히더라도, 겹쳐진 객체가 두 사람이라는 것을 알 수 있고 기 설정된 조건을 만족하는 개인을 포착하는 것도 가능하다.
비디오 카메라(10)의 영상, 제 1 메타데이터 및 제 2 메타데이터를 종합하여 분석하기 때문에, 기 설정된 보안 관련 조건의 충족 여부를 정밀하게 판단한다.
한편 상기 CRM 정보 분석단계(S320)는 선별된 영상 또는 제 1 메타데이터 중 적어도 하나와 제 2 메타데이터를 분석하여 외부의 요구에 따라 인구사회학적 데이터를 생성한다.
즉 스마트 장치(70) 예를 들어, 스마트 폰으로부터 제 2 메타데이터와 카메라 영상으로부터 획득한 제 1 메타데이터 예를 들어, 옷을 색깔 정보를 얻을 수 있기 때문에 고가의 스마트폰을 소지하고 있는 사람이 어떤 색깔의 옷을 주로 입는지의 정보를 얻을 수 있다.
인구 사회학적 데이터는 예를 들어, 소비자(80)의 이동 패턴, 이동 시간, 체류 시간, 특정 구역의 인구밀도, 유동인구, 소득수준, 공간 점유율 등과 같은 특정 집단의 동향을 파악할 수 있는 정보이다.
상기 비디오 카메라(10)의 영상, 제 1 메타데이터 및 제 2 메타데이터를 종합하여 분석하며 오랜 시간 분석 및 생성한 데이터를 DB(660)에 축적하기 때문에, 비디오 카메라(10) 영상만으로는 도출할 수 없었던 기업에 유용한 구체적 정보 생성이 가능하다.
도 11은 본 발명의 일 실시 예에 따른 지능형 영상 분석 방법 중 출력단계를 설명하는 순서도이다.
본 실시 예에 따른 지능형 영상 분석 방법은 출력단계(S330)를 더 포함할 ㅅ수 있다.
상기 출력단계(640)에서는 상기 보안 이벤트 분석단계(S310)에서 보안 관련 조건의 만족 여부를 표시하고 CRM 정보 분석단계(S320)에서 생성한 인구사회학적 데이터를 카테고리 별로 맵상에서 매핑하여 표시할 수 있도록 분석 정보를 출력한다.
인구사회학적 데이터는 나이, 시간, 성별 등 카테고리 별로 다양하게 분류가 가능하기 때문에 특정한 요구에 맞추어 그래프 등으로 도식적으로 제공될 수 있다.
상기 출력된 분석 정보는 별도의 모니터, 프린트 등을 통해 표시될 수 있다.
이상 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정 가능함을 알 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정해져야만 할 것이다.
10 : 비디오 카메라 20 : PoE 지원 파워 확장 장치
30 : 영상관리서버 40 : 관제센터
50 : 외부 전원 60 : 지능형 영상분석서버
70 : 스마트 장치
200 : 전원 감지부 210 : 스위치부
220 : 비교기 230 : 전력 검출부
300 : 객체식별장치 400 : 구동축검출장치
600 : 선별부 610 : 보안 이벤트 분석부
620 : CRM 정보 분석부

Claims (19)

  1. 통신 인터페이스가 구비된 적어도 하나 이상의 비디오 카메라;
    상기 비디오 카메라로부터 촬영되는 영상 데이터를 저장 및 관리하며, 선택된 영상으로부터 조건 지정에 따른 대상 객체를 식별하고, 움직임 객체 추정 시 움직임 객체의 구동축 영역을 판단하도록 영상을 분석하는 영상관리서버;
    상기 비디오 카메라의 영상 데이터와 상기 비디오 카메라가 설치된 영역에 존재하는 스마트 장치로부터 수집되는 수집 데이터를 취합하여 영상을 분석하는 지능형 영상분석서버; 및
    상기 비디오 카메라와 관제센터 간의 데이터 통신을 중계하며 이더넷 케이블을 통해 상기 비디오 카메라로 전원을 공급하기 위한 PoE(Power over Ethernet ; 이더넷 전원장치) 지원 파워 확장 장치;를 포함하되,
    상기 PoE(Power over Ethernet ; 이더넷 전원장치) 지원 파워 확장 장치는,
    송신장치에 내장 또는 외장되는 파워 소스 장치(PSE ; Power Source Equipment)로부터 전원이 공급되는지 여부를 감지하는 전원 감지부;
    상기 전원 감지부에 의해 파워 소스 장치(PSE : Power Source Equipment)로부터 전원이 공급된다 판단된 경우에는 온되어 외부 전원으로부터 파워 확장 장치로 전원을 공급하고, 전원이 공급되지 않는다 판단된 경우에는 오프되어 외부 전원으로부터 파워 확장 장치(PE ; Power Extender)로 전원이 공급되지 않도록 하는 스위치부; 및
    상기 파워 소스 장치(PSE ; Power Source Equipment)로부터 공급되는 전원 또는 외부 전원으로부터 공급되는 전원을 수신장치 측으로 출력하는 비교기를;포함하는 것을 특징으로 하는 객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템.
  2. 제 1항에 있어서, 상기 지능형 영상분석서버는,
    상기 비디오 카메라가 촬영한 영상으로부터 획득되는 제 1 메타데이터와 상기 비디오 카메라가 설치된 영역 근처에 존재하는 스마트 장치가 생성한 제 2 메타데이터를 시공간적으로 매칭시켜 비디오 카메라 촬영 영상에 대한 분석 정보를 출력하는 것을 특징으로 하는 객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템.
  3. 제 2항에 있어서, 상기 지능형 영상분석서버는,
    해당 비디오 카메라의 영상 획득 시점 및 영상 획득 위치와 매칭되는 제 2 메타데이터를 선별하는 선별부; 및
    상기 제 1 메타데이터와 선별된 제 2 메타데이터를 분석하여 기 설정된 보안 관련 조건이 만족되는지를 판단하는 보안 이벤트 분석부;를 포함하는 것을 특징으로 하는 객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템.
  4. 제 3항에 있어서, 상기 지능형 영상분석서버는,
    상기 제 1 메타데이터와 선별된 제 2 메타데이터를 분석하여 외부의 요구에 따라 인구사회학적 데이터를 생성하는 CRM(Customer Relationship Management ; 고객관계관리) 정보 분석부;를 더 포함하는 것을 특징으로 하는 객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템.
  5. 제 4항에 있어서, 상기 지능형 영상분석서버는,
    상기 보안 이벤트 분석부에서 판단한 보안 관련 조건의 만족 여부를 표시하고 상기 CRM(Customer Relationship Management ; 고객관계관리) 정보 분석부에서 생성한 인구사회학적 데이터를 카테고리별로 맵상에서 매핑하여 표시할 수 있도록 하는 분석 정보를 출력하는 출력부;를 더 포함하는 것을 특징으로 하는 객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템.
  6. 제 1항에 있어서, 상기 영상관리서버는,
    상기 하나 이상의 비디오 카메라로부터 전달되는 영상에서 객체를 식별하는 객체 식별부와, 식별된 객체의 속성들을 추출하는 속성 추출부와, 추출된 속성들 중 적어도 일부를 대상 객체 식별을 위한 관심 속성으로 지정하는 관심 속성 지정부 및 상기 비디오 카메라의 영상에서 식별된 객체의 속성이 관심 속성의 유사범위에 속할 경우에 그 식별된 해당 객체를 대상 객체로 인식하는 대상 객체 인식부를 포함하는 객체식별장치를 포함하는 것을 특징으로 하는 객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템.
  7. 제 6항에 있어서, 상기 관심 속성 지정부는,
    관리자에 의해 선택된 객체로부터 추출된 속성들 중 적어도 일부를 관심 속성으로 지정하는 것을 특징으로 하는 객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템.
  8. 제 6항에 있어서, 상기 관심 속성 지정부는,
    추출된 속성들 중 관리자에 의해 선택된 적어도 일부를 관심 속성으로 지정하는 것을 특징으로 하는 객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템.
  9. 제 1항에 있어서, 상기 영상관리서버는,
    상기 비디오 카메라로부터 촬영된 영상에서 일련의 영상 프레임들로부터 시간적으로 짧은 특정의 시간동안 정지한 영역을 검출하는 정지 영역 검출부 및 상기 정지 영역 검출부에 의해 검출된 시간적으로 짧은 특정의 시간 동안 정지한 영역으로부터 오탐지 영역을 제외한 구동축 영역을 검출하는 구동축 영역 검출부를 포함하는 구동축검출장치를 포함하는 것을 특징으로 하는 객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템.
  10. 제 9항에 있어서, 상기 구동축검출장치는,
    상기 구동축 영역 검출부에 의해 검출된 구동축 영역에 대한 추적을 수행하는 구동축 영역 추적부를 더 포함하는 것을 특징으로 하는 객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템.
  11. 제 9항 또는 제 10항에 있어서, 상기 정지 영역 검출부는,
    일련의 영상 프레임들에 포함되는 적어도 하나의 객체 윤곽의 시간적 특징을 이용하여 확률적으로 모델링된 배경으로부터 시간적으로 짧은 특정의 시간 동안 정지한 영역을 검출하는 것을 특징으로 하는 객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템.
  12. 제 9항 또는 제 10항에 있어서, 상기 구동축 영역 검출부는,
    일련의 영상 프레임들에 대한 정지한 영역들의 내부 특징을 이용해 유사한 양상을 가지는 화소를 제외한 영역을 오탐지 영역으로 검출하는 것을 특징으로 하는 객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템.
  13. 제 9항에 있어서, 상기 구동축 영역 추적부는,
    일련의 영상 프레임들로부터 구동축 영역과 유사한 양상의 내부 특징을 유지하는 영역을 추적하는 것을 특징으로 하는 객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템.
  14. 삭제
  15. 제 1항에 있어서, 상기 PoE(Power over Ethernet ; 이더넷 전원장치) 지원 파워 확장 장치는,
    송신장치에 내장 또는 외장되는 파워 소스 장치(PSE : Power Source Equipment)로부터 공급되어 이더넷 케이블(Ethernet Cable)을 통해 전송되는 신호로부터 전력을 검출하는 전력 검출부;를 더 포함하며,
    상기 전원 감지부는, 상기 전력 검출부에 의해 검출되는 전력으로부터 이더넷 케이블에 인가되는 저항 또는 전류를 검출하고, 검출된 저항 또는 전류를 기준 저항 또는 기준 전류와 비교하여, 파워 소스 장치(PSE : Power Source Equipment)로부터 전원이 공급되는지 여부를 감지하는 것을 특징으로 하는 객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템.
  16. 제 1항에 있어서, 상기 비교기는,
    상기 파워 소스 장치(PSE : Power Source Equipment)로부터 공급되는 전원과 외부 전원으로부터 공급되는 전원의 전압을 비교하여, 더 큰 전압을 공급하는 전원을 수신장치 측으로 출력하는 것을 특징으로 하는 객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템.
  17. 삭제
  18. 삭제
  19. 삭제
KR1020150000154A 2015-01-02 2015-01-02 객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템 및 이를 이용한 지능형 영상 분석 방법 KR101526499B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150000154A KR101526499B1 (ko) 2015-01-02 2015-01-02 객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템 및 이를 이용한 지능형 영상 분석 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150000154A KR101526499B1 (ko) 2015-01-02 2015-01-02 객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템 및 이를 이용한 지능형 영상 분석 방법

Publications (1)

Publication Number Publication Date
KR101526499B1 true KR101526499B1 (ko) 2015-06-09

Family

ID=53503981

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150000154A KR101526499B1 (ko) 2015-01-02 2015-01-02 객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템 및 이를 이용한 지능형 영상 분석 방법

Country Status (1)

Country Link
KR (1) KR101526499B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101698063B1 (ko) * 2015-09-22 2017-01-19 두혁 Cctv 카메라 원격 모니터링 방법 및 시스템
KR101700395B1 (ko) 2015-10-16 2017-02-13 (주)삼성정보통신 경호용 드론 및 이를 이용한 이동식 경호 시스템
KR101850102B1 (ko) * 2016-11-23 2018-05-31 권순철 시청각 방범 시스템
KR101858663B1 (ko) 2018-03-23 2018-06-28 (주)리얼허브 지능형 영상분석 시스템
KR20200052418A (ko) 2018-10-25 2020-05-15 주식회사 유캔스타 딥러닝 기반의 자동 폭력 감지 시스템
WO2021225217A1 (ko) * 2020-05-07 2021-11-11 (주) 씨이랩 비디오 데이터 통합 분석 및 관리 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070101334A (ko) * 2005-01-25 2007-10-16 리니어 테크놀러지 코포레이션 통신 링크 상의 전력 공급 시스템에서 하이-사이드 전류와로우-사이드 전류를 감지하는 조합 구조
KR20120087212A (ko) * 2010-11-23 2012-08-07 (주)코리아컴퓨터 가두리 양식장 원격 감시 장치
KR20140090013A (ko) * 2013-01-08 2014-07-16 (주)아이엔아이 무인 이동식 감시 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070101334A (ko) * 2005-01-25 2007-10-16 리니어 테크놀러지 코포레이션 통신 링크 상의 전력 공급 시스템에서 하이-사이드 전류와로우-사이드 전류를 감지하는 조합 구조
KR20120087212A (ko) * 2010-11-23 2012-08-07 (주)코리아컴퓨터 가두리 양식장 원격 감시 장치
KR20140090013A (ko) * 2013-01-08 2014-07-16 (주)아이엔아이 무인 이동식 감시 시스템

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101698063B1 (ko) * 2015-09-22 2017-01-19 두혁 Cctv 카메라 원격 모니터링 방법 및 시스템
KR101700395B1 (ko) 2015-10-16 2017-02-13 (주)삼성정보통신 경호용 드론 및 이를 이용한 이동식 경호 시스템
KR101850102B1 (ko) * 2016-11-23 2018-05-31 권순철 시청각 방범 시스템
KR101858663B1 (ko) 2018-03-23 2018-06-28 (주)리얼허브 지능형 영상분석 시스템
KR20200052418A (ko) 2018-10-25 2020-05-15 주식회사 유캔스타 딥러닝 기반의 자동 폭력 감지 시스템
WO2021225217A1 (ko) * 2020-05-07 2021-11-11 (주) 씨이랩 비디오 데이터 통합 분석 및 관리 시스템
US11907291B2 (en) 2020-05-07 2024-02-20 Xii Lab System for integral analysis and management of video data

Similar Documents

Publication Publication Date Title
KR101650924B1 (ko) 지능형 영상 분석 시스템 및 방법
KR101526499B1 (ko) 객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템 및 이를 이용한 지능형 영상 분석 방법
KR101337060B1 (ko) 화상 처리 장치 및 화상 처리 방법
US11157778B2 (en) Image analysis system, image analysis method, and storage medium
US9858474B2 (en) Object tracking and best shot detection system
US7660439B1 (en) Method and system for flow detection and motion analysis
JP6674584B2 (ja) 映像監視システム
JP4673849B2 (ja) 複数のイメージセンサ間における視野関係を決定するためのコンピュータ化された方法及び装置
KR101472077B1 (ko) 누적된 객체 특징을 기반으로 하는 감시 시스템 및 방법
US9858486B2 (en) Device and method for detecting circumventing behavior and device and method for processing cause of circumvention
WO2018056355A1 (ja) 監視装置
JP2015508591A (ja) クラウドベースの映像監視管理システム
KR20070101401A (ko) 비디오 프리미티브를 사용하는 비디오 감시 시스템
US10248870B2 (en) Traffic-counting system and method thereof
JPWO2014050518A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
RU2720947C2 (ru) Аналитическая система распознавания и видеоидентификации
JP6615800B2 (ja) 情報処理装置、情報処理方法およびプログラム
US11321949B2 (en) Display control device, display control system, and display control method
US10373015B2 (en) System and method of detecting moving objects
US11120838B2 (en) Information processing apparatus, control method, and program
JP5088463B2 (ja) 監視システム
JP5693147B2 (ja) 撮影妨害検知方法、妨害検知装置及び監視カメラシステム
KR101840042B1 (ko) 복합 가상 팬스 라인 설정 방법 및 이를 이용한 침입 감지 시스템
CN102244769B (zh) 物件及其关键人监控***与方法
JP5712401B2 (ja) 行動監視システム、行動監視プログラム、及び行動監視方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190603

Year of fee payment: 5