KR102336480B1 - 자동 세그먼트 분류를 위한 영상처리장치 및 그 장치의 구동방법 - Google Patents

Abstract

본 발명은 자동 세그먼트 분류를 위한 영상처리장치 및 그 장치의 구동방법에 관한 것으로서, 본 발명의 실시예에 따른 자동 세그먼트 분류를 위한 영상처리장치는, 임의 공간의 촬영 영상을 수신하는 통신 인터페이스부, 및 수신한 촬영 영상에서 장소를 포함하는 지정된 서로 다른 유형의 객체가 포함되는 복수의 영역을 각 영역으로 세그먼트화하여 자동 분류하며, 자동 분류한 세그먼트를 근거로 세그먼트별 이벤트를 처리하는 제어부를 포함할 수 있다.

Description

자동 세그먼트 분류를 위한 영상처리장치 및 그 장치의 구동방법{Image Processing Apparatus for Automatic Segment Classification and Driving Method Thereof}

본 발명은 자동 세그먼트 분류를 위한 영상처리장치 및 그 장치의 구동방법에 관한 것으로서, 더 상세하게는 가령 촬영 영상 내의 배경에 포함되는 지정 객체의 세그먼트화를 통해 각 세그먼트에 관련되는 이벤트를 판단할 수 있는 자동 세그먼트 분류를 위한 영상처리장치 및 그 장치의 구동방법에 관한 것이다.

최근 들어 공공장소, 사무실, 주택, 우범 지역 등에는 범죄를 예방하고 보안을 강화하기 위한 목적으로 많은 수의 감시카메라를 설치하여 동시에 운용하고 있다. 이러한 많은 수의 감시카메라를 통해 실시간으로 촬영되어 획득된 각각의 영상정보는 관제실의 내부에 마련된 관제모니터에 표출되게 된다. 이때 관제모니터의 화면은 감시카메라의 수에 대응되게 하드웨어 혹은 소프트웨어 방식으로 분할 구성되어 각각의 영상정보가 상호 구분되게 관제모니터에 표출되게 된다.

이와 관련해 종래에는 한정된 수의 관제요원들이 모든 CCTV의 카메라 영상을 관제하는 것이 불가능하기 때문에 필요한 다시 말해 특정 이벤트의 영상만을 관제요원이 확인할 수 있도록 지능형 관제를 수행하거나, 또는 감시 영역에서 관심 영역(ROI)을 설정하고, 관심 영역에 대한 이벤트만을 감시하는 방식으로 관제요원의 관제에 따른 피로감을 줄이는 방식으로 기술이 개선되고 있다.

그런데, 종래 ROI 방식은 이벤트 종류가 많을 경우 반복적인 설정 작업이 많아지므로 설정에 번거로움이 있으며, 지정된 ROI 이외의 영역에서 이벤트가 발생할 경우 감지가 안되는 문제가 있다. 뿐만 아니라, 이벤트 결과 확인에 목적이 있기 때문에 ROI 이외의 영역에서 발생한 복합적인 상황 인지가 어려운 문제가 있다.

한국공개특허공보 제10-2018-0089977호(2018.08.10) 한국공개특허공보 제10-2020-0061747호(2020.06.03) 한국등록특허공보 제10-1856733호(2018.05.03) 한국등록특허공보 제10-2028147호(2019.09.26) 한국등록특허공보 제10-2154610호(2020.09.04) 한국등록특허공보 제10-1668303호(2016.10.17)

본 발명의 실시예는 가령 촬영 영상 내의 배경에 포함되는 지정 객체의 세그먼트화를 통해 각 세그먼트에 관련되는 이벤트를 판단할 수 있는 자동 세그먼트 분류를 위한 영상처리장치 및 그 장치의 구동방법을 제공함에 그 목적이 있다.

본 발명의 실시예에 따른 자동 세그먼트 분류를 위한 영상처리장치는, 임의 공간의 촬영 영상을 수신하는 통신 인터페이스부, 및 상기 수신한 촬영 영상에서 장소를 포함하는 지정된 서로 다른 유형의 객체가 포함되는 복수의 영역을 각 영역으로 세그먼트화(segment)하여 자동 분류하며, 상기 자동 분류한 세그먼트를 근거로 세그먼트별 이벤트를 처리하는 제어부를 포함한다.

상기 제어부는, 상기 촬영 영상을 근거로 상기 임의 공간의 지정 객체에 대한 이벤트를 판단하고, 상기 지정 객체를 제외한 배경 영상을 각 영역으로 세그먼트화하며, 상기 판단한 이벤트를 상기 세그먼트별로 재판단할 수 있다.

상기 제어부는, 상기 서로 다른 유형의 객체로서 주택단지, 공장, 축산현장, 건설현장, 상가, 사무실, 도로, 정거장 중 적어도 하나를 감지하여 상기 세그먼트화를 수행할 수 있다.

상기 제어부는, 상기 지정 객체와 관련해 판단한 이벤트에 대하여 상기 자동 분류한 세그먼트를 근거로 복합적인 상황을 재판단할 수 있다.

상기 제어부는, 상기 자동 분류한 세그먼트별로 선택 가능한 이벤트 종류를 사용자에게 제시하고, 상기 세그먼트와 관련한 상기 사용자가 탐지하고 싶은 이벤트 및 이벤트 발생 조건을 각각 설정받아 상기 세그먼트별 이벤트 판단 동작을 수행할 수 있다.

상기 제어부는, 상기 이벤트 발생 조건으로서 객체의 종류, 크기 및 시간 정보를 각각 설정받을 수 있다.

상기 제어부는 상기 촬영 영상 내의 임의 객체와 관련해 생성되는 메타 데이터 및 빅데이터를 이용하여 상기 세그먼트별로 발생하는 이벤트의 우선순위를 조정할 수 있다.

또한, 본 발명의 실시예에 따른 자동 세그먼트 분류를 위한 영상처리장치의 구동방법은 통신 인터페이스부가 임의 공간의 촬영 영상을 수신하는 단계, 및 제어부가, 상기 수신한 촬영 영상에서 장소를 포함하는 지정된 서로 다른 유형의 객체가 포함되는 복수의 영역을 각 영역으로 세그먼트화하여 자동 분류하며, 상기 자동 분류한 세그먼트를 근거로 세그먼트별 이벤트를 처리하는 단계를 포함한다.

상기 처리하는 단계는, 상기 촬영 영상을 근거로 상기 임의 공간의 지정 객체에 대한 이벤트를 판단하고, 상기 지정 객체를 제외한 배경 영상을 각 영역으로 세그먼트화하며, 상기 판단한 이벤트를 상기 세그먼트별로 재판단할 수 있다.

상기 처리하는 단계는, 상기 서로 다른 유형의 객체로서 주택단지, 공장, 축산현장, 건설현장, 상가, 사무실, 도로, 정거장 중 적어도 하나를 감지하여 상기 세그먼트화를 수행할 수 있다.

상기 처리하는 단계는, 상기 지정 객체와 관련해 판단한 이벤트에 대하여 상기 자동 분류한 세그먼트를 근거로 복합적인 상황을 재판단할 수 있다.

상기 처리하는 단계는, 상기 자동 분류한 세그먼트별로 선택 가능한 이벤트 종류를 사용자에게 제시하고, 상기 세그먼트와 관련한 상기 사용자가 탐지하고 싶은 이벤트 및 이벤트 발생 조건을 각각 설정받아 상기 세그먼트별 이벤트 판단 동작을 수행할 수 있다.

상기 처리하는 단계는, 상기 이벤트 발생 조건으로서 객체의 종류, 크기 및 시간 정보를 각각 설정받을 수 있다.

상기 처리하는 단계는, 상기 촬영 영상 내의 임의 객체와 관련해 생성되는 메타 데이터 및 빅데이터를 이용하여 상기 세그먼트별로 발생하는 이벤트의 우선순위를 조정할 수 있다.

본 발명의 실시예에 따르면 관심 대상 또는 공간인 세그먼트에 맞는 이벤트를 제시하여 이를 근거로 이벤트를 판단할 수 있을 것이다.

또한, 본 발명의 실시예는 이벤트 종류가 많아도 단순한 설정 작업이 이루어질 수 있으며, 기존과 같이 ROI를 설정하지 않고 전체 영역을 분석하기 때문에 이벤트가 발생한 복합적인 상황 인지가 가능할 수 있을 것이다.

나아가, 본 발명의 실시예는 추적 객체와 관련한 메타 데이터를 빅데이터화해서 이벤트 판단시 오탐 및 미탐을 개선할 수 있을 것이다.

도 1은 본 발명의 실시예에 따른 자동 세그먼트 분류시스템을 나타내는 도면,
도 2는 도 1의 영상처리장치의 세부구조를 예시한 블록다이어그램,
도 3은 도 2의 세그먼트처리부의 세부구조를 예시한 블록다이어그램,
도 4는 본 발명의 실시예에 따른 영상처리장치의 구동과정을 나타내는 흐름도, 그리고
도 5는 본 발명의 다른 실시예에 따른 영상처리장치의 구동과정을 나타내는 흐름도이다.

이하, 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 자동 세그먼트 분류시스템을 나타내는 도면이다.

도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 자동 세그먼트 분류시스템(90)은 촬영장치(100), 통신망(110) 및 (자동 세그먼트 분류를 위한) 영상처리장치(120)의 일부 또는 전부를 포함한다.

여기서, "일부 또는 전부를 포함한다"는 것은 도 1의 통신망(110)이 생략되어 촬영장치(100)와 영상처리장치(120)가 다이렉트 통신(예: P2P 통신)을 수행하거나, 영상처리장치(120)를 구성하는 구성요소의 일부 또는 전부가 통신망(110)을 구성하는 네트워크장치(예: 무선교환장치 등)에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.

촬영장치(100)는 감시가 필요한 임의 장소에 설치되는 CCTV(Closed Circuit Television)나 IP(Internet Protocol) 카메라 등을 포함한다. 또한, 촬영장치(100)는 고정식 카메라뿐 아니라 팬(Pan), 틸트(Tilt) 및 줌(Zoom) 동작이 가능한 PTZ(Pan-Tilt-Zoom) 카메라를 포함할 수 있다. 촬영장치(100)는 사회 안전(Social Safety), 범죄 예방(Crime Prevention), 사회 문제(suicide issue) 및 공공 감시(Public Surveilance)를 위하여 다양한 장소에 설치되어 촬영 영상을 영상처리장치(120)로 제공할 수 있다. 예를 들어, 촬영장치(100)는 지하철이나 버스정류장 등 공공장소에 설치되어 사건, 사고 등 다양한 상황을 감시할 수 있으며, 다리의 난간이나 외진 곳에서 발생하는 폭력 행위 등도 감시하도록 할 수 있다. 나아가, 어린이집 등에 설치되어 있는 CCTV를 통해서도 감시가 이루어지도록 할 수 있다. 이러한 촬영장치(100)는 영상처리장치(120)가 관제장치로서 동작하는 경우, 관제장치의 제어에 따라 동작할 수 있다.

통신망(110)은 유무선 통신망을 모두 포함한다. 가령 통신망(110)으로서 유무선 인터넷망이 이용되거나 연동될 수 있다. 여기서, 유선망은 케이블망이나 공중 전화망(PSTN)과 같은 인터넷망을 포함하는 것이고, 무선 통신망은 CDMA, WCDMA, GSM, EPC(Evolved Packet Core), LTE(Long Term Evolution), 와이브로(Wibro) 망 등을 포함하는 의미이다. 물론 본 발명의 실시예에 따른 통신망(110)은 이에 한정되는 것이 아니며, 가령 클라우드 컴퓨팅 환경하의 클라우드 컴퓨팅망, 5G망 등에 사용될 수 있다. 가령, 통신망(110)이 유선 통신망인 경우 통신망(110) 내의 액세스포인트는 전화국의 교환국 등에 접속할 수 있지만, 무선 통신망인 경우에는 통신사에서 운용하는 SGSN 또는 GGSN(Gateway GPRS Support Node)에 접속하여 데이터를 처리하거나, BTS(Base Transmissive Station), NodeB, e-NodeB 등의 다양한 중계기에 접속하여 데이터를 처리할 수 있다.

통신망(110)은 액세스포인트(AP)를 포함할 수 있다. 여기서의 액세스포인트는 건물 내에 많이 설치되는 펨토(femto) 또는 피코(pico) 기지국과 같은 소형 기지국을 포함한다. 펨토 또는 피코 기지국은 소형 기지국의 분류상 촬영장치(100) 등을 최대 몇 대까지 접속할 수 있느냐에 따라 구분된다. 물론 액세스포인트는 촬영장치(100) 등과 지그비 및 와이파이 등의 근거리 통신을 수행하기 위한 근거리 통신모듈을 포함할 수 있다. 액세스포인트는 무선통신을 위하여 TCP/IP 혹은 RTSP(Real-Time Streaming Protocol)를 이용할 수 있다. 여기서, 근거리 통신은 와이파이 이외에 블루투스, 지그비, 적외선, UHF(Ultra High Frequency) 및 VHF(Very High Frequency)와 같은 RF(Radio Frequency) 및 초광대역 통신(UWB) 등의 다양한 규격으로 수행될 수 있다. 이에 따라 액세스포인트는 데이터 패킷의 위치를 추출하고, 추출된 위치에 대한 최상의 통신 경로를 지정하며, 지정된 통신 경로를 따라 데이터 패킷을 다음 장치, 예컨대 영상처리장치(120)로 전달할 수 있다. 액세스포인트는 일반적인 네트워크 환경에서 여러 회선을 공유할 수 있으며, 예컨대 라우터(router), 리피터(repeater) 및 중계기 등이 포함된다.

영상처리장치(120)는 가령 서버로서 영상분석장치일 수 있으며, 본 발명의 실시예에 따라 자동 세그먼트 분류를 위한 동작을 수행할 수 있다. 이러한 점에서 영상처리장치(120)는 자동 세그먼트 분류장치 또는 자동 세그먼트 분류를 위한 영상장치 등 다양하게 명명될 수 있다. 물론, 본 발명의 실시예에 따른 영상처리장치(120)는 영상 자동 세그먼트 분류 동작 이외에도 영상 분석 동작을 수행하거나 관제요원이 관제할 수 있도록 관제장치로서 동작할 수 있다. 본 발명의 실시예에 따른 영상처리장치(120)는 촬영장치(100)로부터 수신한 촬영 영상을 분석하여 지정 객체를 검출 및 분류하고, 객체를 추적하며 추적 결과를 근거로 이벤트를 판단할 수 있다. 여기서 지정 객체는 사람 객체 또는 사용자가 관심 갖는 관심 객체일 수 있다. 영상처리장치(120)는 이러한 지정 객체 및 이벤트에 대하여 메타 데이터를 생성하여 도 1의 DB(120a)에 관리할 수 있다. 여기서, 메타 데이터는 지정 객체와 관련한 속성 정보(예: 모양, 컬러 등)를 포함한다고 볼 수 있다.

무엇보다 본 발명의 실시예에 따른 영상처리장치(120)는 기존과 같이 단순히 객체 추적 결과를 근거로 이벤트를 판단하는 것이 아니라, 촬영 영사의 전체 영역에 대하여, 또는 지정 객체를 제외한 객체들에 대하여 즉 촬영 영상의 배경에서 복수의 영역을 설정한 후 이를 각 영역으로 세그먼트 즉 파편화하여 세그먼트를 분류할 수 있고, 또 분류한 세그먼트별로 이벤트를 설정하도록 함으로써 위의 지정 객체의 이벤트 판단시 세그먼트를 근거로 이벤트의 종합적인 판단이 이루어지도록 한다. 또는 사용자가 세그먼트별로 설정한 이벤트에 대하여 감지가 이루어질 수 있다. 예를 들어, 영상처리장치(120)는 촬영 영상에서 지정 객체를 제외한 후 전경 처리하여 전경 영상에서 특정 대상에 대한 세그먼트화를 수행한다. 그리고 세그먼트를 분류한 후 세그먼트별 이벤트를 설정하도록 할 수 있다. 가령 비관심 영역(Non-ROI) 설정을 위한 배경 영역에 대한 세그먼트 분류가 이루어질 수 있다.

촬영 영상에서 배경에 대한 세그먼트 자동 분류는 가령 지정 객체 이외의 객체로서 주택단지, 공장, 축산현장, 건설현장, 상가, 사무실, 도로, 정거 등에 대한 세그먼트가 분류될 수 있다. 물론 종국적으로는 이러한 세그먼트 내의 객체들도 사물 객체에 해당될 수 있다. 예를 들어, 기존의 객체에 대한 이벤트를 판단하기 위하여 특정 도구를 판단하거나 사람 객체가 소지하는 물건(예: 담배, 쓰레기 등) 등을 감지하는 것과는 구별되며, 고정된 객체이고, 기존에 이벤트 판단시 특별히 관심갖지 않는 배경에 불과한 객체라 볼 수 있다. 영상처리장치(120)는 분류된 세그먼트별로 사용(혹은 선택) 가능한 이벤트 종류를 제시한다. 이는 사전에 데이터로서 기설정되어 있을 수 있으며, 사용자는 제시된 이벤트 종류에서 탐지하고 싶은 복수개의 이벤트를 선택할 수 있다.

예를 들어, 본 발명의 실시예에 따른 영상처리장치(120)는 촬영장치(100)가 특정 장소에 설치된 후 촬영 영상이 수신되면, 사용자가 지정한 지정 객체를 중심으로 이벤트를 판단하면서 자동 세그먼트 분류를 이용한 동작을 수행할 수 있다. 수신된 영상에서 위에서와 같은 배경 영상 즉 배경 영역에 공장이나 건설현장 등이 포함되면 해당 영역을 세그먼트화하여 분류하고 가령 관제요원과 같은 사용자에게 해당 세그먼트와 관련하여 설정 가능한 이벤트의 종류를 제시하여 설정받는다. 예를 들어, 건설현장에서 지정 객체와 관련하여 발생할 수 있는 이벤트의 종류는 많이 존재할 수 있다. 따라서, 사용자는 그 중 탐지하고 싶은 이벤트만을 선택할 수 있다. 가령, 건설현장에는 작업자의 추락 사고가 이벤트로 감지될 수 있고, 또 화재 감지가 이벤트로 감지될 수 있다. 따라서, 사용자는 화재 감지에는 별로 관심이 없을 수 있으며, 추락 사고에만 관심을 가질 수 있다. 따라서, 영상처리장치(120)는 지정 객체가 건설현장에서 추락 사고와 관련하여 이벤트를 최종적으로 감지한다고 볼 수 있다. 반면 지정 객체와 관련하여 동일한 영상에서 다른 세그먼트는 도로가 포함될 수도 있다. 따라서, 도로에서는 지정 객체와 관련하여 다른 이벤트가 감지되도록 동작할 수 있다. 도로에서는 지정 객체의 교통 사고 등이 이벤트로 감지될 수 있으며, 이와 같이 영상처리장치(120)는 지정 객체를 중심으로 주변의 세그먼트화된 주변 객체의 종류에 따라 서로 다른 종류의 이벤트를 감지한다고 볼 수 있는 것이다.

물론 그 반대의 경우도 얼마든지 가능하다. 가령 수신된 촬영 영상을 특정 대상에 대하여 세그먼트화를 수행하고, 세그먼트별로 이벤트 종류, 이벤트 발생 조건(예: 객체 종류 등)을 설정하여 이를 근거로 이벤트를 감지하는 것이다. 영상처리장치(120)는 가령 사용자에게 영상에서 탐지하고 싶은 이벤트를 N개 선택할 수 있도록 하고, 이벤트 발생 조건으로서 객체 종류, 크기, 유지 시간(혹은 시간 정보) 등을 설정하도록 하며, 그 설정에 따라 영상처리장치(120)는 이벤트 감지 동작을 시작하거나 수행할 수 있다. 물론 이러한 설정 동작은 인공지능 프로그램 등을 통해 자동으로 설정되는 것도 얼마든지 가능하므로, 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다. 다시 말해, 작업자와 건설현장에서 설정 가능한 이벤트는 특정 이벤트에 한하여 많은 감시가 이루어질 수 있다. 따라서, 촬영장치(100)가 설치되는 장소에 따라 이러한 주변 객체와 관련하여 설정될 수 있는 이벤트는 자동으로 설정되는 것이 얼마든지 가능할 수 있다. 단적으로, 주택 건설현장과 대규모 건설현장에서 발생할 수 있는 이벤트는 다르다. 따라서, 이러한 특성을 근거로 자동 설정될 수 있다. 전자의 경우는 화재사고를 중시한다면 후자의 경우는 작업자의 추락사고를 중시할 수 있기 때문이다.

본 발명의 실시예에 따른 영상처리장치(120)는 세그먼트 분류 및 세그먼트별 이벤트 설정이 완료되면, 즉 수동 설정이든 자동 설정이든 세그먼트별 이벤트 설정이 완료되면 지정 객체의 추적 결과를 근거로 판단된 이벤트에 대하여 주변 객체의 상황을 종합적으로 판단하여 이벤트를 재판단하거나 세그먼트별로 발생하는 이벤트의 우선순위를 재선정 즉 조정하는 등 다양한 추가 동작을 더 수행할 수 있다. 가령 지정 객체 등과 관련한 메타 데이터를 수집하여 빅데이터를 생성한 후 빅데이터를 근거로 우선순위를 조정하는 등의 추가 동작이 이루어질 수 있다.

앞서 언급한 바와 같이, 기존에는 수신한 비디오 프레임에서 사람 객체와 사물 객체들을 검출하고 검출한 객체들의 상호 관계를 근거로 기저장된 룰(rule) 정책에 따라 이벤트를 발생시키거나, 어떠한 경우에는 촬영 영역에서 관심 영역(ROI)을 설정하고, 대표적으로 횡단보도 등을 관심 영역으로 설정하고, 해당 영역에서 이벤트 즉 교통사고 등이 발생할 때 이벤트를 발생시키는 것이 일반적이었다. 그러나, 본 발명의 실시예는 배경 영상에서 특정 장소와 같은 세그먼트에 맞는 이벤트를 제시하여 관심 이벤트를 설정할 수 있도록 하고, 이벤트 종류가 많아도 단순하게 설정 작업을 할 수 있도록 하며, 기존과 같이 ROI를 설정하지 않고 전체 영역을 분석하기 때문에 이벤트가 발생한 복합적인 상황인지가 가능할 수 있게 된다. 또한 메타 데이터를 빅데이터화해서 이벤트 탐지의 오탐 및 미탐을 개선할 수 있다. 빅데이터를 인공지능(AI) 프로그램 등을 통해 학습을 수행하는 경우 정확도는 증가하며, 이는 10개의 데이터를 근거로 결과를 도출하기보다 100개의 데이터를 근거로 이벤트를 도출하는 것이 더 객관성을 담보하고 정확도를 증가시킬 수 있다는 논리에 근거한 것이라 볼 수 있다.

본 발명의 실시예에 따른 영상처리장치(120)는 앞서 간략히 언급한 바 있지만 관심 영역을 설정하고, 이를 근거로 이벤트를 판단하고, 관심 영역 이외의 비관심영역에 대하여 세그먼트화하고 최종적으로 이벤트를 판단할 때 세그먼트화한 주변 객체들을 추가로 고려하여 이벤트를 발생시키는 방법에도 얼마든지 적용될 수 있다. 앞서의 동작과 비교해 볼 때, 관심 객체인 지정 객체를 설정하거나 관심 영역을 설정한다는 측면에서는 차이가 있을 수 있지만, 주변 객체 즉 세그먼트화한 영역, 가령 장소를 추가로 고려할 수 있다는 점에서는 공통된다고 볼 수 있다. 따라서, 본 발명의 실시예에서는 그러한 관심 영역을 설정하느냐, 또는 지정 객체를 지정하느냐와 같은 어느 하나의 방식에 특별히 한정하지는 않을 것이다.

도 2는 도 1의 영상처리장치의 세부구조를 예시한 블록다이어그램이며, 도 3은 도 2의 세그먼트처리부의 세부구조를 예시한 블록다이어그램이다.

도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 도 1의 영상처리장치(120)는 통신 인터페이스부(200), 제어부(210), 세그먼트처리부(220) 및 저장부(230)의 일부 또는 전부를 포함한다.

여기서, "일부 또는 전부를 포함한다"는 것은 저장부(230)와 같은 일부 구성요소가 생략되어 영상처리장치(120)가 구성되거나, 세그먼트처리부(220)와 같은 일부 구성요소가 제어부(210)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.

통신 인터페이스부(200)는 도 1의 통신망(110)을 경유하여 촬영장치(100)와 통신한다. 통신을 수행하는 과정에서 통신 인터페이스부(200)는 변/복조 등의 동작을 수행할 수 있으며, 인코딩/디코딩, 먹싱/디먹싱 등의 동작을 수행할 수 있다. 예를 들어, 촬영장치(100)는 임의 공간이나 임의 장소의 촬영시에 영상 내의 촬영 객체와 관련한 메타 데이터를 생성할 수 있으며, 이러한 메타 데이터는 촬영 영상과 함께 전송될 수 있다. 통상 3D 카메라의 경우에는 메타 데이터를 생성하여 전송할 수 있으므로, 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다.

제어부(210)는 도 1의 영상처리장치(120)를 구성하는 도 2의 통신 인터페이스부(200), 세그먼트처리부(220) 및 저장부(230)의 전반적인 제어 동작을 담당한다. 대표적으로 제어부(210)는 통신 인터페이스부(200)에서 제공되는 촬영 영상을 저장부(230)에 저장한 후 불러내어 세그먼트처리부(220)에 제공할 수 있다. 또한, 제어부(210)는 세그먼트처리부(220)에서 촬영 영상의 분석 결과를 지정 포맷으로 생성하여 제공하는 경우 이를 도 1의 DB(120a)에 체계적으로 분류하여 저장시킨다.

세그먼트처리부(220)는 가령 촬영 영상의 분석 동작을 수행할 수 있다. 무엇보다 세그먼트처리부(220)는 본 발명의 실시예에 따라 지정 객체 혹은 관심 객체의 주변에서 세그먼트화되는 복수의 영역, 물론 해당 영역은 이벤트와 관련되는 장소나 해당 장소의 건물 등을 포함할 수 있으며, 세그먼트별로 설정된 이벤트를 판단할 수 있다. 예를 들어, 세그먼트처리부(220)는 객체 추적을 위한 지정 객체가 설정되면, 이를 근거로 주변의 주변 객체를 포함하는 세그먼트를 자동 분류하고 분류한 세그먼트별로 사용 가능한 이벤트 종류를 사용자 혹은 관리자 등에게 제시하여 영상에서 탐지하고 싶은 N개의 이벤트를 선택받을 수 있다. 이는 앞서 이미 설명한 바 있다. 따라서, 세그먼트처리부(220)는 지정 객체 및 주변의 세그먼트화한 주변 객체 등을 종합적으로 고려하여 판단되는 이벤트를 판단할 수 있다.

좀더 구체적으로 세그먼트처리부(220)는 지정 객체의 배경 영역에서 물론 전체 영상일 수도 있지만, 배경 영상을 근거로 하는 경우 전경을 세그먼트화하고 즉 복수의 영역을 각 영역으로 파편화 혹은 쪼개고, 이를 분류하여 세그먼트별로 이벤트의 설정 동작을 수행한다. 가령 촬영 영상에서 2개의 세그먼트가 분석되었다면 각 세그먼트에 대하여 이벤트 등을 설정하도록 동작할 수 있다. 이와 같이 세그먼트처리부(220)는 세그먼트별로 사용 가능한 이벤트 종류를 제시하여 탐지하고 싶은 N개의 이벤트를 선택받는다. 그리고 이벤트 발생 조건을 추가로 설정하도록 한다. 이벤트 종류의 설정 후에 이벤트 발생 조건을 추가로 설정할 수 있도록 하는 것이다. 이벤트 발생 조건에는 객체 종류, 크기, 유지 시간 등이 포함될 수 있다. 이와 같은 세그먼트를 고려한 이벤트 종류 및 발생 조건이 설정되면 이를 근거로 이벤트 감지를 수행할 수 있다.

상기의 결과, 본 발명의 실시예에 따른 영상처리장치(120)는 세그먼트에 맞는 이벤트를 제시할 수 있고, 이벤트 종류가 많아도 단순하게 설정 작업을 수행할 수 있으며, 기존과 같이 ROI를 설정하지 않고 전체 영역을 분석하므로 이벤트가 발생한 복합적인 상황을 인지하는 것이 가능할 수 있다. 또한, 상기의 과정에 따라 메타 데이터를 빅데이터로 생성하고 이를 이용하는 경우 이벤트의 오탐이나 미탐 즉 미탐지하는 것을 개선할 수 있다. 여기서, 메타 데이터는 지정 객체에 대한 속성 등을 반영하고 있다면, 빅데이터는 시간 변화에 따른 메타 데이터를 수집하여 생성된다고 볼 수 있다.

도 2의 세그먼트처리부(220)는 가령 도 3에서와 같은 세그먼트처리부(220')의 구성을 가질 수 있다. 물론 그 구성은 다양하게 이루어질 수 있으며, 이러한 구성은 S/W 모듈, H/W 모듈 또는 그 조합에 의해 구성될 수 있다. 본 발명의 실시예에서는 그러한 구성에 있어서 어느 하나의 형태에 특별히 한정하지는 않을 것이다.

도 3에서 볼 때, 영상분석부(300)는 수신된 촬영 영상을 분석하여 분석 결과를 출력할 수 있다. 예를 들어, 비디오 프레임에서 지정 객체를 검출 및 분류하고 객체를 추적하는 동작을 수행할 수 있다. 객체 검출 및 분류를 위하여 객체 검출기 및 객체 분류기를 포함할 수 있으며, 이러한 객체 검출 및 분류를 위하여 DCNN 객체검출 및 분류를 수행할 수 있다. 이에 의해 객체의 오검출 등이 감소될 수 있다. 객체 추적은 다수의 비디오 프레임에서 지정 객체의 움직임을 추적한다고 볼 수 있다. 물론 영상 분석부(300)는 영상 분석을 수행하는 과정에서 객체 검출 이외에 배경 영상에서 자동 세그먼트 분류를 수행할 수도 있다. 가령 전경 영상을 매트릭스 형태의 복수의 영역으로 구분 즉 세그먼트화하고, 세그먼트화할 때 기설정된 특정 객체가 포함되는지를 판단하여 세그먼트화할 수 있다. 그 세그먼트화의 대상은 기설정된 대로 건축현장, 도로, 주차장 등으로 제한될 수 있다. 세그먼트화의 대상은 장소가 될 수 있다. 다시 말해 세그먼트화는 지정 객체의 이벤트를 판단할 때 세그먼트에 맞는 이벤트가 감지되도록 하기 위해 사용될 수 있다. 위에서는 전경 영상이나 배경 영상을 세그먼트화하는 것을 예시하였지만, 촬영 영상을 전체를 세그먼트화하는 것도 얼마든지 가능하므로 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다.

또한, 세그먼트 설정부(310)는 가령 사용자나 관리자, 또는 프로그래머 등에 의해 세그먼트와 관련해 이루어지는 설정 동작을 수행한다. 가령 영상 분석부(300)는 자동 분류된 세그먼트에 대하여 이벤트의 종류를 사용자에게 제시하여 영상에서 탐지하고 싶은 N개의 이벤트를 설정받을 수 있다. 또한 N개의 이벤트가 선택된 경우에는 객체 종류나 크기 등의 이벤트 발생 조건을 설정받을 수 있다.

이벤트 판단부(320)는 세그먼트 설정부(310)에서 설정한 세그먼트 설정정보를 근거로, 그리고 영상분석부(300)에서 제공한 분석 결과를 근거로 이벤트를 판단할 수 있다. 영상분석부(300)에서는 다수의 객체들에 대하여 객체 검출 및 분류, 그리고 추적이 이루어진다면, 이벤트 판단부(320)는 사용자 등이 세그먼트 설정부(310)에서 설정한 대로 세그먼트별로 이벤트를 판단한다고 볼 수 있다. 다시 말해, 세그먼트 영역이 건축현장이면 이와 관련하여 설정된 이벤트를 감지한다. 또한, 주차장이면 이와 관련하여 설정된 이벤트를 감지한다. 예를 들어, 이벤트 종류를 설정하고 객체의 유형도 설정하였으므로 건축현장에서 감독관이 아니라 작업자에 대해서만 이벤트를 감지할 수도 있다.

또한, 이벤트 판단부(320)는 가령 본 발명의 다른 실시예에서와 같이 관심 객체가 지정되는 경우에는 지정 객체에 대하여 룰 기반으로 이벤트를 판단하고, 또 세그먼트 설정부(310)의 설정 정보를 근거로 기판단된 이벤트를 재확인할 수도 있다. 이의 과정에서 이벤트 판단부(320)는 세그먼트별로 발생하는 이벤트의 우선순위를 조정 즉 재선정하는 등의 동작을 수행할 수도 있다. 단적으로 이벤트 판단부(320)는 지정 객체의 추적 결과를 근거로 A 이벤트를 판단하였지만, 세그먼트를 고려하여 즉 주변 상황을 종합적으로 고려하여 B 이벤트로 재판단할 수 있다. 무엇보다 본 발명의 실시예에는 전체 영상이나 배경 영역에서 장소와 같은 부위의 세그먼트화를 통해 지정 객체에 대한 이벤트를 판단 또는 종합적으로 판단한다는 것이므로, 어느 하나의 형태에 특별히 한정하지는 않을 것이다.

한편, 도 2의 저장부(230)는 제어부(210)의 제어하에 제공되는 촬영 영상을 메모리에 순차적으로 저장한 후 불러내어 세그먼트처리부(220)로 제공할 수 있다. 또한, 저장부(230)는 세그먼트처리부(220)에서 처리된 세그먼트 데이터를 포함하는 지정 포맷의 영상 분석 결과를 임시 저장한 후 제어부(210)의 제어하에 도 1의 DB(120a)에 체계적으로 분류하여 저장되도록 출력할 수 있다.

한편, 본 발명의 다른 실시예로서 제어부(210)는 CPU 및 메모리를 포함할 수 있으며, 원칩화하여 형성될 수 있다. CPU는 제어회로, 연산부(ALU), 명령어해석부 및 레지스트리 등을 포함하며, 메모리는 램을 포함할 수 있다. 제어회로는 제어동작을, 그리고 연산부는 2진비트정보의 연산동작을, 그리고 명령어해석부는 인터프리터나 컴파일러 등을 포함하여 고급언어를 기계어로, 또 기계어를 고급언어로 변환하는 동작을 수행할 수 있으며, 레지스트리는 소프트웨어적인 데이터 저장에 관여할 수 있다. 상기의 구성에 따라, 가령 영상처리장치(120)의 동작 초기에 세그먼트처리부(220)에 저장되어 있는 프로그램을 복사하여 메모리 즉 램(RAM)에 로딩한 후 이를 실행시킴으로써 데이터 연산 처리 속도를 빠르게 증가시킬 수 있다.

도 4는 본 발명의 실시예에 따른 영상처리장치의 구동과정을 나타내는 흐름도이다.

설명의 편의상 도 4를 도 1과 함께 참조하면, 본 발명의 실시예에 따른 영상처리장치(120)는 임의 공간의 촬영 영상을 수신한다(S400). 물론 여기서, 촬영 영상은 반드시 카메라 등으로부터 제공되는 영상이 아니라, USB 등의 저장 매체나 DVR 등의 서버에 저장되어 제공되는 영상이어도 무관하다.

또한, 영상처리장치(120)는 수신한 촬영 영상에서 장소를 포함하는 지정된 서로 다른 유형의 객체(예: 건설현장, 주차장 등)가 포함되는 복수의 영역을 각 영역으로 세그먼트화하여 자동 분류하며, 자동 분류한 세그먼트를 근거로 세그먼트별 이벤트를 처리할 수 있다(S410).

예를 들어, 영상처리장치(120)는 하나의 실시예로서 지정 객체를 기준으로 룰 기반, 혹은 인공지능의 딥러닝 기반으로 이벤트를 판단한 후, 세그먼트를 고려하여, 또는 세그먼트와 관련해 설정된 설정 정보를 근거로 판단한 이벤트를 재조정하는 등의 동작을 수행할 수 있다. 이에 따라 지정 객체에 대한 주변 상황을 고려하여 이벤트를 판단하므로 이벤트 판단의 정확도가 증가할 수 있을 것이다.

물론 본 발명의 실시예에 따른 영상처리장치(120)는 앞서 기술한 바와 같이 다른 실시예로서 전체 영상 또는 배경에 세그먼트화를 처리한 후, 각 세그먼트별로 설정된 이벤트의 종류, 또 이벤트의 발생 조건을 근거로 이벤트를 감지할 수도 있으므로, 본 발명의 실시예에서는 어느 하나의 동작 형태에 특별히 한정하지는 않을 것이다. 다시 말해, 사용자는 주택단지에서는 어떠한 이벤트를 확인하고 싶고, 또 정거장과 관련해서는 어떠한 이벤트를 확인하고 싶다고 이벤트 종류 및 이벤트 발생 조건을 설정하였으므로 그에 따라 영상처리장치(120)가 영상 분석 및 세그먼트 처리를 수행하여 이벤트를 감지한 후, 해당 이벤트가 감지될 때 이벤트를 통지할 수 있을 것이다.

상기한 내용 이외에도 본 발명의 실시예에 따른 영상처리장치(120)는 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.

도 5는 본 발명의 다른 실시예에 따른 영상처리장치의 구동과정을 나타내는 흐름도이다.

설명의 편의상 도 5를 도 1과 함께 참조하면, 본 발명의 다른 실시예에 따른 영상처리장치(120)는 촬영장치(100)로부터 수신된 촬영 영상을 근거로 세그먼트별로 이벤트를 설정하기 위한 동작을 수행할 수 있다(S500 ~ S525).

예를 들어, 촬영 영상이 수신되면, 영상처리장치(120)는 전체 영상이어도 무관하지만 전경 영상 또는 배경 영역의 세그먼트화를 수행한 후 자동 분류하고, 세그먼트별로 이벤트를 설정할 수 있다. 가령 세그먼트가 건축현장일 때 세그먼트별로 사용 가능한 이벤트 종류를 시스템에서 즉 프로그램적으로 제시하면 사용자는 탐지하고 싶은 N개의 이벤트를 선택할 수 있고, 선택한 이벤트와 관련하여 이벤트 발생 조건을 설정할 수도 있다. 또한, 사무실일 때 시스템은 즉 기설치된 프로그램은 사무실과 관련한 선택 가능한 이벤트 종류를 사용자에게 제시하여 관심있는 이벤트를 선택받고, 위에서와 같이 이벤트 발생 조건을 설정할 수 있다.

이와 같이 세그먼트별 설정 동작이 완료되면 영상처리장치(120)는 설정 정보에 근거하여 이벤트를 감지해 낼 수 있다(S530 ~ S560). 단적으로, 본 발명의 실시예에 따른 영상처리장치(120)는 수신한 촬영 영상에 이벤트가 설정된 복수의 세그먼트가 있다면 복수의 이벤트를 동시에 감지하여 통지할 수 있다.

또한, 영상처리장치(120)는 하나의 실시예로서 사용자가 관심 있는 지정 객체에 대하여 우선적으로 객체 검출, 분류 및 추적을 통해 룰 기반이나 인공지능의 딥러닝 기반으로 이벤트를 판단한 후, 위에서와 같이 세그먼트별로 사용자 설정한 정보를 근거로 최종적으로 이벤트를 판단할 수 있다. 예를 들어, 이벤트가 감지되어 통지해야 하지만, 주변의 세그먼트와 관련하여 사용자가 설정한 설정 정보에는 관심없는 이벤트라면 해당 이벤트의 통지를 취소할 수도 있다.

나아가 영상처리장치(120)는 시간 변화를 근거로 이벤트가 발생한 객체와 관련하여 메타 데이터를 수집하여 빅데이터를 생성할 수도 있다. 따라서, 빅데이터를 이벤트 판단시에 이용할 수 있으며(S570), 이와 같이 메타 데이터를 빅데이터로 가공한 후 세그먼트별 발생하는 이벤트의 우선순위를 재선정하는 등의 동작을 수행할 수도 있을 것이다. 예를 들어, 빅데이터를 근거로 특정 시점에서는 통계를 기반으로 이벤트 목록에 순위가 지정되어 있을 수 있다. 그리고, 시간이 변화하면 해당 순위는 빅데이터를 근거로 조정될 수 있는 것이다.

상기한 내용 이외에도 본 발명의 다른 실시예에 따른 영상처리장치(120)는 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.

한편, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.

여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐시(cache), 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.

이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

100: 촬영장치 110: 통신망
120: 영상처리장치 200: 통신 인터페이스부
210: 제어부 220, 220': 세그먼트처리부
230: 저장부 300: 영상분석부
310: 세그먼트 설정부 320: 이벤트 판단부

Claims (8)

1. 임의 공간의 촬영 영상을 수신하는 통신 인터페이스부; 및
   상기 수신한 촬영 영상에서 사람 및 장소의 서로 다른 유형의 객체가 포함되는 복수의 영역을, 기설정된 지정 객체가 포함되는지를 판단하여 판단 결과를 근거로 상기 지정 객체를 미포함하는 각 영역으로 세그먼트화(segment)하고, 세그먼트와 관련해 사용자, 관리자 또는 프로그래머에 의해 수행되는 자동 분류를 위한 설정이 완료되면 상기 세그먼트를 자동 분류하며, 상기 자동 분류한 세그먼트별 이벤트를 상기 사용자, 관리자 또는 프로그래머에 의해 설정된 이벤트 종류 및 이벤트 발생 조건의 기설정 정보를 근거로 판단해 처리하는 제어부;를 포함하며,
   상기 제어부는, 상기 촬영 영상을 근거로 상기 임의 공간과 관련해 사용자가 기설정한 상기 지정 객체에 대한 이벤트를 판단하고, 상기 지정 객체를 제외한 배경 영상을 각 영역으로 세그먼트화하며, 상기 판단한 이벤트를 상기 세그먼트별로 재판단하는 자동 세그먼트 분류를 위한 영상처리장치.
2. 삭제
3. 제1항에 있어서,
   상기 제어부는, 상기 지정 객체 이외의 상기 서로 다른 유형의 객체로서 주택단지, 공장, 축산현장, 건설현장, 상가, 사무실, 도로, 정거장 중 적어도 하나를 감지하여 상기 세그먼트화를 수행하는 자동 세그먼트 분류를 위한 영상처리장치.
4. 제1항에 있어서,
   상기 제어부는, 상기 지정 객체와 관련해 판단한 이벤트에 대하여 상기 자동 분류한 세그먼트를 근거로 복합적인 상황을 재판단하는 자동 세그먼트 분류를 위한 영상처리장치.
5. 제1항에 있어서,
   상기 제어부는, 상기 자동 분류한 세그먼트별로 선택 가능한 이벤트 종류를 사용자에게 제시하고, 상기 세그먼트와 관련한 상기 사용자가 탐지하고 싶은 이벤트 및 이벤트 발생 조건을 각각 설정받아 상기 세그먼트별 이벤트 판단 동작을 수행하는 자동 세그먼트 분류를 위한 영상처리장치.
6. 제5항에 있어서,
   상기 제어부는, 상기 이벤트 발생 조건으로서 객체의 종류, 크기 및 시간 정보를 각각 설정받는 자동 세그먼트 분류를 위한 영상처리장치.
7. 제5항에 있어서,
   상기 제어부는 상기 촬영 영상 내의 상기 지정 객체 및 상기 지정 객체의 주변 객체와 관련한 속성 정보를 포함하여 생성되는 메타 데이터 및 상기 메타 데이터를 수집하여 생성한 빅데이터를 이용하여 상기 세그먼트별로 발생하는 이벤트의 우선순위를 조정하는 자동 세그먼트 분류를 위한 영상처리장치.
8. 통신 인터페이스부 및 제어부를 포함하는 영상처리장치의 구동방법으로서,
   상기 통신 인터페이스부가, 임의 공간의 촬영 영상을 수신하는 단계; 및
   상기 제어부가, 상기 수신한 촬영 영상에서 사람 및 장소의 서로 다른 유형의 객체가 포함되는 복수의 영역을, 기설정된 지정 객체가 포함되는지를 판단하여 판단 결과를 근거로 상기 지정 객체를 미포함하는 각 영역으로 세그먼트화하고, 세그먼트와 관련해 사용자, 관리자 또는 프로그래머에 의해 수행되는 자동 분류를 위한 설정이 완료되면 상기 세그먼트를 자동 분류하며, 상기 자동 분류한 세그먼트별 이벤트를 상기 사용자, 관리자 또는 프로그래머에 의해 설정된 이벤트 종류 및 이벤트 발생 조건의 기설정 이벤트 정보를 근거로 판단해 처리하는 단계;를 포함하며,
   상기 제어부가, 상기 촬영 영상을 근거로 상기 임의 공간과 관련해 사용자가 기설정한 상기 지정 객체에 대한 이벤트를 판단하고, 상기 지정 객체를 제외한 배경 영상을 각 영역으로 세그먼트화하며, 상기 판단한 이벤트를 상기 세그먼트별로 재판단하는 단계;를
   포함하는 자동 세그먼트 분류를 위한 영상처리장치의 구동방법.

Images