KR20200063705A

KR20200063705A - 실시간 로드 영상을 통해 유동 인구 데이터 수집 알고리즘의 구현 방법 및 그 장치

Info

Publication number: KR20200063705A
Application number: KR1020180149772A
Authority: KR
Inventors: 김효진
Original assignee: 초록소프트 주식회사
Priority date: 2018-11-28
Filing date: 2018-11-28
Publication date: 2020-06-05
Also published as: KR102200794B1

Abstract

본 발명의 일 실시예에 따른, 서버에 의해 수행되는 CCTV 영상 내 인물의 인식과 경로를 산출하는 방법에 있어서, (a) 적어도 하나 이상의 CCTV로부터 사람이 포함된 영상을 수신하는 단계; (b) 수신된 영상의 제 1 프레임에 포함된 사람을 제 1 이미지로 인식하고, 제 1 이미지가 포함하는 사람을 전신 이미지와 얼굴 이미지을 나누어 좌표로 변환 후 제 1 전신 좌표와 제 1 얼굴 좌표를 산출하는 단계; (c) 제 1 고유 식별자를 생성하여 제 1 전신 좌표와 제 1 얼굴 좌표를 매핑하여 데이터베이스에 저장하는 단계; (d) 영상의 제 2 프레임에 포함된 사람을 제 2 이미지로 인식하고, 제 2 이미지가 포함하는 사람을 전신 이미지와 얼굴 이미지를 나누어 좌표로 변환 후 제 2 전신 좌표와 제 2 얼굴 좌표를 산출하는 단계; (e) 제 1 전신 좌표와 제 2 전신 좌표의 차이값이, 기 설정된 값 이상을 가지면 제 1 얼굴 좌표와 제 2 얼굴 좌표의 차이값을 추가로 생성하고, 제 1 얼굴 좌표와 제 2 얼굴 좌표의 차이값이 기 설정된 값 이상을 가지면, 제 2 고유 식별자를 생성하고, 제 2 고유 식별자를 제 2 전신 좌표와 제 2 얼굴 좌표를 매핑하여 데이터베이스에 저장하는 단계; 및 (f) 제 1 및 제 2 고유 식별자를 기초로 제 1 이미지의 인물이 이동한 경로를 산출하는 단계;를 포함한다.

Description

실시간 로드 영상을 통해 유동 인구 데이터 수집 알고리즘의 구현 방법 및 그 장치 {METHOD AND APPARATUS FOR IMPLEMENTING FLOW POPULENT DATA COLLECTING ALGORITHM USING REAL TIME LOAD}

본 발명은 실시간으로 촬영되는 거리의 영상에서 유동 인구의 데이터를 수집하는 알고리즘의 구현 방법 및 시스템에 관한 것이다.

다양한 사업 분야에서 사용자의 수요를 정확하게 파악하는 것은 매우 중요한 요소가 될 수 있다. 수요가 많은 상품은 공급을 늘리고, 반대의 경우엔 공급을 줄이거나 중단하는 것이 이윤을 극대화하는 열쇠이기 때문이다.

예를 들어, 종래에는 놀이기구 앞에서 직원이 대기하여 탑승하는 손님의 숫자를 계수하는 방법이 사용되고 있다. 하지만, 이는 비교적 정확도가 높을 수 있으나, 인적 자원을 지속적으로 소비해야 하는 단점이 존재한다. 만약, 탑승자를 계수하기 위한 추가적 장비를 사용한다면 인적 자원 낭비를 해결할 수 있으나, 새로운 장비를 설치하고 유지보수하기 위한 부담이 발생하게 된다.

한편, 2016년 기준 국내에는 약 95만대의 CCTV가 사용중에 있고, 우리나라의 국토가 약 100,000km2인 것을 감안하면 100m2마다 한 대의 CCTV가 존재한다고 추측할 수 있다. 또한, 사람이 많이 모이는 관광 지역에서 더 많은 CCTV가 배치되어 있을 것이라 추측할 수 있다.

하지만, 이러한 CCTV인프라를 통해 유동 인구에 대한 데이터를 모우는 방법에 대해서는 기술 개발이 미흡한 실정으로 종래에는 CCTV의 영상을 사람이 직접 확인한다는 한계점이 존재하고 있다.

본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 유동 인구를 실시간으로 촬영하는 영상에서 유동 인구를 인식하고, 이를 카운팅하는 것을 목적으로 한다.

또한, 종래의 영상에서의 인물인식 기술에서 발생할 수 있는 오류로 인해 동일한 사람이 여러 번 카운팅하는 문제를 해결하는 것을 목적으로 한다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따른, 서버에 의해 수행되는 CCTV 영상 내 인물의 인식과 경로를 산출하는 방법에 있어서, (a) 적어도 하나 이상의 CCTV로부터 사람이 포함된 영상을 수신하는 단계; (b) 수신된 영상의 제 1 프레임에 포함된 사람을 제 1 이미지로 인식하고, 제 1 이미지가 포함하는 사람을 전신 이미지와 얼굴 이미지을 나누어 좌표로 변환 후 제 1 전신 좌표와 제 1 얼굴 좌표를 산출하는 단계; (c) 제 1 고유 식별자를 생성하여 제 1 전신 좌표와 제 1 얼굴 좌표를 매핑하여 데이터베이스에 저장하는 단계; (d) 영상의 제 2 프레임에 포함된 사람을 제 2 이미지로 인식하고, 제 2 이미지가 포함하는 사람을 전신 이미지와 얼굴 이미지를 나누어 좌표로 변환 후 제 2 전신 좌표와 제 2 얼굴 좌표를 산출하는 단계; (e) 제 1 전신 좌표와 제 2 전신 좌표의 차이값이, 기 설정된 값 이상을 가지면 제 1 얼굴 좌표와 제 2 얼굴 좌표의 차이값을 추가로 생성하고, 제 1 얼굴 좌표와 제 2 얼굴 좌표의 차이값이 기 설정된 값 이상을 가지면, 제 2 고유 식별자를 생성하고, 제 2 고유 식별자를 제 2 전신 좌표와 제 2 얼굴 좌표를 매핑하여 데이터베이스에 저장하는 단계; 및 (f) 제 1 및 제 2 고유 식별자를 기초로 제 1 이미지의 인물이 이동한 경로를 산출하는 단계;를 포함할 수 있다.

본 발명의 다른 일 실시예에 따른, CCTV 영상 내 인물의 인식과 경로를 산출하는 장치에 있어서, CCTV 영상 내 인물의 인식과 경로를 산출하는 프로그램이 저장된 메모리 및 메모리에 저장된 프로그램을 실행하여 CCTV 영상 내 인물의 인식과 경로를 산출하는 동작을 실행하는 프로세서를 포함하되, 프로세서는 적어도 하나 이상의 CCTV로부터 사람이 포함된 영상을 수신하고, 수신된 영상의 제 1 프레임에 포함된 사람을 제 1 이미지로 인식하고, 제 1 이미지가 포함하는 사람을 전신 이미지와 얼굴 이미지을 나누어 좌표로 변환 후 제 1 전신 좌표와 제 1 얼굴 좌표를 산출하고, 제 1 고유 식별자를 생성하여 제 1 전신 좌표와 제 1 얼굴 좌표를 매핑하여 데이터베이스에 저장하고, 영상의 제 2 프레임에 포함된 사람을 제 2 이미지로 인식하고, 제 2 이미지가 포함하는 사람을 전신 이미지와 얼굴 이미지를 나누어 좌표로 변환 후 제 2 전신 좌표와 제 2 얼굴 좌표를 산출하고, 제 1 전신 좌표와 제 2 전신 좌표의 차이값이, 기 설정된 값 이상을 가지면 제 1 얼굴 좌표와 제 2 얼굴 좌표의 차이값을 추가로 생성하고, 제 1 얼굴 좌표와 제 2 얼굴 좌표의 차이값이 기 설정된 값 이상을 가지면, 제 2 고유 식별자를 생성하고, 제 2 고유 식별자를 제 2 전신 좌표와 제 2 얼굴 좌표를 매핑하여 데이터베이스에 저장하고, 제 1 및 제 2 고유 식별자를 기초로 제 1 이미지의 인물이 이동한 경로를 산출하는 장치.

본 발명은 유동 인구를 실시간으로 촬영하는 영상에서 유동 인구를 인식하고, 이를 카운팅할 수 있다.

또한, 연속된 장면에서도 동일 인물 여부를 검사하여, 종래의 영상에서의 인물인식 기술에서 발생할 수 있는 오류로 인해 동일한 사람이 여러 번 카운팅하는 문제를 해결할 수 있다.

이를 통해, 인식된 유동 인구가 이동했던 경로를 추측할 수 있게 된다.

도 1은 본 발명의 일 실시예에 따른, CCTV 영상 내 인물의 인식과 경로를 산출하는 시스템을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른, 실시간 로드영상을 통해 유동인구 데이터를 수집하는 서버의 구성을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른, 서버에 의해 수행되는 CCTV 영상 내 인물의 인식과 경로를 산출하는 과정을 나타낸 동작흐름도이다.
도 4는 본 발명의 일 실시예에 따른, 서버가 영상에서 사람을 인식하는 것을 예시로 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른, 복수의 CCTV로부터 인식된 사람을 구분하는 방법에 대한 예시 도면이다.
도 6은 본 발명의 일 실시예에 따른, 인식된 사람의 이동경로를 산출하기 위한 좌표계의 예시이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

명세서 전체에서, 서버(100)는 실시간 로드 영상을 통해 유동인구 데이터를 수집하기 위한 장치를 의미할 수 있다.

도 1은 본 발명의 일 실시예에 따른, CCTV 영상 내 인물의 인식과 경로를 산출하는 시스템을 나타낸 도면이다.

도 1을 참조하면, CCTV 영상 내 인물의 인식과 경로를 산출하는 시스템(1)은 서버(100), CCTV(closed circuit television)(200)를 포함할 수 있다.

본 발명의 일 실시예에 따른, 서버(100)는 CCTV(200)의 영상 내 인물의 인식과 경로를 산출하기 위해서, 적어도 하나 이상의 CCTV(200)로부터 사람이 포함된 영상을 수신한다.

또한, 수신된 영상의 복수의 프레임에 포함된 사람을 이미지로 이식하고, 사람 이미지를 좌표화하여, 각 프레임이 포함하는 사람의 인식 좌표에 기초하여 사람의 카운팅과 이동경로를 산출하는 것을 특징으로 한다.

이때, 영상에서 인식한 사람의 이미지는 전신이 드러나는 전신 이미지와 얼굴만을 인식하는 얼굴 이미지로 나뉘어 각각의 좌표를 생성할 수 있다.

또한, 사람의 이동에 따라 각 프레임마다 발생하게 되는 좌표의 차이에 기초하여 사람의 숫자를 카운팅 및 이동경로를 산출하는 것이다.

이때, 좌표의 차이가 기 설정된 값 이하인 경우 동일한 사람으로 인식하게 되는데, 이는 짧은 시간 이내에 사람이 물리적으로 움직일 수 있는 거리에는 한계가 있기 때문이다.

또한, 측정의 정확도를 높이기 위해 사람의 이미지에서 전신 이미지와 얼굴 이미지를 나누어 좌표로 산출하고, 전신 좌표와 얼굴 좌표의 차이값을 각각 산출하여 CCTV(200)에 촬영된 사람을 분석하는 것이다.

예컨대, A라는 인물을 촬영한 영상에서 1초의 차이를 가지는 두 프레임을 통해 인물의 카운팅 및 이동거리 측정을 가정한다면, 일반적으로 인간이 물리적으로 1초 사이에 움직일 수 있는 거리가 한정되어 있기 때문에 첫 번째 프레임에서 측정한 좌표와 두 번째 프레임에서 측정된 좌표는 큰 차이를 가지기 어렵다.

따라서, 기 설정된 차이값 이하를 가지면 시스템은 두 프레임에서 측정된 인물이 A라는 동일 인물이라고 판단하게 되는 것이다.

하지만, 두 번째 프레임에서 B라는 사람이 더 측정되었다면, 첫 번째 프레임에 포함된 A의 좌표와 두 번째 프레임의 B의 좌표가 기 설정된 이상의 거리 차이를 가지기 때문에 서버(100)는 A와 B를 서로 다른 사람으로 인식하게 되는 것이다.

CCTV(200)는 일반적으로 사용되는 폐쇄 회로 텔레비전을 의미하며, 본 발명에서는 CCTV(200) 이외에도 영상을 촬영할 수 있는 다른 장비가 해당 기능을 대신하여 본 발명을 구현할 수 있다.

이때 사용되는 촬영 장비는 이동하는 인물을 구분할 수 있는 수준의 화질을 보유하고 있어야 한다.

또한, 본 발명은 CCTV(200)를 통해 실시간으로 생성되는 영상을 통해 구현될 수 있지만, 선택적 실시예로 기 촬영된 영상을 통해 유동 인구를 파악할 수도 있다.

한편, 통신망은 서버(100)와 CCTV(200)를 연결하는 역할을 수행한다. 즉, 통신망은 서버(100)가 CCTV(200)로부터 데이터를 수신할 수 있도록 접속 경로를 제공하는 통신망을 의미한다. 통신망은 예컨대 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

도 2는 본 발명의 일 실시예에 따른, 실시간 로드영상을 통해 유동인구 데이터를 수집하는 서버(100)의 구성을 나타낸 도면이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 서버(100)는 통신부(110), 메모리(120), 프로세서(130) 및 데이터베이스(140)를 포함한다.

상세히, 통신부(110)는 통신망과 연동하여 서버(100)와 CCTV(200) 간의 송수신 신호를 패킷 데이터 형태로 제공하는 데 필요한 통신 인터페이스를 제공한다. 나아가, 통신부(110)는 CCTV(200)로부터 데이터 요청을 수신하고, 이에 대한 응답으로서 사용자 단말(300)에 데이터를 송신하는 역할을 수행할 수 있다.

여기서, 통신부(110)는 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.

메모리(120)는 CCTV 영상 내 인물의 인식과 경로를 산출하기 위한 프로그램이 기록된다. 또한, 프로세서(130)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 여기서, 메모리(120)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

프로세서(130)는 일종의 중앙처리장치로서 CCTV 영상 내 인물의 인식과 경로를 산출하기 위한 전체 과정을 제어한다. 프로세서(130)가 수행하는 각 단계에 대해서는 도 3을 참조하여 후술하기로 한다.

여기서, 프로세서(130)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

데이터베이스(140)는 수신한 영상의 분석을 통해 생성된 유동 인구에 대한 정보가 저장된다. 예컨대, 인식한 사람의 고유 식별자와 그에 대응하는 전신 좌표 및 얼굴 좌표가 저장될 수 있으며, 인식된 장소나 시간(혹은 영상에서의 프레임) 등의 정보가 추가로 저장될 수 있다.

여기서, 고유 식별자는 임의로 생성되어 인식된 사람을 카운팅하기 위한 식별자를 뜻할 수 있다.

이때, 기 설정된 시간 동안 데이터베이스(140)에 저장된 고유 식별자는 해당 고유 식별자에 대응하는 사람의 전신 좌표와 얼굴 좌표가 다시 인식되지 않으면, 고유 식별자와 그에 매핑하는 전신 좌표 및 얼굴 좌표를 삭제할 수 있다.

이는 데이터베이스(140)의 용량확보 및 부하를 낮추기 위한 작업이 될 수 있다.

도 3은 본 발명의 일 실시예에 따른, 서버(100)에 의해 수행되는 CCTV(200) 영상 내 인물의 인식과 경로를 산출하는 과정을 나타낸 동작흐름도이다.

도 3을 참조하면, 서버(100)는 적어도 하나 이상의 CCTV(200)로부터 사람이 포함된 영상을 수신한다(S310).

이때, 복수의 CCTV(200)가 설치된 위치와 구도에 기초하여, CCTV(200)가 촬영하는 영역 중 일부를 기준 구역으로 지정하고, 기준 구역을 기준으로 복수의 CCTV(200)가 촬영하는 구역의 좌표계를 통일하여 설정하게 된다.

이를 통해, 복수의 CCTV(200)에서 촬영된 하나의 인물이 복수로 생성된 동영상에서도 동일한 좌표값을 가지게 되는 것이다.

영상의 제 1 프레임에서 사람의 이미지를 인식하고, 제 1 전신 좌표와 제 1 얼굴 좌표를 산출하여 저장한다(S320).

이를 상세하게 설명하면, 단계(S310)를 통해 수신된 영상의 특정 프레임을 제 1 프레임으로 설정하고, 제 1 프레임에 포함된 사람을 제 1 이미지로 인식한다.

제 1 이미지가 포함하는 사람의 전신을 전신 이미지로 인식하고, 한편으로 얼굴만을 인식하여 얼굴 이미지를 별개로 인식하고, 전신 이미지와 얼굴 이미지가 위치하는 장소를 좌표계에 매핑하는 방식으로 제 1 전신 좌표와 제 1 얼굴좌표를 산출하게 되는 것이다.

이후 제 1 고유 식별자를 기 설정된 알고리즘에 따라 생성하여, 제 1 전신 좌표와 제 1 얼굴 좌표를 매핑하여 데이터베이스(140)에 저장하게 된다.

이때, 제 1 프레임에 복수의 사람이 포함되면, 모든 사람을 인식하여 복수의 이미지를 생성하고, 복수의 이미지에 대응하는 전신 좌표와 얼굴 좌표를 산출하게 된다.

또한, 동일한 사람이 중복 저장되는 것을 막기 위해 복수로 산출된 전신 좌표와 얼굴 좌표마다 각각 고유 식별자를 부여하고, 데이터베이스(140)에 기 저장된 전신 좌표와 얼굴 좌표를 비교하여, 신규 인물로 판정된 전신 좌표와 얼굴 좌표 및 그에 매핑하는 고유 식별자만을 저장하게 된다.

한편, 동일한 구역을 촬영하는 복수의 CCTV(200)가 촬연 사람으로부터 생성된 복수의 전신 좌표와 얼굴 좌표는 좌표를 기준으로 하나의 데이터만을 남기고 중복되는 나머지 데이터를 삭제하여 데이터베이스(140)나 프로세서(130)의 부하를 줄일 수 있다.

영상의 제 2 프레임에서 사람의 이미지를 인식하고, 제 2 전신 좌표와 제 2 얼굴 좌표를 산출한다(S330).

이때, 제 2 프레임은 단계(S310)에서 지정한 제 1 프레임과는 서로 다른 시간대를 가지는 영상의 프레임이 될 수 있으며, 일반적으로 제 2 프레임은 제 1 프레임의 이후 시간대가 될 수 있다.

또한, 제 1 프레임과 제 2 프레임 사이의 시간차가 짧을수록 인물 인식과 이동 경로 산출의 정확도가 높아질 수 있다.

단계(S330)에서 인식하게 되는 사람의 이미지를 제 2 이미지로 인식하고, 단계(S320)와 마찬가지로 제 2 이미지가 포함하는 사람의 전신과 얼굴 이미지로 나누어 좌표로 변환한 후, 제 2 전신 좌표와 제 2 얼굴 좌표를 산출하게 된다.

제 1 전신 좌표와 제 2 전신 좌표의 차이값이나, 제 1 얼굴 좌표와 제 2 얼굴 좌표의 차이값을 산출한다(S340).

단계(S340)를 설명하기 앞서, 본 발명은 서로 다른 두 프레임에서 산출돤 전신 좌표나 얼굴 좌표의 이동 거리에 따라 동일인 여부나 이동 경로 등을 산출한다.

따라서, 서버(100)는 제 1 전신 좌표와 제 2 전신 좌표의 차이값을 산출하고, 그 값이 기 설정된 값의 이상을 가지거나 이하를 가지는지 여부에 따라, 제 1 얼굴 좌표와 제 2 얼굴 좌표의 차이값을 한번 더 산출하여 사람의 카운팅이나 이동 경로를 산출하게 되는 것이다.

단계(S350)에서 산출된 차이값에 기초하여 유동 인구를 카운팅하거나 이동 경로를 산출한다(S350).

단계(S340)를 통해 산출된 제 1 전신 좌표와 제 2 전신 좌표의 차이값이 기 설정된 값 이하이면, 제 1 얼굴 좌표와 제 2 얼굴 좌표의 차이값 생성을 생략하고, 제 1 이미지의 인물과 제 2 이미지의 인물이 동일한 사람으로 판단하게 된다.

하지만, 제 1 전신 좌표와 제 2 전신 좌표값의 차이가 기 설정된 값 이상을 가지면, 서버(100)는 제 1 얼굴 좌표와 제 2 얼굴 좌표의 차이값을 추가로 생성한다.

이때, 제 1 얼굴 좌표와 제 2 얼굴 좌표의 차이값이 기 설정된 값 이상이면, 제 1 고유 식별자의 인물과 제 2 고유식별자의 인물이 다른 사람임을 판단하고, 제 2 고유 식별자의 정보를 데이터베이스(140)에 저장하게 된다.

한편, 제 1 전신 좌표와 제 2 전신 좌표의 차이값이 기 설정된 값 이상이고, 제 1 얼굴 좌표와 제 2 얼굴 좌표의 차이값이 기 설정된 값 이하이면, 서버(100)는 제 1 얼굴 좌표의 인물과 제 2 얼굴 좌표의 인물이 동일한 사람으로 판단하게 된다.

만약, 단계(S330)의 제 2 프레임에서 복수의 사람이 인식되어 전신 좌표와 얼굴 좌표를 복수로 산출하면, 단계(S350)에서 데이터베이스(140)에 매핑되어 저장된 모든 전신 좌표 및 얼굴 좌표를 비교하는 작업을 수행함으로써 인식의 정확도를 높일 수 있다.

추가 실시예로, 기 설정된 시간 동안 데이터베이스(140)에 저장된 고유 식별자에 대응하는 사람의 전신 좌표와 얼굴 좌표가 다시 인식되지 않으면, 해당 고유 식별자와 그에 매핑하는 전신 좌표 및 얼굴 좌표를 삭제하여 데이터베이스의 용량확보를 수행할 수 있다.

단계(S350)에서 인물의 이동 경로를 산출하기 위해서는 제 1 전신 좌표와 제 2 전신 좌표 또는 제 1 얼굴 좌표와 제 2 얼굴 좌표의 차이값에 의해 생성된 벡터 정보를 비교한 결과에 기초하여 제 1 이미지의 인물이 이동한 경로를 산출할 수도 있다.

도 4는 본 발명의 일 실시예에 따른, 서버(100)가 영상에서 사람을 인식하는 것을 예시로 나타낸 도면이다.

도 4를 참조하면, 서버(100)는 영상의 제 1 프레임으로부터 A와 B라는 고유 식별자가 부여된 사람의 전신과 얼굴을 인식하고, 좌표계에 대응하도록 변환한다.

이때, 좌표는 인식된 전신 혹은 얼굴의 기 설정된 부위를 기준으로 X, Y, Z축의 3D 좌표계에 대응하여 생성된다.

인식된 좌표는 {A, 얼굴(1, 3, 25), 전신(35, 5,)}와 같이 고유 식별자와 매핑되어 데이터베이스(140)에 각각 저장된다.

도 5는 본 발명의 일 실시예에 따른, 복수의 CCTV(200)로부터 인식된 사람을 구분하는 방법에 대한 예시 도면이다.

도 5는 두 개의 CCTV(200)(CCTV A와 CCTV B로 가정)로부터 인식된 사람 A와 B가 있으며, 사람 A는 이동하여 CCTV A와 CCTV B에서 촬영되고 사람 B는 CCTV B에서만 촬영되었다고 가정한 것이다.

이때, 서버(100)는 CCTV A와 CCTV B에서 수신한 두 개의 영상에서 개별적으로 사람을 인식하게 된다.

예컨대, CCTV A상에는 사람 A와 사람 B의 전신 좌표 및 얼굴 좌표를 시간(혹은 프레임) 단위로 데이터베이스(140)에 저장하게 되고, CCTV B의 영상에서 인식한 사람 A를 시간(프레임) 단위로 인식하게 된다.

이후, 서버(100)는 동일한 좌표계를 가지는 두 CCTV A와 CCTV B의 데이터를 합산하고, 공통적으로 촬영된 사람이나 그렇지 않은 사람을 판단하고, 시간(혹은 프레임)단위로 좌표계를 통합하여 사람 A와 사람 B의 이동 경로를 산출하게 된다.

도 6은 본 발명의 일 실시예에 따른, 인식된 사람의 이동경로를 산출하기 위한 좌표계의 예시이다.

도 6을 참조하면, 그림(a)은 전신 좌표에 대한 그래프이고, 그림(b)은 얼굴 좌표에 대한 그래프의 예시이다.

그림(a) 및 그림(b)이 포함하는 점은 영상에서 인식된 전신 좌표 및 얼굴 좌표를 뜻하게 된다.

이때, 동일인으로 판단된 X와 X'가 가지는 좌표값의 차이인 d1과 d2를 통해 사람이 이동한 경로에 대해 추측하게 되는 것이다.

추가 실시예로, 서버(100)는 전신 좌표와 얼굴 좌표의 차이값이 가지는 벡터가 기 설정된 차이 이상으로 방향이 다른 경우, X와 X'가 서로 다른 사람으로 판단하고, 그 결과를 데이터베이스(140)에 저장하게 된다.

본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

1: CCTV 영상 내 인물의 인식과 경로를 산출하는 시스템
100: 서버 200: CCTV

Claims

서버에 의해 수행되는, CCTV 영상 내 인물의 인식과 경로를 산출하는 방법에 있어서,
(a) 적어도 하나 이상의 CCTV로부터 사람이 포함된 영상을 수신하는 단계;
(b) 수신된 상기 영상의 제 1 프레임에 포함된 사람을 제 1 이미지로 인식하고, 상기 제 1 이미지가 포함하는 사람을 전신 이미지와 얼굴 이미지을 나누어 좌표로 변환 후 제 1 전신 좌표와 제 1 얼굴 좌표를 산출하는 단계;
(c) 제 1 고유 식별자를 생성하여 상기 제 1 전신 좌표와 제 1 얼굴 좌표를 매핑하여 데이터베이스에 저장하는 단계;
(d) 상기 영상의 제 2 프레임에 포함된 사람을 제 2 이미지로 인식하고, 상기 제 2 이미지가 포함하는 사람을 전신 이미지와 얼굴 이미지를 나누어 좌표로 변환 후 제 2 전신 좌표와 제 2 얼굴 좌표를 산출하는 단계;
(e) 상기 제 1 전신 좌표와 제 2 전신 좌표의 차이값이, 기 설정된 값 이상을 가지면 상기 제 1 얼굴 좌표와 제 2 얼굴 좌표의 차이값을 추가로 생성하고, 상기 제 1 얼굴 좌표와 제 2 얼굴 좌표의 차이값이 기 설정된 값 이상을 가지면, 제 2 고유 식별자를 생성하고, 상기 제 2 고유 식별자를 제 2 전신 좌표와 제 2 얼굴 좌표를 매핑하여 상기 데이터베이스에 저장하는 단계; 및
(f) 상기 제 1 및 제 2 고유 식별자를 기초로 상기 제 1 이미지의 인물이 이동한 경로를 산출하는 단계;
를 포함하는 것인, CCTV 영상 내 인물의 인식과 경로를 산출하는 방법.
제 1 항에 있어서,
상기 제 1 전신 좌표와 제 2 전신 좌표의 차이값이 기 설정된 값 이하이면, 상기 제 1 얼굴 좌표와 제 2 얼굴 좌표의 차이값 생성을 생략하고, 상기 제 1 이미지의 인물과 제 2 이미지의 인물이 동일한 사람으로 판단하는 것인, CCTV 영상 내 인물의 인식과 경로를 산출하는 방법.
제 1 항에 있어서,
상기 제 1 전신 좌표와 제 2 전신좌표의 차이값이 기 설정된 값 이상이고, 상기 제 1 얼굴 좌표와 제 2 얼굴 좌표의 차이값이 기 설정된 값 이하이면, 상기 제 1 얼굴 좌표의 인물과 상기 제 2 얼굴 좌표의 인물이 동일한 사람으로 판단하고, 상기 제 2 고유 식별자를 상기 데이터베이스에 저장하는 것을 생략하는 것인, CCTV 영상 내 인물의 인식과 경로를 산출하는 방법.
제 3 항에 있어서,
상기 제 1 이미지의 인물과 제 2 이미지의 인물이 동일인으로 판단되면, 상기 제 1 고유 식별자와 매핑되어 저장된 상기 제 1 전신 좌표와 제 1 얼굴 좌표를 상기 제 2 전신 좌표와 제 2 얼굴 좌표로 대체하여 저장하는 것인, CCTV 영상 내 인물의 인식과 경로를 산출하는 방법.
제 1 항에 있어서,
상기 (a) 단계는,
복수의 상기 CCTV가 설치된 위치와 구도에 기초하여 기준 구역을 지정하고, 상기 기준 구역을 기준으로 복수의 상기 CCTV가 촬영하는 구역의 좌표계를 통일하여 설정하는 것인, CCTV 영상 내 인물의 인식과 경로를 산출하는 방법.
제 1 항에 있어서,
상기 (b) 단계는
상기 제 1 프레임에 복수의 사람이 포함되면, 모든 사람을 인식하여 복수의 상기 이미지를 생성하고, 복수의 상기 이미지에 대응하는 전신 좌표와 얼굴 좌표를 산출하는 것인, CCTV 영상 내 인물의 인식과 경로를 산출하는 방법.
제 6 항에 있어서,
상기 (c) 단계는
복수의 사람으로부터 산출된 상기 전신 좌표와 얼굴 좌표에 각각 상기 고유 식별자를 부여하고, 상기 데이터베이스에 기 저장된 상기 전신 좌표와 얼굴 좌표와 비교하되,
신규 인물로 판정된 상기 전신 좌표와 얼굴 좌표 및 그에 매핑하는 상기 고유 식별자만을 저장하는 것인, CCTV 영상 내 인물의 인식과 경로를 산출하는 방법.
제 7 항에 있어서,
동일한 구역을 촬영하는 복수의 상기 CCTV가 촬영하는 동일한 사람으로부터 생성된 복수의 상기 전신 좌표와 얼굴 좌표는 상기 좌표를 기준으로 하나의 데이터를 남기고 중복되는 나머지를 삭제하는 것인, CCTV 영상 내 인물의 인식과 경로를 산출하는 방법.
제 1 항에 있어서,
상기 (d) 단계는
상기 제 2 프레임에 복수의 사람이 인식되어 전신 좌표와 얼굴 좌표를 복수로 산출하면,
상기 (e) 단계는
상기 데이터베이스에 매핑되어 저장된 모든 상기 전신 좌표 및 얼굴 좌표와 비교를 수행하는 것인, CCTV 영상 내 인물의 인식과 경로를 산출하는 방법.
제 1 항에 있어서,
상기 (e) 단계 이후
기 설정된 시간 동안 상기 데이터베이스에 저장된 고유 식별자에 대응하는 사람의 상기 전신 좌표와 얼굴 좌표가 다시 인식되지 않으면, 상기 고유 식별자와 그에 매핑하는 전신 좌표 및 얼굴 좌표를 삭제하는 것인, CCTV 영상 내 인물의 인식과 경로를 산출하는 방법.
제 1 항에 있어서,
상기 (f) 단계는,
상기 제 1 전신 좌표와 제 2 전신 좌표 또는 상기 제 1 얼굴 좌표와 제 2 얼굴 좌표의 차이값에 의해 생성되는 벡터 정보를 비교한 결과에 기초하여 상기 제 1 이미지의 인물이 이동한 경로를 산출하는 것인, CCTV 영상 내 인물의 인식과 경로를 산출하는 방법.
CCTV 영상 내 인물의 인식과 경로를 산출하는 장치에 있어서,
상기 CCTV 영상 내 인물의 인식과 경로를 산출하는 프로그램이 저장된 메모리 및
상기 메모리에 저장된 프로그램을 실행하여 상기 CCTV 영상 내 인물의 인식과 경로를 산출하는 동작을 실행하는 프로세서를 포함하되,
상기 프로세서는 적어도 하나 이상의 CCTV로부터 사람이 포함된 영상을 수신하고, 수신된 상기 영상의 제 1 프레임에 포함된 사람을 제 1 이미지로 인식하고, 상기 제 1 이미지가 포함하는 사람을 전신 이미지와 얼굴 이미지을 나누어 좌표로 변환 후 제 1 전신 좌표와 제 1 얼굴 좌표를 산출하고, 제 1 고유 식별자를 생성하여 상기 제 1 전신 좌표와 제 1 얼굴 좌표를 매핑하여 데이터베이스에 저장하고, 상기 영상의 제 2 프레임에 포함된 사람을 제 2 이미지로 인식하고, 상기 제 2 이미지가 포함하는 사람을 전신 이미지와 얼굴 이미지를 나누어 좌표로 변환 후 제 2 전신 좌표와 제 2 얼굴 좌표를 산출하고, 상기 제 1 전신 좌표와 제 2 전신 좌표의 차이값이, 기 설정된 값 이상을 가지면 상기 제 1 얼굴 좌표와 제 2 얼굴 좌표의 차이값을 추가로 생성하고, 상기 제 1 얼굴 좌표와 제 2 얼굴 좌표의 차이값이 기 설정된 값 이상을 가지면, 제 2 고유 식별자를 생성하고, 상기 제 2 고유 식별자를 제 2 전신 좌표와 제 2 얼굴 좌표를 매핑하여 상기 데이터베이스에 저장하고, 상기 제 1 및 제 2 고유 식별자를 기초로 상기 제 1 이미지의 인물이 이동한 경로를 산출하는 CCTV 영상 내 인물의 인식과 경로를 산출하는 장치.
제 1 항 내지 제 11 항 중 어느 한 항에 따른 CCTV 영상 내 인물의 인식과 경로를 산출하는 방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능 기록매체.