KR102333143B1

KR102333143B1 - 무인 계수 서비스 제공 시스템

Info

Publication number: KR102333143B1
Application number: KR1020210033332A
Authority: KR
Inventors: 명성준
Original assignee: 다인스 주식회사
Priority date: 2021-03-15
Filing date: 2021-03-15
Publication date: 2021-12-02

Abstract

무인 계수 서비스 제공 시스템이 제공되며, 사람을 카운팅하는 적어도 하나의 센서, 고정 객체 및 이동 객체를 촬영하고 이동 객체 중 사람을 인식, 카운팅, 인증 및 모션을 인식하며 추적하는 적어도 하나의 카메라, 적어도 하나의 센서 및 적어도 하나의 카메라로부터 추출된 데이터를 출력하는 사용자 단말 및 적어도 하나의 센서 및 적어도 하나의 카메라로부터 데이터를 수집하는 수집부, 사람을 카운팅한 결과인 계수결과를 출력하는 계수부, 적어도 하나의 카메라로부터 인식된 사람의 성별 및 연령대를 추정하는 인식부, 적어도 하나의 카메라로부터 인식된 사람이 기 등록된 등록대상자인지 판별하는 인증부, 적어도 하나의 카메라로부터 인식된 사람의 모션이 기 설정된 모션과 일치하는지의 여부를 판별한 후, 일치하는 경우 기 설정된 모션에 대응하는 알림메세지를 사용자 단말로 전송하는 지능형영상부, 계수부, 인식부 및 인증부의 분석 결과를 사용자가 볼 수 있도록 시각화(Visualization)하는 시각화부를 포함하는 계수 서비스 제공 서버를 포함한다.

Description

무인 계수 서비스 제공 시스템{SYSTEM FOR PROVIDING PEOPLE COUNTING SERVICE}

본 발명은 무인 계수 서비스 제공 시스템에 관한 것으로, 무인 계수, 얼굴 인식, 얼굴 인증 및 이를 이용한 지능형 영상감시를 통합적으로 구축한 솔루션을 제공한다.

CCTV를 이용한 영상보안시스템은 범죄예방, 재난재해 방지 등 안전에 대한 요구가 높아지면서 여러 분야에 널리 확산되어 사용되고 있다. 기존 아날로그 CCTV에서 최근 네트워크 기반의 지능형 CCTV로 발전하고 있으며 많은 카메라를 통합 관리할 수 있도록 통합 관제 시스템이 등장하였다. 통합 관제 시스템은 크게 저장서버, 영상분석 서버, 이벤트 서버, DB 서버로 나눌 수 있다. 이러한 서버들은 클라이언트가 라이브 영상, 분석 이벤트 등을 실시간으로 조회 할 수 있게 해주며, 과거의 영상을 리플레이 할 수 있게 한다. 최근 영상 분석은 GPU를 통해 보다 효율적으로 이루어지며 Hadoop과 같은 빅데이터 분산 처리 시스템을 통해 대용량 분석 처리가 가능하다. 지능형 CCTV 시스템에서 단순한 상황 감시만이 아닌 특정 목적을 위한 솔루션들이 개발되고 있다. 상황 감시, 피플 카운팅, 배회 감지, 화재 감지 등의 영상 데이터를 분석하고 처리하는 방법들은 많은 복잡도가 필요하다.

이때, 방문객의 동선흐름을 추출하고, 영상으로부터 방문객의 정보를 확인하는 방법이 연구 및 개발되었는데, 이와 관련하여, 선행기술인 한국등록특허 제10-2118397호(2020년06월04일 공고) 및 한국공개특허 제2017-0006356호(2017년01월18일 공개)에는, 광역의 분석 대상 영역에 설치된 복수의 카메라에서 촬영된 영상으로부터 각각의 카메라 영상에서 방문객 흐름을 나타내는 방향 맵을 생성하고, 생성된 방향 맵을 서로 연결하여 분석 대상 영역 전체에서 방문객의 이동 방향 및 통행량을 나타내는 방향 맵 계층을 구성하고, 단일 카메라 영상 내의 하나의 입구와 적어도 하나 이상의 출구에 각각 설정된 카운팅 라인을 기준으로, 입구에서 출구 방향으로 이동하는 방문객을 카운트하여 입구 및 출구에서의 각각의 통행량을 획득하며, 입구에서 출구로 방문객의 동선을 연결하여 방향 맵을 생성하고, 각 동선이 방문객의 이동 방향 및 보정된 통행량을 나타내도록 시각화하는 구성과, 영상에 대한 HS(Head and Shoulder) 검출을 포함하는 객체 검출을 수행하고, 검출된 객체에 대해서 카운팅, 고객 속성 인식, 얼굴 인식 또는 동선 분석 중 하나 이상을 수행하도록 하는 구성이 각각 개시되어 있다.

다만, 상술한 분석 솔루션 구현 형태를 보면 엠베디드 소프트웨어로 카메라 내부에 분석 기능을 넣거나 전용 영상 분석 서버를 이용하여 여러 카메라 영상을 동시에 분석하고 이벤트를 발생시키고, 이러한 영상 자동 분석 시스템을 사용할 때는 효과적이고 빠른 알고리즘의 적용이 요구된다. 또, 방문객을 카운팅하거나 인식하는 것 이외에도 인증을 통하여 무인 매장을 운영하거나 보안을 실시하거나 하는 통합적인 솔루션이 개시되어 있지 않다. 그리고, 각 기업이나 매장에서 요구하는 솔루션이 모두 다르기 때문에 이를 커스터마이징하기 위해서는 기본 솔루션의 구축이 필수적이다. 이에, 무인 계수, 얼굴 인식, 얼굴 인증 및 이를 이용한 지능형 영상인식을 통합 구축한 플랫폼의 연구 및 개발이 요구된다.

본 발명의 일 실시예는, 무인 계수(People Counting), 얼굴 인식(Face Recognition), 얼굴 인증(Face Authentication) 및 지능형 영상인식(Intelligent Video Analysis)을 통합 솔루션으로 구축하고, 각 개인이나 기업에서 요구하는 기능을 커스터마이징할 수 있도록 하며, 마케팅, 혼잡도 분석, 동선 분석, 고객 분석, 출입 통제, 인프라 사용 승인 및 무인 결제를 포함한 다양한 플랫폼과 연동시키거나 분석 자료를 이용할 수 있도록 하는, 무인 계수 서비스 제공 방법을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 사람을 카운팅하는 적어도 하나의 센서, 고정 객체 및 이동 객체를 촬영하고 이동 객체 중 사람을 인식, 카운팅, 인증 및 모션을 인식하며 추적하는 적어도 하나의 카메라, 적어도 하나의 센서 및 적어도 하나의 카메라로부터 추출된 데이터를 출력하는 사용자 단말 및 적어도 하나의 센서 및 적어도 하나의 카메라로부터 데이터를 수집하는 수집부, 사람을 카운팅한 결과인 계수결과를 출력하는 계수부, 적어도 하나의 카메라로부터 인식된 사람의 성별 및 연령대를 추정하는 인식부, 적어도 하나의 카메라로부터 인식된 사람이 기 등록된 등록대상자인지 판별하는 인증부, 적어도 하나의 카메라로부터 인식된 사람의 모션이 기 설정된 모션과 일치하는지의 여부를 판별한 후, 일치하는 경우 기 설정된 모션에 대응하는 알림메세지를 사용자 단말로 전송하는 지능형영상부, 계수부, 인식부 및 인증부의 분석 결과를 사용자가 볼 수 있도록 시각화(Visualization)하는 시각화부를 포함하는 계수 서비스 제공 서버를 포함한다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 무인 계수(People Counting), 얼굴 인식(Face Recognition), 얼굴 인증(Face Authentication) 및 지능형 영상인식(Intelligent Video Analysis)을 통합 솔루션으로 구축하고, 각 개인이나 기업에서 요구하는 기능을 커스터마이징할 수 있도록 하며, 마케팅, 혼잡도 분석, 동선 분석, 고객 분석, 출입 통제, 인프라 사용 승인 및 무인 결제를 포함한 다양한 플랫폼과 연동시키거나 분석 자료를 이용할 수 있도록 한다.

도 1은 본 발명의 일 실시예에 따른 무인 계수 서비스 제공 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 시스템에 포함된 계수 서비스 제공 서버를 설명하기 위한 블록 구성도이다.
도 3 내지 도 5는 본 발명의 일 실시예에 따른 무인 계수 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 무인 계수 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체 지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.

본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 무인 계수 서비스 제공 시스템을 설명하기 위한 도면이다. 도 1을 참조하면, 무인 계수 서비스 제공 시스템(1)은, 적어도 하나의 사용자 단말(100), 계수 서비스 제공 서버(300), 적어도 하나의 센서(400), 적어도 하나의 카메라(500)를 포함할 수 있다. 다만, 이러한 도 1의 무인 계수 서비스 제공 시스템(1)은, 본 발명의 일 실시예에 불과하므로, 도 1을 통하여 본 발명이 한정 해석되는 것은 아니다.

이때, 도 1의 각 구성요소들은 일반적으로 네트워크(Network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 적어도 하나의 사용자 단말(100)은 네트워크(200)를 통하여 계수 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 계수 서비스 제공 서버(300)는, 네트워크(200)를 통하여 적어도 하나의 사용자 단말(100), 적어도 하나의 센서(400), 적어도 하나의 카메라(500) 및 관리자 단말(600)과 연결될 수 있다. 또한, 적어도 하나의 센서(400)는, 네트워크(200)를 통하여 계수 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 적어도 하나의 카메라(500)는, 네트워크(200)를 통하여 적어도 하나의 사용자 단말(100), 계수 서비스 제공 서버(300) 및 적어도 하나의 센서(400)와 연결될 수 있다.

여기서, 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷(WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), 5GPP(5th Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), RF(Radio Frequency), 블루투스(Bluetooth) 네트워크, NFC(Near-Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.

하기에서, 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다 할 것이다.

적어도 하나의 사용자 단말(100)은, 무인 계수 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 무인 계수, 얼굴 인식, 얼굴 인증 및 이를 이용한 지능형 영상감시에 대한 시각화 자료를 출력하는 관리자의 단말일 수 있다.

여기서, 적어도 하나의 사용자 단말(100)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 사용자 단말(100)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 사용자 단말(100)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

계수 서비스 제공 서버(300)는, 무인 계수 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 서버일 수 있다. 그리고, 계수 서비스 제공 서버(300)는, 적어도 하나의 센서(100) 및 적어도 하나의 카메라(500)로부터 수신된 감지 데이터 및 영상 데이터를 분석하여 무인 계수, 얼굴 인식, 얼굴 인증 및 지능형 영상감시를 수행하는 적어도 하나의 인공지능 알고리즘을 모델링하고, 사용자 단말(100)에서 원하는 기능을 커스터마이징하여 사용자 단말(100)에서 구동할 수 있도록 맞춤형 솔루션을 제공하는 서버일 수 있다.

여기서, 계수 서비스 제공 서버(300)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.

적어도 하나의 센서(400)는, 무인 계수 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하거나 이용하지 않고 사람을 카운팅하여 그 결과값을 무인 계수 서비스 제공 서버(300)로 전달하는 센서일 수 있다.

여기서, 적어도 하나의 센서(400)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 센서(400)는, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 센서(400)는, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

적어도 하나의 카메라(500)는, 무인 계수 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 얼굴 인식, 얼굴 인증 및 이를 이용한 지능형 영상감시를 수행하는 지능형 CCTV일 수 있다. 또는, 카메라(500)는 상술한 솔루션을 내장하지 않은 카메라일 수도 있고 이러한 경우 무인 계수 서비스 제공 서버(300)와 연결되어 영상 데이터를 무인 계수 서비스 제공 서버(300)에서 처리하도록 구현될 수 있다.

여기서, 적어도 하나의 카메라(500)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 카메라(500)는, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 카메라(500)는, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

도 2는 도 1의 시스템에 포함된 계수 서비스 제공 서버를 설명하기 위한 블록 구성도이고, 도 3 내지 도 5는 본 발명의 일 실시예에 따른 무인 계수 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.

도 2를 참조하면, 계수 서비스 제공 서버(300)는, 수집부(310), 계수부(32)), 인식부(330), 인증부(340), 지능형영상부(350), 시각화부(360), 마케팅부(370), 엑세스관리부(380), 출력부(390), 동선추적부(391), 인공지능부(393)를 포함할 수 있다.

본 발명의 일 실시예에 따른 계수 서비스 제공 서버(300)나 연동되어 동작하는 다른 서버(미도시)가 적어도 하나의 사용자 단말(100), 적어도 하나의 센서(400) 및 적어도 하나의 카메라(500)로 무인 계수 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 적어도 하나의 사용자 단말(100), 적어도 하나의 센서(400) 및 적어도 하나의 카메라(500)는, 무인 계수 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 적어도 하나의 사용자 단말(100), 적어도 하나의 센서(400) 및 적어도 하나의 카메라(500)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: World Wide Web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(Hyper Text Mark-up Language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(Chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(Application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(App)을 포함한다.

도 2를 참조하면, 수집부(310)는, 적어도 하나의 센서(400) 및 적어도 하나의 카메라(500)로부터 데이터를 수집할 수 있다.

계수부(320)는, 사람을 카운팅한 결과인 계수결과를 출력할 수 있다. 적어도 하나의 센서(400)는 사람을 카운팅할 수 있다. 적어도 하나의 카메라(500)는, 고정 객체 및 이동 객체를 촬영하고 이동 객체 중 사람을 인식, 카운팅, 인증 및 모션을 인식하며 추적할 수 있다.

인식부(330)는, 적어도 하나의 카메라(500)로부터 인식된 사람의 성별 및 연령대를 추정할 수 있다.

인증부(340)는, 적어도 하나의 카메라(500)로부터 인식된 사람이 기 등록된 등록대상자인지 판별할 수 있다. 사용자 단말(100)은, 적어도 하나의 센서(400) 및 적어도 하나의 카메라(500)로부터 추출된 데이터를 출력할 수 있다.

지능형영상부(350)는, 적어도 하나의 카메라(500)로부터 인식된 사람의 모션이 기 설정된 모션과 일치하는지의 여부를 판별한 후, 일치하는 경우 기 설정된 모션에 대응하는 알림메세지를 사용자 단말(100)로 전송할 수 있다. 이때, 카메라(500)는 지능형 CCTV일 수 있는데, 지능형 CCTV는 설치되는 실제 환경에서도 개나 고양이, 나뭇가지 등과 같은 움직임에 상관없이 학습된 객체만 정확하게 감지하고 추적(Tracking)할 수 있는 최첨단 인공지능 기술 소프트웨어가 적용된 장치이다. 예를 들어, 침입감지, 도난 또는 분실물감지, 실시간 모자이크처리, 사람계수, 배회, 군집, 월담, 카메라 무력화 감지, 사람동선 파악 등이 있으나 나열된 것들로 한정되지 않고 열거되지 않은 이유로 배제되지 않는다.

딥러닝(Deep Learning)과 같은 인공지능 기술을 이용하여 객체 탐지, 사람 검출, 얼굴인식 등 지능형 영상 분석 기술이 가능해졌고, 딥러닝 기술은 수많은 계층이 심층적으로 구성된 신경망 구조를 이용하여 대용량의 데이터를 학습시키는 기술로, 비선형의 계층적 특징에 대한 학습 능력은 사람의 인식 메커니즘과 유사하다고 알려져 있다. 이러한 딥러닝 기반 영상분석 기술은 다양한 환경의 조건에서도 고성능의 객체 식별 및 인식을 할 수 있어, 사람의 인지 수준을 능가하고 있으며,이는 딥러닝 기반 영상분석이 이전의 머신러닝 기반 기술보다 성능이 비약적으로 상승하였으며, 이는 실제 사회 안전 서비스에 활용이 가능할 만큼 발전하고 있음을 보여준다.

하지만 딥러닝에 이용되는 대규모의 학습 데이터는 공개 데이터셋을 기반으로 하는 경우가 많으므로, 지방 자치단체 통합관제센터나 각 개인이나 기업의 사업장과 같이 다양한 환경의 현장에 바로 적용할 경우, 연구 단계에서의 결과보다는 성능이 저하될 가능성이 크다. 만약 실제 CCTV 카메라의 영상을 클라우드로 저장하고 이를 학습 데이터로 이용할 경우 실제 데이터셋을 활용하므로 성능 저하를 개선하는 효과적인 대안이 될 수 있다. 따라서 실제 환경의 영상 데이터를 확보하여 클라우드로 관리하고, 신경망을 이용하여 지속해서 학습하여 영상분석의 성능을 개선하는 지능형 영상감시 솔루션이 이용될 수 있다.

이에 따라, 본 발명의 일 실시예에서는, 실제로 고객(개인 또는 기업)이 카메라(500)를 설치하여 사용하는 동안, 기 구축된 딥러닝 모델에서 출력한 데이터를 데이터셋으로 이용할 수 있다. 예를 들어, 반도체 공장의 관리실에서 카메라(500)를 적용했고, 월담하는 사람을 인식하도록 딥러닝 모델이 구축되었다면, 실제 아파트 각 동의 출입문이나 현관문에서 촬영된 영상에서 월담하는 사람을 인식한 영상, 즉 카메라(500)의 출력값을 데이터셋으로 이용하는 것이다. 이때, 데이터셋에는 객체를 제대로 인식한 출력값만 존재하는 것이 아니다.

예를 들어, 큰 고양이가 담을 넘었는데 이를 "월담하는 사람"으로 오인식 및 오탐지하여 경보를 울리는 출력값도 존재한다. 또는, 바람이 불어서 나무의 나뭇가지가 담 위를 왕복했는데, 이를 "월담하는 사람"으로 오인식 및 오탐지하여 경보를 울리는 출력값, 즉 False Alarm을 울리는 출력값도 존재한다. 이는 사용자가 직접 골라내도록 하고 우선은 재학습을 위한 데이터셋을 모으기 위해 이러한 출력값들을 모두 수집할 수 있다.

지능형영상부(350)는, 딥러닝 모델에서 객체 인식의 결과가 정상 또는 비정상으로 출력되는 이미지를 사용자 단말(100)로부터 선별받을 수 있다. 즉, 카메라(500)에서 경보를 울린 결과(출력값) 중 오경보인 비정상, 그렇지 않은 정상(제대로 탐지 및 인식한 경우)인 경우에는 정상으로 사용자가 직접 체크할 수 있다. 사용자가 할 일은 여기에서 끝이 난다. 더 이상 조작하는 것도 없고 프로그래밍 언어를 배울 필요도 없다. 단지 출력값이 잘못되었나 아닌가만 판단하여 체크하면 끝이다. 지능형영상부(350)에서 딥러닝 모델에서 객체 인식의 결과가 정상 또는 비정상으로 출력되는 이미지를 사용자 단말(100)로부터 선별받을 때, 정상은 학습된 딥러닝 모델을 바탕으로 인식한 객체가 포함된 이미지이고, 비정상은 학습된 딥러닝 모델을 통해 객체를 인식하지 못하고 배경이나 학습되지 않는 객체를 인식하는 이미지를 말한다.

지능형영상부(350)는, 정상으로 선별된 이미지를 이용하여 딥러닝 모델을 추가 학습시킬 수 있다. 이에 따라, 실제 고객이 설치한 카메라(500)가 획득한 촬영화면, 즉 실제 현장의 이미지들을 기반으로 추가학습시켜 딥러닝 모델을 업데이트함으로써 영상분석 성능을 지속적으로 향상시킬 수 있는 플랫폼이 완성된다. 덧붙여서, 사용자는 필요한 지능형 영상분석 기술을 제공받기 위해, 클라우드 서버(미도시)에 접속하여 영상을 업로드하고 이를 기반으로 딥러닝 기술을 통해 생성된 딥러닝 모델이나 추가학습된 딥러닝 모델, 또는 영상분석 엔진을 다운받아 현장에 적용할 수도 있다. 이러한 클라우드 플랫폼의 목표는 실제 환경의 이미지 데이터셋을 사용하여 지속적인 성능 향상을 제공할 수 있어, 다양한 곳에 활용을 할 수도 있다.

본 발명의 일 실시예의 딥러닝 모델은 다양한 형태로 제공될 수 있는 신경망 학습이 가능한 추상화된 가상화 머신(Virtual Machine)으로 구성할 수 있으며, 하드웨어 사양이나 구축한 클라우드 환경에 따라 달라질 수 있다. 즉 구성하는 방법에 따라 가상화 인스턴스, Docker 컨테이터, 쿠버네티스 클러스터의 포드 등으로 생성할 수 있다. 본 발명의 일 실시예는 특정 지능형 영상 분석 서비스를 제공받기 원하는 사용자에게 하나의 카메라에 하나의 딥러닝 모델을 배정하는 개념일 수 있다. 이에 따라, 사용자가 업로드한 데이터셋에서 온라인 심층 학습을 통해 가장 신뢰할 수 있는 지능형 영상 시 기능을 제공하는 클라우드 서비스를 제공할 수도 있고, 예를 들어, 사용자는 미아 찾기 서비스를 공공 공원의 CCTV 서비스에 설치하기를 원한다고 가정하자. 사용자는 서버에 로그인하여 사람 재식별 서비스를 신청하고 카메라별로 딥러닝 모델을 할당받는다. 사용자는 클라우드 서버로 카메라 위치별 영상 또는 이미지를 업로드하고, 업로드가 완료되면 할당된 딥러닝 모델은 현장에서 수집한 이미지를 기반으로 사람 재식별 기술을 학습하게 된다. 신경망 엔진이 생성되고 검증이 완료되면, 사용자는 이를 다운로드하여 지능형 영상분석 시스템에 적용할 수도 있다. 적용된 지능형 영상분석의 성능은 지속적인 영상 업로드 및 신경망 학습 과정을 통해 성능을 업데이트하게 된다.

클라우드 환경에서 실시간 업데이트를 통해 심층 학습 지능형 영상분석의 성능을 지속해서 향상하고 최적화하는 기술을 지원할 수 있고, 딥러닝 기반 지능형 영상분석 기술은 실시간 상황을 자동으로 인식할 수 있도록 얼굴인식/차량인식, 얼굴/차량 재식별, 자동차 번호판 탐지/복원 기술을 제공할 수 있으며, 현장의 실제 감시영상 데이터셋을 기반으로 온라인 심층 학습을 위한 이미지 데이터베이스를 구축함으로써 데이터셋 및 온라인 학습을 위한 GT 반자동 태깅 기능을 제공할 수도 있다.

지능형영상부(350)는, 추가 학습된 딥러닝 모델을 객체 인식에 적용할 수 있다. 즉 A 커피숍에 설치된 카메라(500)에서 나온 출력값만으로 딥러닝 모델을 재학습시켜 적용할 수도 있고, A 커피숍 점주인 고객, 즉 사용자가 프랜차이즈 커피숍을 운영하고 있다면, 다른 프랜차이즈 매장에서 나온 결과물을 클라우드로 접속하여 할당받을 수도 있다. 즉, B,C,D 커피숍에서 이용한 결과물을 A 커피숍 점주가 이용할 수도 있는 것이다. 물론, 이는 실제 설치된 환경이 동일하다는 가정하에 가능할 수 있다. 대부분의 프랜차이즈는 그 인테리어가 동일성을 유지하기 때문에 가능할 수 있다. 또는 아파트나 고층빌딩도 동일한 인테리어에 동일한 각도 등으로 설치된 경우를 전제할 수 있다.

시각화부(360)는, 계수부(320), 인식부(330) 및 인증부(340)의 분석 결과를 사용자가 볼 수 있도록 시각화(Visualization)할 수 있다.

마케팅부(370)는, 인식부(330)에서 추정된 성별 및 연령대에 대응하는 적어도 하나의 광고 콘텐츠를 추출하고, 적어도 하나의 사이니지(미도시)로 출력할 수 있다.

엑세스관리부(380)는, 적어도 하나의 카메라(500)로 인식된 객체가 인증부(340)에서 인증한 기 등록된 등록대상자인 경우, 결제를 수행하거나 출입을 허용할 수 있다.

출력부(390)는, 적어도 하나의 카메라(500)로 인식된 객체가 인증부에서 인증한 기 등록된 등록대상자인 경우, 블랙리스트 또는 화이트리스트임을 사용자 단말(100)로 출력하거나, 매장에서 고객, 점원 및 익명으로 구분되도록 사용자 단말(100)에서 출력시킬 수 있다.

동선추적부(391)는, 계수부(320), 인식부(330) 및 지능형영상부(350)와 연동하여 각 객체의 동선을 파악한 후 어느 구역에 객체가 집중되어 있는지를 히트맵으로 표시할 수 있다.

인공지능부(393)는, 인식부(330) 또는 인증부(340)에서 각 객체를 인식 및 인증하기 위하여 적어도 하나의 머신러닝 또는 딥러닝 알고리즘을 적용할 수 있다. 딥러닝은 신경망 네트워크로 많은 수의 계층을 만들어 학습하는 기계학습 분야이다. 신경망 네트워크 중 CNN의 특징 추출(Feature Extraction)은 컨볼루션 레이어와 풀링 레이어를 차례로 쌓은 형태로 되어있다. 컨볼루션 레이어는 필터와 같이 컨볼루션 연산을 통해 입력 영상을 변환하며, 풀링 레이어는 입력을 다운 샘플링하기 위해 적용되는 레이어로써 입력 값의 불필요한 정보를 없애고 압축하는 데 이용한다. 즉, 풀링 레이어는 이미지의 차원을 축소하는 역할을 한다. 컨볼루션 신경망인 CNN은 뇌의 시각 피질이 이미지를 처리하고 인식하는 원리를 이용한 신경망이다. 주로 영상 인식 분야에서 적용되며 여러 분야에서 탁월한 성능을 보여주고 있는 인공 신경망이며, CNN 기반 객체 탐지 알고리즘은, R-CNN(Region-CNN), SIFT(Scale Invariant Feature Transform), HOG(Histogram of Oriented Gradient) 등의 알고리즘을 포함할 수 있다.

영상에서 객체 인식을 하는 방법으로 최근에는 인공지능을 활용한 방식이 빈번하게 사용되고 있는데, 그 중 가장 폭넓게 활용하는 방식은 R-CNN 계열의 알고리즘을 들수 있다. 영역 기반의 합성곱을 활용한 방식으로 여러 개의 신경망이 연속적으로 이어져 있고, 각 신경망에 해당하는 가중치 값들이 존재한다. 이 가중치 값은 학습에 의하여 결정되고, 이렇게 결정된 값들은 객체 인식에 이용되는데, Fast R-CNN, Faster R-CNN, Mask R-CNN이 등이 존재한다. 첫 번째 Fast R-CNN은 단일 단계 학습을 통해 백본 네트워크(Backbone Network)를 확보할 수 있다. 3 가지 방법 중에 유일하게 기 학습된 가중치를 사용하지 않고, Xavier 초기값을 사용할 수 있다. 단일 단계 학습을 할 수 있어 간단하게 인공지능 모델을 확보할 수 있는 장점이 있지만, 다수의 관심 영역(Region of Interest, ROI) 경계 상자(Boundary Box) 후보군을 생성하는데 시간이 소요된다는 단점이 있다. 이는 주로 긴 연산 시간을 갖는 선택적 검색(Selective Search) 알고리즘 수행에 기인한다.

이 점을 개선하기 위하여 Faster R-CNN에서는 새로운 방법을 제시했는데, 특히 관심 영역 경계 상자 후보군을 생성하는데, 새로운 심층 신경망을 사용한다. 즉, 기존의 알고리즘은 주로 CPU 자원을 활용한 연산을 사용하여 비교적 많은 연산 시간이 소요되었지만, 심층 신경망을 통한다면 GPU를 사용하기 때문에 연산 시간이 단축된다. 이 같은 심층 신경망은 관심 영역의 후보군을 제공하는 기능을 한다고 하여 영역 제안 네트워크(Region Proposal Network)라고 하는데, 백본 네트워크에 비해 상대적으로 적은 신경망 층을 가지고 있다. 이 신경망을 통해 객체 인식을 하는 필요한 하드웨어 자원의 대부분이 CPU에서 GPU로 이동할 수 있다. 다만, 이 같은 구조로 완성된 모델을 만들기 위해서는 여러 단계를 거친 학습 수행이 필요하다. Faster R-CNN은 백본 네트워크, 영역 제안 네트워크, 분류 네트워크(Classifier Network)로 구성되며 이 3 개의 심층 신경망을 학습하기 위해서는 여러 단계의 수행이 필요하므로 다중 단계 학습 기법으로 완성된 모델을 구하는데 시간이 연장될 수도 있다.

R-CNN 계열 방법의 마지막인 Mask R-CNN의 가장 큰 특징은 객체 인식의 분할(Segmentation)까지 가능하다는 점이다. 그 전까지 객체 인식은 영상 내에서 사각 박스를 통해 객체의 위치를 추정하고 그 종류를 구분하였지만, Mask R-CNN에서는 객체 인식 기술에 객체의 위치를 화소 단위로 구분할 수 있도록 심층 신경망을 설계한다. 이 심층 신경망의 역할은 각 화소가 객체에 해당되는 것인지 아닌지를 구분하는 것으로 바이너리 마스크(Binary Mask)라고 한다. 백본 네트워크로부터 얻은 특징 지도(Feature Map)에 바이너리 마스크를 씌워서 화소 단위로 구분을 짓는다. 다만, 일반적인 특징 지도의 크기는 원본 영상의 크기도 4분의 1일에서 16분의 1크기의 수준으로 작다. 이렇게 작아진 특징 지도에서 화소 단위로 객체 영역을 결정하더라도 원본 영상에서는 그 오차가 크게 나타난다. 이 같은 오차를 감소시키기 위하여 관심 영역 정렬(ROI Align)이라는 기법을 사용하는데, 이는 ROI 풀(Pool) 영역에서 생기는 소수점 오차를 2차 선형보간법으로 감소시키는 방법이다.

YOLO 중 YOLO-v3은, 하나의 합성곱 신경망이 동시에 여러 개의 경계 상자 (Bounding Box)를 예측하고, 각 경계 상자에 대하여 분류 확률(Class Probability)을 예측하는 알고리즘이다. 이때, 사용되는 합성곱 신경망은 특징 지도를 생성하는 용도로 활용되는데 알고리즘의 중추를 담당한다고 하여 백본 네트워크라고 부른다. 이 특징 지도는 여러 개의 그리드 셀(Grid Cell)로 구성되는데, 각 셀마다 스코어(Score) 방식을 적용하여 대상 객체의 종류와 위치를 동시에 결정하는 알고리즘이다. 이 알고리즘은 차량, 사람, 비행기, 동물 등을 포함하여 총 20가지 종류를 매 영상 프레임마다 인식하도록 구성된다. 상술한 것 이외에도 다양한 인식 및 인증 방법이 적용될 수 있으며 나열된 것들로 한정되지는 않는다.

이때, 만약 서버 없이 AWS(Amazon Web Service) 기반 서버리스(Serverless) 웹 애플리케이션으로 구축한다면, 별도로 서버를 구매하거나 관리할 필요가 없어 오직 시스템 구축에만 집중할 수 있다. 그리고 AWS CloudWatch 서비스를 통해 시스템 전반의 사용량과 상태를 모니터링 할 수 있다. ⓛ AWS 코그니토(Cognito) 서비스를 활용하여 임의의 사용자들에게 허용된 범위 내에서 AWS 서비스를 사용할 수 있도록 임시 자격 권한을 제공한다. ② AWS Lambda는 서버 없이 코드를 실행할 수 있게 해주는 컴퓨팅 서비스이며, AWS DynamoDB는 클라우드 NoSQL 데이터베이스 서비스이다.

그리고 AWS S3(Simple Storage Service)는 클라우드 저장소 서비스이다. DynamoDB에는 전체 이미지 정보가 저장되어 있다. 이미지 정보는 S3 Browser 저장소에 저장되어 있는 실제 이미지 경로와 이미지 어노테이션 작업 완료 여부 정보이다. 웹 브라우저는 사용자의 임시 자격 권한으로 Lambda에게 DynamoDB에 저장되어 있는 전체 이미지 정보를 요청한다. ③ WebBrowser는 이미지 정보를 가지고 S3 Browser 저장소로부터 이미지들을 로드(Load)한 후 이를 썸네일로 보여준다. 작업 완료된 이미지는 썸네일에서 흐릿하게 보여진다. ④ 사용자는 이미지 어노테이션을 수행할 이미지를 썸네일로부터 선택한 후 어노테이션을 수행한다. 작업이 완료되면 DynamoDB에 결과를 반영한다. 그리고 어노테이션 정보는 json 포맷으로 S3 Browser 저장소에 저장한다. ⑤ 람다는 주기적으로 ④ 번에서 생성한 json 파일을 참조하여 원본 이미지들로부터 특징을 추출한 서브 이미지를 생성한 후 S3 Crop 저장소에 저장한다. 그리고 사용된 json 파일은 모두 압축되어 S3 Backup 저장소에 저장될 수 있다.

추가적으로, 객체탐지의 정확도를 향상시키기 위해 Negative training 방식을 도입할 수 있다. 즉, 현장에 설치된 CCTV로부터 획득한 이미지로부터 추론한 객체인식 결과가, 조명이나 주변환경에 따라 지속적으로 또는 빈번하게 발생되는 다양한 오탐 이미지들만 일괄적으로 수집해 추가 학습시킨 다음, 딥러닝 모델을 업데이트해 적용하게 되면 상대적으로 탐지하려고 하는 객체들에 대한 탐지 정확도를 높여 줄 수 있다. 즉, 딥러닝 모델에 상기 객체 인식의 결과가 비정상으로 출력되는 오탐 이미지만을 일괄 수집 및 획득하여 추가학습하는 네가티브 트레이닝(Negative Training)을 적용하여 딥러닝 모델을 업데이트할 수 있다.

이하, 상술한 도 2의 계수 서비스 제공 서버의 구성에 따른 동작 과정을 도 3 내지 도 5을 예로 들어 상세히 설명하기로 한다. 다만, 실시예는 본 발명의 다양한 실시예 중 어느 하나일 뿐, 이에 한정되지 않음은 자명하다 할 것이다.

<무인 계수>

본 발명의 일 실시예에 따른 무인 계수 서비스는 천장형 2D 카메라, 천장형 3D 스테레오 카메라, 천장형 3D ToF(Time-of-Flight) 카메라, 헤드카운트형 FA(Field Analyst) 솔루션, 바디카운트 SAFR(RealNetworks™) 솔루션을 이용할 수 있다. 도 3a 및 도 3b와 같이 천장형 2D 카메라는 VCA(Video Content Analysis) 방식으로 배경/전경 모델링 알고리즘, 물체 추적 알고리즘, 예측 알고리즘 등을 이용할 수 있으며, 도 3c와 같이 클라우드 뷰어 또는 구축형 뷰어를 선택할 수 있고, 다양한 제품의 연동으로 하나의 통합 뷰어를 운영할 수 있으며, 시간별, 장소별 통합 또는 구분하여 운영할 수 있고, 반응형 웹브라우저로 설계되어 다양한 디바이스에서 사용이 가능하다. 도 3d와 같이 시각화할 수도 있고, 도 3e와 같이 시간대별 통계, 월별 통계 기능이 적용될 수 있다. 도 3f 내지 도 3h는 본 발명의 일 실시예에 따른 무인 계수의 원리인데, 계수를 할 기준라인을 잡아준 후, 계수 필터를 활성화시키고, 감지폭을 조절해주면 된다.

도 3i 내지 도 3m은 3D 방식의 무인 계수 방법인데, 스테레오(3D) 카메라를 통하여 좌우측 렌즈를 이용하여 입력된 영상을 기반으로 사람의 두 눈 처럼 거리감을 인지할 수 있어 깊이(Depth) 카메라가 아니더라도 깊이감을 측정할 수 있다. 또, 대기열 측정, 점유 분석, 승차인원 카운팅이 가능하다. 도 3n 내지 도 3o는 FA 방식의 무인 계수 방법인데, 마스킹 기능을 탑재함으로써 불필요한 입력을 방지하고, 객체 추적, 듀얼 분석 엔진(카운팅 엔진, 얼굴인식 엔진)을 포함할 수 있다. 도 3p 내지 도 3v는 얼굴인식 및 인증 관련 활용 분야와 인프라 구축 구조를 도시한다.

<얼굴 인식>

본 발명의 일 실시예가 리테일 서비스에 이용되는 일 실시예를 설명하기로 한다. 이때, 얼굴 인식, 무인 계수, 얼굴 인증 등의 기술이 중복되거나 조합될 수도 있다. 클라우드 기반으로 고객을 분석하는 방법을 구현할 수도 있는데, 방문객수 통계를 내거나, 유동인구 대비 매장유입률, 층별 유입률, 매장간 방문객수 비교 등의 서비스를 제공할 수 있다. 날씨와 방문객수의 상관관계를 분석할 수도 있고, 혼잡도와 관심도(체류시간) 히트맵 분포를 제공하여 정성적 분석을 제공할 수도 있다. 매장 내 특정 관심영역에 대한 유입객수, 유입률, 평균체류시간의 정량적 분석도 가능하며, 직원을 제외한 실 방문객수를 분석할 수도 있다(얼굴 인식 및 인증 기능 포함).

방향맵 서비스를 제공할 수도 있고, 플로우맵을 제공할 수도 있다. 이 두 가지, 즉 플로우와 히트맵을 조합한 결과를제공할 수도 있다. 성별 및 연령대별 서비스를 제공할 수 있는데, 엣지 센서와 클라우드 플랫폼을 하이브리드하여 다중 온라인 얼굴 인식 엔진을 기반으로 최적화된 정확도를 확보할 수 있다. 보고서를 제공할 수 있고, 맞춤형 리포트를 제공할 수도 있다. 이때, 오픈 API를 이용할 수도 있고, 엣지-클라우드의 아키텍처로 유연한 데이터 분석이 가능하다. 3D 센서를 이용하여 ToF 기반으로 고정밀 카운팅 및 대기열 분석이 가능하고, 5 가지의 방문객 동선 분석 기법을 적용할 수 있다.

<지능형 영상인식>

도 4a 내지 도 4e는 실제 화면 상에서 각각 객체 분류, 방치된 물체 검지, 사라진 물체 인식, 정지 감지, 침입 감지를 수행한 결과를 도시한다.

<시각화>

도 5a 내지 도 5i는 본 발명의 일 실시예에 따른 사용자 메뉴얼을 도시한다. 도 5a와 같이 시간대별, 실시간 등 다양한 분류자로 그래프로 시각화할 수 있으며, 도 5b와 같이 시간대별, 일별, 월별, 주별, 요일별 등의 통계가 가능하고, 도 5c와 같이 카메라를 선택하거나 기간을 선택, 또 시간대를 선택하고 검색을 할 수 있고, 도 5d와 같이 FA의 경우 세부 메뉴, 즉 카메라 선택, 기간 선택, 시간대 선택, 연령대 선택하여 입장객수, 남녀 입장객수, 연령별 입장객수 등을 출력할 수 있고 그 메뉴는 도 5e 내지 도 5g와 같다. 도 5h는 VCA 메인 페이지이고, 도 5i는 설정 메뉴 및 주요 기능을 도시한다.

이와 같은 도 2 내지 도 5의 무인 계수 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 무인 계수 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 6은 본 발명의 일 실시예에 따른 도 1의 무인 계수 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다. 이하, 도 6을 통해 각 구성들 상호간에 데이터가 송수신되는 과정의 일 예를 설명할 것이나, 이와 같은 실시예로 본원이 한정 해석되는 것은 아니며, 앞서 설명한 다양한 실시예들에 따라 도 6에 도시된 데이터가 송수신되는 과정이 변경될 수 있음은 기술분야에 속하는 당업자에게 자명하다.

도 6을 참조하면, 무인 계수 서비스 제공 서버는, 적어도 하나의 센서 및 적어도 하나의 카메라로부터 데이터를 수집한다(S6100).

그리고, 무인 계수 서비스 제공 서버는, 사람을 카운팅한 결과인 계수결과를 출력하고(S6200), 적어도 하나의 카메라로부터 인식된 사람의 성별 및 연령대를 추정한다(S6300).

또, 무인 계수 서비스 제공 서버는, 적어도 하나의 카메라로부터 인식된 사람이 기 등록된 등록대상자인지 판별하고(S6400), 적어도 하나의 카메라로부터 인식된 사람의 모션이 기 설정된 모션과 일치하는지의 여부를 판별한 후, 일치하는 경우 기 설정된 모션에 대응하는 알림메세지를 사용자 단말로 전송한다(S6500).

그리고, 무인 계수 서비스 제공 서버는, 계수, 인식 및 인증의 분석 결과를 사용자가 볼 수 있도록 시각화(Visualization)한다(S6600).

상술한 단계들(S6100~S6600)간의 순서는 예시일 뿐, 이에 한정되지 않는다. 즉, 상술한 단계들(S6100~S6600)간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수도 있다.

이와 같은 도 6의 무인 계수 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 5을 통해 무인 계수 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 6을 통해 설명된 일 실시예에 따른 무인 계수 서비스 제공 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

전술한 본 발명의 일 실시예에 따른 무인 계수 서비스 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 무인 계수 서비스 제공 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims

사람을 카운팅하는 적어도 하나의 센서;
고정 객체 및 이동 객체를 촬영하고 이동 객체 중 사람을 인식, 카운팅, 인증 및 모션을 인식하며 추적하는 적어도 하나의 카메라;
상기 적어도 하나의 센서 및 적어도 하나의 카메라로부터 추출된 데이터를 출력하는 사용자 단말; 및
상기 적어도 하나의 센서 및 적어도 하나의 카메라로부터 데이터를 수집하는 수집부, 상기 사람을 카운팅한 결과인 계수결과를 출력하는 계수부, 상기 적어도 하나의 카메라로부터 인식된 사람의 성별 및 연령대를 추정하는 인식부, 상기 적어도 하나의 카메라로부터 인식된 사람이 기 등록된 등록대상자인지 판별하는 인증부, 상기 적어도 하나의 카메라로부터 인식된 사람의 모션이 기 설정된 모션과 일치하는지의 여부를 판별한 후, 일치하는 경우 기 설정된 모션에 대응하는 알림메세지를 상기 사용자 단말로 전송하는 지능형영상부, 상기 계수부, 인식부 및 인증부의 분석 결과를 사용자가 볼 수 있도록 시각화(Visualization)하는 시각화부를 포함하는 계수 서비스 제공 서버;
를 포함하되,
상기 계수 서비스 제공 서버는,
상기 적어도 하나의 카메라로 인식된 객체가 상기 인증부에서 인증한 기 등록된 등록대상자인 경우, 결제를 수행하거나 출입을 허용하는 엑세스관리부;
상기 인식부 또는 인증부에서 각 객체를 인식 및 인증하기 위하여 적어도 하나의 머신러닝 또는 딥러닝 알고리즘을 적용하는 인공지능부;
를 더 포함하고,
얼굴 인식 및 인증된 직원을 제외하고 실 방문객수를 분석하는 것을 특징으로 하는 무인 계수 서비스 제공 시스템.
제 1 항에 있어서,
상기 계수 서비스 제공 서버는,
상기 인식부에서 추정된 성별 및 연령대에 대응하는 적어도 하나의 광고 콘텐츠를 추출하고, 적어도 하나의 사이니지로 출력하는 마케팅부;
를 더 포함하는 것을 특징으로 하는 무인 계수 서비스 제공 시스템.
삭제
제 1 항에 있어서,
상기 계수 서비스 제공 서버는,
상기 적어도 하나의 카메라로 인식된 객체가 상기 인증부에서 인증한 기 등록된 등록대상자인 경우, 블랙리스트 또는 화이트리스트임을 상기 사용자 단말로 출력하거나, 매장에서 고객, 점원 및 익명으로 구분되도록 상기 사용자 단말에서 출력시키는 출력부;
를 더 포함하는 것을 특징으로 하는 무인 계수 서비스 제공 시스템.
제 1 항에 있어서,
상기 계수 서비스 제공 서버는,
상기 계수부, 인식부 및 지능형영상부와 연동하여 각 객체의 동선을 파악한 후 어느 구역에 상기 객체가 집중되어 있는지를 히트맵으로 표시하는 동선추적부;
를 더 포함하는 것을 특징으로 하는 무인 계수 서비스 제공 시스템.
삭제