KR102631391B1 - 군중 모니터링 장치 및 방법 - Google Patents

군중 모니터링 장치 및 방법 Download PDF

Info

Publication number
KR102631391B1
KR102631391B1 KR1020230097056A KR20230097056A KR102631391B1 KR 102631391 B1 KR102631391 B1 KR 102631391B1 KR 1020230097056 A KR1020230097056 A KR 1020230097056A KR 20230097056 A KR20230097056 A KR 20230097056A KR 102631391 B1 KR102631391 B1 KR 102631391B1
Authority
KR
South Korea
Prior art keywords
crowd
data
target
detection
generating
Prior art date
Application number
KR1020230097056A
Other languages
English (en)
Inventor
이철
김민아
한승도
장문익
Original Assignee
주식회사 공감아이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 공감아이티 filed Critical 주식회사 공감아이티
Priority to KR1020230097056A priority Critical patent/KR102631391B1/ko
Application granted granted Critical
Publication of KR102631391B1 publication Critical patent/KR102631391B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

군중 모니터링 장치 및 방법이 제공된다. 군중 모니터링 장치는 대상 지역 내에 배치된 카메라 장치들과 통신 네트워크를 통해 연결된다. 군중 모니터링 장치는, 상기 카메라 장치들로부터 영상 데이터를 수집하는 데이터 수집부, 머신러닝 객체 검출 방식에 기초하여, 상기 카메라 장치들 각각의 영상 데이터로부터 대상 객체를 식별하고, 식별된 대상 객체에 대한 정보를 포함한 객체 데이터를 생성하는 대상 객체 검출부, 상기 객체 데이터에 기초하여, 상기 대상 지역의 군중 발생 여부에 대한 정보를 포함한 군중 감지 데이터를 생성하는 감지부, 및 상기 군중 감지 데이터에 기초하여 군중 알람 데이터를 출력하는 군중 알람부를 포함한다.

Description

군중 모니터링 장치 및 방법{CROWD MONITORING APPARATUS AND METHOD FOR MONITORING CROWD}
본 발명은 군중 모니터링 장치 및 방법에 관한 것이다.
최근 집회 및 페스티벌 등의 모임이 자유롭게 개최됨에 따라, 한정된 지역 내에 군중이 발생되는 경우가 잦아지고 있다. 군중이 협소한 지역에 발생되는 경우, 치안 취약 가능성 및 병목으로 인한 사고 발생 가능성이 높아지는 문제점이 있다.
이에 따라, 군중을 실시간으로 모니터링하는 방안에 대한 요구가 높아지고 있다.
한편, 범죄 예방 및 사후 증거 확보 등을 위해 폐쇄회로 텔레비전(closed circuit television: CCTV)을 이용한 관제 시스템이 널리 이용되고 있다.
그런데, 다수의 CCTV 카메라들로부터 취득된 영상 데이터는 일반적으로 관제 요원들의 표시 장치에 실시간으로 표시되는 방식이거나, 또는 서버에 저장된 후 필요 시에 사후 증거로 제공되는 방식으로 이용될 수 있다.
이에 따라, CCTV 카메라들로부터 취득된 영상 데이터의 활용 분야를 넓히기 위한 시도가 계속되고 있다.
본 발명이 해결하고자 하는 과제는 대상 지역 내에 설치된 다수의 CCTV 카메라들로부터 취득된 영상 데이터에 기초하여 대상 지역에서의 군중 발생 여부를 모니터링하는 장치 및 방법을 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제 해결을 위한 실시예들에 따른 군중 모니터링 장치는 대상 지역 내에 배치된 카메라 장치들과 통신 네트워크를 통해 연결된다. 군중 모니터링 장치는, 상기 카메라 장치들로부터 영상 데이터를 수집하는 데이터 수집부; 머신러닝 객체 검출 방식에 기초하여, 상기 카메라 장치들 각각의 영상 데이터로부터 대상 객체를 식별하고, 식별된 대상 객체에 대한 정보를 포함한 객체 데이터를 생성하는 대상 객체 검출부; 상기 객체 데이터에 기초하여, 상기 대상 지역의 군중 발생 여부에 대한 정보를 포함한 군중 감지 데이터를 생성하는 감지부; 및 상기 군중 감지 데이터에 기초하여 군중 알람 데이터를 출력하는 군중 알람부를 포함한다.
상기 감지부는, 상기 객체 데이터에 기초하여, 상기 영상 데이터로부터 식별된 대상 객체의 개수를 카운트하고, 상기 대상 객체의 개수가 군중 임계 개수 이상이면, 상기 군중 감지 데이터를 생성할 수 있다.
상기 감지부는, 상기 객체 데이터에 기초하여, 상기 영상 데이터로부터 식별된 대상 객체들 간의 거리를 검출하고, 상기 대상 객체들 간의 거리가 임계 거리 미만인 경우가 임계 개수 이상 도출되면, 상기 군중의 밀집도에 대한 정보를 포함한 밀집 감지 데이터를 생성할 수 있다. 상기 군중 알람부는, 상기 군중 감지 데이터 및 상기 밀집 감지 데이터 중 적어도 하나에 기초하여 상기 군중 알람 데이터를 출력할 수 있다.
상기 감지부는, 상기 객체 데이터에 기초하여, 상기 영상 데이터로부터 식별된 대상 객체들 각각의 이동 속도 및 이동 방향에 대한 정보를 포함한 동선 데이터를 생성할 수 있다.
그리고, 상기 군중 모니터링 장치는 상기 동선 데이터에 기초하여, 상기 대상 지역 중 병목 관리 영역에서의 군중 발생 가능성에 대한 정보를 포함한 군중 예측 데이터를 생성하는 군중 예측부를 더 포함할 수 있다. 상기 군중 알람부는, 상기 군중 감지 데이터 및 상기 군중 예측 데이터 중 적어도 하나에 기초하여 상기 군중 알람 데이터를 출력할 수 있다.
상기 과제 해결을 위한 실시예들에 따른 군중 모니터링 방법은, 대상 지역 내에 배치된 카메라 장치들 각각의 영상 데이터를 수집하는 단계; 머신러닝 객체 검출 방식에 기초하여, 상기 카메라 장치들 각각의 영상 데이터로부터 대상 객체를 식별하고, 식별된 대상 객체에 대한 정보를 포함한 객체 데이터를 생성하는 단계; 상기 객체 데이터에 기초하여, 상기 대상 지역의 군중 발생 여부에 대한 정보를 포함한 군중 감지 데이터를 생성하는 단계; 및 상기 군중 감지 데이터에 기초하여 군중 알람 데이터를 출력하는 단계를 포함한다.
상기 군중 감지 데이터를 생성하는 단계는, 상기 객체 데이터에 기초하여, 상기 영상 데이터로부터 식별된 대상 객체의 개수를 카운트하는 단계; 및 상기 대상 객체의 개수가 군중 임계 개수 이상이면, 상기 군중 감지 데이터를 생성하는 단계를 포함할 수 있다.
상기 군중 모니터링 방법은, 상기 객체 데이터에 기초하여, 상기 영상 데이터로부터 식별된 대상 객체들 간의 거리를 검출하는 단계; 및 상기 대상 객체들 간의 거리가 임계 거리 미만인 경우가 임계 개수 이상 도출되면, 상기 군중의 밀집도에 대한 정보를 포함한 밀집 감지 데이터를 생성하는 단계를 더 포함할 수 있다. 상기 군중 알람 데이터를 출력하는 단계는, 상기 군중 감지 데이터 및 상기 밀집 감지 데이터에 기초하여 상기 군중 알람 데이터를 출력하는 단계를 포함할 수 있다.
상기 군중 모니터링 방법은, 상기 객체 데이터에 기초하여, 상기 영상 데이터로부터 식별된 대상 객체들 각각의 이동 속도 및 이동 방향에 대한 정보를 포함한 동선 데이터를 생성하는 단계; 및 상기 동선 데이터에 기초하여, 상기 대상 지역 중 병목 관리 영역에서의 군중 발생 가능성에 대한 정보를 포함한 군중 예측 데이터를 생성하는 단계를 더 포함할 수 있다. 상기 군중 알람 데이터를 출력하는 단계는, 상기 군중 감지 데이터 및 상기 군중 예측 데이터에 기초하여 상기 군중 알람 데이터를 출력하는 단계를 포함할 수 있다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
실시예들에 따른 군중 모니터링 장치는 머신러닝 객체 검출 방식에 기초하여 카메라 장치들 각각의 영상 데이터로부터 대상 객체를 식별하고 객체 데이터를 생성하는 대상 객체 검출부, 객체 데이터에 기초하여 대상 지역의 군중 발생 여부에 대한 정보를 포함한 군중 감지 데이터를 생성하는 감지부, 및 군중 감지 데이터에 기초하여 군중 알람 데이터를 출력하는 군중 알람부를 포함한다.
이와 같이, 실시예들에 따르면, 머신러닝 객체 검출 방식으로 영상 데이터 중 대상 객체들을 식별하고, 식별된 대상 객체에 대한 정보를 포함한 객체 데이터를 기초로 군중 감지 데이터를 생성함에 따라, 군중 발생 여부를 감지하는 모니터링 장치의 신뢰도 및 정확도가 개선될 수 있다.
실시예들에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 실시예들에 따른 군중 모니터링 시스템을 보여주는 블록도이다.
도 2는 도 1의 군중 모니터링 장치를 보여주는 블록도이다.
도 3은 실시예들에 따른 군중 모니터링 방법을 보여주는 순서도이다.
도 4는 도 3의 객체 데이터를 검출하는 단계에 대한 일 예시를 보여주는 영상 데이터이다.
도 5는 일 실시예에 따른 군중 모니터링 방법을 보여주는 순서도이다.
도 6은 다른 일 실시예에 따른 군중 모니터링 방법을 보여주는 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해될 수 있다.
본 발명을 설명함에 있어서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지 않을 수 있다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 수 있다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
"및/또는"의 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함할 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급되는 경우는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해될 수 있다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
본 문서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로서, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해될 수 있다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석될 수 있으며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않을 수 있다.
아울러, 본 문서에 개시된 실시예는 당 업계에서 평균적인 지식을 가진 자에게 보다 완전하게 설명하기 위해서 제공되는 것으로서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
본 문서에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 수 있다.
본 문서에서 설명되는 다양한 실시예들은 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 본 발명의 실시예는 ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
한편, 소프트웨어적인 구현에 의하면, 본 발명에서 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다.
이하 첨부된 도면을 참조하여 구체적인 실시예들에 대해 설명한다.
도 1은 실시예들에 따른 군중 모니터링 시스템을 보여주는 블록도이다.
도 1을 참조하면, 실시예들에 따른 군중 모니터링 시스템은, 군중 모니터링 장치(100), 대상 지역 내에 설치된 카메라 장치들(200: IMD1~IMDn, n은 2 이상의 자연수), 및 안전 경보 장치(300)를 포함할 수 있다.
군중 모니터링 장치(100)는 유무선 통신 네트워크(400)를 통해 카메라 장치들(200) 및 안전 경보 장치(300)와 연계될 수 있다.
네트워크(400)는 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 나타낸다. 네트워크는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN:Wide Area Network), 인터넷(WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함할 수 있다. 무선 데이터 통신망은 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), 5GPP(5th Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), RF(Radio Frequency), 블루투스(Bluetooth) 네트워크, NFC(Near-Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등을 포함할 수 있다.
군중 모니터링 장치(100)는 대상 지역 내에 설치된 카메라 장치들(200) 각각으로부터 영상 데이터를 수집하고, 수집된 영상 데이터를 기초로 대상 지역에서의 군중 발생 여부를 모니터링하며, 군중 발생 여부에 관한 정보를 포함한 군중 감지 데이터를 생성할 수 있다.
군중 모니터링 장치(100)는 군중 감지 데이터에 기초하여 군중 알람 데이터를 출력할 수 있다.
카메라 장치들(200)은 실시간으로 영상 데이터를 취득하고 취득된 영상 데이터를 적어도 하나의 특정 서버로만 전달하는 폐쇄회로 텔레비전(CCTV) 카메라일 수 있다.
카메라 장치들(200) 각각은 대상 지역 내에 분산되고, 대상 지역을 촬영한 영상 데이터를 실시간으로 생성 및 송신할 수 있다.
카메라 장치들(200)에 의한 영상 데이터는 영상 정보와 더불어, 각 카메라 장치(IMD1~IMDn)가 영상을 취득한 시점의 시간 정보, 카메라 장치(IMD1~IMDn)가 배치된 지점의 위치 정보 및 카메라 장치(IMD1~IMDn)가 촬영하는 영역의 위치 정보 중 적어도 하나를 더 포함할 수 있다.
실시예들에 따르면, 군중 모니터링 장치(100)는 카메라 장치들(200)과 직접 연계될 수 있다.
또는, 실시예들에 따르면, 군중 모니터링 장치(100)는 카메라 장치들(200)과 연계된 특정 서버와 연계될 수도 있다.
안전 경보 장치(300)는 군중 모니터링 장치(100)로부터 군중 알람 데이터를 수신하면, 치안 및 안전을 담당하는 관제 시스템에 군중에 의한 위험을 알리는 알람을 지시할 수 있다. 안전 경보 장치(300)는 관제 시스템의 일부일 수 있다.
도 2는 도 1의 군중 모니터링 장치를 보여주는 블록도이다.
도 2를 참조하면, 실시예들에 따른 군중 모니터링 장치(100)는, 대상 지역 내에 배치된 카메라 장치들(200)로부터 영상 데이터를 수집하는 데이터 수집부(110), 머신러닝 객체 검출 방식에 기초하여 카메라 장치들(200) 각각의 영상 데이터로부터 대상 객체를 식별하고, 식별된 대상 객체에 대한 정보를 포함한 객체 데이터를 생성하는 대상 객체 검출부(120), 객체 데이터에 기초하여 대상 지역의 군중 발생 여부에 대한 정보를 포함한 군중 감지 데이터를 생성하는 감지부(130), 및 군중 감지 데이터에 기초하여 군중 알람 데이터를 출력하는 군중 알람부(140)를 포함할 수 있다.
데이터 수집부(110)는 카메라 장치들(200)과 직접 유무선 네트워크(400)로 연결될 수 있다.
또는, 데이터 수집부(110)는 카메라 장치들(200)과 연계된 특정 서버와 유무선 네트워크로 연결될 수 있다.
데이터 수집부(110)는 수집된 영상 데이터의 위치 정보에 기초하여, 수집된 영상 데이터를 분류할 수 있다. 일 예로, 카메라 장치(IMD1~IMDn)가 촬영하는 영역의 위치 정보에 기초하여, 카메라 장치들(200) 중 병목 관리 영역에 인접한 일부에 의해 취득된 영상 데이터를 병목 관리 영역의 모니터링용으로 분류할 수 있다.
병목 관리 영역은 대상 지역 중 셋 이상의 도로가 모이는 교차로 영역, 집회가 열리는 공터 영역, 지하철 역 등의 대중 교통 거점과 연결되는 도로 영역 등을 포함할 수 있다.
대상 객체 검출부(120)는 머신러닝 객체 검출 방식에 기초하여 영상 데이터로부터 대상 객체를 식별할 수 있다.
머신러닝 객체 검출 방식은, 분할 블록 영역별 객체 검출하는 박스 분할 방식, 클래스별 확률 맵핑 방식으로 영역이나 클래스별로 객체를 검출하는 방식, 관심 지역이나 영역을 설정해서 관심 영역 내 블록 및 클래스 내 객체를 검출하는 방식, 적색, 파란색, 노란색, 녹색 등의 주요 컬러별로 형상 검출을 통해 영상 내 동일 컬러의 객체들을 분할하고 검출하는 방식, 및 분할 블록 및 분할 블록별 에지 형상을 분석해서 분할 블록별로 검출된 에지 형상으로 객체를 검출하는 방식을 포함할 수 있다.
대상 객체 검출부(120)는 머신러닝 객체 검출 방식에 기초하여, 영상 데이터에 포함된 객체들을 식별한 후, 객체들 중 대상 객체를 식별할 수 있다.
객체들은 얼굴, 머리, 손, 팔, 다리 등의 사람 객체와, 차량, 자전거 등의 운송 객체와, 모자, 신발, 가방 등의 소지품 객체와, 간판, 건물, 표지판 등의 배경 객체를 포함할 수 있다. 다만, 이는 단지 예시일 뿐이며, 카메라 장치들(200)이 설치된 지역에 따라 객체들의 유형은 다양하게 설정될 수 있다.
실시예들에 따르면, 대상 객체는 사람 객체일 수 있다.
대상 객체 검출부(120)는 식별된 대상 객체에 대한 정보를 포함한 객체 데이터를 생성할 수 있다.
대상 객체에 대한 정보는 대상 객체의 식별 아이디, 대상 객체의 위치 및 대상 객체의 크기 등의 객체 식별 정보를 포함할 수 있다.
또는, 대상 객체에 대한 정보는 대상 객체의 위치 등의 객체 위치 정보를 더 포함할 수 있다.
또는, 대상 객체에 대한 정보는 대상 객체의 이동 속도 및 이동 방향 등의 객체 이동 정보를 더 포함할 수 있다.
이와 같이, 머신러닝 객체 감지 방식으로 영상 데이터로부터 대상 객체를 식별하여 객체 데이터를 생성함에 따라, 대상 객체의 검출 정확도가 점진적으로 향상될 수 있으므로, 군중 모니터링의 정확도 및 신뢰도가 향상될 수 있다.
감지부(130)는 객체 데이터에 기초하여, 대상 지역에서의 군중 발생 여부에 대한 정보를 포함한 군중 감지 데이터를 생성할 수 있다.
실시예들에 따르면, 감지부(130)는 객체 데이터 중 객체 식별 정보에 기초하여, 영상 데이터로부터 식별된 대상 객체의 개수를 카운트할 수 있다.
그리고, 감지부(130)는 대상 객체의 개수가 군중 임계 개수 이상이면, 군중 감지 데이터를 생성할 수 있다.
일 실시예에 따르면, 감지부(130)는 객체 데이터 중 객체 식별 정보 및 객체 위치 정보에 기초하여, 영상 데이터로부터 식별된 대상 객체들 간의 거리를 검출할 수 있다.
그리고, 감지부(130)는 대상 객체들 간의 거리가 임계 거리 미만인 경우가 임계 개수 이상 도출되면, 군중의 밀집도에 대한 정보를 포함한 밀집 감지 데이터를 생성할 수 있다.
다른 일 실시예에 따르면, 군중 모니터링 장치(100)는 군중 예측부(150)를 더 포함할 수 있다.
다른 일 실시예에 따르면, 감지부(130)는 객체 데이터 중 객체 식별 정보, 객체 위치 정보 및 객체 이동 정보에 기초하여, 영상 데이터로부터 식별된 대상 객체들 각각의 이동 속도 및 이동 방향에 대한 정보를 포함한 동선 데이터를 생성할 수 있다.
군중 예측부(150)는 동선 데이터에 기초하여, 대상 지역 중 병목 관리 영역에서의 군중 발생 가능성에 대한 정보를 포함한 군중 예측 데이터를 생성할 수 있다.
군중 예측부(150)는 동선 데이터에 기초하여, 임계 개수 이상의 대상 객체들이 병목 관리 영역에 도달되는 시점을 예측함으로써, 군중 예측 데이터를 생성할 수 있다.
군중 예측 데이터는 병목 관리 영역에서 군중이 발생되는 시점, 병목 관리 영역의 군중이 임계 이상으로 커지는 시점, 및 병목 관리 영역의 군중의 크기 등에 대한 예측 정보들을 포함할 수 있다.
한편, 감지부(130)는 동선 데이터에 기초하여 객체 데이터를 보정할 수 있다.
즉, 감지부(130)는 객체 데이터 및 동선 데이터에 기초하여, 영상 데이터로부터 식별된 대상 객체들 중 임계 기간 동안 이동하지 않는 정지 객체를 식별할 수 있다. 감지부(130)는 객체 데이터에 대해 식별된 정지 객체를 제거하는 보정을 실시할 수 있다.
이와 같이 하면, 군중 모니터링을 위한 군중 감지 데이터, 밀집 감지 데이터, 군중 예측 데이터의 생성 시에, 군중을 가변시키는 요소가 아닌 정지 객체의 영향이 제거될 수 있다. 이로써, 군중 모니터링의 정확도 및 신뢰도가 향상될 수 있다.
군중 알람부(140)는 감지부(130)에 의한 군중 감지 데이터 및 밀집 감지 데이터 중 적어도 하나에 기초하여 군중 알람 데이터를 출력할 수 있다.
또는, 군중 알람부(140)는 감지부(130)에 의한 군중 감지 데이터 및 군중 예측 데이터 중 적어도 하나에 기초하여 군중 알람 데이터를 출력할 수 있다.
군중 알람부(140)에 의한 군중 알람 데이터는 안전 경보 장치(300)에 전달될 수 있다.
도 3은 실시예들에 따른 군중 모니터링 방법을 보여주는 순서도이다. 도 4는 도 3의 객체 데이터를 검출하는 단계에 대한 일 예시를 보여주는 영상 데이터이다.
도 3을 참조하면, 실시예들에 따른 군중 모니터링 방법은, 대상 지역 내에 배치된 카메라 장치들(200) 각각의 영상 데이터를 수집하는 단계(S10), 머신러닝 객체 검출 방식에 기초하여, 카메라 장치들 각각의 영상 데이터로부터 대상 객체를 식별하고, 식별된 대상 객체에 대한 정보를 포함한 객체 데이터를 생성하는 단계(S20), 객체 데이터에 기초하여, 대상 지역의 군중 발생 여부에 대한 정보를 포함한 군중 감지 데이터를 생성하는 단계(S31, S32), 및 군중 감지 데이터에 기초하여 군중 알람 데이터를 출력하는 단계(S40)를 포함할 수 있다.
실시예들에 따르면, 군중 감지 데이터를 생성하는 단계는, 객체 데이터에 기초하여 영상 데이터로부터 식별된 대상 객체의 개수를 카운트하는 단계(S31), 및 대상 객체의 개수가 군중 임계 개수 이상이면, 군중 감지 데이터를 생성하는 단계(S32)를 포함할 수 있다.
영상 데이터를 수집하는 단계(S10)에서, 군중 모니터링 장치(100)의 데이터 수집부(110)는 유무선 네트워크(400)를 통해 대상 지역 내에 배치된 카메라 장치들(200)의 영상 데이터를 수신할 수 있다.
데이터 수집부(110)는 소정의 주기로 카메라 장치들(200)의 영상 데이터를 수신할 수 있다.
또는, 데이터 수집부(110)는 실시간으로 카메라 장치들(200)의 영상 데이터를 수신할 수 있다.
객체 데이터를 생성하는 단계(S20)에서, 군중 모니터링 장치(100)의 대상 객체 검출부(120)는 머신러닝 객체 검출 방식에 기초하여 영상 데이터로부터 대상 객체를 식별할 수 있다.
도 4를 참조하면, 대상 객체 검출부(120)는 영상 데이터에 포함된 객체들(person, backpack, handbag, car, traffic light)을 식별한 후, 객체들 중에서 대상 객체(person)을 검출할 수 있다.
실시예들에 따르면, 대상 객체는 사람(person)일 수 있다.
객체 데이터는 식별된 대상 객체에 대한 정보를 포함할 수 있다.
대상 객체에 대한 정보는 대상 객체의 식별 아이디, 대상 객체의 위치 및 대상 객체의 크기 등의 객체 식별 정보를 포함할 수 있다.
군중 감지 데이터를 생성하는 단계(S30)에서, 군중 모니터링 장치(100)의 감지부(130)는 객체 데이터 중 객체 식별 정보에 기초하여 영상 데이터로부터 식별된 대상 객체의 개수를 카운트하고 (S31), 카운트된 대상 객체의 개수가 군중 임계 개수 이상이면, 군중 감지 데이터를 생성할 수 있다. (S32)
군중 임계 개수는 카메라 장치들(300) 각각의 영상 데이터가 표시하는 영역의 너비 및 영역에 배치된 도로의 개수와 너비 등에 기초하여, 설정될 수 있다.
군중 임계 개수는 대상 객체의 이동 속도에 더 기초하여 설정될 수도 있다. 일 예로, 대상 객체들의 평균 이동 속도가 빠를수록, 군중 임계 개수는 높아질 수 있다.
군중 알람 데이터를 출력하는 단계(S40)에서, 군중 모니터링 장치(100)의 군중 알람부(140)는 군중 감지 데이터에 기초하여 군중 알람 데이터를 출력할 수 있다.
도 5는 일 실시예에 따른 군중 모니터링 방법을 보여주는 순서도이다.
도 5를 참조하면, 일 실시예에 따른 군중 모니터링 방법은 군중 감지 데이터를 생성하는 단계(S31, S32) 이후에, 밀집 감지 데이터를 생성하는 단계(S33, S34)를 포함하는 점을 제외하면, 도 3의 군중 모니터링 방법과 사실상 동일하므로, 이하에서 중복되는 설명을 생략한다.
일 실시예에 따르면, 밀집 감지 데이터를 생성하는 단계는, 객체 데이터에 기초하여, 영상 데이터로부터 식별된 대상 객체들 간의 거리를 검출하는 단계(S33), 및 대상 객체들 간의 거리가 임계 거리 미만인 경우가 임계 개수 이상 도출되면, 군중의 밀집도에 대한 정보를 포함한 밀집 감지 데이터를 생성하는 단계(S34)를 포함할 수 있다.
대상 객체들 간의 거리를 검출하는 단계(S33)에서, 감지부(130)는 객체 데이터 중 객체 식별 정보 및 객체 위치 정보에 기초하여, 영상 데이터로부터 식별된 대상 객체들 간의 거리를 검출할 수 있다.
그리고, 밀집 감지 데이터를 생성하는 단계(S34)에서, 감지부(130)는 대상 객체들 간의 거리가 임계 거리 미만인 경우를 카운트하고, 대상 객체들 간의 거리가 임계 거리 미만인 경우가 임계 개수 이상 도출되면, 군중의 밀집도에 대한 정보를 포함한 밀집 감지 데이터를 생성할 수 있다.
이후, 군중 알람 데이터를 출력하는 단계(S40)에서, 군중 알람부(140)는 군중 감지 데이터 및 밀집 감지 데이터 중 적어도 하나에 기초하여 군중 알람 데이터를 출력할 수 있다.
도 6은 다른 일 실시예에 따른 군중 모니터링 방법을 보여주는 순서도이다.
도 6을 참조하면, 다른 일 실시예에 따른 군중 모니터링 방법은, 동선 데이터를 생성하는 단계(S35) 및 군중 예측 데이터를 생성하는 단계(S50)를 더 포함하는 점을 제외하면, 도 3 및 도 4의 군중 모니터링 방법과 사실상 동일하므로, 이하에서 중복되는 설명을 생략한다.
다른 일 실시예에 따르면, 군중 모니터링 장치(100)는 군중 예측부(150)를 더 포함할 수 있다.
동선 데이터를 생성하는 단계(S35)에서, 감지부(130)는 객체 데이터 중 객체 식별 정보, 객체 위치 정보 및 객체 이동 정보에 기초하여, 영상 데이터로부터 식별된 대상 객체들 각각의 이동 속도 및 이동 방향에 대한 정보를 포함한 동선 데이터를 생성할 수 있다.
군중 예측 데이터를 생성하는 단계(S50)에서, 군중 예측부(150)는 동선 데이터에 기초하여, 대상 지역 중 병목 관리 영역에서의 군중 발생 가능성에 대한 정보를 포함한 군중 예측 데이터를 생성할 수 있다.
이후, 군중 알람 데이터를 출력하는 단계(S40)에서, 군중 알람부(140)는 군중 감지 데이터 및 군중 예측 데이터 중 적어도 하나에 기초하여 군중 알람 데이터를 출력할 수 있다.
더불어, 동선 데이터를 생성하는 단계(S35) 이후에, 감지부(130)는 동선 데이터에 기초하여 객체 데이터를 보정할 수 있다.
즉, 감지부(130)는 객체 데이터 및 동선 데이터에 기초하여, 영상 데이터로부터 식별된 대상 객체들 중 임계 기간 동안 이동하지 않는 정지 객체를 식별할 수 있다. 감지부(130)는 객체 데이터에 대해 식별된 정지 객체를 제거하는 보정을 실시할 수 있다.
이와 같이 하면, 군중 모니터링을 위한 군중 감지 데이터, 밀집 감지 데이터, 군중 예측 데이터의 생성 시에, 군중을 가변시키는 요소가 아닌 정지 객체의 영향이 제거될 수 있다. 이로써, 군중 모니터링의 정확도 및 신뢰도가 향상될 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100: 군중 모니터링 장치 200: 카메라 장치들
300: 안전 경보 장치

Claims (9)

  1. 대상 지역 내에 배치된 카메라 장치들과 통신 네트워크를 통해 연결된 군중 모니터링 장치에 있어서,
    상기 카메라 장치들로부터 영상 데이터를 수집하는 데이터 수집부;
    머신러닝 객체 검출 방식에 기초하여, 상기 카메라 장치들 각각의 영상 데이터로부터 대상 객체들을 식별하고, 식별된 대상 객체들에 대한 정보를 포함한 객체 데이터를 생성하는 대상 객체 검출부;
    상기 객체 데이터에 기초하여, 상기 대상 지역의 군중 발생 여부에 대한 정보를 포함한 군중 감지 데이터를 생성하는 감지부; 및
    상기 군중 감지 데이터에 기초하여 군중 알람 데이터를 출력하는 군중 알람부를 포함하고,
    상기 감지부는,
    상기 객체 데이터에 기초하여, 상기 영상 데이터로부터 식별된 대상 객체들 각각의 이동 속도 및 이동 방향에 대한 정보를 포함한 동선 데이터를 더 생성하며,
    상기 객체 데이터 및 상기 동선 데이터에 기초하여, 상기 대상 객체들 중 임계 기간 동안 이동하지 않는 정지 객체를 식별하고,
    상기 객체 데이터에 대해 상기 정지 객체를 제거하는 보정을 실시하며,
    상기 보정된 객체 데이터에 기초하여 상기 군중 감지 데이터를 생성하는
    군중 모니터링 장치.
  2. 제1 항에 있어서,
    상기 감지부는,
    상기 객체 데이터에 기초하여, 상기 영상 데이터로부터 식별된 대상 객체의 개수를 카운트하고,
    상기 대상 객체의 개수가 군중 임계 개수 이상이면, 상기 군중 감지 데이터를 생성하는 군중 모니터링 장치.
  3. 제1 항에 있어서,
    상기 감지부는,
    상기 객체 데이터에 기초하여, 상기 영상 데이터로부터 식별된 대상 객체들 간의 거리를 검출하고,
    상기 대상 객체들 간의 거리가 임계 거리 미만인 경우가 임계 개수 이상 도출되면, 상기 군중의 밀집도에 대한 정보를 포함한 밀집 감지 데이터를 생성하며,
    상기 군중 알람부는, 상기 군중 감지 데이터 및 상기 밀집 감지 데이터 중 적어도 하나에 기초하여 상기 군중 알람 데이터를 출력하는 군중 모니터링 장치.
  4. 삭제
  5. 제1 항에 있어서,
    상기 동선 데이터에 기초하여, 상기 대상 지역 중 병목 관리 영역에서의 군중 발생 가능성에 대한 정보를 포함한 군중 예측 데이터를 생성하는 군중 예측부를 더 포함하며,
    상기 군중 알람부는, 상기 군중 감지 데이터 및 상기 군중 예측 데이터 중 적어도 하나에 기초하여 상기 군중 알람 데이터를 출력하는 군중 모니터링 장치.
  6. 대상 지역 내에 배치된 카메라 장치들과 통신 네트워크를 통해 연결된 군중 모니터링 장치가 상기 대상 지역의 군중 발생 여부를 모니터링하는 방법에 있어서,
    상기 대상 지역 내에 배치된 카메라 장치들 각각의 영상 데이터를 수집하는 단계;
    머신러닝 객체 검출 방식에 기초하여, 상기 카메라 장치들 각각의 영상 데이터로부터 대상 객체들을 식별하고, 식별된 대상 객체들에 대한 정보를 포함한 객체 데이터를 생성하는 단계;
    상기 객체 데이터에 기초하여, 상기 대상 지역의 군중 발생 여부에 대한 정보를 포함한 군중 감지 데이터를 생성하는 단계; 및
    상기 군중 감지 데이터에 기초하여 군중 알람 데이터를 출력하는 단계를 포함하고,
    상기 군중 감지 데이터를 생성하는 단계는,
    상기 객체 데이터에 기초하여, 상기 영상 데이터로부터 식별된 대상 객체들 각각의 이동 속도 및 이동 방향에 대한 정보를 포함한 동선 데이터를 생성하는 단계;
    상기 객체 데이터 및 상기 동선 데이터에 기초하여 상기 대상 객체들 중 임계 기간 동안 이동하지 않는 정지 객체를 식별하는 단계;
    상기 객체 데이터에 대해 상기 정지 객체를 제거하는 보정을 실시하는 단계; 및
    상기 보정된 객체 데이터에 기초하여 상기 군중 감지 데이터를 생성하는 단계를 포함하는
    군중 모니터링 방법.
  7. 제6 항에 있어서,
    상기 군중 감지 데이터를 생성하는 단계는,
    상기 객체 데이터에 기초하여, 상기 영상 데이터로부터 식별된 대상 객체의 개수를 카운트하는 단계; 및
    상기 대상 객체의 개수가 군중 임계 개수 이상이면, 상기 군중 감지 데이터를 생성하는 단계를 포함하는 군중 모니터링 방법.
  8. 제6 항에 있어서,
    상기 객체 데이터에 기초하여, 상기 영상 데이터로부터 식별된 대상 객체들 간의 거리를 검출하는 단계; 및
    상기 대상 객체들 간의 거리가 임계 거리 미만인 경우가 임계 개수 이상 도출되면, 상기 군중의 밀집도에 대한 정보를 포함한 밀집 감지 데이터를 생성하는 단계를 더 포함하고,
    상기 군중 알람 데이터를 출력하는 단계는, 상기 군중 감지 데이터 및 상기 밀집 감지 데이터에 기초하여 상기 군중 알람 데이터를 출력하는 단계를 포함하는 군중 모니터링 방법.
  9. 제6 항에 있어서,
    상기 동선 데이터에 기초하여, 상기 대상 지역 중 병목 관리 영역에서의 군중 발생 가능성에 대한 정보를 포함한 군중 예측 데이터를 생성하는 단계를 더 포함하고,
    상기 군중 알람 데이터를 출력하는 단계는, 상기 군중 감지 데이터 및 상기 군중 예측 데이터에 기초하여 상기 군중 알람 데이터를 출력하는 단계를 포함하는 군중 모니터링 방법.
KR1020230097056A 2023-07-25 2023-07-25 군중 모니터링 장치 및 방법 KR102631391B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230097056A KR102631391B1 (ko) 2023-07-25 2023-07-25 군중 모니터링 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230097056A KR102631391B1 (ko) 2023-07-25 2023-07-25 군중 모니터링 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102631391B1 true KR102631391B1 (ko) 2024-01-31

Family

ID=89717356

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230097056A KR102631391B1 (ko) 2023-07-25 2023-07-25 군중 모니터링 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102631391B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110633643A (zh) * 2019-08-15 2019-12-31 青岛文达通科技股份有限公司 一种面向智慧社区的异常行为检测方法及***
JP2022105203A (ja) * 2015-12-28 2022-07-12 日本電気株式会社 情報処理装置、制御方法、及びプログラム
CN116229305A (zh) * 2022-12-16 2023-06-06 上海工程技术大学 一种基于视频识别的地铁车站流线拥堵状态实时评价方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022105203A (ja) * 2015-12-28 2022-07-12 日本電気株式会社 情報処理装置、制御方法、及びプログラム
CN110633643A (zh) * 2019-08-15 2019-12-31 青岛文达通科技股份有限公司 一种面向智慧社区的异常行为检测方法及***
CN116229305A (zh) * 2022-12-16 2023-06-06 上海工程技术大学 一种基于视频识别的地铁车站流线拥堵状态实时评价方法

Similar Documents

Publication Publication Date Title
CN105844234B (zh) 一种基于头肩检测的人数统计的方法及设备
US20220043838A1 (en) Automated learning of anomalies in media streams with external feed labels
US8942913B2 (en) System and method for on-road traffic density analytics using video stream mining and statistical techniques
US10223911B2 (en) Video data and GIS mapping for traffic monitoring, event detection and change prediction
KR101964683B1 (ko) 스마트 영상처리장치 및 그 장치의 구동방법
US20150379355A1 (en) A surveillance system
Zabłocki et al. Intelligent video surveillance systems for public spaces–a survey
CN105184258A (zh) 目标跟踪方法及***、人员行为分析方法及***
CN110532951B (zh) 一种基于区间位移的地铁乘客异常行为分析方法
Singh et al. Human crowd detection for city wide surveillance
KR102358773B1 (ko) 객체 안내를 위한 스마트 안내판 장치, 그 장치를 포함한 시스템 및 방법
CN116824859B (zh) 一种基于物联网的智慧交通大数据分析***
CN109360362A (zh) 一种铁路视频监控识别方法、***和计算机可读介质
CN111931726B (zh) 交通灯检测的方法、装置、计算机存储介质和路侧设备
KR102584708B1 (ko) 과소 및 과밀 환경을 지원하는 군중위험관리시스템 및 방법
CN113537172B (zh) 人群密度确定方法、装置、设备及存储介质
CN113642403B (zh) 基于边缘计算的人群异动智能安全检测***
KR20220000172A (ko) 엣지 컴퓨팅 기반 보안 감시 서비스 제공 장치, 시스템 및 그 동작 방법
KR102327872B1 (ko) 영상기반 추적 객체의 gps 좌표추출장치 및 그 장치의 구동방법
Badura et al. Intelligent traffic system: Cooperation of MANET and image processing
Ketcham et al. The intruder detection system for rapid transit using CCTV surveillance based on histogram shapes
CN117319609A (zh) 一种物联网大数据智能视频监控***及方法
CN110781735A (zh) 一种用于识别人员在岗状态的报警方法及***
WO2022186426A1 (ko) 자동 세그먼트 분류를 위한 영상처리장치 및 그 장치의 구동방법
Yin et al. A deep learning based illegal parking detection platform

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant