KR102261605B1 - 비균등 포그 컴퓨팅을 이용한 출입자 인식 시스템 - Google Patents

비균등 포그 컴퓨팅을 이용한 출입자 인식 시스템 Download PDF

Info

Publication number
KR102261605B1
KR102261605B1 KR1020200007503A KR20200007503A KR102261605B1 KR 102261605 B1 KR102261605 B1 KR 102261605B1 KR 1020200007503 A KR1020200007503 A KR 1020200007503A KR 20200007503 A KR20200007503 A KR 20200007503A KR 102261605 B1 KR102261605 B1 KR 102261605B1
Authority
KR
South Korea
Prior art keywords
registrant
fog
image data
person
recognition system
Prior art date
Application number
KR1020200007503A
Other languages
English (en)
Inventor
장효정
김상복
김준오
Original Assignee
주식회사 에스비시스템즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스비시스템즈 filed Critical 주식회사 에스비시스템즈
Priority to KR1020200007503A priority Critical patent/KR102261605B1/ko
Application granted granted Critical
Publication of KR102261605B1 publication Critical patent/KR102261605B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00571—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys operated by interacting with a central unit
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/20—Individual registration on entry or exit involving the use of a pass
    • G07C9/22—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder
    • G07C9/24—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder by means of a handwritten signature
    • G07C9/247—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder by means of a handwritten signature electronically, e.g. by comparing signal of hand-writing with a reference signal from the pass
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C2209/00—Indexing scheme relating to groups G07C9/00 - G07C9/38
    • G07C2209/02—Access control comprising means for the enrolment of users

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 비균등 포그 컴퓨팅을 이용한 출입자 인식 시스템에 관한 것으로서, 관리대상지역에 설치되는 것으로서, 상기 관리대상지역에 출입하는 출입자의 얼굴을 촬영하는 촬영모듈과, 상기 촬영부에서 촬영된 상기 출입자의 얼굴 이미지를 기저장된 등록자 이미지 데이터들와 비교하여 해당 출입자가 등록자인지 판별하는 판별모듈을 포함하는 다수의 포그 디바이스와, 상기 포그 디바이스의 판별모듈과 통신하며, 해당 판별모듈에 상기 등록자 이미지 데이터를 제공하는 등록 관리 서버를 구비한다.
본 발명에 따른 비균등 포그 컴퓨팅을 이용한 출입자 인식 시스템은 포그 컴퓨팅 기술을 적용하여 출입자의 얼굴을 촬영하는 포그 디바이스에서 출입자의 등록여부를 판별하고, 서버에서 등록자 판별을 위한 등록자 이미지 데이터를 제공하므로 데이터를 처리하는데 소요되는 시간 및 전력을 절약할 수 있어 소비 에너지를 절감할 수 있다는 장점이 있다.

Description

비균등 포그 컴퓨팅을 이용한 출입자 인식 시스템{Passenger Recognition System Using Uneven Fog Computing}
본 발명은 비균등 포그 컴퓨팅을 이용한 출입자 인식 시스템에 관한 것으로서, 더욱 상세하게는 포그 컴퓨팅 기술을 적용하여 출입자를 관리할 수 있는 관리 시스템에 관한 것이다.
클라우드 컴퓨팅(Cloud Computing)은 인터넷 기반 컴퓨팅으로, 클라우드를 통해 가상화된 인터넷 시스템 리소스를 제공하는 것이다. 이는 정보를 사용자의 컴퓨터가 아닌 클라우드에 연결된 다른 컴퓨터에서 처리하는 방식을 의미한다. 사용자는 인터넷을 통해 클라우드에 접속 및 서비스를 제공받고, 클라우드는 실제 데이터를 처리, 저장 등을 수행한다.
현재 클라우드 컴퓨팅을 기반한 IoT 및 인공지능을 결합한 지능형 IoT(AIoT) 시장이 증가하고 있다. 지능형 IoT는 IoT과 인공지능의 결합으로 지능성을 형식지에서 암묵지로 확장하여 산업을 혁명적으로 발전하도록 하는 핵심적인 융합기술로 주목받고 있으며 클라우드는 이를 위한 좋은 플랫폼이 될 수 있다. 하지만, 모든 사람과 사물이 연결되면서 발생하는 정보 역시 기하급수적으로 증가할 것이다. 클라우드가 처리할 수 있는 데이터의 양은 무한하지 않기 때문에 한계를 초과하면 데이터 전송과 처리 속도의 지연 등 치명적인 문제가 발생할 것이다. 컴퓨팅 파워와 네트워킹 비용 역시 많이 들기 때문에 비효율적이다. 또한, 실시간 처리를 요구하는 서비스들 역시 많아지면서, 물리적으로 멀리 떨어진 클라우드의 사용은 한계가 있다. 따라서, 실시간 처리를 요구하고 얼굴 데이터의 수집 및 학습이 필연적인 출입자 관리 시스템은 클라우드 컴퓨팅 환경에서 매우 비효율적이라는 단점이 있다.
공개특허공보 제10-2019-0131247호: 얼굴 인식 기능을 가지는 출입자 인식 시스템
본 발명은 상기와 같은 문제점을 개선하기 위해 창안된 것으로서, 출입자의 얼굴을 촬영하는 포그 디바이스에서 출입자의 등록여부를 판별하고, 서버에서 등록자 판별을 위한 등록자 이미지 데이터를 제공하는 비균등 포그 컴퓨팅을 이용한 출입자 인식 시스템을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명에 따른 비균등 포그 컴퓨팅을 이용한 출입자 인식 시스템은 관리대상지역에 설치되는 것으로서, 상기 관리대상지역에 출입하는 출입자의 얼굴을 촬영하는 촬영모듈과, 상기 촬영부에서 촬영된 상기 출입자의 얼굴 이미지를 기저장된 등록자 이미지 데이터들와 비교하여 해당 출입자가 등록자인지 판별하는 판별모듈을 포함하는 다수의 포그 디바이스와, 상기 포그 디바이스의 판별모듈과 통신하며, 해당 판별모듈에 상기 등록자 이미지 데이터를 제공하는 등록 관리 서버를 구비한다.
상기 등록 관리 서버는 기입력된 등록자의 얼굴 이미지에 대한 정보를 학습하여 상기 출입자들 중 등록자를 판별하기 위한 상기 등록자 이미지 데이터를 생성한다.
상기 포그 디바이스는 다수개가 상기 출입자가 출입하는 상기 관리대상지역의 입구 부분과, 상기 출입자가 이동하는 상기 관리대상지역의 이동경로 상에 상호 이격되게 각각 설치되는 것이 바람직하다.
상기 판별모듈은 상기 관리대상지역에 출입한 출입자가 미등록자로 판별되면, 상기 촬영부에서 제공된 해당 출입자의 얼굴 이미지를 상기 등록 관리 서버로 전송할 수 있다.
상기 등록 관리 서버는 상기 판별모듈에서 제공되는 미등록자로 판별된 상기 출입자의 얼굴 이미지를 학습하여 해당 출입자에 대한 등록자 이미지 데이터를 생성하고, 생성된 등록자 이미지 데이터를 상기 포그 디바이스들의 판별모듈로 전송할 수 있다.
상기 포그 디바이스들 중 상기 관리대상지역의 입구 부분에 설치된 포그 디바이스의 판별모듈은 상기 등록자로 판별된 출입자에 대응되는 상기 등록자 이미지 데이터에 대한 제1아이디 정보를 나머지 상기 포그 디바이스들에 전송하고, 상기 포그 디바이스들 중 나머지 포그 디바이스의 판별모듈은 기저장된 상기 등록자 이미지 데이터들에서, 수신된 상기 제1아이디 정보에 미포함된 등록자 이미지 데이트를 제외하는 것이 바람직하다.
상기 포그 디바이스들 중 상기 관리대상지역의 이동경로 상에 설치된 포그 디바이스의 판별모듈은 상기 등록자로 판별된 출입자에 대응되는 상기 등록자 이미지에 대한 제2아이디 정보를 생성하고, 생성된 상기 제2아이디 정보를, 기설정된 출입자의 이동 예상 경로 상에 위치한 상기 포그 디바이스로 전송한다.
상기 포그 디바이스들 중 상기 관리대상지역의 이동경로 상에 설치된 포그 디바이스의 판별모듈은 상기 제2아이디 정보를 수신할 경우, 기저장된 상기 등록자 이미지 데이터들에서, 상기 제2아이디 정보에 미포함된 등록자 이미지 데이트를 제외할 수 있다.
본 발명에 따른 비균등 포그 컴퓨팅을 이용한 출입자 인식 시스템은 포그 컴퓨팅 기술을 적용하여 출입자의 얼굴을 촬영하는 포그 디바이스에서 출입자의 등록여부를 판별하고, 서버에서 등록자 판별을 위한 등록자 이미지 데이터를 제공하므로 데이터를 처리하는데 소요되는 시간 및 전력을 절약할 수 있어 소비 에너지를 절감할 수 있다는 장점이 있다.
도 1은 본 발명에 따른 비균등 포그 컴퓨팅을 이용한 출입자 인식 시스템에 대한 블럭도이고,
도 2는 관리대상지역의 입구 부분에 설치된 포그 디바이스의 판별작업에 대한 순서도이고,
도 3은 관리대상지역의 이동경로 상에 설치된 포그 디바이스의 판별작업에 대한 순서도이고,
도 4 내지 도 6은 본 발명의 비균등 포그 컴퓨팅을 이용한 출입자 인식 시스템의 작동 상태를 나타낸 개념도이고,
도 7 및 도 8은 기존의 클라우드 방식의 출입 인식 시스템과, 본 발명의 출입자 인식 시스템 별 에너지 사용량 변화를 나타낸 그래프이다.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 따른 비균등 포그 컴퓨팅을 이용한 출입자 인식 시스템에 대해 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하여 도시한 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1에는 본 발명에 다른 비균등 포그 컴퓨팅을 이용한 출입자 인식 시스템(100)이 도시되어 있다.
도면을 참조하면, 상기 비균등 포그 컴퓨팅을 이용한 출입자 인식 시스템(100)은 관리대상지역에 설치되어 기저장된 등록자 이미지 데이터를 토대로 관리대상 지역에 출입하는 출입자의 등록여부를 판별하는 다수의 포그 디바이스(110)와, 상기 포그 디바이스(110)와 통신하며, 해당 포그 디바이스(110)에 상기 등록자 이미지 데이터를 제공하는 등록 관리 서버(120)를 구비한다.
상기 포그 디바이스(110)는 다수개가 상기 출입자가 출입하는 상기 관리대상지역의 입구 부분과, 상기 출입자가 이동하는 상기 관리대상지역의 이동경로 상에 상호 이격되게 각각 설치된다. 여기서, 관리대상지역은 건축물 내부가 적용되고, 이동경로는 해당 건축물의 복도 또는 통로가 적용되나, 이에 한정하는 것이 아니라 출입자가 출입하여 이동할 수 있는 공간이면 무엇이든 적용 가능하다. 이때, 이동경로 상에 설치되는 포그 디바이스(110)들에는 이동경로 상에서, 상기 출입자의 이동 예상 경로에 대한 정보가 각각 저장되어 있다.
상기 포그 디바이스(110)는 상기 관리대상지역에 출입하는 출입자의 얼굴을 촬영하는 촬영모듈(111)과, 상기 촬영부에서 촬영된 상기 출입자의 얼굴 이미지를 기저장된 등록자 이미지 데이터들와 비교하여 해당 출입자가 등록자인지 판별하는 판별모듈(112)을 구비한다.
촬영모듈(111)은 관리대상지역의 천장면에 설치되는 것으로서, 출입자를 촬영할 수 있는 카메라가 마련된다. 이때, 촬영모듈(111)은 촬영된 영상에서 출입자의 얼굴을 인식하고, 인식된 출입자의 얼굴 이미지를 추출하여 판별모듈(112)에 제공한다.
판별모듈(112)은 촬영모듈(111)에 설치되며, 촬영모듈(111)에서 제공되는 출입자의 얼굴 이미지를 등록자 이미지 데이터들과 비교한다. 이때, 판별모듈(112)은 출입자의 얼굴 이미지에서 특징정보를 추출하고, 해당 특징정보를 등록자 이미지 데이터들의 특징정보와 비교한다. 여기서, 판별모듈(112)은 등록자 이미지 데이터들 중 출입자의 얼굴 이미지의 특징정보에 대응되는 데이터가 존재하면 해당 출입자를 등록자로 판별하며, 등록자 이미지 데이터들 중 출입자의 얼굴 이미지의 특징정보에 대응되는 데이터가 존재하지 않을 경우, 해당 출입자를 미등록자로 판별한다.
이때, 판별모듈(112)은 미등록자에 대한 등록 작업을 수행할 수 있도록 미등록자로 판별된 출입자의 얼굴 이미지에 대한 정보를 등록 관리 서버(120)에 전송한다.
한편, 포그 디바이스(110)들은 상호 데이터 통신하며, 등록자에 대한 정보를 공유하여 등록자의 판별 작업을 수행한다.
먼저, 상기 관리대상지역의 입구 부분에 설치된 포그 디바이스(110)의 판별모듈(112)은 상기 등록자로 판별된 출입자에 대응되는 상기 등록자 이미지 데이터에 대한 제1아이디 정보를 생성한다. 즉, 해당 판별모듈(112)은 출입자들 중 등록자에 해당하는 등록자 이미지 데이터를 추출하고, 추출된 등록자 이미지 데이터에 대한 제1아이디 정보를 생성한다. 여기서, 제1아이디 정보는 해당 등록자 이미지 데이터에 대한 식별정보로서, 각 등록자 이미지 데이터에 부여된 아이디가 포함된다. 해당 판별모듈(112)은 상기 제1아이디 정보를 나머지 포그 디바이스(110)들 즉, 이동경로 상에 설치된 포그 디바이스(110)에 전송한다. 이때, 해당 판별모듈(112)은 출입자의 이동 예상 경로에 대한 정보가 기저장된 것이 바람직하다.
도 2에는 관리대상지역의 입구 부분에 설치된 포그 디바이스(110)의 판별작업에 대한 순서도가 도시되어 있다. 도면을 참조하면, 해당 포그 디바이스(110)는 촬영모듈(111)을 통해 출입자를 감지한다. 이때, 촬영모듈(111)은 촬영된 출입자의 얼굴 이미지를 판별모듈(112)로 전달한다. 다음, 판별모듈(112)은 출입자의 얼굴 이미지를 기저장된 등록 이미지 데이터와 비교하여 출입자가 등록자인지 판별한다. 이때, 판별모듈(112)은 출입자가 미등록자일 경우, 해당 출입자의 얼굴 이미지를 클라우드 즉, 등록 관리 서버(120)에 전송한다. 다음, 판별모듈(112)은 출입자가 등록자로 판별될 경우, 해당 등록자를 인식하고, 인식된 인식정보를 저장한다. 다음, 판별정보는 기저장된 출입자의 이동 예상 경로에 대한 정보를 토대로 출입자의 이동경로를 예측하고, 예측된 이동경로 즉, 이동 예상 경로 상에 다른 포그 디바이스(110)의 유무를 판별한다. 다음, 판별모듈(112)은 이동 예상 경로 상에 다른 포그 디바이스(110)가 존재할 경우, 해당 포그 디바이스(110)로 제1아이디 정보를 전송한다. 입구 부분에 설치된 포그 디바이스(110)는 제1아이디 정보를 전송한 다음, 대기 상태로 설정된다.
한편, 이동경로 상에 설치된 포그 디바이스(110)의 판별모듈(112)은 제1아이디 정보를 수신할 경우, 기저장된 등록자 이미지 데이터들에서, 수신된 제1아이디 정보에 미포함된 등록자 이미지 데이터를 제외한다. 즉, 해당 판별모듈(112)은 촬영부에 촬영된 출입자의 얼굴 이미지를 제1아이디 정보에 포함된 등록자 이미지 데이터와만 비교하여 등록자를 판별한다.
또한, 관리대상 지역의 이동경로 상에 설치된 포그 디바이스(110)의 판별모듈(112)은 등록자로 판별된 출입자에 대응되는 상기 등록자 이미지에 대한 제2아이디 정보를 생성한다. 즉, 해당 판별모듈(112)은 촬영모듈(111)에 촬영된 출입자들 중 등록자에 해당하는 등록자 이미지 데이터를 추출하고, 추출된 등록자 이미지 데이터에 대한 제2아이디 정보를 생성한다. 여기서, 제2아이디 정보는 해당 등록자 이미지 데이터에 대한 식별정보로서, 각 등록자 이미지 데이터에 부여된 아이디가 포함된다. 해당 판별모듈(112)은 제2아이디 정보를 기설정된 출입자의 이동 예상 경로 상에 위치한 상기 포그 디바이스(110)로 전송한다.
이때, 이동경로 상에 설치된 포그 디바이스(110)의 판별모듈(112)은 해당 제2아이디 정보를 수신할 경우, 기저장된 등록자 이미지 데이터들에서, 수신된 제2아이디 정보에 미포함된 등록자 이미지 데이터를 제외한다. 즉, 해당 판별모듈(112)은 촬영부에 촬영된 출입자의 얼굴 이미지를 제2아이디 정보에 포함된 등록자 이미지 데이터와만 비교하여 등록자를 판별한다.
도 3에는 관리대상지역의 이동경로 상에 설치된 포그 디바이스(110)의 판별작업에 대한 순서도가 도시되어 있다. 도면을 참조하면, 해당 포그 디바이스(110)는 입구 부분에 설치된 포그 디바이스(110) 또는 이동경로 상에 설치된 다른 포그 디바이스(110)로부터 제1아이디 정보 또는 제2아이디 정보를 수신한다. 다음, 해당 포그 디바이스(110)는 촬영모듈(111)을 통해 출입자를 감지한다. 이때, 촬영모듈(111)은 촬영된 출입자의 얼굴 이미지를 판별모듈(112)로 전달한다. 다음, 판별모듈(112)은 출입자의 얼굴 이미지를 기저장된 등록 이미지 데이터와 비교하여 출입자가 등록자인지 판별한다. 이때, 판별모듈(112)은 제1 및 제2아이디 정보에 미포함된 등록자 이미지 데이터를 제외하고, 출입자의 얼굴 이미지를 분석한다. 다음, 판별모듈(112)은 출입자가 등록자로 판별될 경우, 해당 등록자를 인식하고, 인식된 인식정보를 저장한다. 다음, 판별정보는 기저장된 출입자의 이동 예상 경로에 대한 정보를 토대로 출입자의 이동경로를 예측하고, 예측된 이동경로 즉, 이동 예상 경로 상에 다른 포그 디바이스(110)의 유무를 판별한다. 다음, 판별모듈(112)은 이동 예상 경로 상에 다른 포그 디바이스(110)가 존재할 경우, 해당 포그 디바이스(110)로 제2아이디 정보를 전송한다. 이동 경로 상에 설치된 포그 디바이스(110)는 제2아이디 정보를 전송한 다음, 대기 상태로 설정된다.
상술된 바와 같이 포그 디바이스(110)들은 등록자에 대한 제1아이디 정보 또는 제2아이디 정보를 송수신하며, 비교대상 등록자 이미지 데이터의 수를 줄이므로 등록자 판별 처리에 소요되는 시간 및 전력을 절감할 수 있다.
이때, 포그 디바이스(110)들은 도면에 도시되진 않았지만, 저장된 출입자의 인식정보를 출입자의 이동경로 또는 출입 정보를 분석할 수 있는 분석 서버에 제공할 수도 있다.
한편, 등록 관리 서버(120)는 포그 디바이스(110)들의 판별모듈(112)과 통신하며, 해당 판별모듈(112)에 상기 등록자 이미지 데이터를 제공한다. 이때, 등록 관리 서버(120)는 기입력된 등록자의 얼굴 이미지에 대한 정보를 기계 학습하여 상기 출입자들 중 등록자를 판별하기 위한 상기 등록자 이미지 데이터를 생성한다. 등록 관리 서버(120)는 생성된 등록자 이미지 데이터를 포그 디바이스(110)들의 판별모듈(112)로 전송한다.
또한, 등록 관리 서버(120)는 상기 판별모듈(112)에서 제공되는 미등록자로 판별된 상기 출입자의 얼굴 이미지를 학습하여 해당 출입자에 대한 등록자 이미지 데이터를 생성하고, 생성된 등록자 이미지 데이터를 상기 포그 디바이스(110)들의 판별모듈(112)로 전송하여 각 판별모듈(112)에 저장된 등록자 이미지 데이터를 업데이트한다.
한편, 본 발명에 따른 비균등 포그 컴퓨팅을 이용한 출입자 인식 시스템(100)의 작동을 상세히 설명하면 다음과 같다. 도 4에는 출입자가 관심대상지역으로 입장한 상태에 따른 본 발명의 인식 시스템에 대한 개념도이다. 도면에서, "A"블럭은 입구 부분에 설치된 포그 디바이스(110)이고, "B"블럭, "C"블럭, "D"블럭, "E"블럭은 관심대상지역의 이동경로 상에 설치된 포그 디바이스(110)이고, 블럭 간의 라인은 출입자의 이동경로이다. 또한, 표시된 수(000/000/000)는 해당 포그 디바이스(110)에서 인식된 출입자의 수, 출입자의 얼굴 이미지와 비교하는 등록자 이미지 데이터의 수 및 해당 포그 디바이스(110)에 저장된 등록자 이미지 데이터의 수를 순차적으로 나타낸 것이다. 빨간색 화살표는 출입자의 이동 예상 경로를 표시한 것이다. 해당 도면은 초기에 각 해당 포그 디바이스(110)에 200개의 등록자 이미지 데이터가 저장된 상태이다.
도 5에는 관심대상지역의 입구 부분으로 40명의 출입자가 입장한 상태를 나타낸 것으로서, 출입자들 중 38명은 등록자이고, 2명은 미등록자이다. 입구부분에 설치된 포그 디바이스(110) 즉, "A"블럭은 미등록자 2명에 대한 얼굴 이미지를 등록 관리 서버(120)에 전송하였고, 등록 관리 서버(120)는 해당 미등록자에 대한 얼굴 이미지를 학습하여 등록자 이미지 데이터를 생성하여 각 포그 디바이스(110)에 전송한다. 따라서, 도 6을 참조하면, "A"블럭을 포함한 포그 디바이스(110)들의 저장된 등록자 이미지 데이터의 수는 202로 증가한다. 한편, "A"블럭 후방의 이동경로 설치된 "B"블럭에 해당하는 포그 디바이스(110)는 "A"블럭의 포그 디바이스(110)로부터 제1아이디 정보를 수신하고, 제1아이디 정보에 포함된 등록자 이미지 데이터만을 출입자의 얼굴 이미지와의 비교 대상 데이터로 선정한다. 따라서, "B"블럭에 20/20/202가 표시되는데, 저장된 등록자 이미지 데이터 수는 202개이고, 인식된 출입자는 20명이고, 비교대상 등록자 이미지 데이터의 수는 20이다. 이때, 포그 디바이스(110)들은 이동경로를 따라 순차적으로 제1아이디 정보 또는 제2아이디 정보를 송수신하여 비교대상 등록자 데이터 이미지의 수를 감소시켜 출입자 인식을 진행한다.
한편, 본 발명에 따른 비균등 포그 컴퓨팅을 이용한 출입자 인식 시스템(100)에 대한 성능 시험을 실시하였다. 직선형으로 이동경로가 마련된 관심대상지역에 다수의 CCTV 및 포그 디바이스(110)를 설치하였고, 동일한 관심대상지역에 대해 기존의 클라우드 방식의 출입 인식 시스템과, 본 발명의 출입자 인식 시스템(100)의 성능을 시험하였다.
하기의 표 1은 기존의 클라우드 방식의 출입 인식 시스템과, 본 발명의 출입자 인식 시스템(100)의 자원 사원률을 나타낸다. 여기서, 클라우드 컴퓨팅은 기존의 클라이우드 방식의 출입 인식 시스템이고, 클라우드 컴퓨터는 통합 관리 서버이고, 엣지컴퓨터는 CCTV가 적용된다. 또한, 비균등 포그 컴퓨팅은 본 발명의 출입자 인식 시스템(100)이고, 클라우드 컴퓨터는 등록 관리 서버(120)이고, 포그 컴퓨터는 포그 디바이스(110)가 적용된다.
Figure 112020006512156-pat00001
기존의 클라우드 방식의 출입 인식 시스템은 모든 엣지 디바이스가 감지된 출입자의 얼굴 데이터를 이미지 형태로 클라우드에 전송하기 때문에 비교적 큰 네트워크 트래픽이 발생된다. 컴퓨팅 파워의 경우, 엣지 디바이스는 출입자 감지만 수행하기 때문에 상대적으로 낮지만 클라우드는 수신된 이미지를 선별하여 계속 학습하고 인식처리, 인식 그리고 분류하기 때문에 매우 높다. 이때, 인식처리는 출입자 인식을 위해 이미지를 자르는 등 추가적인 컴퓨팅을 하는 것을 의미한다. 기존의 클라우드 방식의 출입 인식 시스템은 클라우드가 데이터를 모두 처리하기 때문에 많은 에너지가 필요하다. 반면에 본 발명의 비균등 포그 컴퓨팅을 이용한 출입자 인식 시스템(100)은 초기에 학습된 얼굴 데이터를 클라우드 즉, 등록 관리 서버(120)에서 포그 디바이스(110)로 배포하고, 학습이 필요한 비등록자의 경우를 제외하면 포그 디바이스(110) 간 인식된 출입자의 아이디만 지역 네트워크로 송수신하기 때문에 네트워킹 비용이 낮다. 컴퓨팅 파워의 경우, 클라우드 즉, 등록 관리 서버(120)는 데이터 정리 및 비등록자에 대한 학습을 수행하므로 비교적 낮다. 포그 디바이스(110)는 학습된 데이터를 처리하도록 하여 데이터를 최적화하고, 이미지와 텍스트 중 전송할 데이터를 판별하는 추가적인 컴퓨팅이 필요한 (출입자를 최초로 인식하는) 디바이스를 제외하면 blocking/non-blocking 방식을 통해 비균등하게 데이터를 처리하여 출입자 인식을 수행하므로 컴퓨팅 파워가 기존의 클라우드 컴퓨팅 방식에 비해 훨씬 감소한다.
한편, 도 7 및 도 8에는 기존의 클라우드 방식의 출입 인식 시스템과, 본 발명의 출입자 인식 시스템(100) 별 에너지 사용량 변화를 나타낸 그래프가 도시되어 있다. 여기서, 도 7은 기존의 클라우드 방식의 출입 인식 시스템의 에너지 사용량 변화를 나타낸 그래프이고, 도 8에는 본 발명의 출입자 인식 시스템(100)의 에너지 사용량 변화를 나타낸 것이다.
도면을 참조하면, 기존의 클라우드 방식의 출입 인식 시스템은각 엣지 디바이스에서 수집된 데이터를 이미지 형태로 모두 클라우드에 전송하기 때문에 엄청난 네트워크 트래픽이 발생하지만 시간이 지남에 따라 엣지 디바이스에 감지되는 출입자의 수가 줄어들면서 네트워킹 비용도 점차 감소한다. 클라우드는 수신된 이미지에 대해 선별 및 학습, 인식 처리, 인식 그리고 분류를 수행한다. 클라우드가 데이터 학습과 처리를 모두 수행하기 때문에 많은 에너지를 소비하며 특히 비등록자의 비율이 높은 초기에는 학습량이 많기 때문에 엄청난 컴퓨팅 파워가 필요하다.
한편, 본 발명의 출입 인식 시스템은 초기에 클라우드(등록 관리 서버(120))에서 모든 포그 디바이스(110)로 학습된 데이터를 배포하기 때문에 초반 네트워크 트래픽이 증가한다. 또한, 입구에 위치한(출입자를 최초로 인식하는) 포그 디바이스(110)가 감지한 출입자가 비등록자일 경우 클라우드(등록 관리 서버(120))로 수집된 이미지 데이터를 전송하고 클라우드(등로 관리 서버)는 이를 학습하여 포그 디바이스(110)로 배포하므로 네트워킹 비용이 발생한다. 하지만 포그 디바이스(110)가 다음 경로에 위치한 포그 디바이스(110)로 전송하는 데이터는 인식된 데이터 중 해당 디바이스로 향하는 출입자의 아이디만 전송하기 때문에 네트워킹 비용이 훨씬 낮다. 입구에 위치한 포그 디바이스(110)는 출입자를 판별하고 이미지 데이터를 전송할지 텍스트 데이터를 전송할지 판단하는 추가적인 컴퓨팅이 필요해 초반 컴퓨팅 파워가 많이 필요하지만 이를 제외한 각 포그 디바이스(110)는 non-blocked 데이터에 대해 출입자 감지 및 인식 처리, 인식 그리고 분류를 수행하기 때문에 적은 컴퓨팅 파워가 필요하다.
시간이 지남에 따라 기존의 클라우드 방식의 출입 인식 시스템과, 본 발명의 출입자 인식 시스템(100)은 모두 에너지 사용량이 감소하는 모습을 보이지만, 기존의 클라우드 방식의 출입 인식 시스템은 이미지 형태의 원시 데이터를 계속 전송하고 클라우드에서 모두 처리하는 반면, 본 발명의 출입자 인식 시스템(100)은 포그 디바이스(110) 간 인식된 데이터 그리고 다음 디바이스로 가는 출입자에 대한 아이디를 전송해 더 적은 네트워크 트래픽을 사용하고 비균등하게 데이터를 처리하여 컴퓨팅 파워를 절약하므로 기존의 클라우드 방식의 출입 인식 시스템보다 에너지 효율이 높아짐을 확인할 수 있다.
또한 가격 측면에서, 기존의 클라우드 방식의 출입 인식 시스템의 디바이스는 데이터를 모두 처리하기 위한 높은 에너지 사용량과 메모리 크기로 인해 한 대당 최대 170만원에서 평균 30~50만원으로 높은 가격대를 형성한다. 반면에, 본 발명의 출입자 인식 시스템(100)은 학습된 데이터를 처리하기 위한 성능을 요구하므로 평균 5-10만원으로 클라우드 컴퓨팅 방식에 비해 훨씬 저렴한 가격대를 형성한다.
상술된 바와 같이 본 발명에 따른 비균등 포그 컴퓨팅을 이용한 출입자 인식 시스템(100)은 포그 컴퓨팅 기술을 적용하여 출입자의 얼굴을 촬영하는 포그 디바이스(110)에서 출입자의 등록여부를 판별하고, 서버에서 등록자 판별을 위한 등록자 이미지 데이터를 제공하므로 데이터를 처리하는데 소요되는 시간 및 전력을 절약할 수 있어 소비 에너지를 절감할 수 있다는 장점이 있다.
제시된 실시예들에 대한 설명은 임의의 본 발명의 기술분야에서 통상의 지식을 가진 자가 본 발명을 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 발명의 기술 분야에서 통상의 지식을 가진자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 발명의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 발명은 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.
100: 비균등 포그 컴퓨팅을 이용한 출입자 인식 시스템
110: 포그 디바이스
111: 촬영모듈
112: 판별모듈
120: 등록 관리 서버

Claims (8)

  1. 관리대상지역에 설치되는 것으로서, 상기 관리대상지역에 출입하는 출입자의 얼굴을 촬영하는 촬영모듈과, 촬영부에서 촬영된 상기 출입자의 얼굴 이미지를 기저장된 등록자 이미지 데이터들와 비교하여 해당 출입자가 등록자인지 판별하는 판별모듈을 포함하는 다수의 포그 디바이스; 및
    상기 포그 디바이스의 판별모듈과 통신하며, 해당 판별모듈에 상기 등록자 이미지 데이터를 제공하는 등록 관리 서버;를 구비하고,
    상기 등록 관리 서버는 기입력된 등록자의 얼굴 이미지에 대한 정보를 학습하여 상기 출입자들 중 등록자를 판별하기 위한 상기 등록자 이미지 데이터를 생성하고,
    상기 포그 디바이스는 다수개가 상기 출입자가 출입하는 상기 관리대상지역의 입구 부분과, 상기 출입자가 이동하는 상기 관리대상지역의 이동경로 상에 상호 이격되게 각각 설치되고,
    상기 포그 디바이스들 중 상기 관리대상지역의 입구 부분에 설치된 포그 디바이스의 판별모듈은 상기 등록자로 판별된 출입자에 대응되는 상기 등록자 이미지 데이터에 대한 제1아이디 정보를 나머지 상기 포그 디바이스들에 전송하고,
    상기 포그 디바이스들 중 나머지 포그 디바이스의 판별모듈은 기저장된 상기 등록자 이미지 데이터들에서, 수신된 상기 제1아이디 정보에 미포함된 등록자 이미지 데이트를 제외하는,
    비균등 포그 컴퓨팅을 이용한 출입자 인식 시스템.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 판별모듈은 상기 관리대상지역에 출입한 출입자가 미등록자로 판별되면, 상기 촬영부에서 제공된 해당 출입자의 얼굴 이미지를 상기 등록 관리 서버로 전송하는,
    비균등 포그 컴퓨팅을 이용한 출입자 인식 시스템.
  5. 제4항에 있어서,
    상기 등록 관리 서버는 상기 판별모듈에서 제공되는 미등록자로 판별된 상기 출입자의 얼굴 이미지를 학습하여 해당 출입자에 대한 등록자 이미지 데이터를 생성하고, 생성된 등록자 이미지 데이터를 상기 포그 디바이스들의 판별모듈로 전송하는,
    비균등 포그 컴퓨팅을 이용한 출입자 인식 시스템.
  6. 삭제
  7. 제1항에 있어서,
    상기 포그 디바이스들 중 상기 관리대상지역의 이동경로 상에 설치된 포그 디바이스의 판별모듈은 상기 등록자로 판별된 출입자에 대응되는 상기 등록자 이미지에 대한 제2아이디 정보를 생성하고, 생성된 상기 제2아이디 정보를, 기설정된 출입자의 이동 예상 경로 상에 위치한 상기 포그 디바이스로 전송하는,
    비균등 포그 컴퓨팅을 이용한 출입자 인식 시스템.
  8. 제7항에 있어서,
    상기 포그 디바이스들 중 상기 관리대상지역의 이동경로 상에 설치된 포그 디바이스의 판별모듈은 상기 제2아이디 정보를 수신할 경우, 기저장된 상기 등록자 이미지 데이터들에서, 상기 제2아이디 정보에 미포함된 등록자 이미지 데이트를 제외하는,
    비균등 포그 컴퓨팅을 이용한 출입자 인식 시스템.
KR1020200007503A 2020-01-20 2020-01-20 비균등 포그 컴퓨팅을 이용한 출입자 인식 시스템 KR102261605B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200007503A KR102261605B1 (ko) 2020-01-20 2020-01-20 비균등 포그 컴퓨팅을 이용한 출입자 인식 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200007503A KR102261605B1 (ko) 2020-01-20 2020-01-20 비균등 포그 컴퓨팅을 이용한 출입자 인식 시스템

Publications (1)

Publication Number Publication Date
KR102261605B1 true KR102261605B1 (ko) 2021-06-07

Family

ID=76373984

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200007503A KR102261605B1 (ko) 2020-01-20 2020-01-20 비균등 포그 컴퓨팅을 이용한 출입자 인식 시스템

Country Status (1)

Country Link
KR (1) KR102261605B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5172167B2 (ja) * 2006-02-15 2013-03-27 株式会社東芝 人物認識装置および人物認識方法
JP2019514144A (ja) * 2016-03-25 2019-05-30 ネッビオーロ テクノロジーズ，インコーポレイテッド フォグコンピューティング促進型フレキシブル工場
KR20190076745A (ko) * 2017-12-22 2019-07-02 (주) 인하씨엔티 기계학습 러닝을 통한 출입자 관제 방법
KR20190131247A (ko) 2018-05-16 2019-11-26 피타입(주) 얼굴 인식 기능을 가지는 출입 관리 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5172167B2 (ja) * 2006-02-15 2013-03-27 株式会社東芝 人物認識装置および人物認識方法
JP2019514144A (ja) * 2016-03-25 2019-05-30 ネッビオーロ テクノロジーズ，インコーポレイテッド フォグコンピューティング促進型フレキシブル工場
KR20190076745A (ko) * 2017-12-22 2019-07-02 (주) 인하씨엔티 기계학습 러닝을 통한 출입자 관제 방법
KR20190131247A (ko) 2018-05-16 2019-11-26 피타입(주) 얼굴 인식 기능을 가지는 출입 관리 시스템

Similar Documents

Publication Publication Date Title
Kolhar et al. A three layered decentralized IoT biometric architecture for city lockdown during COVID-19 outbreak
Xu et al. Real-time human objects tracking for smart surveillance at the edge
US10839228B2 (en) Method and system for tracking an object in a defined area
US9928435B2 (en) System and method for providing an on-chip context aware contact list
JP6474919B2 (ja) 混雑状況監視システム及び混雑状況監視方法
US20210097278A1 (en) Method and apparatus for recognizing stacked objects, and storage medium
US9159137B2 (en) Probabilistic neural network based moving object detection method and an apparatus using the same
CN111539351B (zh) 一种多任务级联的人脸选帧比对方法
Almeida et al. Parking space detection using textural descriptors
KR102261054B1 (ko) 카메라에 연결되는 고속 얼굴 인식 장치
Aghdasi et al. Enhancing lifetime of visual sensor networks with a preprocessing-based multi-face detection method
KR100413382B1 (ko) 통신망을 이용한 감시 카메라의 통합 원격 제어 시스템 및방법과 이를 이용한 영상 데이터 처리 방법
Yang et al. Distributed multi-camera multi-target association for real-time tracking
KR102261605B1 (ko) 비균등 포그 컴퓨팅을 이용한 출입자 인식 시스템
JP6757701B2 (ja) 任意の追跡器を割り当てたパーティクルを用いる物体追跡プログラム、装置及び方法
CN112699810A (zh) 一种提升室内监控***人物识别精度的方法及装置
CN116994313A (zh) 基于边缘计算的电梯场景下口罩检测***和方法
Najjar-Ghabel et al. Enhancing performance of face detection in visual sensor networks with a dynamic-based approach
WO2021125539A1 (ko) 영상에 포함된 객체를 분류하는 장치, 방법 및 컴퓨터 프로그램
Zuo Fast human face detection using successive face detectors with incremental detection capability
CN113627383A (zh) 一种用于全景智能安防的行人徘徊重识别方法
CN112699843A (zh) 一种身份识别方法及***
Gaikwad et al. Edge-based real-time face logging system for security applications
Paul et al. Why is the video analytics accuracy fluctuating, and what can we do about it?
Magrini et al. Real time image analysis for infomobility

Legal Events

Date Code Title Description
GRNT Written decision to grant