KR102472815B1 - Apparatus for managing input/output and method thereof - Google Patents

Apparatus for managing input/output and method thereof Download PDF

Info

Publication number
KR102472815B1
KR102472815B1 KR1020210084047A KR20210084047A KR102472815B1 KR 102472815 B1 KR102472815 B1 KR 102472815B1 KR 1020210084047 A KR1020210084047 A KR 1020210084047A KR 20210084047 A KR20210084047 A KR 20210084047A KR 102472815 B1 KR102472815 B1 KR 102472815B1
Authority
KR
South Korea
Prior art keywords
subject
image
user
access
information
Prior art date
Application number
KR1020210084047A
Other languages
Korean (ko)
Inventor
김영호
김인환
안병인
김용수
Original Assignee
주식회사 후니즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 후니즈 filed Critical 주식회사 후니즈
Priority to KR1020210084047A priority Critical patent/KR102472815B1/en
Application granted granted Critical
Publication of KR102472815B1 publication Critical patent/KR102472815B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00571—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys operated by interacting with a central unit
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)

Abstract

An entry/exit management device and method are disclosed. The present invention is configured to reduce waiting time for entry/exit management and facilitate management by quickly measuring body temperature using a visible light camera and a thermal imaging camera and determining whether a mask is worn; determining whether a user is a pre-registered user based on information obtained from recognizing a phone number, unique code, barcode, or QR code input by the user after requesting the user to write a guestbook; and storing an entry time at an entry gate, the body temperature at the entry time, an entry photo, and the input or recognized phone number, unique code, barcode information, QR code information, etc. according to the determination result in an entry/exit management list.

Description

입출입 관리 장치 및 그 방법{Apparatus for managing input/output and method thereof}Apparatus for managing input/output and method thereof

본 발명은 입출입 관리 장치 및 그 방법에 관한 것으로서, 특히 가시광 카메라와 열화상 카메라를 이용해서 빠르게 체온을 측정하고 마스크 착용 여부를 판단하고, 방명록 기재를 요청한 후, 사용자가 입력하는 전화번호나 고유 코드 또는 바코드나 QR 코드 인식에 따른 정보를 근거로 미리 등록된 사용자인지 여부를 판단하고, 판단 결과에 따라 출입 게이트에서의 출입 시각, 출입 시점의 온도, 출입 사진, 입력되거나 인식된 전화번호나 고유 코드나 바코드 정보나 QR 코드 정보 등을 입출입 관리 명부로 저장하는 입출입 관리 장치 및 그 방법에 관한 것이다.The present invention relates to an entry/exit management device and method thereof, and more particularly, to rapidly measure body temperature using a visible light camera and a thermal imaging camera, determine whether or not a mask is worn, and request a guestbook entry, followed by a phone number or unique code input by a user. Or, based on information from barcode or QR code recognition, it is determined whether the user is pre-registered, and based on the determination result, the time of entry at the gate, the temperature at the time of entry, the entry/exit photo, the entered or recognized phone number or unique code B. It relates to an entry/exit management device and method for storing barcode information or QR code information as an entry/exit management list.

출입 게이트는 출입통제 게이트 또는 출입보안 게이트로도 불리며, 홍채 인식, 안면 인식 등의 기술을 활용하여 저장된 사진 정보와 비교함으로써 등록된 사용자를 인식한다.The access gate is also called an access control gate or access security gate, and recognizes a registered user by comparing it with stored photo information using technologies such as iris recognition and face recognition.

하지만, 홍채와 안면 인식은 고성능의 하드웨어가 필요하고, 처리 속도가 느리며 정확도를 높이기 위해서는 측정 시간이 길어질 수밖에 없는 구조적인 문제가 있다.However, iris and face recognition have structural problems in that high-performance hardware is required, processing speed is slow, and measurement time is inevitably long to increase accuracy.

한국공개번호 제10-2020-0122268호 [제목: 모바일 기반 출입 관리시스템 및 그에 따른 제어 방법]Korean Publication No. 10-2020-0122268 [Title: Mobile-based access management system and its control method]

본 발명의 목적은 가시광 카메라와 열화상 카메라를 이용해서 빠르게 체온을 측정하고 마스크 착용 여부를 판단하고, 방명록 기재를 요청한 후, 사용자가 입력하는 전화번호나 고유 코드 또는 바코드나 QR 코드 인식에 따른 정보를 근거로 미리 등록된 사용자인지 여부를 판단하고, 판단 결과에 따라 출입 게이트에서의 출입 시각, 출입 시점의 온도, 출입 사진, 입력되거나 인식된 전화번호나 고유 코드나 바코드 정보나 QR 코드 정보 등을 입출입 관리 명부로 저장하는 입출입 관리 장치 및 그 방법을 제공하는 데 있다.An object of the present invention is to rapidly measure body temperature using a visible light camera and a thermal imaging camera, determine whether a mask is worn or not, request a guest book entry, and then information based on recognizing a phone number, unique code, barcode or QR code input by a user. Based on this, it is determined whether the user is pre-registered, and based on the determination result, the time of entry at the gate, the temperature at the time of entry, the entry/exit photo, the entered or recognized phone number, unique code, barcode information or QR code information, etc. It is an object of the present invention to provide an entry/exit management device and method for storing an entry/exit management list.

본 발명의 다른 목적은 OpenCV를 이용해서 인식된 안면 영역에서의 픽셀별 온도값을 근거로 마스크 착용 여부를 확인하며, 안면 인식과 눈 인식을 병합하여 눈만 인식했을 경우에도 확장되는 알고리즘을 적용하여 안면 영역을 인지하는 입출입 관리 장치 및 그 방법을 제공하는 데 있다.Another object of the present invention is to check whether or not a mask is worn based on the temperature value of each pixel in the face area recognized using OpenCV, and to apply an algorithm that expands even when only the eyes are recognized by merging face recognition and eye recognition. It is an object of the present invention to provide an input/output management device and method for recognizing an area.

본 발명의 실시예에 따른 입출입 관리 장치는 피사체를 촬영하여 가시광 영상인 제 1 영상과 열화상 영상인 제 2 영상을 획득하는 카메라부; 및 상기 획득된 제 1 영상 및 제 2 영상을 근거로 상기 피사체의 체온 및 상기 피사체의 마스크 착용 여부를 확인하고, 결과를 출력하고, 방명록 기재 요청을 위한 안내 화면을 표시하고, 사용자로부터 제공되는 전화번호, 개인 안심 번호, 바코드에 대응하는 바코드 정보 및 QR 코드에 대응하는 QR 코드 정보 중 어느 하나의 정보를 수신하고, 상기 수신된 정보를 근거로 상기 사용자가 미리 등록된 사용자인지 여부를 판단하고, 상기 판단 결과, 상기 사용자가 미리 등록된 사용자일 때, 상기 피사체에 대응하는 사용자의 출입 날짜 및 시각, 출입 시점의 상기 피사체의 체온, 출입 사진 및 상기 정보를 포함하는 입출입 관리 명부를 생성하는 제어부를 포함할 수 있다.An access management device according to an embodiment of the present invention includes a camera unit that photographs a subject and acquires a first image, which is a visible light image, and a second image, which is a thermal image; and checking the body temperature of the subject and whether or not the subject is wearing a mask based on the obtained first and second images, outputting the result, displaying a guide screen for requesting a guestbook entry, and making a phone call provided by the user. Receiving any one of a number, a personal safety number, barcode information corresponding to a barcode, and QR code information corresponding to a QR code, and determining whether the user is a pre-registered user based on the received information, As a result of the determination, when the user is a pre-registered user, a control unit for generating an entry/exit management list including access date and time of the user corresponding to the subject, body temperature of the subject at the time of access, access photo, and the information can include

본 발명과 관련된 일 예로서 상기 카메라부는, 상기 피사체를 촬영하여 상기 가시광 영상인 제 1 영상을 획득하는 가시광 카메라; 및 상기 피사체를 촬영하여, 상기 열화상 영상인 제 2 영상을 획득하는 열화상 카메라를 포함하며, 상기 가시광 카메라 및 상기 열화상 카메라는, 상기 피사체로부터 동일한 거리와 각도로 배치할 수 있다.As an example related to the present invention, the camera unit may include a visible light camera that captures the subject and acquires the first visible light image; and a thermal imaging camera that photographs the subject and acquires a second image, which is the thermal image, wherein the visible light camera and the thermal imaging camera may be disposed at the same distance and angle from the subject.

본 발명과 관련된 일 예로서 상기 제어부는, 상기 수신된 정보와 관련한 사용자가 미리 등록된 사용자인지를 판단하기 위해서, 상기 수신된 정보가 데이터베이스에 미리 저장된 출입 등록 정보에 포함된 상태인지 여부를 판단할 수 있다.As an example related to the present invention, the control unit determines whether the received information is included in access registration information pre-stored in a database in order to determine whether a user related to the received information is a pre-registered user. can

본 발명의 실시예에 따른 입출입 관리 방법은 카메라부에 의해, 피사체를 촬영하여 가시광 영상인 제 1 영상과 열화상 영상인 제 2 영상을 획득하는 단계; 제어부에 의해, 상기 획득된 제 1 영상 및 제 2 영상을 근거로 상기 피사체의 체온 및 상기 피사체의 마스크 착용 여부를 확인하고, 결과를 출력하는 단계; 상기 제어부에 의해, 방명록 기재 요청을 위한 안내 화면을 표시하는 단계; 상기 제어부에 의해, 사용자로부터 제공되는 전화번호, 개인 안심 번호, 바코드에 대응하는 바코드 정보 및 QR 코드에 대응하는 QR 코드 정보 중 어느 하나의 정보를 수신하는 단계; 상기 제어부에 의해, 상기 수신된 정보를 근거로 상기 사용자가 미리 등록된 사용자인지 여부를 판단하는 단계; 및 상기 판단 결과, 상기 사용자가 미리 등록된 사용자일 때, 상기 제어부에 의해, 상기 피사체에 대응하는 사용자의 출입 날짜 및 시각, 출입 시점의 상기 피사체의 체온, 출입 사진 및 상기 정보를 포함하는 입출입 관리 명부를 생성하는 단계를 포함할 수 있다.An access control method according to an embodiment of the present invention includes the steps of acquiring a first image, which is a visible light image, and a second image, which is a thermal image, by photographing a subject by a camera unit; checking, by a controller, the body temperature of the subject and whether or not the subject is wearing a mask based on the acquired first and second images, and outputting a result; displaying, by the control unit, a guidance screen for requesting entry into the guest book; Receiving, by the control unit, any one of barcode information corresponding to a phone number, personal safety number, and barcode provided by a user, and QR code information corresponding to a QR code; determining, by the controller, whether the user is a pre-registered user based on the received information; And as a result of the determination, when the user is a pre-registered user, the control unit manages entry and exit including the access date and time of the user corresponding to the subject, the body temperature of the subject at the time of access, an access photo, and the information. It may include creating a roster.

본 발명과 관련된 일 예로서 상기 피사체의 체온 및 상기 피사체의 마스크 착용 여부를 확인하고, 결과를 출력하는 단계는, 상기 제 1 영상에서 상기 피사체의 안면 영역을 인식하는 과정; 상기 제 2 영상에 상기 인식된 안면 영역을 중첩하는 과정; 상기 제 2 영상에서 상기 중첩된 영역을 제 2 영상의 안면 영역으로 선택하는 과정; 상기 제 2 영상에서 선택된 안면 영역에서 픽셀별 온도 데이터를 획득하는 과정; 상기 획득된 픽셀별 온도 데이터를 근거로 상기 피사체의 체온을 확인하는 과정; 및 상기 확인된 피사체의 체온을 출력하는 과정을 포함할 수 있다.As an example related to the present invention, the step of checking the subject's body temperature and whether or not the subject is wearing a mask and outputting the result may include: recognizing a facial region of the subject in the first image; superimposing the recognized facial region on the second image; selecting the overlapped area in the second image as a facial area of the second image; acquiring temperature data for each pixel in the facial region selected from the second image; checking the body temperature of the subject based on the obtained temperature data for each pixel; and outputting the identified body temperature of the subject.

본 발명과 관련된 일 예로서 상기 피사체의 체온 및 상기 피사체의 마스크 착용 여부를 확인하고, 결과를 출력하는 단계는, 상기 제 2 영상에서의 피사체의 안면 영역에 포함된 복수의 픽셀 중에서 미리 설정된 제 2 설정 온도 이상인 픽셀의 개수를 카운트하는 과정; 상기 카운트된 픽셀의 개수를 근거로 상기 제 2 영상에서의 피사체의 안면 영역에서 상기 카운트된 픽셀의 개수가 차지하는 비율을 계산하는 과정; 상기 계산된 비율이 미리 설정된 기준값을 초과하는지 여부를 확인하는 과정; 상기 확인 결과, 상기 계산된 비율이 상기 기준값을 초과하지 않을 때, 상기 피사체가 마스크를 착용한 상태로 판단하는 과정; 상기 확인 결과, 상기 계산된 비율이 상기 기준값을 초과할 때, 상기 피사체가 마스크를 착용하지 않은 상태로 판단하는 과정; 및 상기 판단되는 상기 피사체의 마스크 착용 여부에 대한 정보를 출력하는 과정을 포함할 수 있다.As an example related to the present invention, the step of checking the body temperature of the subject and whether or not the subject is wearing a mask, and outputting the result may include a second set in advance among a plurality of pixels included in the facial area of the subject in the second image. Counting the number of pixels having a set temperature or higher; calculating a ratio occupied by the counted number of pixels in a facial region of a subject in the second image based on the counted number of pixels; checking whether the calculated ratio exceeds a preset reference value; determining that the subject is wearing a mask when the calculated ratio does not exceed the reference value as a result of the check; determining that the subject is not wearing a mask when the calculated ratio exceeds the reference value as a result of the check; and outputting information on whether or not the determined subject wears a mask.

본 발명과 관련된 일 예로서 상기 수신된 정보를 근거로 상기 사용자가 미리 등록된 사용자인지 여부를 판단하는 단계는, 상기 수신된 정보와 관련한 사용자가 미리 등록된 사용자인지를 판단하기 위해서, 상기 수신된 정보가 데이터베이스에 미리 저장된 출입 등록 정보에 포함된 상태인지 여부를 판단할 수 있다.As an example related to the present invention, the step of determining whether the user is a pre-registered user based on the received information is to determine whether the user related to the received information is a pre-registered user, It may be determined whether or not the information is included in access registration information pre-stored in the database.

본 발명은 가시광 카메라와 열화상 카메라를 이용해서 빠르게 체온을 측정하고 마스크 착용 여부를 판단하고, 방명록 기재를 요청한 후, 사용자가 입력하는 전화번호나 고유 코드 또는 바코드나 QR 코드 인식에 따른 정보를 근거로 미리 등록된 사용자인지 여부를 판단하고, 판단 결과에 따라 출입 게이트에서의 출입 시각, 출입 시점의 온도, 출입 사진, 입력되거나 인식된 전화번호나 고유 코드나 바코드 정보나 QR 코드 정보 등을 입출입 관리 명부로 저장함으로써, 입출입 관리를 위한 대기 시간을 줄이고 관리를 용이하도록 구성할 수 있는 효과가 있다.The present invention uses a visible light camera and a thermal imaging camera to quickly measure body temperature, determine whether or not to wear a mask, request a guest book entry, and then use information based on phone number or unique code or barcode or QR code recognition input by the user. Determines whether or not the user is pre-registered, and manages entry and exit based on the result of the determination, such as access time at the gate, temperature at the time of entry, access photo, input or recognized phone number, unique code, barcode information, QR code information, etc. By storing as a list, there is an effect that can be configured to reduce waiting time for entry and exit management and facilitate management.

또한, 본 발명은 OpenCV를 이용해서 인식된 안면 영역에서의 픽셀별 온도값을 근거로 마스크 착용 여부를 확인하며, 안면 인식과 눈 인식을 병합하여 눈만 인식했을 경우에도 확장되는 알고리즘을 적용하여 안면 영역을 인지함으로써, 안면 인식의 정확도를 높이고, 데이터 학습을 통한 안면 인식 기능을 수행하는 딥러닝 결과보다 빠르고 정확한 데이터를 획득할 수 있는 효과가 있다.In addition, the present invention checks whether or not a mask is worn based on the temperature value of each pixel in the face region recognized using OpenCV, and applies an algorithm that is expanded even when only the eyes are recognized by merging face recognition and eye recognition. By recognizing , there is an effect of increasing the accuracy of face recognition and obtaining faster and more accurate data than the result of deep learning that performs a face recognition function through data learning.

도 1은 본 발명의 실시예에 따른 입출입 관리 장치의 구성을 나타낸 블록도이다.
도 2는 본 발명의 실시예에 따른 피사체의 안면 영역 및 눈 영역을 인식하는 동작을 나타낸 도이다.
도 3 내지 도 5는 본 발명의 실시예에 따른 입출입 관리 장치가 적용된 출입 게이트의 예를 나타낸 도이다.
도 6 내지 도 7은 본 발명의 실시예에 따른 입출입 관리 방법을 나타낸 흐름도이다.
도 8은 본 발명의 실시예에 따른 피사체의 체온 확인 및 마스크 착용 여부 확인에 대한 정보를 제공하는 예를 나타낸 도이다.
도 9는 본 발명의 실시예에 따른 안내 화면이 예를 나타낸 도이다.1 is a block diagram showing the configuration of an access control device according to an embodiment of the present invention.
2 is a diagram illustrating an operation of recognizing a facial region and an eye region of a subject according to an embodiment of the present invention.
3 to 5 are diagrams illustrating examples of access gates to which an access control device according to an embodiment of the present invention is applied.
6 to 7 are flowcharts illustrating a method for managing access according to an embodiment of the present invention.
8 is a diagram illustrating an example of providing information on checking the body temperature of a subject and checking whether a mask is worn according to an embodiment of the present invention.
9 is a diagram illustrating an example of a guidance screen according to an embodiment of the present invention.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.It should be noted that technical terms used in the present invention are only used to describe specific embodiments and are not intended to limit the present invention. In addition, technical terms used in the present invention should be interpreted in terms commonly understood by those of ordinary skill in the art to which the present invention belongs, unless specifically defined otherwise in the present invention, and are excessively inclusive. It should not be interpreted in a positive sense or in an excessively reduced sense. In addition, when the technical terms used in the present invention are erroneous technical terms that do not accurately express the spirit of the present invention, they should be replaced with technical terms that those skilled in the art can correctly understand. In addition, general terms used in the present invention should be interpreted as defined in advance or according to context, and should not be interpreted in an excessively reduced sense.

또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.Also, singular expressions used in the present invention include plural expressions unless the context clearly dictates otherwise. Terms such as "consisting of" or "comprising" in the present invention should not be construed as necessarily including all of the various elements or steps described in the invention, and some of the elements or steps may not be included. It should be construed that it may, or may further include additional components or steps.

또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.In addition, terms including ordinal numbers such as first and second used in the present invention may be used to describe components, but components should not be limited by the terms. Terms are used only to distinguish one component from another. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element, without departing from the scope of the present invention.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings, but the same or similar components are given the same reference numerals regardless of reference numerals, and redundant description thereof will be omitted.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.In addition, in describing the present invention, if it is determined that a detailed description of a related known technology may obscure the gist of the present invention, the detailed description will be omitted. In addition, it should be noted that the accompanying drawings are only for easily understanding the spirit of the present invention, and should not be construed as limiting the spirit of the present invention by the accompanying drawings.

도 1은 본 발명의 실시예에 따른 입출입 관리 장치(100)의 구성을 나타낸 블록도이다.1 is a block diagram showing the configuration of an access control device 100 according to an embodiment of the present invention.

도 1에 도시한 바와 같이, 입출입 관리 장치(100)는 카메라부(110), 통신부(120), 저장부(130), 표시부(140), 음성 출력부(150) 및 제어부(160)로 구성된다. 도 1에 도시된 입출입 관리 장치(100)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 입출입 관리 장치(100)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 입출입 관리 장치(100)가 구현될 수도 있다.As shown in FIG. 1, the access control device 100 is composed of a camera unit 110, a communication unit 120, a storage unit 130, a display unit 140, an audio output unit 150, and a control unit 160. do. Not all of the components of the access control device 100 shown in FIG. 1 are essential components, and the access control device 100 may be implemented with more components than those shown in FIG. The access control device 100 may also be implemented by components.

상기 입출입 관리 장치(100)는 스마트폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 폴더블 단말기(Foldable Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말기, 텔레매틱스(Telematics) 단말기, 내비게이션(Navigation) 단말기, 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 슬레이트 PC(Slate PC), 태블릿 PC(Tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display) 등 포함), 와이브로(Wibro) 단말기, IPTV(Internet Protocol Television) 단말기, 스마트 TV, 디지털방송용 단말기, AVN(Audio Video Navigation) 단말기, A/V(Audio/Video) 시스템, 플렉시블 단말기(Flexible Terminal), 디지털 사이니지 장치, 출입 게이트 등과 같은 다양한 단말기에 적용될 수 있다.The access management device 100 includes a smart phone, a portable terminal, a mobile terminal, a foldable terminal, a personal digital assistant (PDA), a PMP ( Portable Multimedia Player terminal, telematics terminal, navigation terminal, personal computer, notebook computer, slate PC, tablet PC, ultrabook, wearable device (including wearable devices, for example, watch-type terminals (Smartwatch), glass-type terminals (Smart Glass), HMD (Head Mounted Display), etc.), Wibro terminals, IPTV (Internet Protocol Television) terminals, smart TVs, It can be applied to various terminals such as digital broadcasting terminals, AVN (Audio Video Navigation) terminals, A/V (Audio/Video) systems, flexible terminals, digital signage devices, and entrance gates.

상기 카메라부(또는 촬영부)(110)는 상기 입출입 관리 장치(100)의 일측에 배치(또는 구성/형성)한다.The camera unit (or photographing unit) 110 is disposed (or configured/formed) on one side of the access management device 100 .

또한, 상기 카메라부(110)는 상기 입출입 관리 장치(100)의 전면, 상기 입출입 관리 장치(100)의 후면, 상기 입출입 관리 장치(100)의 측면 등을 포함하는 전면을 촬영할 수 있도록 하나 이상의 이미지 센서(카메라 모듈 또는 카메라)로 구성한다. 이때, 상기 카메라부(110)는 360도 전방향에 대한 영상 정보를 획득할 수 있는 스테레오 카메라로 구성할 수도 있다.In addition, the camera unit 110 may capture one or more images of the front side of the access control device 100, including the front side of the access control device 100, the back side of the access control device 100, and the like. It consists of a sensor (camera module or camera). At this time, the camera unit 110 may be configured as a stereo camera capable of acquiring image information for all directions of 360 degrees.

또한, 상기 카메라부(110)는 상기 입출입 관리 장치(100)의 전면/후면/측면에 위치한 하나 이상의 객체를 포함하는 영상 정보를 획득(또는 촬영)한다.In addition, the camera unit 110 acquires (or captures) image information including one or more objects located on the front/rear/side of the access control device 100 .

즉, 상기 카메라부(110)는 영상 통화 모드, 촬영 모드, 영상회의 모드 등에서 이미지 센서(카메라 모듈 또는 카메라)에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 즉, 코덱(CODEC)에 따라 상기 이미지 센서에 의해 얻어지는 해당 화상 데이터들을 각 규격에 맞도록 인코딩/디코딩한다. 일 예로, 상기 카메라부(110)는 객체(또는 피사체)를 촬영하고, 그 촬영된 영상(피사체 영상)에 대응하는 비디오 신호를 출력한다.That is, the camera unit 110 processes an image frame such as a still image or a moving image obtained by an image sensor (camera module or camera) in a video call mode, a photographing mode, a video conference mode, or the like. That is, corresponding image data obtained by the image sensor is encoded/decoded according to a codec (CODEC) to conform to each standard. For example, the camera unit 110 captures an object (or subject) and outputs a video signal corresponding to the captured image (subject image).

또한, 상기 카메라부(110)에서 처리된 화상 프레임(또는 영상 정보)은 디지털 비디오 레코더(Digital video recorder: DVR)에 저장되거나, 상기 저장부(130)에 저장되거나, 상기 통신부(120)를 통해 외부 서버 등에 전송될 수 있다.In addition, the image frame (or image information) processed by the camera unit 110 is stored in a digital video recorder (DVR), stored in the storage unit 130, or through the communication unit 120. It can be transmitted to an external server or the like.

또한, 상기 카메라부(110)는 가시광 카메라(111), 열화상 카메라(112) 등을 포함한다.In addition, the camera unit 110 includes a visible light camera 111, a thermal imaging camera 112, and the like.

또한, 상기 카메라부(110)는 피사체(또는 객체)로부터 동일한 거리와 각도에서, 상기 피사체를 촬영하여 가시광 영상인 제 1 영상과, 열화상 영상인 제 2 영상을 각각 획득한다. 이때, 상기 카메라부(110)는 입출입 관리 장치(100)의 일측에 구비된 동작 인식 센서(또는 센서부)(미도시)를 통해 상기 피사체가 감지되는 경우, 상기 피사체를 포함하는 상기 제 1 영상 및 상기 제 2 영상을 획득할 수 있다. 여기서, 상기 동작 인식 센서(Motion Recognition Sensor)는 물체(또는 피사체/객체)의 움직임이나 위치를 인식하는 센서, 지자기 센서(Geomagnetism Sensor), 가속도 센서(Acceleration Sensor), 자이로 센서(Gyro Sensor), 관성 센서(Inertial Sensor), 고도계(Altimeter), 진동 센서 등의 센서를 포함하며, 동작 인식에 관련된 센서들이 추가로 포함될 수 있다.In addition, the camera unit 110 captures the subject (or object) at the same distance and angle to obtain a first image, which is a visible light image, and a second image, which is a thermal image, respectively. At this time, when the camera unit 110 detects the subject through a motion recognition sensor (or sensor unit) (not shown) provided on one side of the access control device 100, the first image including the subject And the second image may be acquired. Here, the motion recognition sensor is a sensor for recognizing the movement or position of an object (or subject/object), a geomagnetism sensor, an acceleration sensor, a gyro sensor, an inertial It includes sensors such as an inertial sensor, an altimeter, and a vibration sensor, and sensors related to motion recognition may be additionally included.

상기 가시광 카메라(111)는 가시광선을 이용하여 가시광 영상을 촬영(또는 획득)한다.The visible light camera 111 captures (or acquires) a visible light image using visible light.

또한, 상기 가시광 카메라(111)는 카메라 센서가 육안으로 식별할 수 있는 가시광선(예를 들어 파장 400nm ~ 700nm)을 감지하여 피사체를 컬러로 촬영하는 카메라이다.In addition, the visible light camera 111 is a camera that captures a subject in color by detecting visible light (for example, a wavelength of 400 nm to 700 nm) that can be identified by a camera sensor.

또한, 상기 가시광 카메라(111)는 상기 피사체를 촬영하여, 가시광 영상인 상기 제 1 영상을 획득(또는 촬상)한다.Also, the visible light camera 111 captures (or captures) the first image, which is a visible light image, by photographing the subject.

상기 열화상 카메라(112)는 적외선을 이용하여 열화상 영상을 촬영한다.The thermal imaging camera 112 captures a thermal image using infrared rays.

또한, 상기 열화상 카메라(112)는 적외선 에너지(또는 열)를 비접촉식으로 감지하여, 전기 신호로 변환해 주는 기기이다. 여기서, 상기 전기 신호는 다시 열화상 이미지나 동영상으로 변환되어, 비디오 모니터(미도시)(또는 상기 표시부(1400)를 통해 표시되고, 온도 관련 정보를 산출하는데 활용된다.In addition, the thermal imaging camera 112 is a device that detects infrared energy (or heat) in a non-contact manner and converts it into an electrical signal. Here, the electrical signal is converted into a thermal image or moving image again, displayed on a video monitor (not shown) (or the display unit 1400), and used to calculate temperature-related information.

또한, 상기 열화상 카메라(112)는 상기 피사체를 촬영하여, 열화상 영상인 상기 제 2 영상을 획득한다.In addition, the thermal imaging camera 112 acquires the second image, which is a thermal image, by photographing the subject.

이때, 상기 가시광 카메라(111)와 상기 열화상 카메라(112)는 상기 피사체로부터 동일한 거리와 각도를 유지해야 해당 피사체에서의 안면 영역 인식의 정확도를 높일 수 있으므로, 서로 최대한 근접 배치하여 구성한다.At this time, the visible light camera 111 and the thermal imaging camera 112 must maintain the same distance and angle from the subject to increase the accuracy of face region recognition in the subject, so they are configured to be disposed as close to each other as possible.

또한, 상기 카메라부(110)(또는 상기 가시광 카메라(111))는 상기 제어부(160)의 제어에 의해, 사용자(또는 사용자가 소지한 단말)가 제공하는 바코드 또는 QR 코드를 포함하는 영상(또는 영상 정보)을 획득(또는 촬영)한다.In addition, the camera unit 110 (or the visible light camera 111) is controlled by the control unit 160, and an image (or image information) is acquired (or photographed).

또한, 상기 카메라부(110)(또는 상기 가시광 카메라(111))는 상기 제어부(160)의 제어에 의해, 상기 입출입 관리 장치(100)와 연동하는 임의의 디바이스(또는 장치/시스템)의 일측에 위치하는(또는 입출입하는) 하나 이상의 피사체를 포함하는 영상을 획득(또는 촬영)한다.In addition, the camera unit 110 (or the visible light camera 111) is placed on one side of any device (or device/system) interworking with the access control device 100 under the control of the control unit 160. An image including one or more subjects located (or moving in and out) is acquired (or photographed).

상기 통신부(120)는 유/무선 통신망을 통해 내부의 임의의 구성 요소 또는 외부의 임의의 적어도 하나의 단말기와 통신 연결한다. 이때, 상기 외부의 임의의 단말기는 서버(미도시), 단말(미도시) 등을 포함할 수 있다. 여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 등이 있으며, 상기 통신부(120)는 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다. 또한, 근거리 통신 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신 기술로는 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.The communication unit 120 communicates with any internal component or at least one external terminal through a wired/wireless communication network. In this case, the external terminal may include a server (not shown), a terminal (not shown), and the like. Here, wireless Internet technologies include Wireless LAN (WLAN), DLNA (Digital Living Network Alliance), Wireless Broadband (Wibro), WiMAX (World Interoperability for Microwave Access: Wimax), HSDPA (High Speed Downlink Packet Access) ), High Speed Uplink Packet Access (HSUPA), IEEE 802.16, Long Term Evolution (LTE), Long Term Evolution-Advanced (LTE-A), Wireless Mobile Broadband Service (WMBS), etc. , and the communication unit 120 transmits and receives data according to at least one wireless Internet technology within a range including Internet technologies not listed above. In addition, short-range communication technologies include Bluetooth, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, and Near Field Communication (NFC). , Ultra Sound Communication (USC), Visible Light Communication (VLC), Wi-Fi, Wi-Fi Direct, and the like may be included. In addition, wired communication technologies may include power line communication (PLC), USB communication, Ethernet, serial communication, optical/coaxial cables, and the like.

또한, 상기 통신부(120)는 유니버설 시리얼 버스(Universal Serial Bus: USB)를 통해 임의의 단말과 정보를 상호 전송할 수 있다.In addition, the communication unit 120 may mutually transmit information with an arbitrary terminal through a Universal Serial Bus (USB).

또한, 상기 통신부(120)는 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 상기 서버, 상기 단말 등과 무선 신호를 송수신한다.In addition, the communication unit 120 complies with technical standards or communication methods for mobile communication (eg, GSM (Global System for Mobile communication), CDMA (Code Division Multi Access), CDMA2000 (Code Division Multi Access 2000), EV -DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A (Long Term Evolution-Advanced), etc.) to transmit and receive radio signals with a base station, the server, and the terminal on a mobile communication network.

또한, 상기 통신부(120)는 상기 제어부(160)의 제어에 의해, 임의의 사용자의 입출입 기록을 관리하는 입출입 관리 명부를 상기 서버 등에 전송한다.In addition, the communication unit 120 transmits an access management list for managing an input/output record of an arbitrary user to the server or the like under the control of the control unit 160 .

상기 저장부(130)는 다양한 사용자 인터페이스(User Interface: UI), 그래픽 사용자 인터페이스(Graphic User Interface: GUI) 등을 저장한다.The storage unit 130 stores various user interfaces (UI), graphic user interfaces (GUI), and the like.

또한, 상기 저장부(130)는 상기 입출입 관리 장치(100)가 동작하는데 필요한 데이터와 프로그램 등을 저장한다.In addition, the storage unit 130 stores data and programs necessary for the access control device 100 to operate.

즉, 상기 저장부(130)는 상기 입출입 관리 장치(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 입출입 관리 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한, 이러한 응용 프로그램 중 적어도 일부는 입출입 관리 장치(100)의 기본적인 기능을 위하여 출고 당시부터 입출입 관리 장치(100) 상에 존재할 수 있다. 한편, 응용 프로그램은 상기 저장부(130)에 저장되고, 입출입 관리 장치(100)에 설치되어, 제어부(160)에 의하여 상기 입출입 관리 장치(100)의 동작(또는 기능)을 수행하도록 구동될 수 있다.That is, the storage unit 130 may store a plurality of application programs (applications) running in the access control device 100, data for operation of the access control device 100, and commands. have. At least some of these application programs may be downloaded from an external server through wireless communication. In addition, at least some of these application programs may exist on the access management device 100 from the time of shipment for basic functions of the access management device 100 . Meanwhile, the application program may be stored in the storage unit 130, installed in the access control device 100, and driven by the control unit 160 to perform the operation (or function) of the access control device 100. have.

또한, 상기 저장부(130)는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory: RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다. 또한, 입출입 관리 장치(100)는 인터넷(internet)상에서 저장부(130)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영하거나, 또는 상기 웹 스토리지와 관련되어 동작할 수도 있다.In addition, the storage unit 130 may be a flash memory type, a hard disk type, a multimedia card micro type, or a card type memory (eg, SD or XD). memory, etc.), magnetic memory, magnetic disk, optical disk, RAM (Random Access Memory: RAM), SRAM (Static Random Access Memory), ROM (Read-Only Memory: ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), It may include at least one storage medium of PROM (Programmable Read-Only Memory). In addition, the access control device 100 may operate a web storage that performs the storage function of the storage unit 130 on the Internet, or may operate in relation to the web storage.

또한, 상기 저장부(130)는 상기 제어부(160)의 제어에 의해 상기 임의의 사용자의 입출입 기록을 관리하는 입출입 관리 명부 등을 저장한다.In addition, the storage unit 130 stores an access management list for managing the access records of the arbitrary user under the control of the control unit 160 .

상기 표시부(또는 디스플레이부)(140)는 상기 제어부(160)의 제어에 의해 상기 저장부(130)에 저장된 사용자 인터페이스 및/또는 그래픽 사용자 인터페이스를 이용하여 다양한 메뉴 화면 등과 같은 다양한 콘텐츠를 표시할 수 있다. 여기서, 상기 표시부(140)에 표시되는 콘텐츠는 다양한 텍스트 또는 이미지 데이터(각종 정보 데이터 포함)와 아이콘, 리스트 메뉴, 콤보 박스 등의 데이터를 포함하는 메뉴 화면 등을 포함한다. 또한, 상기 표시부(140)는 터치 스크린 일 수 있다.The display unit (or display unit) 140 may display various contents such as various menu screens using a user interface and/or a graphic user interface stored in the storage unit 130 under the control of the control unit 160. have. Here, the content displayed on the display unit 140 includes various text or image data (including various information data) and a menu screen including data such as icons, list menus, and combo boxes. Also, the display unit 140 may be a touch screen.

또한, 상기 표시부(140)는 액정 디스플레이(Liquid Crystal Display: LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display: TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode: OLED), 플렉시블 디스플레이(Flexible Display), 3차원 디스플레이(3D Display), 전자잉크 디스플레이(e-ink display), LED(Light Emitting Diode) 중에서 적어도 하나를 포함할 수 있다.In addition, the display unit 140 may include a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display. (Flexible Display), a three-dimensional display (3D Display), e-ink display (e-ink display), it may include at least one of LED (Light Emitting Diode).

또한, 상기 표시부(140)는 상기 제어부(160)의 제어에 의해 뷰파인더 화면을 통해 상기 카메라부(110)에 의해 획득되는 영상 정보를 표시한다.Also, the display unit 140 displays image information acquired by the camera unit 110 through a viewfinder screen under the control of the controller 160 .

또한, 상기 표시부(140)는 상기 제어부(160)의 제어에 의해 상기 임의의 사용자의 입출입 기록을 관리하는 입출입 관리 명부 등을 표시한다.In addition, the display unit 140 displays an access management list for managing the access records of the arbitrary user under the control of the control unit 160 .

상기 음성 출력부(150)는 상기 제어부(160)에 의해 소정 신호 처리된 신호에 포함된 음성 정보를 출력한다. 여기서, 상기 음성 출력부(140)에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.The audio output unit 150 outputs audio information included in the signal subjected to predetermined signal processing by the control unit 160 . Here, the audio output unit 140 may include a receiver, a speaker, a buzzer, and the like.

또한, 상기 음성 출력부(150)는 상기 제어부(160)에 의해 생성된 안내 음성을 출력한다.In addition, the voice output unit 150 outputs a guide voice generated by the control unit 160 .

또한, 상기 음성 출력부(150)는 상기 제어부(160)의 제어에 의해 상기 임의의 사용자의 입출입 기록을 관리하는 입출입 관리 명부 등에 대응하는 음성 정보(또는 음향 효과)를 출력한다.In addition, the audio output unit 150 outputs audio information (or sound effects) corresponding to an access management list for managing the access records of the arbitrary user under the control of the control unit 160 .

상기 제어부(controller, 또는 MCU(microcontroller unit)(160)는 상기 입출입 관리 장치(100)의 전반적인 제어 기능을 실행한다.The controller or microcontroller unit (MCU) 160 executes overall control functions of the access control device 100 .

또한, 상기 제어부(160)는 상기 저장부(130)에 저장된 프로그램 및 데이터를 이용하여 입출입 관리 장치(100)의 전반적인 제어 기능을 실행한다. 상기 제어부(160)는 RAM, ROM, CPU, GPU, 버스를 포함할 수 있으며, RAM, ROM, CPU, GPU 등은 버스를 통해 서로 연결될 수 있다. CPU는 상기 저장부(130)에 액세스하여, 상기 저장부(130)에 저장된 O/S를 이용하여 부팅을 수행할 수 있으며, 상기 저장부(130)에 저장된 각종 프로그램, 콘텐츠, 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.In addition, the control unit 160 executes overall control functions of the access control device 100 using programs and data stored in the storage unit 130 . The controller 160 may include RAM, ROM, CPU, GPU, and a bus, and the RAM, ROM, CPU, and GPU may be connected to each other through a bus. The CPU may access the storage unit 130 and perform booting using the O/S stored in the storage unit 130, and use various programs, contents, data, etc. stored in the storage unit 130. You can perform a variety of actions by doing so.

또한, 상기 제어부(160)는 OpenCV 라이브러리를 이용하여 상기 카메라부(110)로부터 획득된 가시광 영상인 제 1 영상에서 피사체의 안면 영역을 인식한다. 여기서, 상기 OpenCV(Open Source Computer Vision)는 오픈 소스 컴퓨터 비전 라이브러리 중 하나로 크로스플랫폼과 실시간 이미지 프로세싱에 중점을 둔 라이브러리로서, 객체, 얼굴, 행동 인식, 모션 추적 등의 응용 프로그램에서 일반적으로 사용된다. 여기에는 2500개가 넘는 컴퓨터 비전 및 머신러닝 알고리즘을 포함하고 있으며, C++, Python, JAVA, MATLAB 인터페이스를 모두 보유하고 있고, 윈도, 리눅스, 안드로이드, 맥OS와도 호환된다.In addition, the controller 160 recognizes the facial region of the subject in the first image, which is a visible light image obtained from the camera unit 110, by using the OpenCV library. Here, OpenCV (Open Source Computer Vision) is one of the open source computer vision libraries, which focuses on cross-platform and real-time image processing, and is generally used in applications such as object, face, action recognition, and motion tracking. It contains over 2500 computer vision and machine learning algorithms, has C++, Python, JAVA, and MATLAB interfaces, and is compatible with Windows, Linux, Android, and MacOS.

이때, 상기 제어부(160)는 상기 OpenCV 라이브러리를 이용하여 상기 제 1 영상에서 눈 영역을 인식할 수도 있다. 이는 안면 영역의 인식이 되지 않는 경우를 보완하기 위한 과정으로, 상기 OpenCV 라이브러리를 이용한 안면 영역 인식이 10% ~ 20% 정도의 확률로 실패하는 경우가 있어, 상기 제어부(160)는 추가로 눈 영역 인식을 진행(또는 수행)하고, 그 결과를 확장하여 안면 영역을 추정할 수 있다.At this time, the controller 160 may recognize an eye region in the first image using the OpenCV library. This is a process to compensate for the case where the face region is not recognized. In some cases, face region recognition using the OpenCV library fails with a probability of about 10% to 20%, the control unit 160 additionally controls the eye region. Proceed with (or perform) the recognition, and expand the result to estimate the face region.

또한, 상기 제어부(160)는 상기 눈 영역이 인식되면, 상기 인식된 눈 영역에 대해서 정사각형 모양으로 정형화하고, 상기 정형화된 정사각형의 한 변 길이를 기준으로 하여 안면 영역의 가로 길이 및 세로 길이를 추정한다. 여기서, 상기 안면 영역의 가로 길이는 상기 정사각형의 한 변 길이에 미리 설정된 제 1 배수(예를 들어 3배 ~ 5배 중에서 선택되는 정수)를 곱하여 계산(또는 산출)하고, 상기 안면 영역의 세로 길이는 상기 정사각형의 한 변 길이에 미리 설정된 제 2 배수(예를 들어 4배 ~ 7배 중에서 선택되는 다른 정수)를 곱하여 계산(또는 산출)한다. 이때, 상기 제어부(160)는 상기 안면 영역의 가로 길이와 상기 안면 영역의 세로 길이의 비율이 1: (1.2~ 1.7)을 유지(또는 만족/충족)하도록 상기 정사각형 한 변 길이를 근거로 상기 안면 영역의 가로 길이와 세로 길이를 추정(또는 계산)할 수 있다. 여기서, 상기 인식된 피사체의 양쪽 눈 영역에 대한 2개의 정사각형의 한 변 길이가 서로 다른 경우, 상기 제어부(160)는 2개의 정사각형의 한 변 길이의 평균값 또는, 상기 2개의 정사각형의 한 변 길이 중 더 큰 값 또는, 상기 2개의 정사각형의 한 변 길이 중 더 작은 값을 이용하여 상기 안면 영역의 가로 길이와 세로 길이를 추정할 수도 있다.In addition, when the eye region is recognized, the controller 160 standardizes the recognized eye region into a square shape, and estimates the horizontal and vertical lengths of the facial region based on the length of one side of the standardized square. do. Here, the horizontal length of the facial region is calculated (or calculated) by multiplying the length of one side of the square by a preset first multiple (for example, an integer selected from 3 to 5 times), and the vertical length of the facial region is calculated (or calculated) by multiplying the length of one side of the square by a preset second multiple (eg, another integer selected from 4 to 7 times). At this time, the controller 160 controls the facial area based on the length of one side of the square so that the ratio of the horizontal length of the facial area to the vertical length of the facial area is 1: (1.2 to 1.7) maintained (or satisfied/satisfied). It is possible to estimate (or calculate) the horizontal and vertical lengths of a region. Here, when the side lengths of the two squares for both eye regions of the recognized subject are different from each other, the controller 160 selects an average value of the side lengths of the two squares or one of the side lengths of the two squares. The horizontal length and the vertical length of the facial region may be estimated using a larger value or a smaller value among side lengths of the two squares.

예를 들어, 도 2에 도시된 바와 같이, 상기 제어부(160)는 상기 OpenCV 라이브러리를 이용하여 상기 제 1 영상에 포함된 피사체(200)에 대해서 눈 영역(210)을 인식한다.For example, as shown in FIG. 2 , the controller 160 recognizes the eye region 210 of the subject 200 included in the first image by using the OpenCV library.

또한, 상기 눈 영역(210)이 인식되는 경우, 상기 제어부(160)는 상기 인식된 눈 영역(210)에 대해서 정사각형 모양으로 정형화한다.Also, when the eye region 210 is recognized, the controller 160 standardizes the recognized eye region 210 into a square shape.

또한, 상기 제어부(160)는 상기 정형화한 정사각형 모양에 대해서 상기 정사각형의 한 변 길이에 상기 제 1 배수 중에서 선택된 제 1 값(예를 들어 4배)을 곱하여 안면 영역(220)의 가로 길이를 계산하고, 상기 정사각형의 한 변 길이에 상기 제 2 배수 중에서 선택된 제 2 값(예를 들어 5.5배)을 곱하여 안면 영역(220)의 세로 길이를 계산한다. 이때, 상기 안면 영역(220)의 가로 길이와 세로 길이의 비율은 4:5.5로 1 : 1.375의 비율이다.In addition, the control unit 160 calculates the horizontal length of the facial region 220 by multiplying the length of one side of the square by a first value (for example, 4 times) selected from among the first multiples with respect to the standardized square shape. Then, the vertical length of the facial region 220 is calculated by multiplying the length of one side of the square by a second value (eg, 5.5 times) selected from among the second multiples. At this time, the ratio of the horizontal length to the vertical length of the facial region 220 is 4:5.5, which is 1:1.375.

또한, 상기 제어부(160)는 상기 인식된 제 1 영상에서의 피사체의 안면 영역을 상기 획득된 제 2 영상에 오버레이(또는 중첩)한다. 이때, 상기 획득된 제 1 영상과 제 2 영상은 동일한 가로 및 세로 길이로 구성되어, 상기 제어부(160)는 영상에 대한 크기(또는 사이즈) 재설정없이 용이하게 상기 인식된 제 1 영상에서의 피사체의 안면 영역을 상기 제 2 영상에 오버레이(또는 중첩)할 수 있다. 또한, 상기 제 1 영상과 상기 제 2 영상의 크기가 서로 다른 경우, 상기 제어부(160)는 상기 제 2 영상의 크기(예를 들어 가로*세로)를 상기 제 1 영상의 크기에 대응하도록 조정(또는 그 반대의 경우도 포함)한 후, 상기 인식된 제 1 영상에서의 피사체의 안면 영역을 상기 획득된 제 2 영상에 오버레이(또는 중첩)할 수도 있다.Also, the controller 160 overlays (or overlaps) the facial region of the subject in the recognized first image to the obtained second image. At this time, since the obtained first and second images have the same horizontal and vertical lengths, the control unit 160 can easily determine the size of the subject in the recognized first image without resetting the size (or size) of the image. A facial area may be overlaid (or superimposed) on the second image. In addition, when the sizes of the first image and the second image are different from each other, the controller 160 adjusts the size (for example, width * height) of the second image to correspond to the size of the first image ( Or vice versa), the face region of the subject in the recognized first image may be overlaid (or superimposed) on the acquired second image.

또한, 상기 제어부(160)는 상기 제 2 영상 중에서 상기 제 1 영상에서의 피사체의 안면 영역에 의해 오버레이된 영역(또는 중첩된 영역)을 상기 제 2 영상에서의 피사체의 안면 영역으로 선택(또는 설정)한다.In addition, the controller 160 selects (or sets) an area (or overlapped area) overlaid by the facial area of the subject in the first image from among the second image as the facial area of the subject in the second image. )do.

이와 같이, 상기 제어부(160)는 열 데이터에 대한 정보를 포함하는 상기 제 2 영상 내에서 피사체의 안면 영역을 확인(또는 인식/검출)하기 위해서, 상기 가시광 영상인 제 1 영상에서 피사체의 안면 영역을 인식(또는 획득)하고, 인식된(또는 획득된) 제 1 영상에서의 피사체의 안면 영역을 상기 제 2 영상에 오버레이(또는 중첩)하여, 오버레이된 영역(또는 중첩된 영역)을 상기 제 2 영상에서의 피사체의 안면 영역으로 선택할 수 있다.In this way, the controller 160 is configured to identify (or recognize/detect) the facial region of the subject in the first image, which is the visible light image, in the second image including information on the thermal data. Recognizes (or acquires), overlays (or overlaps) the face region of the subject in the first image recognized (or acquired) to the second image, and the overlaid region (or overlapped region) is the second image. You can select the facial area of the subject in the video.

또한, 상기 제어부(160)는 상기 제 2 영상에서의 피사체의 안면 영역 내의 복수의 픽셀을 분석하여, 픽셀별로 온도 데이터(또는 픽셀별 온도 데이터)를 각각 획득한다.Also, the controller 160 analyzes a plurality of pixels in the facial region of the subject in the second image to obtain temperature data (or temperature data per pixel) for each pixel.

즉, 상기 제어부(160)는 해당 피사체의 체온을 측정하기 위해서, 상기 열화상 카메라(112)를 통해 획득된 제 2 영상 전체를 스캔하여 온도 데이터를 검출하는 대신에, 상기 제 2 영상에서의 피사체의 안면 영역만을 스캔하여, 해당 제 2 영상에서의 피사체의 안면 영역 내의 복수의 픽셀에 대한 픽셀별 온도 데이터를 검출함으로써, 데이터 처리 속도가 향상되고, PC, 스마트 폰 등 낮은 사양의 장비로도 동작 수행이 가능할 수 있다.That is, in order to measure the body temperature of the subject, the control unit 160 scans the entire second image acquired through the thermal imaging camera 112 and detects temperature data, instead of detecting temperature data of the subject in the second image. By scanning only the facial area of the second image and detecting temperature data per pixel for a plurality of pixels within the facial area of the subject in the second image, the data processing speed is improved, and it operates even with low-spec equipment such as PCs and smart phones. may be possible to perform.

또한, 상기 제어부(160)는 상기 획득된 픽셀별 온도 데이터를 근거로 해당 제 2 영상(또는 제 1 영상)에 포함된 피사체의 체온을 확인(또는 판단/결정)한다. 이때, 상기 제어부(160)는 상기 획득된 픽셀별 온도 데이터의 평균값을 상기 피사체의 체온으로 확인(또는 판단/결정)할 수 있다.In addition, the controller 160 checks (or determines/determines) the body temperature of the subject included in the second image (or first image) based on the acquired temperature data for each pixel. At this time, the controller 160 may check (or determine/determine) the average value of the obtained temperature data per pixel as the body temperature of the subject.

또한, 상기 제어부(160)는 상기 확인된(또는 판단된/결정된) 해당 피사체의 체온을 상기 표시부(140) 및/또는 상기 음성 출력부(150)를 통해 출력한다.In addition, the controller 160 outputs the confirmed (or determined/determined) body temperature of the corresponding subject through the display unit 140 and/or the audio output unit 150.

또한, 상기 제어부(160)는 상기 확인된(또는 판단된/결정된) 피사체의 체온이 미리 설정된 제 1 설정 온도(예를 들어 섭씨 37°~ 38° 중에서 선택된 온도)를 초과하는지 여부를 확인한다. 이때, 상기 제어부(160)는 상기 확인된(또는 판단된/결정된) 피사체의 체온이 미리 설정된 제 1 설정 온도 범위(예를 들어 섭씨 37°~ 38°) 내에 존재하는지 여부를 확인할 수도 있다.In addition, the controller 160 checks whether the checked (or determined/determined) body temperature of the subject exceeds a first preset temperature (for example, a temperature selected from 37° to 38° Celsius). In this case, the controller 160 may check whether the body temperature of the identified (or determined/determined) subject is within a first preset temperature range (eg, 37° to 38° Celsius).

상기 확인 결과, 상기 확인된 피사체의 체온이 상기 제 1 설정 온도를 초과하는 경우, 상기 제어부(160)는 경고등, 경고음 등의 경보(또는 알람)를 상기 표시부(140) 및/또는 상기 음성 출력부(150)를 통해 출력한다. 이때, 상기 확인된 피사체의 체온이 미리 설정된 제 1 설정 온도 범위(예를 들어 섭씨 37°~ 38°) 내에 존재하지 않은 경우(또는 벗어난 경우), 상기 제어부(160)는 경고등, 경고음 등의 경보(또는 알람)를 상기 표시부(140) 및/또는 상기 음성 출력부(150)를 통해 출력할 수도 있다.As a result of the check, when the checked body temperature of the subject exceeds the first set temperature, the control unit 160 sends an alarm (or alarm) such as a warning light or a warning sound to the display unit 140 and/or the audio output unit. Output through (150). At this time, if the body temperature of the confirmed subject does not exist (or is outside) within the first preset temperature range (eg, 37 ° to 38 ° Celsius), the control unit 160 provides an alarm such as a warning light or a warning sound. (or an alarm) may be output through the display unit 140 and/or the audio output unit 150.

또한, 상기 확인 결과, 상기 확인된 피사체의 체온이 상기 제 1 설정 온도를 초과하지 않는 경우, 상기 제어부(160)는 해당 피사체의 체온이 정상 범위 내에 존재함을 나타내는 정보를 상기 표시부(140) 및/또는 상기 음성 출력부(150)를 통해 출력한다. 이때, 상기 확인된 피사체의 체온이 미리 설정된 제 1 설정 온도 범위(예를 들어 섭씨 37°~ 38°) 내에 존재하는 경우, 상기 제어부(160)는 해당 피사체의 체온이 정상 범위 내에 존재함을 나타내는 정보를 상기 표시부(140) 및/또는 상기 음성 출력부(150)를 통해 출력할 수도 있다.In addition, as a result of the check, when the checked body temperature of the subject does not exceed the first set temperature, the controller 160 transmits information indicating that the body temperature of the subject is within a normal range to the display unit 140 and / or output through the audio output unit 150. At this time, when the body temperature of the identified subject is within a first preset temperature range (eg, 37 ° to 38 ° Celsius), the controller 160 indicates that the body temperature of the subject is within a normal range Information may be output through the display unit 140 and/or the audio output unit 150 .

또한, 상기 제어부(160)는 상기 제 2 영상에서의 피사체의 안면 영역에 포함된 복수의 픽셀 중에서 미리 설정된 제 2 설정 온도(예를 들어 섭씨 30° ~ 35° 중에서 선택된 온도) 이상인 픽셀의 개수(또는 픽셀 수)를 카운트한다.In addition, the controller 160 determines the number of pixels (for example, a temperature selected from 30 ° to 35 ° Celsius) or higher among a plurality of pixels included in the facial region of the subject in the second image. or number of pixels).

또한, 상기 제어부(160)는 상기 카운트된 픽셀의 개수를 근거로 해당 카운트된 픽셀의 개수가 전체 안면 영역에서 차지하는 비율(또는 비중)에 따라 피사체의 마스크 착용 여부를 판단한다. 이는 마스크를 쓰면 표면 온도가 낮게 측정되기 때문에, 픽셀의 온도가 상기 제 2 설정 온도 이상인 부분은 노출된 피부로 판단할 수 있기 때문이다.In addition, the controller 160 determines whether the subject is wearing a mask according to the ratio (or specific gravity) of the counted number of pixels to the entire facial area based on the counted number of pixels. This is because, since the surface temperature is measured low when the mask is worn, a portion having a pixel temperature equal to or higher than the second set temperature can be determined as exposed skin.

즉, 상기 제어부(160)는 상기 제 2 영상에서의 피사체의 안면 영역에서 상기 카운트된 픽셀의 개수가 차지하는 비율을 계산한다.That is, the controller 160 calculates a ratio occupied by the counted number of pixels in the facial area of the subject in the second image.

또한, 상기 제어부(160)는 상기 계산된 비율이 미리 설정된 기준 값(예를 들어 25% ~ 40% 중에서 선택된 값)을 초과하는지 여부를 확인한다.In addition, the controller 160 checks whether the calculated ratio exceeds a preset reference value (for example, a value selected from 25% to 40%).

상기 확인 결과, 상기 계산된 비율이 상기 기준값을 초과하지 않는 경우, 상기 제어부(160)는 상기 피사체가 마스크를 착용한 상태로 판단한다.As a result of the check, if the calculated ratio does not exceed the reference value, the controller 160 determines that the subject is wearing a mask.

또한, 상기 확인 결과, 상기 계산된 비율이 상기 기준값을 초과하는 경우, 상기 제어부(160)는 상기 피사체가 마스크를 착용하지 않은 상태로 판단한다.Also, as a result of the check, when the calculated ratio exceeds the reference value, the controller 160 determines that the subject is not wearing a mask.

또한, 상기 제어부(160)는 상기 판단되는 해당 피사체의 마스크 착용 여부에 대한 정보를 상기 표시부(140) 및/또는 상기 음성 출력부(150)를 통해 출력한다. 이때, 상기 피사체가 마스크를 착용하지 않은 상태로 확인되는 경우, 상기 제어부(160)는 경고등, 경고음 등의 경보를 상기 표시부(140) 및/또는 상기 음성 출력부(150)를 통해 출력할 수도 있다.In addition, the control unit 160 outputs information on whether or not the determined subject wears a mask through the display unit 140 and/or the audio output unit 150 . At this time, when it is confirmed that the subject is not wearing a mask, the control unit 160 may output an alarm such as a warning light or a warning sound through the display unit 140 and/or the audio output unit 150. .

이와 같이, 종래의 이미지 분석 시 CNN(Convolutional Neural Network) 등을 이용한 딥러닝 모델의 경우, 수많은 마스크 사진의 데이터베이스와 피사체의 영상을 비교하는 방식으로 많은 양의 데이터 처리에 따른 부하 증가 및 속도 저하의 문제가 존재한다. 이에 반하여, 본 발명은 픽셀의 온도 데이터를 이용하여 마스크 착용 여부를 판단하므로 더욱 빠른 처리가 가능하다. 또한, 종래의 이미지 매칭 프로세싱 방법을 통한 마스크 착용 여부 판단 결과는 보통 80% ~ 90% 정도의 성공률을 나타내는 것과 비교하여, 본 발명의 경우 99%에 가까운 성공률을 나타낸다.In this way, in the case of a deep learning model using a CNN (Convolutional Neural Network), etc. during image analysis in the prior art, a database of numerous mask photos and an image of a subject are compared, thereby increasing the load and reducing the speed due to processing a large amount of data. A problem exists. On the contrary, since the present invention determines whether or not a mask is worn using pixel temperature data, faster processing is possible. In addition, the result of determining whether or not to wear a mask through the conventional image matching processing method shows a success rate close to 99% in the case of the present invention, compared to a success rate of about 80% to 90%.

본 발명의 실시예에서는, 우선적으로 상기 피사체와 관련한 체온을 확인 및 표시하고 난 다음에, 상기 피사체의 마스크 착용 여부에 대해 확인 및 결과를 표시하는 것을 설명하고 있으나, 이에 한정되는 것은 아니며, 상기 제어부(160)는 상기 피사체와 관련해서 체온 확인 및 마스크 착용 여부 확인을 병렬적으로 수행하고, 수행 결과에 따른 해당 피사체의 체온, 해당 피사체의 마스크 착용 여부 정보 등을 동시에(또는 함께) 출력할 수도 있다.In the embodiment of the present invention, first checking and displaying the body temperature related to the subject, and then checking whether or not the subject wears a mask and displaying the result, but is not limited thereto, and the control unit In 160, the body temperature check and whether or not a mask is worn with respect to the subject are performed in parallel, and the body temperature of the subject and information on whether or not the subject is wearing a mask may be simultaneously (or together) output according to the performance results. .

이에 따라, 상기 제어부(160)는 상기 듀얼 카메라를 이용하여 사용자의 체온을 확인하는 동작 수행 시, 안면 영역을 획득하여 온도를 판단함으로써, 종래의 전체 영상을 스캔하는 방식과 비교하여 신속성과 정확성을 높일 수 있다.Accordingly, when performing an operation of checking the user's body temperature using the dual camera, the controller 160 acquires the facial region and determines the temperature, thereby improving speed and accuracy compared to the conventional method of scanning the entire image. can be raised

또한, 상기 제어부(160)는 듀얼 카메라를 이용하여 사용자의 마스크 착용 여부를 확인하는 동작 수행 시, 종래의 딥러닝, 이미지 매칭 시스템 등과 비교하여 신속성과 정확성을 높일 수 있다.In addition, the controller 160 can increase speed and accuracy compared to conventional deep learning and image matching systems when performing an operation of checking whether a user is wearing a mask using a dual camera.

이와 같이, 마스크 착용 확인 및 체온 확인 작업이 실시간으로 빠르게 가능하여, 다중 이용시설에서 다수의 출입자 중 체온이 높은 유증상자를 선별할 수 있고, 마스크 미착용자에 대한 통제가 가능할 수 있다.In this way, mask wearing confirmation and body temperature confirmation operations can be quickly performed in real time, and it is possible to select symptomatic persons with high body temperatures among many visitors in multi-use facilities, and to control those who do not wear masks.

또한, 많은 양의 데이터 처리 과정이 필요하지 않으므로, 고사양의 장비가 요구되지 않아서, PC는 물론 모바일 디바이스에서도 구현이 가능하다.In addition, since a large amount of data processing is not required, high-end equipment is not required, so it can be implemented on a PC as well as a mobile device.

또한, 상기 제어부(160)는 방명록 기재 요청(또는 전자 출입 명부 작성 요청)을 위한 안내 화면을 상기 표시부(140)에 표시한다. 이때, 상기 제어부(160)는 상기 피사체의 체온, 마스크 착용 여부에 대한 정보 등이 상기 표시부(140)에 표시된 후, 미리 설정된 시간(예를 들어 1초, 2초 등 포함)이 지난 후에, 상기 안내 화면을 표시할 수 있다. 여기서, 상기 안내 화면은 사용자의 전화번호나 개인 안심 번호의 입력을 요청하거나, 사용자가 소지한 단말(미도시)에 미리 설치된 앱을 통해 생성된 바코드나 QR 코드의 인식을 요청하기 위한 정보 등을 포함한다. 이때, 상기 개인 안심 번호(또는 고유 코드)는 사용자의 출입 기록 관리를 위해서 개인정보 보호위원회(미도시)에 의해서 지정된 기관(예를 들어 카카오, 네이버, 패스(PASS) 등 포함)으로부터 미리 발급된 코드(예를 들어 12가34나 등 포함)일 수 있다.In addition, the control unit 160 displays a guide screen for requesting entry into the guest book (or requesting creation of an electronic access list) on the display unit 140 . At this time, the control unit 160, after a predetermined time (eg, including 1 second, 2 seconds, etc.) has elapsed after the body temperature of the subject, information on whether or not to wear a mask, etc. are displayed on the display unit 140, the A guide screen can be displayed. Here, the guide screen displays information for requesting input of the user's phone number or personal safety number, or requesting recognition of a barcode or QR code generated through an app pre-installed on a terminal (not shown) possessed by the user. include At this time, the personal safety number (or unique code) is issued in advance from an institution (including, for example, Kakao, Naver, PASS, etc.) designated by the Personal Information Protection Commission (not shown) to manage the user's access record. It can be a code (including eg 12, 34, etc.).

또한, 상기 제어부(160)는 상기 표시부(140) 또는 상기 음성 출력부(150)를 통해 사용자 입력에 따라 전화번호 또는 개인 안심 번호를 수신하거나 또는, 상기 카메라부(110)를 통해 사용자(또는 상기 단말)가 제공하는 바코드 또는 QR 코드를 스캔하여 바코드 정보 또는 QR 코드 정보를 수신한다. 이때, 상기 제어부(160)는 상기 입출입 관리 장치(100)에 구성된 입력부(미도시)를 통해 상기 전화번호, 상기 개인 안심 번호, 상기 바코드 인식에 따른 바코드 정보, 상기 QR 코드 인식에 따른 QR 코드 정보 등을 수신할 수도 있다. 여기서, 해당 사용자가 상기 입출입 관리 장치(100)가 적용된 출입 게이트(미도시)와 관련해서 사전에 사용자로 등록된 상태인 경우, 해당 사용자는 상기 안내 화면을 통해 사용자 입력에 따라 전화번호 또는 개인 안심 번호를 입력하거나 또는, 해당 사용자가 소지한 단말을 이용해서 개인 안심 번호 등을 포함하는 바코드나 QR 코드를 상기 카메라부(110)를 통해 인식할 수 있다. 또한, 해당 사용자가 상기 출입 게이트와 관련해서 사전에 사용자로 등록된 상태가 아닌 경우, 해당 사용자는 상기 안내 화면을 통해 사용자 입력에 따라 전화번호 또는 개인 안심 번호를 입력할 수 있다.In addition, the controller 160 receives a phone number or personal safety number according to a user input through the display unit 140 or the audio output unit 150, or the user (or the Terminal) scans a barcode or QR code provided to receive barcode information or QR code information. At this time, the control unit 160, through an input unit (not shown) configured in the access management device 100, the phone number, the personal safety number, barcode information according to the barcode recognition, QR code information according to the QR code recognition etc. may be received. Here, if the corresponding user is registered as a user in advance in relation to an access gate (not shown) to which the access control device 100 is applied, the corresponding user can enter a phone number or personal safety through the guidance screen according to user input. A barcode or QR code including a personal safety number may be recognized through the camera unit 110 by inputting a number or using a terminal possessed by the corresponding user. In addition, if the corresponding user is not registered as a user in advance in relation to the entrance gate, the corresponding user may input a phone number or personal safety number through the guidance screen according to the user's input.

즉, 사용자 입력에 따라 전화번호 또는 개인 안심 번호를 수신하는 경우, 상기 제어부(160)는 상기 수신된 전화번호 또는 개인 안심 번호를 확인한다.That is, when a phone number or personal safety number is received according to a user input, the controller 160 checks the received phone number or personal safety number.

또한, 상기 제어부(160)는 상기 카메라부(110)를 통해 상기 사용자가 제공하는 바코드, QR 코드, 개인 안심 번호 등을 포함하는 영상 정보를 획득한다. 이때, 상기 제어부(160)는 해당 입출입 관리 장치(100)에 미리 설치된 전용 앱을 통해 상기 사용자가 제공하는 이미지에 포함된 바코드, QR 코드, 개인 안심 번호 등을 포함하는 상기 영상 정보를 획득할 수도 있다. 여기서, 상기 전용 앱은 범용적으로 사용되고 있는 네이버 앱, 카카오 앱 등을 포함하며, 해당 앱에는 스캔 기능(또는 QR 코드 인식/스캔 기능) 등이 포함된 상태일 수 있다.In addition, the control unit 160 obtains image information including a barcode, QR code, personal safety number, etc. provided by the user through the camera unit 110 . At this time, the control unit 160 may obtain the image information including barcodes, QR codes, personal safety numbers, etc. included in the image provided by the user through a dedicated app pre-installed in the corresponding access management device 100. have. Here, the dedicated app includes Naver App, Kakao App, etc., which are used universally, and the corresponding app may include a scan function (or a QR code recognition/scan function) and the like.

이와 같이, 상기 바코드, 상기 QR 코드, 상기 개인 안심 번호 등을 포함하는 영상 정보의 획득은 상기 카메라부(110)를 통해 수행되거나 또는, 해당 입출입 관리 장치(100)에 미리 설치된 전용 앱의 스캔 기능을 통해 수행될 수 있다.In this way, the acquisition of image information including the barcode, the QR code, and the personal safety number is performed through the camera unit 110 or a scan function of a dedicated app pre-installed in the corresponding access control device 100. can be performed through

또한, 상기 제어부(160)는 상기 획득된 영상 정보에 포함된 바코드, QR 코드, 개인 안심 번호 등을 인식(또는 확인)한다.In addition, the controller 160 recognizes (or confirms) a barcode, QR code, personal safety number, etc. included in the obtained image information.

또한, 상기 제어부(160)는 상기 수신된 정보(예를 들어 전화번호, 개인 안심 번호, 바코드 정보, QR 코드 정보 등 포함)를 근거로 해당 사용자(또는 해당 피사체)가 미리 등록된 사용자인지 여부를 판단(또는 확인)한다.In addition, the control unit 160 determines whether the user (or the subject) is a pre-registered user based on the received information (including, for example, phone number, personal safety number, barcode information, QR code information, etc.) judge (or confirm)

즉, 상기 제어부(160)는 상기 수신된 정보와 관련한 사용자가 미리 등록된 사용자인지를 판단하기 위해서, 상기 수신된 정보가 해당 저장부(130)(또는 해당 입출입 관리 장치(100)와 연동하는 데이터베이스(미도시))에 미리 저장된 출입 등록 정보에 포함된 상태인지 여부를 판단한다.That is, in order to determine whether the user related to the received information is a pre-registered user, the control unit 160 stores the received information in a corresponding storage unit 130 (or a database that interworks with the corresponding access management device 100). (not shown)) determines whether the state is included in access registration information stored in advance.

상기 판단 결과(또는 상기 확인 결과), 상기 수신된 정보가 해당 저장부(130)(또는 상기 데이터베이스)에 미리 저장된 출입 등록 정보에 포함되지 않은 경우(또는 상기 수신된 정보에 대응하는 사용자가 미리 등록된 사용자가 아닌 경우), 상기 제어부(160)는 해당 입출입 관리 장치(100)가 구성된 상기 출입 게이트에서의 해당 피사체에 대응하는 사용자의 출입 날짜 및 시각, 출입 시점의 온도(또는 피사체의 체온), 출입 사진(예를 들어 해당 출입 게이트의 일측에 구성된 카메라부(110)를 통해 획득된 영상/영상정보 등 포함), 수신된 정보(예를 들어 전화번호, 개인 안심 번호 등 포함) 등을 포함하는 입출입 관리 명부를 생성한다. 이때, 상기 제어부(160)는 상기 카메라부(110)를 통해 해당 사용자와 관련한 출입 사진을 획득할 수도 있고, 해당 입출입 관리 장치(100)와 연동하며 해당 출입 게이트를 포함하는 영역을 촬영하는 CCTV 카메라(미도시)를 통해 획득된 출입 사진을 제공받을 수도 있다. 여기서, 상기 CCTV 카메라는 상기 출입 게이트가 위치한 주변에 설치(또는 배치)하며, 상기 출입 게이트를 통과하는 사용자(또는 피사체)를 포함하는 영상을 획득(또는 촬영)하고, 상기 획득된 영상을 상기 입출입 관리 장치(100)에 전송할 수 있다. 또한, 상기 제어부(160)는 등록된 사용자의 해당 출입 게이트 통과에 따라 발생하는 복수의 이벤트 정보를 상기 생성된 입출입 관리 명부에 업데이트(또는 누적 관리)할 수 있다. 여기서, 상기 이벤트 정보는 사용자의 출입 날짜 및 시각, 출입 시점의 온도, 출입 사진, 수신된 정보(예를 들어 전화번호, 개인 안심 번호 등 포함) 등을 포함한다.As a result of the determination (or the result of the confirmation), when the received information is not included in the access registration information previously stored in the corresponding storage unit 130 (or the database) (or the user corresponding to the received information is registered in advance) user), the control unit 160 controls the access date and time of the user corresponding to the subject at the access gate where the access control device 100 is configured, the temperature at the time of access (or body temperature of the subject), Including access photos (for example, including video / video information obtained through the camera unit 110 configured on one side of the corresponding entrance gate), received information (including phone numbers, personal safety numbers, etc.), etc. Creates an entry/exit management list. At this time, the control unit 160 may acquire an access photo related to the corresponding user through the camera unit 110, and a CCTV camera that interlocks with the corresponding access control device 100 and captures an area including the corresponding access gate. (not shown) may be provided with an acquired access photo. Here, the CCTV camera is installed (or placed) around the entrance gate, acquires (or shoots) an image including a user (or subject) passing through the entrance gate, and transmits the acquired image to the entry/exit. It can be transmitted to the management device 100. In addition, the control unit 160 may update (or cumulatively manage) a plurality of event information generated when a registered user passes through a corresponding access gate in the generated access/exit management list. Here, the event information includes the user's access date and time, temperature at the time of access, access photos, received information (eg, phone number, personal security number, etc.), and the like.

즉, 상기 판단 결과(또는 상기 확인 결과), 해당 사용자가 입력한 전화번호 또는 개인 안심 번호가 해당 저장부(130)(또는 상기 데이터베이스)에 미리 저장된 출입 등록 정보에 포함되지 않은 경우(또는 상기 수신된 정보에 대응하는 사용자가 미리 등록된 사용자가 아닌 경우), 상기 제어부(160)는 해당 사용자가 미리 등록된 사용자가 아닌 것으로 판단하고, 해당 입출입 관리 장치(100)가 구성된 상기 출입 게이트에서의 해당 피사체에 대응하는 사용자의 출입 날짜 및 시각, 출입 시점의 온도(또는 피사체의 체온), 출입 사진, 수신된 정보(예를 들어 전화번호, 개인 안심 번호 등 포함) 등을 포함하는 상기 입출입 관리 명부를 생성한다.That is, when the determination result (or the confirmation result) and the phone number or personal safety number entered by the corresponding user are not included in the access registration information pre-stored in the corresponding storage unit 130 (or the database) (or the received If the user corresponding to the registered information is not a pre-registered user), the control unit 160 determines that the user is not a pre-registered user, and the corresponding access control device 100 is configured at the access gate. The entry/exit management list including the date and time of access of the user corresponding to the subject, the temperature at the time of access (or the body temperature of the subject), the access photo, and received information (including phone number, personal security number, etc.) generate

또한, 상기 제어부(160)는 상기 생성된 입출입 관리 명부를 상기 저장부(130)(또는 상기 데이터베이스)에 저장한다. 이때, 상기 제어부(160)는 상기 생성된 입출입 관리 명부를 통신부(120)를 통해 해당 출입 게이트에서의 사용자의 입출입을 관리하는 상기 서버에 전송할 수도 있다.Also, the control unit 160 stores the generated input/output management list in the storage unit 130 (or the database). At this time, the controller 160 may transmit the generated entry/exit management list to the server that manages the user's entry/exit at the corresponding gate through the communication unit 120 .

또한, 상기 판단 결과(또는 상기 확인 결과), 상기 수신된 정보가 해당 저장부(130)(또는 상기 데이터베이스)에 미리 저장된 출입 등록 정보에 포함된 경우(또는 상기 수신된 정보에 대응하는 사용자가 미리 등록된 사용자인 경우), 상기 제어부(160)는 해당 입출입 관리 장치(100)가 구성된 상기 출입 게이트에서의 해당 피사체에 대응하는 사용자의 출입 날짜 및 시각, 출입 시점의 온도(또는 피사체의 체온), 출입 사진(예를 들어 해당 출입 게이트의 일측에 구성된 카메라부(110)를 통해 획득된 영상/영상정보 등 포함), 수신된 정보(예를 들어 전화번호, 개인 안심 번호, 바코드 정보, QR 코드 정보 등 포함) 등을 포함하는 입출입 관리 명부를 생성한다. 이때, 상기 제어부(160)는 상기 카메라부(110)를 통해 해당 사용자와 관련한 출입 사진을 획득할 수도 있고, 해당 입출입 관리 장치(100)와 연동하며 해당 출입 게이트를 포함하는 영역을 촬영하는 CCTV 카메라(미도시)를 통해 획득된 출입 사진을 제공받을 수도 있다. 여기서, 상기 CCTV 카메라는 상기 출입 게이트가 위치한 주변에 설치(또는 배치)하며, 상기 출입 게이트를 통과하는 사용자(또는 피사체)를 포함하는 영상을 획득(또는 촬영)하고, 상기 획득된 영상을 상기 입출입 관리 장치(100)에 전송할 수 있다. 또한, 상기 제어부(160)는 등록된 사용자의 해당 출입 게이트 통과에 따라 발생하는 복수의 이벤트 정보를 상기 생성된 입출입 관리 명부에 업데이트(또는 누적 관리)할 수 있다. 여기서, 상기 이벤트 정보는 사용자의 출입 날짜 및 시각, 출입 시점의 온도, 출입 사진, 수신된 정보 등을 포함한다.In addition, as a result of the determination (or the result of the confirmation), when the received information is included in the access registration information previously stored in the corresponding storage unit 130 (or the database) (or the user corresponding to the received information registered user), the control unit 160 controls the entry and exit date and time of the user corresponding to the subject at the entrance gate in which the entry/exit management device 100 is configured, the temperature at the time of entry (or body temperature of the subject), Access photos (including, for example, video/image information obtained through the camera unit 110 configured on one side of the corresponding entrance gate), received information (eg, phone number, personal safety number, barcode information, QR code information) Including etc.) Creates an entry/exit management list including the like. At this time, the control unit 160 may acquire an access photo related to the corresponding user through the camera unit 110, and a CCTV camera that interlocks with the corresponding access control device 100 and captures an area including the corresponding access gate. (not shown) may be provided with an acquired access photo. Here, the CCTV camera is installed (or placed) around the entrance gate, acquires (or shoots) an image including a user (or subject) passing through the entrance gate, and transmits the acquired image to the entry/exit. It can be transmitted to the management device 100. In addition, the control unit 160 may update (or cumulatively manage) a plurality of event information generated when a registered user passes through a corresponding access gate in the generated entry/exit management list. Here, the event information includes the user's access date and time, temperature at the time of access, access photos, received information, and the like.

또한, 상기 제어부(160)는 상기 생성된 입출입 관리 명부를 상기 저장부(130)(또는 상기 데이터베이스)에 저장한다. 이때, 상기 제어부(160)는 상기 생성된 입출입 관리 명부를 상기 통신부(120)를 통해 해당 출입 게이트에서의 사용자의 입출입을 관리하는 상기 서버, 상기 데이터베이스 등에 전송할 수도 있다.Also, the control unit 160 stores the generated input/output management list in the storage unit 130 (or the database). At this time, the control unit 160 may transmit the generated access/exit management list to the server, the database, etc. that manages the user's access at the corresponding access gate through the communication unit 120 .

본 발명의 실시예에서는 상기 입출입 관리 장치(100)에서 전용 앱 형태 또는 웹 사이트 형태로 상기 서버에서 제공하는 다양한 기능(예를 들어 체온 확인 기능, 마스크 착용 여부 확인 기능, 방명록/출입명부 작성 기능 등 포함)을 수행할 수 있다.In an embodiment of the present invention, various functions provided by the server in the form of a dedicated app or website in the access management device 100 (eg, a function to check body temperature, a function to check whether a mask is worn, a function to create a guest book/entry list, etc. included) can be performed.

도 3 내지 도 5는 본 발명의 실시예에 따른 상기 입출입 관리 장치(100)가 적용된 출입 게이트(10)의 예를 나타낸 도이다.3 to 5 are diagrams illustrating examples of an access gate 10 to which the access management device 100 according to an embodiment of the present invention is applied.

상기 출입 게이트(10)는 다음의 [표 1]과 같은 사양(specification)으로 구성할 수 있다. 이때, 상기 출입 게이트(10)는 임의의 사용자의 출입 관리를 위해서 입/출입 제어를 위한 차단기/차단게이트(미도시), 소독액분사기(미도시), 전원부(미도시), 디스플레이부(미도시), 조명등(미도시), 상대표시 LED(미도시), 안내 스크린(미도시), 제어 PC(미도시), PLC(Programmable Logic Controller)(미도시), 제어 스위치(미도시) 등으로 구성된다.The entrance gate 10 may be configured according to the specifications shown in Table 1 below. At this time, the access gate 10 includes a circuit breaker/blocking gate (not shown), a disinfectant sprayer (not shown), a power supply unit (not shown), and a display unit (not shown) for controlling access/exit for access management of arbitrary users. ), lighting (not shown), relative display LED (not shown), guidance screen (not shown), control PC (not shown), PLC (Programmable Logic Controller) (not shown), control switch (not shown), etc. do.

파워(power)/주파수power/frequency AC 220V/60HzAC 220V/60Hz 디스플레이/외부모니터display/external monitor 32인치32 inches 무게(weight: kg)weight (kg) 190kg190kg 소프트웨어software 안드로이드, PCAndroid, PC 재질(materials)materials SPCC 1.2TSPCC 1.2T 기능function 안면인식
체온체크
마스크체크
출입기록facial recognition
body temperature check
mask check
access record 분무 방식spray method air+mist nozzle typeair+mist nozzle type 1회 분사량(조절 가능)Spray amount per shot (adjustable) 12ML ~ 18ML12ml to 18ml 사용 환경environment 0℃ ~ 40℃0℃ ~ 40℃ 노즐 개수number of nozzles 8개8 체온 측정 거리temperature measurement distance ~ 1.5m ~1.5m 분당 분사수(조절 가능)Jets per minute (adjustable) 8회 ~ 12회8th ~ 12th 체온 정밀도body temperature precision 실온±0.5℃room temperature±0.5℃ 시간당 사용수usage per hour 최대 700명up to 700 체온 측정 시간temperature measurement time 0.5Sec0.5Sec 시간당 사용량usage per hour 연속사용시 5.7L~14.4L5.7L to 14.4L for continuous use 체온 측정 범위body temperature measurement range 10℃ ~ 42℃10℃ ~ 42℃ 보관탱크 용량Storage tank capacity 12L×212L×2

또한, 상기 도 3에 도시된 바와 같이, 상기 출입 게이트(10)는 상기 입출입 관리 장치(100)의 전면에 위치한 피사체를 포함하는 제 1 영상 및 제 2 영상을 획득한다. 해당 출입 게이트(10) 통과 전에는 녹색불을 표시하고, 무증상은 파란불, 발열증상자는 빨간불을 표시한다.Also, as shown in FIG. 3 , the access gate 10 acquires a first image and a second image including a subject located in front of the access control device 100 . A green light is displayed before passing through the corresponding entrance gate 10, a blue light is displayed for asymptomatic persons, and a red light is displayed for those with fever symptoms.

또한, 상기 출입 게이트(10)는 해당 피사체에 대해서 체온 및 마스크 착용 여부를 확인한 후, 해당 피사체로부터 제공되는 정보를 이용해서 입출입 관리 명부를 생성 및 저장(또는 관리)한다.In addition, the access gate 10 checks the subject's body temperature and whether or not to wear a mask, and then creates and stores (or manages) an entry/exit management list using information provided from the subject.

또한, 상기 도 4에 도시된 바와 같이, 상기 출입 게이트(10)는 상기 획득된 제 1 영상 및 제 2 영상을 근거로 해당 피사체에 대해서 확인되는 체온이 정상이고, 마스크를 착용한 상태로 확인되는 경우, 해당 출입 게이트(10)의 안쪽 영역에서 미리 설정된 시간(예를 들어 5초) 동안 기다릴 것을 요청하는 정보를 출력한다.In addition, as shown in FIG. 4, the entrance gate 10 determines that the body temperature of the corresponding subject is normal and that the mask is worn based on the obtained first and second images. In this case, information requesting to wait for a preset time (for example, 5 seconds) in the inner area of the corresponding entrance gate 10 is output.

또한, 상기 출입 게이트(10)는 센서(미도시)를 통해 해당 출입 게이트(10)의 안쪽 영역에 상기 피사체가 위치한 것으로 판단되면, 상기 미리 설정된 시간 동안 소독액을 분사한다.In addition, when it is determined through a sensor (not shown) that the subject is located in the inner region of the corresponding entrance gate 10, the entrance gate 10 sprays a disinfectant solution for the preset time period.

또한, 상기 도 5에 도시된 바와 같이, 상기 출입 게이트(10)는 소독액 분사 후, 상기 피사체가 해당 출입 게이트(10)를 통과하여 일정 영역 내로 진입할 수 있도록 유도(또는 안내)한다.In addition, as shown in FIG. 5 , the entrance gate 10 induces (or guides) the subject to enter a certain area through the entrance gate 10 after spraying the disinfectant solution.

이와 같이, 가시광 카메라와 열화상 카메라를 이용해서 빠르게 체온을 측정하고 마스크 착용 여부를 판단하고, 방명록 기재를 요청한 후, 사용자가 입력하는 전화번호나 고유 코드 또는 바코드나 QR 코드 인식에 따른 정보를 근거로 미리 등록된 사용자인지 여부를 판단하고, 판단 결과에 따라 출입 게이트에서의 출입 시각, 출입 시점의 온도, 출입 사진, 입력되거나 인식된 전화번호나 고유 코드나 바코드 정보나 QR 코드 정보 등을 입출입 관리 명부로 저장할 수 있다.In this way, after quickly measuring body temperature using a visible light camera and a thermal imaging camera, determining whether or not to wear a mask, requesting entry in the guest book, and based on information based on the phone number or unique code or barcode or QR code recognition entered by the user Determines whether or not the user is pre-registered, and manages entry and exit based on the result of the determination, such as access time at the gate, temperature at the time of entry, access photo, input or recognized phone number, unique code, barcode information, QR code information, etc. You can save it as a list.

또한, 이와 같이, OpenCV를 이용해서 인식된 안면 영역에서의 픽셀별 온도값을 근거로 마스크 착용 여부를 확인하며, 안면 인식과 눈 인식을 병합하여 눈만 인식했을 경우에도 확장되는 알고리즘을 적용하여 안면 영역을 인지할 수 있다.In addition, in this way, whether or not a mask is worn is checked based on the temperature value of each pixel in the face area recognized using OpenCV, and an algorithm that is expanded even when only the eyes are recognized by merging face recognition and eye recognition is applied to the face area. can recognize

이하에서는, 본 발명에 따른 입출입 관리 방법을 도 1 내지 도 9를 참조하여 상세히 설명한다.Hereinafter, the input/output management method according to the present invention will be described in detail with reference to FIGS. 1 to 9 .

도 6 내지 도 7은 본 발명의 실시예에 따른 입출입 관리 방법을 나타낸 흐름도이다.6 to 7 are flowcharts illustrating a method for managing access according to an embodiment of the present invention.

먼저, 카메라부(110)는 피사체(또는 객체)로부터 동일한 거리와 각도에서, 상기 피사체를 촬영하여 가시광 영상인 제 1 영상과, 열화상 영상인 제 2 영상을 각각 획득한다. 이때, 상기 카메라부(110)는 입출입 관리 장치(100)의 일측에 구비된 동작 인식 센서(또는 센서부)(미도시)를 통해 상기 피사체가 감지되는 경우, 상기 피사체를 포함하는 상기 제 1 영상 및 상기 제 2 영상을 획득할 수 있다.First, the camera unit 110 acquires a first image, which is a visible light image, and a second image, which is a thermal image, by photographing the subject (or object) at the same distance and angle. At this time, when the camera unit 110 detects the subject through a motion recognition sensor (or sensor unit) (not shown) provided on one side of the access control device 100, the first image including the subject And the second image may be obtained.

즉, 상기 카메라부(110)에 포함된 가시광 카메라(111)는 상기 피사체를 촬영하여, 가시광 영상인 상기 제 1 영상을 획득(또는 촬상)한다.That is, the visible light camera 111 included in the camera unit 110 photographs the subject and acquires (or captures) the first visible light image.

또한, 상기 카메라부(110)에 포함된 열화상 카메라(112)는 상기 피사체를 촬영하여, 열화상 영상인 상기 제 2 영상을 획득한다. 이때, 상기 가시광 카메라(111)와 상기 열화상 카메라(112)는 상기 피사체로부터 동일한 거리와 각도에 배치되어, 동일한 가로 및 세로 길이의 상기 제 1 영상 및 상기 제 2 영상을 획득한다.In addition, the thermal imaging camera 112 included in the camera unit 110 captures the subject and obtains the second image, which is a thermal image. In this case, the visible light camera 111 and the thermal image camera 112 are disposed at the same distance and angle from the subject to obtain the first image and the second image having the same horizontal and vertical lengths.

일 예로, 제 1 가시광 카메라(111)는 제 1 피사체를 촬영하여, 가시광 영상인 제 1 영상을 획득한다.For example, the first visible light camera 111 captures a first subject and obtains a first visible light image.

또한, 제 1 열화상 카메라(112)는 상기 제 1 피사체를 촬영하여, 열화상 영상인 제 2 영상을 획득한다(S610).In addition, the first thermal imaging camera 112 captures the first subject and obtains a second image, which is a thermal image (S610).

이후, 제어부(160)는 OpenCV 라이브러리를 이용하여 상기 카메라부(110)로부터 획득된 가시광 영상인 제 1 영상에서 피사체의 안면 영역을 인식한다. 이때, 상기 제어부(160)는 상기 OpenCV 라이브러리를 이용하여 상기 제 1 영상에서 눈 영역을 인식할 수도 있다. 이는 안면 영역의 인식이 되지 않는 경우를 보완하기 위한 과정으로, 상기 OpenCV 라이브러리를 이용한 안면 영역 인식이 10% ~ 20% 정도의 확률로 실패하는 경우가 있어, 상기 제어부(160)는 추가로 눈 영역 인식을 진행(또는 수행)하고, 그 결과를 확장하여 안면 영역을 추정할 수 있다.Thereafter, the controller 160 recognizes the facial region of the subject in the first image, which is the visible light image obtained from the camera unit 110, by using the OpenCV library. At this time, the controller 160 may recognize an eye region in the first image using the OpenCV library. This is a process to compensate for the case where the face region is not recognized. In some cases, face region recognition using the OpenCV library fails with a probability of about 10% to 20%, the control unit 160 additionally controls the eye region. Recognition can proceed (or perform), and the result can be expanded to estimate the face region.

또한, 상기 제어부(160)는 상기 눈 영역이 인식되면, 상기 인식된 눈 영역에 대해서 정사각형 모양으로 정형화하고, 상기 정형화된 정사각형의 한 변 길이를 기준으로 하여 안면 영역의 가로 길이 및 세로 길이를 추정한다. 여기서, 상기 안면 영역의 가로 길이는 상기 정사각형의 한 변 길이에 미리 설정된 제 1 배수(예를 들어 3배 ~ 5배 중에서 선택되는 정수)를 곱하여 계산(또는 산출)하고, 상기 안면 영역의 세로 길이는 상기 정사각형의 한 변 길이에 미리 설정된 제 2 배수(예를 들어 4배 ~ 7배 중에서 선택되는 다른 정수)를 곱하여 계산(또는 산출)한다. 이때, 상기 제어부(160)는 상기 안면 영역의 가로 길이와 상기 안면 영역의 세로 길이의 비율이 1: (1.2~ 1.7)을 유지(또는 만족/충족)하도록 상기 정사각형 한 변 길이를 근거로 상기 안면 영역의 가로 길이와 세로 길이를 추정(또는 계산)할 수 있다. 여기서, 상기 인식된 피사체의 양쪽 눈 영역에 대한 2개의 정사각형의 한 변 길이가 서로 다른 경우, 상기 제어부(160)는 2개의 정사각형의 한 변 길이의 평균값 또는, 상기 2개의 정사각형의 한 변 길이 중 더 큰 값 또는, 상기 2개의 정사각형의 한 변 길이 중 더 작은 값을 이용하여 상기 안면 영역의 가로 길이와 세로 길이를 추정할 수도 있다.In addition, when the eye region is recognized, the controller 160 standardizes the recognized eye region into a square shape, and estimates the horizontal and vertical lengths of the facial region based on the length of one side of the standardized square. do. Here, the horizontal length of the facial region is calculated (or calculated) by multiplying the length of one side of the square by a preset first multiple (for example, an integer selected from 3 to 5 times), and the vertical length of the facial region is calculated (or calculated) by multiplying the length of one side of the square by a preset second multiple (eg, another integer selected from 4 to 7 times). At this time, the controller 160 controls the facial area based on the length of one side of the square so that the ratio of the horizontal length of the facial area to the vertical length of the facial area is 1: (1.2 to 1.7) maintained (or satisfied/satisfied). It is possible to estimate (or calculate) the horizontal and vertical lengths of a region. Here, when the side lengths of the two squares for both eye regions of the recognized subject are different from each other, the controller 160 selects an average value of the side lengths of the two squares or one of the side lengths of the two squares. The horizontal length and the vertical length of the facial region may be estimated using a larger value or a smaller value among side lengths of the two squares.

일 예로, 제 1 제어부(160)는 상기 OpenCV 라이브러리를 이용하여 상기 획득된 제 1 영상에서 제 1 피사체의 안면 영역을 인식한다(S620).For example, the first controller 160 recognizes a facial region of a first subject from the acquired first image using the OpenCV library (S620).

이후, 상기 제어부(160)는 상기 인식된 제 1 영상에서의 피사체의 안면 영역을 상기 획득된 제 2 영상에 오버레이(또는 중첩)한다. 이때, 상기 획득된 제 1 영상과 제 2 영상은 동일한 가로 및 세로 길이로 구성되어, 상기 제어부(160)는 영상에 대한 크기(또는 사이즈) 재설정없이 용이하게 상기 인식된 제 1 영상에서의 피사체의 안면 영역을 상기 제 2 영상에 오버레이(또는 중첩)할 수 있다. 또한, 상기 제 1 영상과 상기 제 2 영상의 크기가 서로 다른 경우, 상기 제어부(160)는 상기 제 2 영상의 크기(예를 들어 가로*세로)를 상기 제 1 영상의 크기에 대응하도록 조정(또는 그 반대의 경우도 포함)한 후, 상기 인식된 제 1 영상에서의 피사체의 안면 영역을 상기 획득된 제 2 영상에 오버레이(또는 중첩)할 수도 있다.Thereafter, the controller 160 overlays (or overlaps) the facial region of the subject in the recognized first image to the acquired second image. At this time, since the obtained first and second images have the same horizontal and vertical lengths, the control unit 160 can easily determine the size of the subject in the recognized first image without resetting the size (or size) of the image. A facial area may be overlaid (or superimposed) on the second image. In addition, when the sizes of the first image and the second image are different from each other, the controller 160 adjusts the size (for example, width * height) of the second image to correspond to the size of the first image ( Or vice versa), the face region of the subject in the recognized first image may be overlaid (or superimposed) on the acquired second image.

또한, 상기 제어부(160)는 상기 제 2 영상 중에서 상기 제 1 영상에서의 피사체의 안면 영역에 의해 오버레이된 영역(또는 중첩된 영역)을 상기 제 2 영상에서의 피사체의 안면 영역으로 선택(또는 설정)한다.In addition, the controller 160 selects (or sets) an area (or overlapped area) overlaid by the facial area of the subject in the first image from among the second image as the facial area of the subject in the second image. )do.

이와 같이, 상기 제어부(160)는 열 데이터에 대한 정보를 포함하는 상기 제 2 영상 내에서 피사체의 안면 영역을 확인(또는 인식/검출)하기 위해서, 상기 가시광 영상인 제 1 영상에서 피사체의 안면 영역을 인식(또는 획득)하고, 인식된(또는 획득된) 제 1 영상에서의 피사체의 안면 영역을 상기 제 2 영상에 오버레이(또는 중첩)하여, 오버레이된 영역(또는 중첩된 영역)을 상기 제 2 영상에서의 피사체의 안면 영역으로 선택할 수 있다.In this way, the controller 160 is configured to identify (or recognize/detect) the facial region of the subject in the first image, which is the visible light image, in the second image including information on the thermal data. Recognizes (or acquires), overlays (or overlaps) the face region of the subject in the first image recognized (or acquired) to the second image, and the overlaid region (or overlapped region) is the second image. You can select the facial area of the subject in the video.

일 예로, 상기 제 1 제어부는 상기 제 1 영상에서의 제 1 피사체의 안면 영역을 상기 획득된 제 2 영상에 오버레이한다.For example, the first control unit overlays a facial region of a first subject in the first image on the obtained second image.

또한, 상기 제 1 제어부는 상기 제 2 영상 중에서 상기 제 1 피사체의 안면 영역이 오버레이된 제 11 영역을 상기 제 2 영상에서의 제 1 피사체의 안면 영역으로 선택한다(S630).In addition, the first controller selects an 11th region overlaid with the face region of the first subject from the second image as the face region of the first subject in the second image (S630).

이후, 상기 제어부(160)는 상기 제 2 영상에서의 피사체의 안면 영역 내의 복수의 픽셀을 분석하여, 픽셀별로 온도 데이터(또는 픽셀별 온도 데이터)를 각각 획득한다.Thereafter, the controller 160 analyzes a plurality of pixels in the facial region of the subject in the second image, and obtains temperature data for each pixel (or temperature data for each pixel), respectively.

즉, 상기 제어부(160)는 해당 피사체의 체온을 측정하기 위해서, 상기 열화상 카메라(112)를 통해 획득된 제 2 영상 전체를 스캔하여 온도 데이터를 검출하는 대신에, 상기 제 2 영상에서의 피사체의 안면 영역만을 스캔하여, 해당 제 2 영상에서의 피사체의 안면 영역 내의 복수의 픽셀에 대한 픽셀별 온도 데이터를 검출함으로써, 데이터 처리 속도가 향상되고, PC, 스마트 폰 등 낮은 사양의 장비로도 동작 수행이 가능할 수 있다.That is, in order to measure the body temperature of the subject, the control unit 160 scans the entire second image acquired through the thermal imaging camera 112 and detects temperature data, instead of detecting temperature data of the subject in the second image. By scanning only the facial area of the second image and detecting temperature data per pixel for a plurality of pixels within the facial area of the subject in the second image, the data processing speed is improved, and it operates even with low-spec equipment such as PCs and smart phones. may be possible to perform.

일 예로, 상기 제 1 제어부는 상기 제 2 영상에서의 제 1 피사체의 안면 영역(또는 제 11 영역) 내에 구성된 복수의 픽셀을 분석하여, 픽셀별 온도 데이터를 획득한다(S640).For example, the first controller analyzes a plurality of pixels configured in the facial area (or 11th area) of the first subject in the second image to obtain temperature data for each pixel (S640).

이후, 상기 제어부(160)는 상기 획득된 픽셀별 온도 데이터를 근거로 해당 제 2 영상(또는 제 1 영상)에 포함된 피사체의 체온을 확인(또는 판단/결정)한다. 이때, 상기 제어부(160)는 상기 획득된 픽셀별 온도 데이터의 평균값을 상기 피사체의 체온으로 확인(또는 판단/결정)할 수 있다.Then, the controller 160 checks (or determines/determines) the body temperature of the subject included in the second image (or first image) based on the obtained temperature data for each pixel. At this time, the controller 160 may check (or determine/determine) the average value of the obtained temperature data per pixel as the body temperature of the subject.

또한, 상기 제어부(160)는 상기 확인된(또는 판단된/결정된) 해당 피사체의 체온을 표시부(140) 및/또는 음성 출력부(150)를 통해 출력한다.In addition, the controller 160 outputs the confirmed (or determined/determined) body temperature of the subject through the display unit 140 and/or the audio output unit 150.

또한, 상기 제어부(160)는 상기 확인된(또는 판단된/결정된) 피사체의 체온이 미리 설정된 제 1 설정 온도(예를 들어 섭씨 37°~ 38° 중에서 선택된 온도)를 초과하는지 여부를 확인한다. 이때, 상기 제어부(160)는 상기 확인된(또는 판단된/결정된) 피사체의 체온이 미리 설정된 제 1 설정 온도 범위(예를 들어 섭씨 37°~ 38°) 내에 존재하는지 여부를 확인할 수도 있다.In addition, the controller 160 checks whether the checked (or determined/determined) body temperature of the subject exceeds a first preset temperature (for example, a temperature selected from 37° to 38° Celsius). In this case, the controller 160 may check whether the body temperature of the identified (or determined/determined) subject is within a first preset temperature range (eg, 37° to 38° Celsius).

상기 확인 결과, 상기 확인된 피사체의 체온이 상기 제 1 설정 온도를 초과하는 경우, 상기 제어부(160)는 경고등, 경고음 등의 경보(또는 알람)를 상기 표시부(140) 및/또는 상기 음성 출력부(150)를 통해 출력한다. 이때, 상기 확인된 피사체의 체온이 미리 설정된 제 1 설정 온도 범위(예를 들어 섭씨 37°~ 38°) 내에 존재하지 않은 경우(또는 벗어난 경우), 상기 제어부(160)는 경고등, 경고음 등의 경보(또는 알람)를 상기 표시부(140) 및/또는 상기 음성 출력부(150)를 통해 출력할 수도 있다.As a result of the check, when the checked body temperature of the subject exceeds the first set temperature, the control unit 160 sends an alarm (or alarm) such as a warning light or a warning sound to the display unit 140 and/or the audio output unit. Output through (150). At this time, if the body temperature of the confirmed subject does not exist (or is outside) within the first preset temperature range (eg, 37 ° to 38 ° Celsius), the control unit 160 provides an alarm such as a warning light or a warning sound. (or an alarm) may be output through the display unit 140 and/or the audio output unit 150.

또한, 상기 확인 결과, 상기 확인된 피사체의 체온이 상기 제 1 설정 온도를 초과하지 않는 경우, 상기 제어부(160)는 해당 피사체의 체온이 정상 범위 내에 존재함을 나타내는 정보를 상기 표시부(140) 및/또는 상기 음성 출력부(150)를 통해 출력한다. 이때, 상기 확인된 피사체의 체온이 미리 설정된 제 1 설정 온도 범위(예를 들어 섭씨 37°~ 38°) 내에 존재하는 경우, 상기 제어부(160)는 해당 피사체의 체온이 정상 범위 내에 존재함을 나타내는 정보를 상기 표시부(140) 및/또는 상기 음성 출력부(150)를 통해 출력할 수도 있다.In addition, as a result of the check, when the checked body temperature of the subject does not exceed the first set temperature, the controller 160 transmits information indicating that the body temperature of the subject is within a normal range to the display unit 140 and / or output through the audio output unit 150. At this time, when the body temperature of the identified subject is within a first preset temperature range (eg, 37 ° to 38 ° Celsius), the controller 160 indicates that the body temperature of the subject is within a normal range Information may be output through the display unit 140 and/or the audio output unit 150 .

일 예로, 상기 제 1 제어부는 상기 획득된 픽셀별 온도 데이터의 평균값을 계산하고, 상기 계산된 픽셀별 온도 데이터의 평균값을 상기 제 1 피사체의 체온(예를 들어 36.5°)으로 확인한다.For example, the first control unit calculates an average value of the acquired temperature data per pixel, and identifies the average value of the calculated temperature data per pixel as the body temperature (eg, 36.5°) of the first subject.

또한, 도 8에 도시된 바와 같이, 상기 제 1 제어부는 상기 제 1 피사체가 표시되고 있는 화면의 일측에 상기 확인된 제 1 피사체의 체온(예를 들어 36.5°)(800)을 표시한다(S650).In addition, as shown in FIG. 8 , the first controller displays the confirmed body temperature (for example, 36.5°) (800) of the first subject on one side of the screen on which the first subject is displayed (S650). ).

이후, 상기 제어부(160)는 상기 제 2 영상에서의 피사체의 안면 영역에 포함된 복수의 픽셀 중에서 미리 설정된 제 2 설정 온도(예를 들어 섭씨 30° ~ 35° 중에서 선택된 온도) 이상인 픽셀의 개수(또는 픽셀 수)를 카운트한다.Thereafter, the controller 160 determines the number of pixels having a second predetermined temperature (for example, a temperature selected from 30 ° to 35 ° Celsius) or more among a plurality of pixels included in the facial region of the subject in the second image ( or number of pixels).

또한, 상기 제어부(160)는 상기 카운트된 픽셀의 개수를 근거로 해당 카운트된 픽셀의 개수가 전체 안면 영역에서 차지하는 비율(또는 비중)에 따라 피사체의 마스크 착용 여부를 판단한다. 이는 마스크를 쓰면 표면 온도가 낮게 측정되기 때문에, 픽셀의 온도가 상기 제 2 설정 온도 이상인 부분은 노출된 피부로 판단할 수 있기 때문이다.In addition, the controller 160 determines whether the subject is wearing a mask according to the ratio (or specific gravity) of the counted number of pixels to the entire facial area based on the counted number of pixels. This is because, since the surface temperature is measured low when the mask is worn, a portion having a pixel temperature equal to or higher than the second set temperature can be determined as exposed skin.

즉, 상기 제어부(160)는 상기 제 2 영상에서의 피사체의 안면 영역에서 상기 카운트된 픽셀의 개수가 차지하는 비율을 계산한다.That is, the controller 160 calculates a ratio occupied by the counted number of pixels in the facial area of the subject in the second image.

또한, 상기 제어부(160)는 상기 계산된 비율이 미리 설정된 기준 값(예를 들어 25% ~ 40% 중에서 선택된 값)을 초과하는지 여부를 확인한다.In addition, the controller 160 checks whether the calculated ratio exceeds a preset reference value (for example, a value selected from 25% to 40%).

상기 확인 결과, 상기 계산된 비율이 상기 기준값을 초과하지 않는 경우, 상기 제어부(160)는 상기 피사체가 마스크를 착용한 상태로 판단한다.As a result of the check, if the calculated ratio does not exceed the reference value, the controller 160 determines that the subject is wearing a mask.

또한, 상기 확인 결과, 상기 계산된 비율이 상기 기준값을 초과하는 경우, 상기 제어부(160)는 상기 피사체가 마스크를 착용하지 않은 상태로 판단한다.Also, as a result of the check, when the calculated ratio exceeds the reference value, the controller 160 determines that the subject is not wearing a mask.

또한, 상기 제어부(160)는 상기 판단되는 해당 피사체의 마스크 착용 여부에 대한 정보를 상기 표시부(140) 및/또는 상기 음성 출력부(150)를 통해 출력한다. 이때, 상기 피사체가 마스크를 착용하지 않은 상태로 확인되는 경우, 상기 제어부(160)는 경고등, 경고음 등의 경보를 상기 표시부(140) 및/또는 상기 음성 출력부(150)를 통해 출력할 수도 있다.In addition, the control unit 160 outputs information on whether or not the determined subject wears a mask through the display unit 140 and/or the audio output unit 150 . At this time, when it is confirmed that the subject is not wearing a mask, the control unit 160 may output an alarm such as a warning light or a warning sound through the display unit 140 and/or the audio output unit 150. .

일 예로, 상기 제 1 제어부는 상기 제 2 영상에서의 제 1 피사체의 안면 영역에 포함된 복수의 픽셀 중에서 상기 제 2 설정 온도 중에서 선택된 특정 온도인 34° 이상인 제 11 픽셀 수를 카운트한다.For example, the first controller counts the number of 11th pixels having a specific temperature of 34° or higher selected from the second set temperature among a plurality of pixels included in the facial region of the first subject in the second image.

또한, 상기 제 1 제어부는 상기 제 2 영상에서의 제 1 피사체의 안면 영역에서 상기 카운트된 제 11 픽셀 수가 차지하는 제 11 비율(예를 들어 25%)을 계산한다.Also, the first controller calculates an 11th ratio (eg, 25%) of the counted 11th pixels in the facial area of the first subject in the second image.

또한, 상기 제 1 제어부는 상기 계산된 제 11 비율이 상기 기준값(예를 들어 30%)을 초과하는지 여부를 확인한다.Also, the first controller checks whether the calculated 11th ratio exceeds the reference value (eg, 30%).

상기 확인 결과, 상기 제 11 비율(예를 들어 25%)이 상기 기준값(예를 들어 30%)을 초과하지 않을 때, 상기 제 1 제어부는 상기 제 1 피사체가 마스크를 착용한 상태로 판단한다.As a result of the check, when the 11th ratio (eg 25%) does not exceed the reference value (eg 30%), the first controller determines that the first subject is wearing a mask.

또한, 상기 도 8에 도시된 바와 같이, 상기 제 1 제어부는 상기 제 1 피사체의 마스크 착용 여부에 대한 정보(810)를 상기 제 1 피사체의 체온이 표시되는 화면의 일측에 표시한다(S660).In addition, as shown in FIG. 8 , the first controller displays information 810 on whether or not the first subject is wearing a mask on one side of the screen on which the body temperature of the first subject is displayed (S660).

이후, 상기 제어부(160)는 방명록 기재 요청(또는 전자 출입 명부 작성 요청)을 위한 안내 화면을 상기 표시부(140)에 표시한다. 이때, 상기 제어부(160)는 상기 피사체의 체온, 마스크 착용 여부에 대한 정보 등이 상기 표시부(140)에 표시된 후, 미리 설정된 시간(예를 들어 1초, 2초 등 포함)이 지난 후에, 상기 안내 화면을 표시할 수 있다. 여기서, 상기 안내 화면은 사용자의 전화번호나 개인 안심 번호의 입력을 요청하거나, 사용자가 소지한 단말(미도시)에 미리 설치된 앱을 통해 생성된 바코드나 QR 코드의 인식을 요청하기 위한 정보 등을 포함한다. 이때, 상기 개인 안심 번호(또는 고유 코드)는 사용자의 출입 기록 관리를 위해서 개인정보 보호위원회(미도시)에 의해서 지정된 기관(예를 들어 카카오, 네이버, 패스(PASS) 등 포함)으로부터 미리 발급된 코드(예를 들어 12가34나 등 포함)일 수 있다.Thereafter, the controller 160 displays a guide screen for requesting entry into the guestbook (or requesting creation of an electronic access list) on the display unit 140 . At this time, the control unit 160, after a predetermined time (eg, including 1 second, 2 seconds, etc.) has elapsed after the body temperature of the subject, information on whether or not to wear a mask, etc. are displayed on the display unit 140, the A guide screen can be displayed. Here, the guide screen displays information for requesting input of the user's phone number or personal safety number, or requesting recognition of a barcode or QR code generated through an app pre-installed on a terminal (not shown) possessed by the user. include At this time, the personal safety number (or unique code) is issued in advance from an institution (including, for example, Kakao, Naver, PASS, etc.) designated by the Personal Information Protection Commission (not shown) to manage the user's access record. It can be a code (eg 12, including 34, etc.).

또한, 상기 제어부(160)는 상기 표시부(140) 또는 상기 음성 출력부(150)를 통해 사용자 입력에 따라 전화번호 또는 개인 안심 번호를 수신하거나 또는, 상기 카메라부(110)를 통해 사용자(또는 상기 단말)가 제공하는 바코드 또는 QR 코드를 스캔하여 바코드 정보 또는 QR 코드 정보를 수신한다. 이때, 상기 제어부(160)는 상기 입출입 관리 장치(100)에 구성된 입력부(미도시)를 통해 상기 전화번호, 상기 개인 안심 번호, 상기 바코드 인식에 따른 바코드 정보, 상기 QR 코드 인식에 따른 QR 코드 정보 등을 수신할 수도 있다.In addition, the controller 160 receives a phone number or personal safety number according to a user input through the display unit 140 or the audio output unit 150, or the user (or the Terminal) scans a barcode or QR code provided to receive barcode information or QR code information. At this time, the control unit 160, through an input unit (not shown) configured in the access management device 100, the phone number, the personal safety number, barcode information according to the barcode recognition, QR code information according to the QR code recognition etc. may be received.

일 예로, 상기 제 1 제어부는 상기 제 1 피사체의 체온 및 마스크 착용 여부에 대한 정보를 1초동안 표시한 후, 도 9에 도시된 바와 같이, 방명록 기재 요청을 위한 안내 화면(900)을 표시한다.As an example, the first control unit displays information about the body temperature of the first subject and whether or not a mask is worn for 1 second, and then displays a guide screen 900 for requesting entry into the guestbook, as shown in FIG. 9 . .

또한, 상기 제 1 제어부는 사용자가 소지한 제 1 단말(미도시)에서 표시되는 QR 코드 체크인 화면 내의 제 1 QR 코드를 포함하는 제 11 영상을 상기 제 1 가시광 카메라를 통해 획득한다. 이때, 상기 제 1 QR 코드는 해당 사용자와 관련한 제 1 개인 안심 번호를 포함한다.In addition, the first controller acquires an 11th image including a 1st QR code in a QR code check-in screen displayed on a 1st terminal (not shown) possessed by a user through the 1st visible light camera. At this time, the first QR code includes a first personal safety number related to the corresponding user.

또한, 상기 제 1 제어부는 상기 획득된 제 11 영상에 포함된 제 1 QR 코드를 인식하여, 해당 제 1 QR 코드에 포함된 제 1 QR 코드 정보(예를 들어 해당 제 1 피사체의 사용자와 관련한 제 1 개인 안심 번호인 12가34너 등 포함)를 확인한다(S670).In addition, the first control unit recognizes the first QR code included in the acquired 11th image, and the first QR code information included in the first QR code (for example, a first QR code related to the user of the first subject) 1, personal safety number 12, including 34 you, etc.) is checked (S670).

이후, 상기 제어부(160)는 상기 수신된 정보(예를 들어 전화번호, 개인 안심 번호, 바코드 정보, QR 코드 정보 등 포함)를 근거로 해당 사용자(또는 해당 피사체)가 미리 등록된 사용자인지 여부를 판단(또는 확인)한다.Thereafter, the controller 160 determines whether the corresponding user (or subject) is a pre-registered user based on the received information (including, for example, phone number, personal safety number, barcode information, QR code information, etc.) judge (or confirm)

즉, 상기 제어부(160)는 상기 수신된 정보와 관련한 사용자가 미리 등록된 사용자인지를 판단하기 위해서, 상기 수신된 정보가 해당 저장부(130)(또는 해당 입출입 관리 장치(100)와 연동하는 데이터베이스(미도시))에 미리 저장된 출입 등록 정보에 포함된 상태인지 여부를 판단한다.That is, in order to determine whether the user related to the received information is a pre-registered user, the control unit 160 stores the received information in a corresponding storage unit 130 (or a database that interworks with the corresponding access management device 100). (not shown)) determines whether the state is included in the pre-stored access registration information.

일 예로, 상기 제 1 제어부는 상기 확인된 제 1 QR 코드 정보(예를 들어 제 1 개인 안심 번호인 12가34너 등 포함)가 상기 저장부(130)에 미리 저장된 출입 등록 정보에 포함된 상태인지 여부를 판단한다(S680).For example, the first control unit is in a state in which the checked first QR code information (eg, including the first personal security number 12 ga 34 you, etc.) is included in the access registration information pre-stored in the storage unit 130 It is determined whether or not it is recognized (S680).

상기 판단 결과(또는 상기 확인 결과), 상기 수신된 정보가 해당 저장부(130)(또는 상기 데이터베이스)에 미리 저장된 출입 등록 정보에 포함되지 않은 경우(또는 상기 수신된 정보에 대응하는 사용자가 미리 등록된 사용자가 아닌 경우), 상기 제어부(160)는 해당 입출입 관리 장치(100)가 구성된 출입 게이트(미도시)에서의 해당 피사체에 대응하는 사용자의 출입 날짜 및 시각, 출입 시점의 온도(또는 피사체의 체온), 출입 사진(예를 들어 해당 출입 게이트의 일측에 구성된 카메라부(110)를 통해 획득된 영상/영상정보 등 포함), 수신된 정보(예를 들어 전화번호, 개인 안심 번호 등 포함) 등을 포함하는 입출입 관리 명부를 생성한다. 이때, 상기 제어부(160)는 상기 카메라부(110)를 통해 해당 사용자와 관련한 출입 사진을 획득할 수도 있고, 해당 입출입 관리 장치(100)와 연동하며 해당 출입 게이트를 포함하는 영역을 촬영하는 CCTV 카메라(미도시)를 통해 획득된 출입 사진을 제공받을 수도 있다. 여기서, 상기 CCTV 카메라는 상기 출입 게이트가 위치한 주변에 설치(또는 배치)하며, 상기 출입 게이트를 통과하는 사용자(또는 피사체)를 포함하는 영상을 획득(또는 촬영)하고, 상기 획득된 영상을 상기 입출입 관리 장치(100)에 전송할 수 있다. 또한, 상기 제어부(160)는 등록된 사용자의 해당 출입 게이트 통과에 따라 발생하는 복수의 이벤트 정보를 상기 생성된 입출입 관리 명부에 업데이트(또는 누적 관리)할 수 있다. 여기서, 상기 이벤트 정보는 사용자의 출입 날짜 및 시각, 출입 시점의 온도, 출입 사진, 수신된 정보(예를 들어 전화번호, 개인 안심 번호 등 포함) 등을 포함한다.As a result of the determination (or the result of the confirmation), when the received information is not included in the access registration information previously stored in the corresponding storage unit 130 (or the database) (or the user corresponding to the received information is registered in advance) user), the control unit 160 controls the access date and time of the user corresponding to the subject at the access gate (not shown) configured with the corresponding access control device 100, and the temperature at the time of access (or the subject's temperature). body temperature), access photos (including, for example, video/image information obtained through the camera unit 110 configured on one side of the corresponding entrance gate), received information (including, for example, phone number, personal safety number, etc.), etc. An entry/exit management list including a is created. At this time, the control unit 160 may acquire an access photo related to the corresponding user through the camera unit 110, and a CCTV camera that interlocks with the corresponding access control device 100 and captures an area including the corresponding access gate. (not shown) may be provided with an acquired access photo. Here, the CCTV camera is installed (or placed) around the entrance gate, acquires (or shoots) an image including a user (or subject) passing through the entrance gate, and transmits the acquired image to the entry/exit. It can be transmitted to the management device 100. In addition, the control unit 160 may update (or cumulatively manage) a plurality of event information generated when a registered user passes through a corresponding access gate in the generated entry/exit management list. Here, the event information includes the user's access date and time, temperature at the time of access, access photos, received information (eg, phone number, personal security number, etc.), and the like.

즉, 상기 판단 결과(또는 상기 확인 결과), 해당 사용자가 입력한 전화번호 또는 개인 안심 번호가 해당 저장부(130)(또는 상기 데이터베이스)에 미리 저장된 출입 등록 정보에 포함되지 않은 경우(또는 상기 수신된 정보에 대응하는 사용자가 미리 등록된 사용자가 아닌 경우), 상기 제어부(160)는 해당 사용자가 미리 등록된 사용자가 아닌 것으로 판단하고, 해당 입출입 관리 장치(100)가 구성된 상기 출입 게이트에서의 해당 피사체에 대응하는 사용자의 출입 날짜 및 시각, 출입 시점의 온도(또는 피사체의 체온), 출입 사진, 수신된 정보(예를 들어 전화번호, 개인 안심 번호 등 포함) 등을 포함하는 상기 입출입 관리 명부를 생성한다.That is, when the determination result (or the confirmation result) and the phone number or personal safety number entered by the corresponding user are not included in the access registration information pre-stored in the corresponding storage unit 130 (or the database) (or the received If the user corresponding to the registered information is not a pre-registered user), the control unit 160 determines that the user is not a pre-registered user, and the corresponding access control device 100 is configured at the access gate. The entry/exit management list including the date and time of access of the user corresponding to the subject, the temperature at the time of access (or the body temperature of the subject), the access photo, and received information (including phone number, personal security number, etc.) generate

또한, 상기 제어부(160)는 상기 생성된 입출입 관리 명부를 상기 저장부(130)(또는 상기 데이터베이스)에 저장한다. 이때, 상기 제어부(160)는 상기 생성된 입출입 관리 명부를 통신부(120)를 통해 해당 출입 게이트에서의 사용자의 입출입을 관리하는 서버(미도시)에 전송할 수도 있다.Also, the control unit 160 stores the generated input/output management list in the storage unit 130 (or the database). At this time, the controller 160 may transmit the generated entry/exit management list to a server (not shown) that manages the user's entry/exit at the corresponding gate through the communication unit 120 .

일 예로, 사용자 입력에 따른 제 1 전화번호(예를 들어 010-1234-5678)가 상기 저장부(130)에 미리 저장된 출입 등록 정보에 포함되지 않은 상태일 때, 상기 제 1 제어부는 상기 사용자의 제 1 출입 날짜 및 시각(예를 들어 2021년 06월 05일 토요일 오후 1시 30분 40초), 출입 시점의 상기 제 1 피사체의 체온(예를 들어 36.5°), 상기 제 1 가시광 카메라를 통해 획득되는 상기 제 1 피사체를 포함하는 제 101 영상, 상기 제 1 전화번호(예를 들어 010-1234-5678) 등을 포함하는 제 1 입출입 관리 명부를 생성하고, 상기 생성된 제 1 입출입 관리 명부를 상기 저장부(130)에 저장한다(S690).For example, when a first phone number (for example, 010-1234-5678) according to a user input is not included in access registration information pre-stored in the storage unit 130, the first control unit controls the user's First access date and time (eg, Saturday, June 05, 2021 at 1:30:40 pm), body temperature of the first subject at the time of access (eg, 36.5°), through the first visible light camera A first access management list including a 101st image including the obtained first subject and the first phone number (eg, 010-1234-5678) is generated, and the generated first access management list is stored. It is stored in the storage unit 130 (S690).

또한, 상기 판단 결과(또는 상기 확인 결과), 상기 수신된 정보가 해당 저장부(130)(또는 상기 데이터베이스)에 미리 저장된 출입 등록 정보에 포함된 경우(또는 상기 수신된 정보에 대응하는 사용자가 미리 등록된 사용자인 경우), 상기 제어부(160)는 해당 입출입 관리 장치(100)가 구성된 상기 출입 게이트에서의 해당 피사체에 대응하는 사용자의 출입 날짜 및 시각, 출입 시점의 온도(또는 피사체의 체온), 출입 사진(예를 들어 해당 출입 게이트의 일측에 구성된 카메라부(110)를 통해 획득된 영상/영상정보 등 포함), 수신된 정보(예를 들어 전화번호, 개인 안심 번호, 바코드 정보, QR 코드 정보 등 포함) 등을 포함하는 입출입 관리 명부를 생성한다. 이때, 상기 제어부(160)는 상기 카메라부(110)를 통해 해당 사용자와 관련한 출입 사진을 획득할 수도 있고, 해당 입출입 관리 장치(100)와 연동하며 해당 출입 게이트를 포함하는 영역을 촬영하는 CCTV 카메라(미도시)를 통해 획득된 출입 사진을 제공받을 수도 있다. 여기서, 상기 CCTV 카메라는 상기 출입 게이트가 위치한 주변에 설치(또는 배치)하며, 상기 출입 게이트를 통과하는 사용자(또는 피사체)를 포함하는 영상을 획득(또는 촬영)하고, 상기 획득된 영상을 상기 입출입 관리 장치(100)에 전송할 수 있다. 또한, 상기 제어부(160)는 등록된 사용자의 해당 출입 게이트 통과에 따라 발생하는 복수의 이벤트 정보를 상기 생성된 입출입 관리 명부에 업데이트(또는 누적 관리)할 수 있다. 여기서, 상기 이벤트 정보는 사용자의 출입 날짜 및 시각, 출입 시점의 온도, 출입 사진, 수신된 정보 등을 포함한다.In addition, as a result of the determination (or the result of the confirmation), when the received information is included in the access registration information previously stored in the corresponding storage unit 130 (or the database) (or the user corresponding to the received information registered user), the control unit 160 controls the entry and exit date and time of the user corresponding to the subject at the entrance gate in which the entry/exit management device 100 is configured, the temperature at the time of entry (or body temperature of the subject), Access photos (including, for example, video/image information obtained through the camera unit 110 configured on one side of the corresponding entrance gate), received information (eg, phone number, personal safety number, barcode information, QR code information) Including etc.) Creates an entry/exit management list including the like. At this time, the control unit 160 may acquire an access photo related to the corresponding user through the camera unit 110, and a CCTV camera that interlocks with the corresponding access control device 100 and captures an area including the corresponding access gate. (not shown) may be provided with an acquired access photo. Here, the CCTV camera is installed (or placed) around the entrance gate, acquires (or shoots) an image including a user (or subject) passing through the entrance gate, and transmits the acquired image to the entry/exit. It can be transmitted to the management device 100. In addition, the control unit 160 may update (or cumulatively manage) a plurality of event information generated when a registered user passes through a corresponding access gate in the generated entry/exit management list. Here, the event information includes the user's access date and time, temperature at the time of access, access photos, received information, and the like.

또한, 상기 제어부(160)는 상기 생성된 입출입 관리 명부를 상기 저장부(130)(또는 상기 데이터베이스)에 저장한다. 이때, 상기 제어부(160)는 상기 생성된 입출입 관리 명부를 통신부(120)를 통해 해당 출입 게이트에서의 사용자의 입출입을 관리하는 상기 서버에 전송할 수도 있다.Also, the control unit 160 stores the generated input/output management list in the storage unit 130 (or the database). At this time, the controller 160 may transmit the generated entry/exit management list to the server that manages the user's entry/exit at the corresponding gate through the communication unit 120 .

일 예로, 상기 제 1 QR 코드 정보(예를 들어 제 1 개인 안심 번호인 12가34너 등 포함)가 상기 저장부(130)에 미리 저장된 출입 등록 정보에 포함된 상태일 때, 상기 제 1 제어부는 상기 사용자의 제 2 출입 날짜 및 시각(예를 들어 2021년 06월 05일 토요일 오후 1시 20분 30초), 출입 시점의 상기 제 1 피사체의 체온(예를 들어 36.5°), 상기 제 1 가시광 카메라를 통해 획득되는 상기 제 1 피사체를 포함하는 제 102 영상, 상기 제 1 QR 코드 정보(예를 들어 제 1 개인 안심 번호인 12가34너 등 포함) 등을 포함하는 제 2 입출입 관리 명부를 생성하고, 상기 생성된 제 2 입출입 관리 명부를 상기 저장부(130)에 저장한다(S700).For example, when the first QR code information (including, for example, the first personal safety number 12ga34you, etc.) is included in the access registration information pre-stored in the storage unit 130, the first control unit is the user's second access date and time (for example, Saturday, June 05, 2021 at 1:20:30 pm), the body temperature of the first subject at the time of access (for example, 36.5 °), the first A second entry/exit management list including a 102nd image including the first subject acquired through a visible light camera and the first QR code information (eg, including the first personal safety number 12ga34you, etc.) and stores the generated second entry/exit management list in the storage unit 130 (S700).

본 발명의 실시예는 앞서 설명된 바와 같이, 가시광 카메라와 열화상 카메라를 이용해서 빠르게 체온을 측정하고 마스크 착용 여부를 판단하고, 방명록 기재를 요청한 후, 사용자가 입력하는 전화번호나 고유 코드 또는 바코드나 QR 코드 인식에 따른 정보를 근거로 미리 등록된 사용자인지 여부를 판단하고, 판단 결과에 따라 출입 게이트에서의 출입 시각, 출입 시점의 온도, 출입 사진, 입력되거나 인식된 전화번호나 고유 코드나 바코드 정보나 QR 코드 정보 등을 입출입 관리 명부로 저장하여, 입 출입 관리를 위한 대기 시간을 줄이고 관리를 용이하도록 구성할 수 있다.As described above, the embodiment of the present invention quickly measures body temperature using a visible light camera and a thermal imaging camera, determines whether or not a mask is worn, requests a guestbook entry, and then a phone number, unique code, or barcode input by the user. B. Based on the information from the QR code recognition, it is determined whether the user is pre-registered, and based on the determination result, the time of entry at the gate, the temperature at the time of entry, the entry and exit photo, the entered or recognized phone number, or a unique code or barcode Information or QR code information can be stored as an entry/exit management list to reduce waiting time for entry/exit management and to facilitate management.

또한, 본 발명의 실시예는 앞서 설명된 바와 같이, OpenCV를 이용해서 인식된 안면 영역에서의 픽셀별 온도값을 근거로 마스크 착용 여부를 확인하며, 안면 인식과 눈 인식을 병합하여 눈만 인식했을 경우에도 확장되는 알고리즘을 적용하여 안면 영역을 인지하여, 안면 인식의 정확도를 높이고, 데이터 학습을 통한 안면 인식 기능을 수행하는 딥러닝 결과보다 빠르고 정확한 데이터를 획득할 수 있다.In addition, as described above, the embodiment of the present invention checks whether or not a mask is worn based on the temperature value of each pixel in the face area recognized using OpenCV, and when only the eyes are recognized by merging face recognition and eye recognition. It is possible to recognize the face area by applying an extended algorithm to increase the accuracy of face recognition, and obtain faster and more accurate data than the deep learning result that performs the face recognition function through data learning.

전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing may be modified and modified by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be construed according to the claims below, and all technical ideas within the equivalent range should be construed as being included in the scope of the present invention.

100: 입출입 관리 장치 110: 카메라부
120: 통신부 130: 저장부
140: 표시부 150: 음성 출력부
160: 제어부 111: 가시광 카메라
112: 열화상 카메라100: access management device 110: camera unit
120: communication unit 130: storage unit
140: display unit 150: audio output unit
160: controller 111: visible light camera
112: thermal imaging camera

Claims (7)

피사체를 촬영하여 가시광 영상인 제 1 영상과 열화상 영상인 제 2 영상을 획득하는 카메라부; 및
상기 획득된 제 1 영상 및 제 2 영상을 근거로 상기 피사체의 체온 및 상기 피사체의 마스크 착용 여부를 확인하고, 결과를 출력하고, 방명록 기재 요청을 위한 안내 화면을 표시하고, 사용자로부터 제공되는 전화번호, 개인 안심 번호, 바코드에 대응하는 바코드 정보 및 QR 코드에 대응하는 QR 코드 정보 중 어느 하나의 정보를 수신하고, 상기 수신된 정보를 근거로 상기 사용자가 미리 등록된 사용자인지 여부를 판단하고, 상기 판단 결과, 상기 사용자가 미리 등록된 사용자일 때, 상기 피사체에 대응하는 사용자의 출입 날짜 및 시각, 출입 시점의 상기 피사체의 체온, 출입 사진 및 상기 정보를 포함하는 입출입 관리 명부를 생성하는 제어부를 포함하며,
상기 제어부는,
상기 제 1 영상에서 상기 피사체의 안면 영역을 인식하고, 상기 제 2 영상에 상기 인식된 안면 영역을 중첩하고, 상기 제 2 영상에서 상기 중첩된 영역을 제 2 영상의 안면 영역으로 선택하고, 상기 제 2 영상에서 선택된 안면 영역에서 픽셀별 온도 데이터를 획득하고, 상기 획득된 픽셀별 온도 데이터를 근거로 상기 피사체의 체온을 확인하고, 상기 확인된 피사체의 체온을 출력하며,
상기 제 1 영상에서 눈 영역을 인식하고, 상기 인식된 눈 영역에 대해서 정사각형 모양으로 정형화하고, 상기 정형화된 정사각형의 한 변 길이를 기준으로 하여 안면 영역의 가로 길이 및 세로 길이를 추정하고, 상기 추정된 가로 길이 및 세로 길이를 적용한 안면 영역을 근거로 상기 제 1 영상에서 상기 피사체의 안면 영역을 인식하는 것을 특징으로 하는 입출입 관리 장치.a camera unit that captures a first image that is a visible light image and a second image that is a thermal image by photographing a subject; and
Based on the obtained first and second images, the body temperature of the subject and whether or not the subject is wearing a mask are checked, the results are output, a guide screen for requesting a guestbook entry is displayed, and a phone number provided by the user , Receiving any one of a personal safety number, barcode information corresponding to a barcode, and QR code information corresponding to a QR code, determining whether the user is a pre-registered user based on the received information, and As a result of the determination, when the user is a pre-registered user, a controller for generating an entry/exit management list including the access date and time of the user corresponding to the subject, the body temperature of the subject at the time of access, an access photo, and the information and
The control unit,
A facial region of the subject is recognized in the first image, the recognized facial region is overlaid on the second image, the overlapped region in the second image is selected as a facial region of the second image, 2 Obtaining pixel-by-pixel temperature data from a facial region selected from the image, checking the body temperature of the subject based on the acquired temperature data by pixel, and outputting the identified body temperature of the subject;
The eye region is recognized in the first image, the recognized eye region is standardized into a square shape, the horizontal length and the vertical length of the facial region are estimated based on the length of one side of the standardized square, and the estimation and recognizing the facial region of the subject in the first image based on the facial region to which the horizontal and vertical lengths are applied. 제 1 항에 있어서,
상기 카메라부는,
상기 피사체를 촬영하여 상기 가시광 영상인 제 1 영상을 획득하는 가시광 카메라; 및
상기 피사체를 촬영하여, 상기 열화상 영상인 제 2 영상을 획득하는 열화상 카메라를 포함하며,
상기 가시광 카메라 및 상기 열화상 카메라는,
상기 피사체로부터 동일한 거리와 각도로 배치하는 것을 특징으로 하는 입출입 관리 장치.According to claim 1,
The camera unit,
a visible light camera that photographs the subject and obtains a first image that is the visible light image; and
A thermal imaging camera that photographs the subject and acquires a second image, which is the thermal image,
The visible light camera and the thermal imaging camera,
Entry and exit management device, characterized in that disposed at the same distance and angle from the subject. 제 1 항에 있어서,
상기 제어부는,
상기 수신된 정보와 관련한 사용자가 미리 등록된 사용자인지를 판단하기 위해서, 상기 수신된 정보가 데이터베이스에 미리 저장된 출입 등록 정보에 포함된 상태인지 여부를 판단하는 것을 특징으로 하는 입출입 관리 장치.According to claim 1,
The control unit,
In order to determine whether a user related to the received information is a pre-registered user, it is determined whether the received information is included in access registration information previously stored in a database. 카메라부에 의해, 피사체를 촬영하여 가시광 영상인 제 1 영상과 열화상 영상인 제 2 영상을 획득하는 단계;
제어부에 의해, 상기 획득된 제 1 영상 및 제 2 영상을 근거로 상기 피사체의 체온 및 상기 피사체의 마스크 착용 여부를 확인하고, 결과를 출력하는 단계;
상기 제어부에 의해, 방명록 기재 요청을 위한 안내 화면을 표시하는 단계;
상기 제어부에 의해, 사용자로부터 제공되는 전화번호, 개인 안심 번호, 바코드에 대응하는 바코드 정보 및 QR 코드에 대응하는 QR 코드 정보 중 어느 하나의 정보를 수신하는 단계;
상기 제어부에 의해, 상기 수신된 정보를 근거로 상기 사용자가 미리 등록된 사용자인지 여부를 판단하는 단계; 및
상기 판단 결과, 상기 사용자가 미리 등록된 사용자일 때, 상기 제어부에 의해, 상기 피사체에 대응하는 사용자의 출입 날짜 및 시각, 출입 시점의 상기 피사체의 체온, 출입 사진 및 상기 정보를 포함하는 입출입 관리 명부를 생성하는 단계를 포함하며,
상기 피사체의 체온 및 상기 피사체의 마스크 착용 여부를 확인하고, 결과를 출력하는 단계는,
상기 제 1 영상에서 상기 피사체의 안면 영역을 인식하는 과정;
상기 제 2 영상에 상기 인식된 안면 영역을 중첩하는 과정;
상기 제 2 영상에서 상기 중첩된 영역을 제 2 영상의 안면 영역으로 선택하는 과정;
상기 제 2 영상에서 선택된 안면 영역에서 픽셀별 온도 데이터를 획득하는 과정;
상기 획득된 픽셀별 온도 데이터를 근거로 상기 피사체의 체온을 확인하는 과정; 및
상기 확인된 피사체의 체온을 출력하는 과정을 포함하며,
상기 제어부는,
상기 제 1 영상에서 눈 영역을 인식하고, 상기 인식된 눈 영역에 대해서 정사각형 모양으로 정형화하고, 상기 정형화된 정사각형의 한 변 길이를 기준으로 하여 안면 영역의 가로 길이 및 세로 길이를 추정하고, 상기 추정된 가로 길이 및 세로 길이를 적용한 안면 영역을 근거로 상기 제 1 영상에서 상기 피사체의 안면 영역을 인식하는 것을 특징으로 하는 입출입 관리 방법.obtaining a first image, which is a visible light image, and a second image, which is a thermal image, by photographing a subject by a camera unit;
checking, by a controller, the body temperature of the subject and whether or not the subject is wearing a mask based on the acquired first and second images, and outputting a result;
displaying, by the control unit, a guidance screen for requesting entry into the guestbook;
Receiving, by the controller, any one of barcode information corresponding to a phone number, personal safety number, and barcode provided by the user, and QR code information corresponding to a QR code;
determining, by the control unit, whether the user is a pre-registered user based on the received information; and
As a result of the determination, when the user is a pre-registered user, the access date and time of the user corresponding to the subject, the body temperature of the subject at the time of access, an access photo, and an entry/exit management list including the information by the control unit Including the step of generating,
The step of checking the body temperature of the subject and whether or not the subject is wearing a mask, and outputting the result,
recognizing a facial region of the subject in the first image;
superimposing the recognized facial region on the second image;
selecting the overlapped area in the second image as a facial area of the second image;
acquiring temperature data for each pixel in the facial region selected from the second image;
checking the body temperature of the subject based on the obtained temperature data for each pixel; and
Including the process of outputting the body temperature of the identified subject,
The control unit,
The eye region is recognized in the first image, the recognized eye region is standardized into a square shape, the horizontal and vertical lengths of the facial region are estimated based on the length of one side of the standardized square, and the estimation and recognizing the facial region of the subject in the first image based on the facial region to which the horizontal and vertical lengths are applied. 삭제delete 제 4 항에 있어서,
상기 피사체의 체온 및 상기 피사체의 마스크 착용 여부를 확인하고, 결과를 출력하는 단계는,
상기 제 2 영상에서의 피사체의 안면 영역에 포함된 복수의 픽셀 중에서 미리 설정된 제 2 설정 온도 이상인 픽셀의 개수를 카운트하는 과정;
상기 카운트된 픽셀의 개수를 근거로 상기 제 2 영상에서의 피사체의 안면 영역에서 상기 카운트된 픽셀의 개수가 차지하는 비율을 계산하는 과정;
상기 계산된 비율이 미리 설정된 기준값을 초과하는지 여부를 확인하는 과정;
상기 확인 결과, 상기 계산된 비율이 상기 기준값을 초과하지 않을 때, 상기 피사체가 마스크를 착용한 상태로 판단하는 과정;
상기 확인 결과, 상기 계산된 비율이 상기 기준값을 초과할 때, 상기 피사체가 마스크를 착용하지 않은 상태로 판단하는 과정; 및
상기 판단되는 상기 피사체의 마스크 착용 여부에 대한 정보를 출력하는 과정을 포함하는 것을 특징으로 하는 입출입 관리 방법.According to claim 4,
The step of checking the body temperature of the subject and whether or not the subject is wearing a mask, and outputting the result,
counting the number of pixels having a predetermined second set temperature or higher among a plurality of pixels included in a facial region of a subject in the second image;
calculating a ratio occupied by the counted number of pixels in a facial region of a subject in the second image based on the counted number of pixels;
checking whether the calculated ratio exceeds a preset reference value;
determining that the subject is wearing a mask when the calculated ratio does not exceed the reference value as a result of the check;
determining that the subject is not wearing a mask when the calculated ratio exceeds the reference value as a result of the check; and
and outputting information on whether or not the determined subject wears a mask. 제 4 항에 있어서,
상기 수신된 정보를 근거로 상기 사용자가 미리 등록된 사용자인지 여부를 판단하는 단계는,
상기 수신된 정보와 관련한 사용자가 미리 등록된 사용자인지를 판단하기 위해서, 상기 수신된 정보가 데이터베이스에 미리 저장된 출입 등록 정보에 포함된 상태인지 여부를 판단하는 것을 특징으로 하는 입출입 관리 방법.According to claim 4,
Determining whether the user is a pre-registered user based on the received information includes:
In order to determine whether a user related to the received information is a pre-registered user, it is determined whether the received information is included in access registration information previously stored in a database.
KR1020210084047A 2021-06-28 2021-06-28 Apparatus for managing input/output and method thereof KR102472815B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210084047A KR102472815B1 (en) 2021-06-28 2021-06-28 Apparatus for managing input/output and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210084047A KR102472815B1 (en) 2021-06-28 2021-06-28 Apparatus for managing input/output and method thereof

Publications (1)

Publication Number Publication Date
KR102472815B1 true KR102472815B1 (en) 2022-12-01

Family

ID=84440895

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210084047A KR102472815B1 (en) 2021-06-28 2021-06-28 Apparatus for managing input/output and method thereof

Country Status (1)

Country Link
KR (1) KR102472815B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102576380B1 (en) * 2023-06-07 2023-09-08 김동현 Method and system for managing products marked with a date overlaapied on a rectangular micro quick response code using neural networks

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010097619A (en) * 2009-12-11 2010-04-30 Secom Co Ltd Face detection device
KR20180123900A (en) * 2017-05-10 2018-11-20 수원대학교산학협력단 Method and apparatus for alarming thermal heat detection results obtained by monitoring heat from human using thermal scanner
KR20200122268A (en) 2020-09-23 2020-10-27 주식회사 한스크리에이티브 Access control system based on mobile device and control method thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010097619A (en) * 2009-12-11 2010-04-30 Secom Co Ltd Face detection device
KR20180123900A (en) * 2017-05-10 2018-11-20 수원대학교산학협력단 Method and apparatus for alarming thermal heat detection results obtained by monitoring heat from human using thermal scanner
KR20200122268A (en) 2020-09-23 2020-10-27 주식회사 한스크리에이티브 Access control system based on mobile device and control method thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102576380B1 (en) * 2023-06-07 2023-09-08 김동현 Method and system for managing products marked with a date overlaapied on a rectangular micro quick response code using neural networks

Similar Documents

Publication Publication Date Title
CN108664783B (en) Iris recognition-based recognition method and electronic equipment supporting same
US10564392B2 (en) Imaging apparatus and focus control method
EP3163498B1 (en) Alarming method and device
US10719950B2 (en) Head mount display (HMD) operated with mobile device for transforming reference coordinate systems for providing screen information
KR102287751B1 (en) Method and apparatus for iris recognition of electronic device
US10215557B2 (en) Distance image acquisition apparatus and distance image acquisition method
US20140282275A1 (en) Detection of a zooming gesture
WO2017071044A1 (en) Method and device for controlling unmanned aerial vehicle
KR102230691B1 (en) Method and device for recognizing biometric information
US10083351B2 (en) Control system and control method
US20140282224A1 (en) Detection of a scrolling gesture
US10045001B2 (en) Powering unpowered objects for tracking, augmented reality, and other experiences
WO2016137294A1 (en) Electronic device and control method thereof
US20170277222A1 (en) Head-mounted display
KR101760898B1 (en) Context awareness based interactive guidance system and control method thereof
CN108710833B (en) User identity authentication method and mobile terminal
US20170251138A1 (en) Video call method and device
KR102472815B1 (en) Apparatus for managing input/output and method thereof
WO2022183663A1 (en) Event detection method and apparatus, and electronic device, storage medium and program product
KR20210019218A (en) Smart door
KR102181084B1 (en) Apparatus for providing immersive contents and method thereof
KR101558728B1 (en) Visitor supervisory apparatus and system for notification service of visitor information having the same, and method thereof
US11243674B2 (en) Display apparatus and image processing method
KR20150035108A (en) System for robot cleaner and preventing crime using wifi direct
KR102632212B1 (en) Electronic device for managnign vehicle information using face recognition and method for operating the same

Legal Events

Date Code Title Description
GRNT Written decision to grant