KR102472815B1 - Apparatus for managing input/output and method thereof - Google Patents
Apparatus for managing input/output and method thereof Download PDFInfo
- Publication number
- KR102472815B1 KR102472815B1 KR1020210084047A KR20210084047A KR102472815B1 KR 102472815 B1 KR102472815 B1 KR 102472815B1 KR 1020210084047 A KR1020210084047 A KR 1020210084047A KR 20210084047 A KR20210084047 A KR 20210084047A KR 102472815 B1 KR102472815 B1 KR 102472815B1
- Authority
- KR
- South Korea
- Prior art keywords
- subject
- image
- user
- access
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 230000036760 body temperature Effects 0.000 claims abstract description 75
- 238000001931 thermography Methods 0.000 claims abstract description 20
- 230000001815 facial effect Effects 0.000 claims description 73
- 238000007726 management method Methods 0.000 description 61
- 238000004891 communication Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 15
- 238000012790 confirmation Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000007774 longterm Effects 0.000 description 4
- 238000009529 body temperature measurement Methods 0.000 description 3
- 244000240602 cacao Species 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 239000000645 desinfectant Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 239000007921 spray Substances 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 206010037660 Pyrexia Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000010454 slate Substances 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
- G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
- G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
- G07C9/00571—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys operated by interacting with a central unit
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/30—Individual registration on entry or exit not involving the use of a pass
- G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
- G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Studio Devices (AREA)
Abstract
Description
본 발명은 입출입 관리 장치 및 그 방법에 관한 것으로서, 특히 가시광 카메라와 열화상 카메라를 이용해서 빠르게 체온을 측정하고 마스크 착용 여부를 판단하고, 방명록 기재를 요청한 후, 사용자가 입력하는 전화번호나 고유 코드 또는 바코드나 QR 코드 인식에 따른 정보를 근거로 미리 등록된 사용자인지 여부를 판단하고, 판단 결과에 따라 출입 게이트에서의 출입 시각, 출입 시점의 온도, 출입 사진, 입력되거나 인식된 전화번호나 고유 코드나 바코드 정보나 QR 코드 정보 등을 입출입 관리 명부로 저장하는 입출입 관리 장치 및 그 방법에 관한 것이다.The present invention relates to an entry/exit management device and method thereof, and more particularly, to rapidly measure body temperature using a visible light camera and a thermal imaging camera, determine whether or not a mask is worn, and request a guestbook entry, followed by a phone number or unique code input by a user. Or, based on information from barcode or QR code recognition, it is determined whether the user is pre-registered, and based on the determination result, the time of entry at the gate, the temperature at the time of entry, the entry/exit photo, the entered or recognized phone number or unique code B. It relates to an entry/exit management device and method for storing barcode information or QR code information as an entry/exit management list.
출입 게이트는 출입통제 게이트 또는 출입보안 게이트로도 불리며, 홍채 인식, 안면 인식 등의 기술을 활용하여 저장된 사진 정보와 비교함으로써 등록된 사용자를 인식한다.The access gate is also called an access control gate or access security gate, and recognizes a registered user by comparing it with stored photo information using technologies such as iris recognition and face recognition.
하지만, 홍채와 안면 인식은 고성능의 하드웨어가 필요하고, 처리 속도가 느리며 정확도를 높이기 위해서는 측정 시간이 길어질 수밖에 없는 구조적인 문제가 있다.However, iris and face recognition have structural problems in that high-performance hardware is required, processing speed is slow, and measurement time is inevitably long to increase accuracy.
본 발명의 목적은 가시광 카메라와 열화상 카메라를 이용해서 빠르게 체온을 측정하고 마스크 착용 여부를 판단하고, 방명록 기재를 요청한 후, 사용자가 입력하는 전화번호나 고유 코드 또는 바코드나 QR 코드 인식에 따른 정보를 근거로 미리 등록된 사용자인지 여부를 판단하고, 판단 결과에 따라 출입 게이트에서의 출입 시각, 출입 시점의 온도, 출입 사진, 입력되거나 인식된 전화번호나 고유 코드나 바코드 정보나 QR 코드 정보 등을 입출입 관리 명부로 저장하는 입출입 관리 장치 및 그 방법을 제공하는 데 있다.An object of the present invention is to rapidly measure body temperature using a visible light camera and a thermal imaging camera, determine whether a mask is worn or not, request a guest book entry, and then information based on recognizing a phone number, unique code, barcode or QR code input by a user. Based on this, it is determined whether the user is pre-registered, and based on the determination result, the time of entry at the gate, the temperature at the time of entry, the entry/exit photo, the entered or recognized phone number, unique code, barcode information or QR code information, etc. It is an object of the present invention to provide an entry/exit management device and method for storing an entry/exit management list.
본 발명의 다른 목적은 OpenCV를 이용해서 인식된 안면 영역에서의 픽셀별 온도값을 근거로 마스크 착용 여부를 확인하며, 안면 인식과 눈 인식을 병합하여 눈만 인식했을 경우에도 확장되는 알고리즘을 적용하여 안면 영역을 인지하는 입출입 관리 장치 및 그 방법을 제공하는 데 있다.Another object of the present invention is to check whether or not a mask is worn based on the temperature value of each pixel in the face area recognized using OpenCV, and to apply an algorithm that expands even when only the eyes are recognized by merging face recognition and eye recognition. It is an object of the present invention to provide an input/output management device and method for recognizing an area.
본 발명의 실시예에 따른 입출입 관리 장치는 피사체를 촬영하여 가시광 영상인 제 1 영상과 열화상 영상인 제 2 영상을 획득하는 카메라부; 및 상기 획득된 제 1 영상 및 제 2 영상을 근거로 상기 피사체의 체온 및 상기 피사체의 마스크 착용 여부를 확인하고, 결과를 출력하고, 방명록 기재 요청을 위한 안내 화면을 표시하고, 사용자로부터 제공되는 전화번호, 개인 안심 번호, 바코드에 대응하는 바코드 정보 및 QR 코드에 대응하는 QR 코드 정보 중 어느 하나의 정보를 수신하고, 상기 수신된 정보를 근거로 상기 사용자가 미리 등록된 사용자인지 여부를 판단하고, 상기 판단 결과, 상기 사용자가 미리 등록된 사용자일 때, 상기 피사체에 대응하는 사용자의 출입 날짜 및 시각, 출입 시점의 상기 피사체의 체온, 출입 사진 및 상기 정보를 포함하는 입출입 관리 명부를 생성하는 제어부를 포함할 수 있다.An access management device according to an embodiment of the present invention includes a camera unit that photographs a subject and acquires a first image, which is a visible light image, and a second image, which is a thermal image; and checking the body temperature of the subject and whether or not the subject is wearing a mask based on the obtained first and second images, outputting the result, displaying a guide screen for requesting a guestbook entry, and making a phone call provided by the user. Receiving any one of a number, a personal safety number, barcode information corresponding to a barcode, and QR code information corresponding to a QR code, and determining whether the user is a pre-registered user based on the received information, As a result of the determination, when the user is a pre-registered user, a control unit for generating an entry/exit management list including access date and time of the user corresponding to the subject, body temperature of the subject at the time of access, access photo, and the information can include
본 발명과 관련된 일 예로서 상기 카메라부는, 상기 피사체를 촬영하여 상기 가시광 영상인 제 1 영상을 획득하는 가시광 카메라; 및 상기 피사체를 촬영하여, 상기 열화상 영상인 제 2 영상을 획득하는 열화상 카메라를 포함하며, 상기 가시광 카메라 및 상기 열화상 카메라는, 상기 피사체로부터 동일한 거리와 각도로 배치할 수 있다.As an example related to the present invention, the camera unit may include a visible light camera that captures the subject and acquires the first visible light image; and a thermal imaging camera that photographs the subject and acquires a second image, which is the thermal image, wherein the visible light camera and the thermal imaging camera may be disposed at the same distance and angle from the subject.
본 발명과 관련된 일 예로서 상기 제어부는, 상기 수신된 정보와 관련한 사용자가 미리 등록된 사용자인지를 판단하기 위해서, 상기 수신된 정보가 데이터베이스에 미리 저장된 출입 등록 정보에 포함된 상태인지 여부를 판단할 수 있다.As an example related to the present invention, the control unit determines whether the received information is included in access registration information pre-stored in a database in order to determine whether a user related to the received information is a pre-registered user. can
본 발명의 실시예에 따른 입출입 관리 방법은 카메라부에 의해, 피사체를 촬영하여 가시광 영상인 제 1 영상과 열화상 영상인 제 2 영상을 획득하는 단계; 제어부에 의해, 상기 획득된 제 1 영상 및 제 2 영상을 근거로 상기 피사체의 체온 및 상기 피사체의 마스크 착용 여부를 확인하고, 결과를 출력하는 단계; 상기 제어부에 의해, 방명록 기재 요청을 위한 안내 화면을 표시하는 단계; 상기 제어부에 의해, 사용자로부터 제공되는 전화번호, 개인 안심 번호, 바코드에 대응하는 바코드 정보 및 QR 코드에 대응하는 QR 코드 정보 중 어느 하나의 정보를 수신하는 단계; 상기 제어부에 의해, 상기 수신된 정보를 근거로 상기 사용자가 미리 등록된 사용자인지 여부를 판단하는 단계; 및 상기 판단 결과, 상기 사용자가 미리 등록된 사용자일 때, 상기 제어부에 의해, 상기 피사체에 대응하는 사용자의 출입 날짜 및 시각, 출입 시점의 상기 피사체의 체온, 출입 사진 및 상기 정보를 포함하는 입출입 관리 명부를 생성하는 단계를 포함할 수 있다.An access control method according to an embodiment of the present invention includes the steps of acquiring a first image, which is a visible light image, and a second image, which is a thermal image, by photographing a subject by a camera unit; checking, by a controller, the body temperature of the subject and whether or not the subject is wearing a mask based on the acquired first and second images, and outputting a result; displaying, by the control unit, a guidance screen for requesting entry into the guest book; Receiving, by the control unit, any one of barcode information corresponding to a phone number, personal safety number, and barcode provided by a user, and QR code information corresponding to a QR code; determining, by the controller, whether the user is a pre-registered user based on the received information; And as a result of the determination, when the user is a pre-registered user, the control unit manages entry and exit including the access date and time of the user corresponding to the subject, the body temperature of the subject at the time of access, an access photo, and the information. It may include creating a roster.
본 발명과 관련된 일 예로서 상기 피사체의 체온 및 상기 피사체의 마스크 착용 여부를 확인하고, 결과를 출력하는 단계는, 상기 제 1 영상에서 상기 피사체의 안면 영역을 인식하는 과정; 상기 제 2 영상에 상기 인식된 안면 영역을 중첩하는 과정; 상기 제 2 영상에서 상기 중첩된 영역을 제 2 영상의 안면 영역으로 선택하는 과정; 상기 제 2 영상에서 선택된 안면 영역에서 픽셀별 온도 데이터를 획득하는 과정; 상기 획득된 픽셀별 온도 데이터를 근거로 상기 피사체의 체온을 확인하는 과정; 및 상기 확인된 피사체의 체온을 출력하는 과정을 포함할 수 있다.As an example related to the present invention, the step of checking the subject's body temperature and whether or not the subject is wearing a mask and outputting the result may include: recognizing a facial region of the subject in the first image; superimposing the recognized facial region on the second image; selecting the overlapped area in the second image as a facial area of the second image; acquiring temperature data for each pixel in the facial region selected from the second image; checking the body temperature of the subject based on the obtained temperature data for each pixel; and outputting the identified body temperature of the subject.
본 발명과 관련된 일 예로서 상기 피사체의 체온 및 상기 피사체의 마스크 착용 여부를 확인하고, 결과를 출력하는 단계는, 상기 제 2 영상에서의 피사체의 안면 영역에 포함된 복수의 픽셀 중에서 미리 설정된 제 2 설정 온도 이상인 픽셀의 개수를 카운트하는 과정; 상기 카운트된 픽셀의 개수를 근거로 상기 제 2 영상에서의 피사체의 안면 영역에서 상기 카운트된 픽셀의 개수가 차지하는 비율을 계산하는 과정; 상기 계산된 비율이 미리 설정된 기준값을 초과하는지 여부를 확인하는 과정; 상기 확인 결과, 상기 계산된 비율이 상기 기준값을 초과하지 않을 때, 상기 피사체가 마스크를 착용한 상태로 판단하는 과정; 상기 확인 결과, 상기 계산된 비율이 상기 기준값을 초과할 때, 상기 피사체가 마스크를 착용하지 않은 상태로 판단하는 과정; 및 상기 판단되는 상기 피사체의 마스크 착용 여부에 대한 정보를 출력하는 과정을 포함할 수 있다.As an example related to the present invention, the step of checking the body temperature of the subject and whether or not the subject is wearing a mask, and outputting the result may include a second set in advance among a plurality of pixels included in the facial area of the subject in the second image. Counting the number of pixels having a set temperature or higher; calculating a ratio occupied by the counted number of pixels in a facial region of a subject in the second image based on the counted number of pixels; checking whether the calculated ratio exceeds a preset reference value; determining that the subject is wearing a mask when the calculated ratio does not exceed the reference value as a result of the check; determining that the subject is not wearing a mask when the calculated ratio exceeds the reference value as a result of the check; and outputting information on whether or not the determined subject wears a mask.
본 발명과 관련된 일 예로서 상기 수신된 정보를 근거로 상기 사용자가 미리 등록된 사용자인지 여부를 판단하는 단계는, 상기 수신된 정보와 관련한 사용자가 미리 등록된 사용자인지를 판단하기 위해서, 상기 수신된 정보가 데이터베이스에 미리 저장된 출입 등록 정보에 포함된 상태인지 여부를 판단할 수 있다.As an example related to the present invention, the step of determining whether the user is a pre-registered user based on the received information is to determine whether the user related to the received information is a pre-registered user, It may be determined whether or not the information is included in access registration information pre-stored in the database.
본 발명은 가시광 카메라와 열화상 카메라를 이용해서 빠르게 체온을 측정하고 마스크 착용 여부를 판단하고, 방명록 기재를 요청한 후, 사용자가 입력하는 전화번호나 고유 코드 또는 바코드나 QR 코드 인식에 따른 정보를 근거로 미리 등록된 사용자인지 여부를 판단하고, 판단 결과에 따라 출입 게이트에서의 출입 시각, 출입 시점의 온도, 출입 사진, 입력되거나 인식된 전화번호나 고유 코드나 바코드 정보나 QR 코드 정보 등을 입출입 관리 명부로 저장함으로써, 입출입 관리를 위한 대기 시간을 줄이고 관리를 용이하도록 구성할 수 있는 효과가 있다.The present invention uses a visible light camera and a thermal imaging camera to quickly measure body temperature, determine whether or not to wear a mask, request a guest book entry, and then use information based on phone number or unique code or barcode or QR code recognition input by the user. Determines whether or not the user is pre-registered, and manages entry and exit based on the result of the determination, such as access time at the gate, temperature at the time of entry, access photo, input or recognized phone number, unique code, barcode information, QR code information, etc. By storing as a list, there is an effect that can be configured to reduce waiting time for entry and exit management and facilitate management.
또한, 본 발명은 OpenCV를 이용해서 인식된 안면 영역에서의 픽셀별 온도값을 근거로 마스크 착용 여부를 확인하며, 안면 인식과 눈 인식을 병합하여 눈만 인식했을 경우에도 확장되는 알고리즘을 적용하여 안면 영역을 인지함으로써, 안면 인식의 정확도를 높이고, 데이터 학습을 통한 안면 인식 기능을 수행하는 딥러닝 결과보다 빠르고 정확한 데이터를 획득할 수 있는 효과가 있다.In addition, the present invention checks whether or not a mask is worn based on the temperature value of each pixel in the face region recognized using OpenCV, and applies an algorithm that is expanded even when only the eyes are recognized by merging face recognition and eye recognition. By recognizing , there is an effect of increasing the accuracy of face recognition and obtaining faster and more accurate data than the result of deep learning that performs a face recognition function through data learning.
도 1은 본 발명의 실시예에 따른 입출입 관리 장치의 구성을 나타낸 블록도이다.
도 2는 본 발명의 실시예에 따른 피사체의 안면 영역 및 눈 영역을 인식하는 동작을 나타낸 도이다.
도 3 내지 도 5는 본 발명의 실시예에 따른 입출입 관리 장치가 적용된 출입 게이트의 예를 나타낸 도이다.
도 6 내지 도 7은 본 발명의 실시예에 따른 입출입 관리 방법을 나타낸 흐름도이다.
도 8은 본 발명의 실시예에 따른 피사체의 체온 확인 및 마스크 착용 여부 확인에 대한 정보를 제공하는 예를 나타낸 도이다.
도 9는 본 발명의 실시예에 따른 안내 화면이 예를 나타낸 도이다.1 is a block diagram showing the configuration of an access control device according to an embodiment of the present invention.
2 is a diagram illustrating an operation of recognizing a facial region and an eye region of a subject according to an embodiment of the present invention.
3 to 5 are diagrams illustrating examples of access gates to which an access control device according to an embodiment of the present invention is applied.
6 to 7 are flowcharts illustrating a method for managing access according to an embodiment of the present invention.
8 is a diagram illustrating an example of providing information on checking the body temperature of a subject and checking whether a mask is worn according to an embodiment of the present invention.
9 is a diagram illustrating an example of a guidance screen according to an embodiment of the present invention.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.It should be noted that technical terms used in the present invention are only used to describe specific embodiments and are not intended to limit the present invention. In addition, technical terms used in the present invention should be interpreted in terms commonly understood by those of ordinary skill in the art to which the present invention belongs, unless specifically defined otherwise in the present invention, and are excessively inclusive. It should not be interpreted in a positive sense or in an excessively reduced sense. In addition, when the technical terms used in the present invention are erroneous technical terms that do not accurately express the spirit of the present invention, they should be replaced with technical terms that those skilled in the art can correctly understand. In addition, general terms used in the present invention should be interpreted as defined in advance or according to context, and should not be interpreted in an excessively reduced sense.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.Also, singular expressions used in the present invention include plural expressions unless the context clearly dictates otherwise. Terms such as "consisting of" or "comprising" in the present invention should not be construed as necessarily including all of the various elements or steps described in the invention, and some of the elements or steps may not be included. It should be construed that it may, or may further include additional components or steps.
또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.In addition, terms including ordinal numbers such as first and second used in the present invention may be used to describe components, but components should not be limited by the terms. Terms are used only to distinguish one component from another. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element, without departing from the scope of the present invention.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings, but the same or similar components are given the same reference numerals regardless of reference numerals, and redundant description thereof will be omitted.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.In addition, in describing the present invention, if it is determined that a detailed description of a related known technology may obscure the gist of the present invention, the detailed description will be omitted. In addition, it should be noted that the accompanying drawings are only for easily understanding the spirit of the present invention, and should not be construed as limiting the spirit of the present invention by the accompanying drawings.
도 1은 본 발명의 실시예에 따른 입출입 관리 장치(100)의 구성을 나타낸 블록도이다.1 is a block diagram showing the configuration of an
도 1에 도시한 바와 같이, 입출입 관리 장치(100)는 카메라부(110), 통신부(120), 저장부(130), 표시부(140), 음성 출력부(150) 및 제어부(160)로 구성된다. 도 1에 도시된 입출입 관리 장치(100)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 입출입 관리 장치(100)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 입출입 관리 장치(100)가 구현될 수도 있다.As shown in FIG. 1, the
상기 입출입 관리 장치(100)는 스마트폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 폴더블 단말기(Foldable Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말기, 텔레매틱스(Telematics) 단말기, 내비게이션(Navigation) 단말기, 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 슬레이트 PC(Slate PC), 태블릿 PC(Tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display) 등 포함), 와이브로(Wibro) 단말기, IPTV(Internet Protocol Television) 단말기, 스마트 TV, 디지털방송용 단말기, AVN(Audio Video Navigation) 단말기, A/V(Audio/Video) 시스템, 플렉시블 단말기(Flexible Terminal), 디지털 사이니지 장치, 출입 게이트 등과 같은 다양한 단말기에 적용될 수 있다.The
상기 카메라부(또는 촬영부)(110)는 상기 입출입 관리 장치(100)의 일측에 배치(또는 구성/형성)한다.The camera unit (or photographing unit) 110 is disposed (or configured/formed) on one side of the
또한, 상기 카메라부(110)는 상기 입출입 관리 장치(100)의 전면, 상기 입출입 관리 장치(100)의 후면, 상기 입출입 관리 장치(100)의 측면 등을 포함하는 전면을 촬영할 수 있도록 하나 이상의 이미지 센서(카메라 모듈 또는 카메라)로 구성한다. 이때, 상기 카메라부(110)는 360도 전방향에 대한 영상 정보를 획득할 수 있는 스테레오 카메라로 구성할 수도 있다.In addition, the
또한, 상기 카메라부(110)는 상기 입출입 관리 장치(100)의 전면/후면/측면에 위치한 하나 이상의 객체를 포함하는 영상 정보를 획득(또는 촬영)한다.In addition, the
즉, 상기 카메라부(110)는 영상 통화 모드, 촬영 모드, 영상회의 모드 등에서 이미지 센서(카메라 모듈 또는 카메라)에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 즉, 코덱(CODEC)에 따라 상기 이미지 센서에 의해 얻어지는 해당 화상 데이터들을 각 규격에 맞도록 인코딩/디코딩한다. 일 예로, 상기 카메라부(110)는 객체(또는 피사체)를 촬영하고, 그 촬영된 영상(피사체 영상)에 대응하는 비디오 신호를 출력한다.That is, the
또한, 상기 카메라부(110)에서 처리된 화상 프레임(또는 영상 정보)은 디지털 비디오 레코더(Digital video recorder: DVR)에 저장되거나, 상기 저장부(130)에 저장되거나, 상기 통신부(120)를 통해 외부 서버 등에 전송될 수 있다.In addition, the image frame (or image information) processed by the
또한, 상기 카메라부(110)는 가시광 카메라(111), 열화상 카메라(112) 등을 포함한다.In addition, the
또한, 상기 카메라부(110)는 피사체(또는 객체)로부터 동일한 거리와 각도에서, 상기 피사체를 촬영하여 가시광 영상인 제 1 영상과, 열화상 영상인 제 2 영상을 각각 획득한다. 이때, 상기 카메라부(110)는 입출입 관리 장치(100)의 일측에 구비된 동작 인식 센서(또는 센서부)(미도시)를 통해 상기 피사체가 감지되는 경우, 상기 피사체를 포함하는 상기 제 1 영상 및 상기 제 2 영상을 획득할 수 있다. 여기서, 상기 동작 인식 센서(Motion Recognition Sensor)는 물체(또는 피사체/객체)의 움직임이나 위치를 인식하는 센서, 지자기 센서(Geomagnetism Sensor), 가속도 센서(Acceleration Sensor), 자이로 센서(Gyro Sensor), 관성 센서(Inertial Sensor), 고도계(Altimeter), 진동 센서 등의 센서를 포함하며, 동작 인식에 관련된 센서들이 추가로 포함될 수 있다.In addition, the
상기 가시광 카메라(111)는 가시광선을 이용하여 가시광 영상을 촬영(또는 획득)한다.The visible
또한, 상기 가시광 카메라(111)는 카메라 센서가 육안으로 식별할 수 있는 가시광선(예를 들어 파장 400nm ~ 700nm)을 감지하여 피사체를 컬러로 촬영하는 카메라이다.In addition, the visible
또한, 상기 가시광 카메라(111)는 상기 피사체를 촬영하여, 가시광 영상인 상기 제 1 영상을 획득(또는 촬상)한다.Also, the visible
상기 열화상 카메라(112)는 적외선을 이용하여 열화상 영상을 촬영한다.The
또한, 상기 열화상 카메라(112)는 적외선 에너지(또는 열)를 비접촉식으로 감지하여, 전기 신호로 변환해 주는 기기이다. 여기서, 상기 전기 신호는 다시 열화상 이미지나 동영상으로 변환되어, 비디오 모니터(미도시)(또는 상기 표시부(1400)를 통해 표시되고, 온도 관련 정보를 산출하는데 활용된다.In addition, the
또한, 상기 열화상 카메라(112)는 상기 피사체를 촬영하여, 열화상 영상인 상기 제 2 영상을 획득한다.In addition, the
이때, 상기 가시광 카메라(111)와 상기 열화상 카메라(112)는 상기 피사체로부터 동일한 거리와 각도를 유지해야 해당 피사체에서의 안면 영역 인식의 정확도를 높일 수 있으므로, 서로 최대한 근접 배치하여 구성한다.At this time, the visible
또한, 상기 카메라부(110)(또는 상기 가시광 카메라(111))는 상기 제어부(160)의 제어에 의해, 사용자(또는 사용자가 소지한 단말)가 제공하는 바코드 또는 QR 코드를 포함하는 영상(또는 영상 정보)을 획득(또는 촬영)한다.In addition, the camera unit 110 (or the visible light camera 111) is controlled by the
또한, 상기 카메라부(110)(또는 상기 가시광 카메라(111))는 상기 제어부(160)의 제어에 의해, 상기 입출입 관리 장치(100)와 연동하는 임의의 디바이스(또는 장치/시스템)의 일측에 위치하는(또는 입출입하는) 하나 이상의 피사체를 포함하는 영상을 획득(또는 촬영)한다.In addition, the camera unit 110 (or the visible light camera 111) is placed on one side of any device (or device/system) interworking with the
상기 통신부(120)는 유/무선 통신망을 통해 내부의 임의의 구성 요소 또는 외부의 임의의 적어도 하나의 단말기와 통신 연결한다. 이때, 상기 외부의 임의의 단말기는 서버(미도시), 단말(미도시) 등을 포함할 수 있다. 여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 등이 있으며, 상기 통신부(120)는 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다. 또한, 근거리 통신 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신 기술로는 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.The
또한, 상기 통신부(120)는 유니버설 시리얼 버스(Universal Serial Bus: USB)를 통해 임의의 단말과 정보를 상호 전송할 수 있다.In addition, the
또한, 상기 통신부(120)는 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 상기 서버, 상기 단말 등과 무선 신호를 송수신한다.In addition, the
또한, 상기 통신부(120)는 상기 제어부(160)의 제어에 의해, 임의의 사용자의 입출입 기록을 관리하는 입출입 관리 명부를 상기 서버 등에 전송한다.In addition, the
상기 저장부(130)는 다양한 사용자 인터페이스(User Interface: UI), 그래픽 사용자 인터페이스(Graphic User Interface: GUI) 등을 저장한다.The
또한, 상기 저장부(130)는 상기 입출입 관리 장치(100)가 동작하는데 필요한 데이터와 프로그램 등을 저장한다.In addition, the
즉, 상기 저장부(130)는 상기 입출입 관리 장치(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 입출입 관리 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한, 이러한 응용 프로그램 중 적어도 일부는 입출입 관리 장치(100)의 기본적인 기능을 위하여 출고 당시부터 입출입 관리 장치(100) 상에 존재할 수 있다. 한편, 응용 프로그램은 상기 저장부(130)에 저장되고, 입출입 관리 장치(100)에 설치되어, 제어부(160)에 의하여 상기 입출입 관리 장치(100)의 동작(또는 기능)을 수행하도록 구동될 수 있다.That is, the
또한, 상기 저장부(130)는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory: RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다. 또한, 입출입 관리 장치(100)는 인터넷(internet)상에서 저장부(130)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영하거나, 또는 상기 웹 스토리지와 관련되어 동작할 수도 있다.In addition, the
또한, 상기 저장부(130)는 상기 제어부(160)의 제어에 의해 상기 임의의 사용자의 입출입 기록을 관리하는 입출입 관리 명부 등을 저장한다.In addition, the
상기 표시부(또는 디스플레이부)(140)는 상기 제어부(160)의 제어에 의해 상기 저장부(130)에 저장된 사용자 인터페이스 및/또는 그래픽 사용자 인터페이스를 이용하여 다양한 메뉴 화면 등과 같은 다양한 콘텐츠를 표시할 수 있다. 여기서, 상기 표시부(140)에 표시되는 콘텐츠는 다양한 텍스트 또는 이미지 데이터(각종 정보 데이터 포함)와 아이콘, 리스트 메뉴, 콤보 박스 등의 데이터를 포함하는 메뉴 화면 등을 포함한다. 또한, 상기 표시부(140)는 터치 스크린 일 수 있다.The display unit (or display unit) 140 may display various contents such as various menu screens using a user interface and/or a graphic user interface stored in the
또한, 상기 표시부(140)는 액정 디스플레이(Liquid Crystal Display: LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display: TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode: OLED), 플렉시블 디스플레이(Flexible Display), 3차원 디스플레이(3D Display), 전자잉크 디스플레이(e-ink display), LED(Light Emitting Diode) 중에서 적어도 하나를 포함할 수 있다.In addition, the
또한, 상기 표시부(140)는 상기 제어부(160)의 제어에 의해 뷰파인더 화면을 통해 상기 카메라부(110)에 의해 획득되는 영상 정보를 표시한다.Also, the
또한, 상기 표시부(140)는 상기 제어부(160)의 제어에 의해 상기 임의의 사용자의 입출입 기록을 관리하는 입출입 관리 명부 등을 표시한다.In addition, the
상기 음성 출력부(150)는 상기 제어부(160)에 의해 소정 신호 처리된 신호에 포함된 음성 정보를 출력한다. 여기서, 상기 음성 출력부(140)에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.The
또한, 상기 음성 출력부(150)는 상기 제어부(160)에 의해 생성된 안내 음성을 출력한다.In addition, the
또한, 상기 음성 출력부(150)는 상기 제어부(160)의 제어에 의해 상기 임의의 사용자의 입출입 기록을 관리하는 입출입 관리 명부 등에 대응하는 음성 정보(또는 음향 효과)를 출력한다.In addition, the
상기 제어부(controller, 또는 MCU(microcontroller unit)(160)는 상기 입출입 관리 장치(100)의 전반적인 제어 기능을 실행한다.The controller or microcontroller unit (MCU) 160 executes overall control functions of the
또한, 상기 제어부(160)는 상기 저장부(130)에 저장된 프로그램 및 데이터를 이용하여 입출입 관리 장치(100)의 전반적인 제어 기능을 실행한다. 상기 제어부(160)는 RAM, ROM, CPU, GPU, 버스를 포함할 수 있으며, RAM, ROM, CPU, GPU 등은 버스를 통해 서로 연결될 수 있다. CPU는 상기 저장부(130)에 액세스하여, 상기 저장부(130)에 저장된 O/S를 이용하여 부팅을 수행할 수 있으며, 상기 저장부(130)에 저장된 각종 프로그램, 콘텐츠, 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.In addition, the
또한, 상기 제어부(160)는 OpenCV 라이브러리를 이용하여 상기 카메라부(110)로부터 획득된 가시광 영상인 제 1 영상에서 피사체의 안면 영역을 인식한다. 여기서, 상기 OpenCV(Open Source Computer Vision)는 오픈 소스 컴퓨터 비전 라이브러리 중 하나로 크로스플랫폼과 실시간 이미지 프로세싱에 중점을 둔 라이브러리로서, 객체, 얼굴, 행동 인식, 모션 추적 등의 응용 프로그램에서 일반적으로 사용된다. 여기에는 2500개가 넘는 컴퓨터 비전 및 머신러닝 알고리즘을 포함하고 있으며, C++, Python, JAVA, MATLAB 인터페이스를 모두 보유하고 있고, 윈도, 리눅스, 안드로이드, 맥OS와도 호환된다.In addition, the
이때, 상기 제어부(160)는 상기 OpenCV 라이브러리를 이용하여 상기 제 1 영상에서 눈 영역을 인식할 수도 있다. 이는 안면 영역의 인식이 되지 않는 경우를 보완하기 위한 과정으로, 상기 OpenCV 라이브러리를 이용한 안면 영역 인식이 10% ~ 20% 정도의 확률로 실패하는 경우가 있어, 상기 제어부(160)는 추가로 눈 영역 인식을 진행(또는 수행)하고, 그 결과를 확장하여 안면 영역을 추정할 수 있다.At this time, the
또한, 상기 제어부(160)는 상기 눈 영역이 인식되면, 상기 인식된 눈 영역에 대해서 정사각형 모양으로 정형화하고, 상기 정형화된 정사각형의 한 변 길이를 기준으로 하여 안면 영역의 가로 길이 및 세로 길이를 추정한다. 여기서, 상기 안면 영역의 가로 길이는 상기 정사각형의 한 변 길이에 미리 설정된 제 1 배수(예를 들어 3배 ~ 5배 중에서 선택되는 정수)를 곱하여 계산(또는 산출)하고, 상기 안면 영역의 세로 길이는 상기 정사각형의 한 변 길이에 미리 설정된 제 2 배수(예를 들어 4배 ~ 7배 중에서 선택되는 다른 정수)를 곱하여 계산(또는 산출)한다. 이때, 상기 제어부(160)는 상기 안면 영역의 가로 길이와 상기 안면 영역의 세로 길이의 비율이 1: (1.2~ 1.7)을 유지(또는 만족/충족)하도록 상기 정사각형 한 변 길이를 근거로 상기 안면 영역의 가로 길이와 세로 길이를 추정(또는 계산)할 수 있다. 여기서, 상기 인식된 피사체의 양쪽 눈 영역에 대한 2개의 정사각형의 한 변 길이가 서로 다른 경우, 상기 제어부(160)는 2개의 정사각형의 한 변 길이의 평균값 또는, 상기 2개의 정사각형의 한 변 길이 중 더 큰 값 또는, 상기 2개의 정사각형의 한 변 길이 중 더 작은 값을 이용하여 상기 안면 영역의 가로 길이와 세로 길이를 추정할 수도 있다.In addition, when the eye region is recognized, the
예를 들어, 도 2에 도시된 바와 같이, 상기 제어부(160)는 상기 OpenCV 라이브러리를 이용하여 상기 제 1 영상에 포함된 피사체(200)에 대해서 눈 영역(210)을 인식한다.For example, as shown in FIG. 2 , the
또한, 상기 눈 영역(210)이 인식되는 경우, 상기 제어부(160)는 상기 인식된 눈 영역(210)에 대해서 정사각형 모양으로 정형화한다.Also, when the
또한, 상기 제어부(160)는 상기 정형화한 정사각형 모양에 대해서 상기 정사각형의 한 변 길이에 상기 제 1 배수 중에서 선택된 제 1 값(예를 들어 4배)을 곱하여 안면 영역(220)의 가로 길이를 계산하고, 상기 정사각형의 한 변 길이에 상기 제 2 배수 중에서 선택된 제 2 값(예를 들어 5.5배)을 곱하여 안면 영역(220)의 세로 길이를 계산한다. 이때, 상기 안면 영역(220)의 가로 길이와 세로 길이의 비율은 4:5.5로 1 : 1.375의 비율이다.In addition, the
또한, 상기 제어부(160)는 상기 인식된 제 1 영상에서의 피사체의 안면 영역을 상기 획득된 제 2 영상에 오버레이(또는 중첩)한다. 이때, 상기 획득된 제 1 영상과 제 2 영상은 동일한 가로 및 세로 길이로 구성되어, 상기 제어부(160)는 영상에 대한 크기(또는 사이즈) 재설정없이 용이하게 상기 인식된 제 1 영상에서의 피사체의 안면 영역을 상기 제 2 영상에 오버레이(또는 중첩)할 수 있다. 또한, 상기 제 1 영상과 상기 제 2 영상의 크기가 서로 다른 경우, 상기 제어부(160)는 상기 제 2 영상의 크기(예를 들어 가로*세로)를 상기 제 1 영상의 크기에 대응하도록 조정(또는 그 반대의 경우도 포함)한 후, 상기 인식된 제 1 영상에서의 피사체의 안면 영역을 상기 획득된 제 2 영상에 오버레이(또는 중첩)할 수도 있다.Also, the
또한, 상기 제어부(160)는 상기 제 2 영상 중에서 상기 제 1 영상에서의 피사체의 안면 영역에 의해 오버레이된 영역(또는 중첩된 영역)을 상기 제 2 영상에서의 피사체의 안면 영역으로 선택(또는 설정)한다.In addition, the
이와 같이, 상기 제어부(160)는 열 데이터에 대한 정보를 포함하는 상기 제 2 영상 내에서 피사체의 안면 영역을 확인(또는 인식/검출)하기 위해서, 상기 가시광 영상인 제 1 영상에서 피사체의 안면 영역을 인식(또는 획득)하고, 인식된(또는 획득된) 제 1 영상에서의 피사체의 안면 영역을 상기 제 2 영상에 오버레이(또는 중첩)하여, 오버레이된 영역(또는 중첩된 영역)을 상기 제 2 영상에서의 피사체의 안면 영역으로 선택할 수 있다.In this way, the
또한, 상기 제어부(160)는 상기 제 2 영상에서의 피사체의 안면 영역 내의 복수의 픽셀을 분석하여, 픽셀별로 온도 데이터(또는 픽셀별 온도 데이터)를 각각 획득한다.Also, the
즉, 상기 제어부(160)는 해당 피사체의 체온을 측정하기 위해서, 상기 열화상 카메라(112)를 통해 획득된 제 2 영상 전체를 스캔하여 온도 데이터를 검출하는 대신에, 상기 제 2 영상에서의 피사체의 안면 영역만을 스캔하여, 해당 제 2 영상에서의 피사체의 안면 영역 내의 복수의 픽셀에 대한 픽셀별 온도 데이터를 검출함으로써, 데이터 처리 속도가 향상되고, PC, 스마트 폰 등 낮은 사양의 장비로도 동작 수행이 가능할 수 있다.That is, in order to measure the body temperature of the subject, the
또한, 상기 제어부(160)는 상기 획득된 픽셀별 온도 데이터를 근거로 해당 제 2 영상(또는 제 1 영상)에 포함된 피사체의 체온을 확인(또는 판단/결정)한다. 이때, 상기 제어부(160)는 상기 획득된 픽셀별 온도 데이터의 평균값을 상기 피사체의 체온으로 확인(또는 판단/결정)할 수 있다.In addition, the
또한, 상기 제어부(160)는 상기 확인된(또는 판단된/결정된) 해당 피사체의 체온을 상기 표시부(140) 및/또는 상기 음성 출력부(150)를 통해 출력한다.In addition, the
또한, 상기 제어부(160)는 상기 확인된(또는 판단된/결정된) 피사체의 체온이 미리 설정된 제 1 설정 온도(예를 들어 섭씨 37°~ 38° 중에서 선택된 온도)를 초과하는지 여부를 확인한다. 이때, 상기 제어부(160)는 상기 확인된(또는 판단된/결정된) 피사체의 체온이 미리 설정된 제 1 설정 온도 범위(예를 들어 섭씨 37°~ 38°) 내에 존재하는지 여부를 확인할 수도 있다.In addition, the
상기 확인 결과, 상기 확인된 피사체의 체온이 상기 제 1 설정 온도를 초과하는 경우, 상기 제어부(160)는 경고등, 경고음 등의 경보(또는 알람)를 상기 표시부(140) 및/또는 상기 음성 출력부(150)를 통해 출력한다. 이때, 상기 확인된 피사체의 체온이 미리 설정된 제 1 설정 온도 범위(예를 들어 섭씨 37°~ 38°) 내에 존재하지 않은 경우(또는 벗어난 경우), 상기 제어부(160)는 경고등, 경고음 등의 경보(또는 알람)를 상기 표시부(140) 및/또는 상기 음성 출력부(150)를 통해 출력할 수도 있다.As a result of the check, when the checked body temperature of the subject exceeds the first set temperature, the
또한, 상기 확인 결과, 상기 확인된 피사체의 체온이 상기 제 1 설정 온도를 초과하지 않는 경우, 상기 제어부(160)는 해당 피사체의 체온이 정상 범위 내에 존재함을 나타내는 정보를 상기 표시부(140) 및/또는 상기 음성 출력부(150)를 통해 출력한다. 이때, 상기 확인된 피사체의 체온이 미리 설정된 제 1 설정 온도 범위(예를 들어 섭씨 37°~ 38°) 내에 존재하는 경우, 상기 제어부(160)는 해당 피사체의 체온이 정상 범위 내에 존재함을 나타내는 정보를 상기 표시부(140) 및/또는 상기 음성 출력부(150)를 통해 출력할 수도 있다.In addition, as a result of the check, when the checked body temperature of the subject does not exceed the first set temperature, the
또한, 상기 제어부(160)는 상기 제 2 영상에서의 피사체의 안면 영역에 포함된 복수의 픽셀 중에서 미리 설정된 제 2 설정 온도(예를 들어 섭씨 30° ~ 35° 중에서 선택된 온도) 이상인 픽셀의 개수(또는 픽셀 수)를 카운트한다.In addition, the
또한, 상기 제어부(160)는 상기 카운트된 픽셀의 개수를 근거로 해당 카운트된 픽셀의 개수가 전체 안면 영역에서 차지하는 비율(또는 비중)에 따라 피사체의 마스크 착용 여부를 판단한다. 이는 마스크를 쓰면 표면 온도가 낮게 측정되기 때문에, 픽셀의 온도가 상기 제 2 설정 온도 이상인 부분은 노출된 피부로 판단할 수 있기 때문이다.In addition, the
즉, 상기 제어부(160)는 상기 제 2 영상에서의 피사체의 안면 영역에서 상기 카운트된 픽셀의 개수가 차지하는 비율을 계산한다.That is, the
또한, 상기 제어부(160)는 상기 계산된 비율이 미리 설정된 기준 값(예를 들어 25% ~ 40% 중에서 선택된 값)을 초과하는지 여부를 확인한다.In addition, the
상기 확인 결과, 상기 계산된 비율이 상기 기준값을 초과하지 않는 경우, 상기 제어부(160)는 상기 피사체가 마스크를 착용한 상태로 판단한다.As a result of the check, if the calculated ratio does not exceed the reference value, the
또한, 상기 확인 결과, 상기 계산된 비율이 상기 기준값을 초과하는 경우, 상기 제어부(160)는 상기 피사체가 마스크를 착용하지 않은 상태로 판단한다.Also, as a result of the check, when the calculated ratio exceeds the reference value, the
또한, 상기 제어부(160)는 상기 판단되는 해당 피사체의 마스크 착용 여부에 대한 정보를 상기 표시부(140) 및/또는 상기 음성 출력부(150)를 통해 출력한다. 이때, 상기 피사체가 마스크를 착용하지 않은 상태로 확인되는 경우, 상기 제어부(160)는 경고등, 경고음 등의 경보를 상기 표시부(140) 및/또는 상기 음성 출력부(150)를 통해 출력할 수도 있다.In addition, the
이와 같이, 종래의 이미지 분석 시 CNN(Convolutional Neural Network) 등을 이용한 딥러닝 모델의 경우, 수많은 마스크 사진의 데이터베이스와 피사체의 영상을 비교하는 방식으로 많은 양의 데이터 처리에 따른 부하 증가 및 속도 저하의 문제가 존재한다. 이에 반하여, 본 발명은 픽셀의 온도 데이터를 이용하여 마스크 착용 여부를 판단하므로 더욱 빠른 처리가 가능하다. 또한, 종래의 이미지 매칭 프로세싱 방법을 통한 마스크 착용 여부 판단 결과는 보통 80% ~ 90% 정도의 성공률을 나타내는 것과 비교하여, 본 발명의 경우 99%에 가까운 성공률을 나타낸다.In this way, in the case of a deep learning model using a CNN (Convolutional Neural Network), etc. during image analysis in the prior art, a database of numerous mask photos and an image of a subject are compared, thereby increasing the load and reducing the speed due to processing a large amount of data. A problem exists. On the contrary, since the present invention determines whether or not a mask is worn using pixel temperature data, faster processing is possible. In addition, the result of determining whether or not to wear a mask through the conventional image matching processing method shows a success rate close to 99% in the case of the present invention, compared to a success rate of about 80% to 90%.
본 발명의 실시예에서는, 우선적으로 상기 피사체와 관련한 체온을 확인 및 표시하고 난 다음에, 상기 피사체의 마스크 착용 여부에 대해 확인 및 결과를 표시하는 것을 설명하고 있으나, 이에 한정되는 것은 아니며, 상기 제어부(160)는 상기 피사체와 관련해서 체온 확인 및 마스크 착용 여부 확인을 병렬적으로 수행하고, 수행 결과에 따른 해당 피사체의 체온, 해당 피사체의 마스크 착용 여부 정보 등을 동시에(또는 함께) 출력할 수도 있다.In the embodiment of the present invention, first checking and displaying the body temperature related to the subject, and then checking whether or not the subject wears a mask and displaying the result, but is not limited thereto, and the control unit In 160, the body temperature check and whether or not a mask is worn with respect to the subject are performed in parallel, and the body temperature of the subject and information on whether or not the subject is wearing a mask may be simultaneously (or together) output according to the performance results. .
이에 따라, 상기 제어부(160)는 상기 듀얼 카메라를 이용하여 사용자의 체온을 확인하는 동작 수행 시, 안면 영역을 획득하여 온도를 판단함으로써, 종래의 전체 영상을 스캔하는 방식과 비교하여 신속성과 정확성을 높일 수 있다.Accordingly, when performing an operation of checking the user's body temperature using the dual camera, the
또한, 상기 제어부(160)는 듀얼 카메라를 이용하여 사용자의 마스크 착용 여부를 확인하는 동작 수행 시, 종래의 딥러닝, 이미지 매칭 시스템 등과 비교하여 신속성과 정확성을 높일 수 있다.In addition, the
이와 같이, 마스크 착용 확인 및 체온 확인 작업이 실시간으로 빠르게 가능하여, 다중 이용시설에서 다수의 출입자 중 체온이 높은 유증상자를 선별할 수 있고, 마스크 미착용자에 대한 통제가 가능할 수 있다.In this way, mask wearing confirmation and body temperature confirmation operations can be quickly performed in real time, and it is possible to select symptomatic persons with high body temperatures among many visitors in multi-use facilities, and to control those who do not wear masks.
또한, 많은 양의 데이터 처리 과정이 필요하지 않으므로, 고사양의 장비가 요구되지 않아서, PC는 물론 모바일 디바이스에서도 구현이 가능하다.In addition, since a large amount of data processing is not required, high-end equipment is not required, so it can be implemented on a PC as well as a mobile device.
또한, 상기 제어부(160)는 방명록 기재 요청(또는 전자 출입 명부 작성 요청)을 위한 안내 화면을 상기 표시부(140)에 표시한다. 이때, 상기 제어부(160)는 상기 피사체의 체온, 마스크 착용 여부에 대한 정보 등이 상기 표시부(140)에 표시된 후, 미리 설정된 시간(예를 들어 1초, 2초 등 포함)이 지난 후에, 상기 안내 화면을 표시할 수 있다. 여기서, 상기 안내 화면은 사용자의 전화번호나 개인 안심 번호의 입력을 요청하거나, 사용자가 소지한 단말(미도시)에 미리 설치된 앱을 통해 생성된 바코드나 QR 코드의 인식을 요청하기 위한 정보 등을 포함한다. 이때, 상기 개인 안심 번호(또는 고유 코드)는 사용자의 출입 기록 관리를 위해서 개인정보 보호위원회(미도시)에 의해서 지정된 기관(예를 들어 카카오, 네이버, 패스(PASS) 등 포함)으로부터 미리 발급된 코드(예를 들어 12가34나 등 포함)일 수 있다.In addition, the
또한, 상기 제어부(160)는 상기 표시부(140) 또는 상기 음성 출력부(150)를 통해 사용자 입력에 따라 전화번호 또는 개인 안심 번호를 수신하거나 또는, 상기 카메라부(110)를 통해 사용자(또는 상기 단말)가 제공하는 바코드 또는 QR 코드를 스캔하여 바코드 정보 또는 QR 코드 정보를 수신한다. 이때, 상기 제어부(160)는 상기 입출입 관리 장치(100)에 구성된 입력부(미도시)를 통해 상기 전화번호, 상기 개인 안심 번호, 상기 바코드 인식에 따른 바코드 정보, 상기 QR 코드 인식에 따른 QR 코드 정보 등을 수신할 수도 있다. 여기서, 해당 사용자가 상기 입출입 관리 장치(100)가 적용된 출입 게이트(미도시)와 관련해서 사전에 사용자로 등록된 상태인 경우, 해당 사용자는 상기 안내 화면을 통해 사용자 입력에 따라 전화번호 또는 개인 안심 번호를 입력하거나 또는, 해당 사용자가 소지한 단말을 이용해서 개인 안심 번호 등을 포함하는 바코드나 QR 코드를 상기 카메라부(110)를 통해 인식할 수 있다. 또한, 해당 사용자가 상기 출입 게이트와 관련해서 사전에 사용자로 등록된 상태가 아닌 경우, 해당 사용자는 상기 안내 화면을 통해 사용자 입력에 따라 전화번호 또는 개인 안심 번호를 입력할 수 있다.In addition, the
즉, 사용자 입력에 따라 전화번호 또는 개인 안심 번호를 수신하는 경우, 상기 제어부(160)는 상기 수신된 전화번호 또는 개인 안심 번호를 확인한다.That is, when a phone number or personal safety number is received according to a user input, the
또한, 상기 제어부(160)는 상기 카메라부(110)를 통해 상기 사용자가 제공하는 바코드, QR 코드, 개인 안심 번호 등을 포함하는 영상 정보를 획득한다. 이때, 상기 제어부(160)는 해당 입출입 관리 장치(100)에 미리 설치된 전용 앱을 통해 상기 사용자가 제공하는 이미지에 포함된 바코드, QR 코드, 개인 안심 번호 등을 포함하는 상기 영상 정보를 획득할 수도 있다. 여기서, 상기 전용 앱은 범용적으로 사용되고 있는 네이버 앱, 카카오 앱 등을 포함하며, 해당 앱에는 스캔 기능(또는 QR 코드 인식/스캔 기능) 등이 포함된 상태일 수 있다.In addition, the
이와 같이, 상기 바코드, 상기 QR 코드, 상기 개인 안심 번호 등을 포함하는 영상 정보의 획득은 상기 카메라부(110)를 통해 수행되거나 또는, 해당 입출입 관리 장치(100)에 미리 설치된 전용 앱의 스캔 기능을 통해 수행될 수 있다.In this way, the acquisition of image information including the barcode, the QR code, and the personal safety number is performed through the
또한, 상기 제어부(160)는 상기 획득된 영상 정보에 포함된 바코드, QR 코드, 개인 안심 번호 등을 인식(또는 확인)한다.In addition, the
또한, 상기 제어부(160)는 상기 수신된 정보(예를 들어 전화번호, 개인 안심 번호, 바코드 정보, QR 코드 정보 등 포함)를 근거로 해당 사용자(또는 해당 피사체)가 미리 등록된 사용자인지 여부를 판단(또는 확인)한다.In addition, the
즉, 상기 제어부(160)는 상기 수신된 정보와 관련한 사용자가 미리 등록된 사용자인지를 판단하기 위해서, 상기 수신된 정보가 해당 저장부(130)(또는 해당 입출입 관리 장치(100)와 연동하는 데이터베이스(미도시))에 미리 저장된 출입 등록 정보에 포함된 상태인지 여부를 판단한다.That is, in order to determine whether the user related to the received information is a pre-registered user, the
상기 판단 결과(또는 상기 확인 결과), 상기 수신된 정보가 해당 저장부(130)(또는 상기 데이터베이스)에 미리 저장된 출입 등록 정보에 포함되지 않은 경우(또는 상기 수신된 정보에 대응하는 사용자가 미리 등록된 사용자가 아닌 경우), 상기 제어부(160)는 해당 입출입 관리 장치(100)가 구성된 상기 출입 게이트에서의 해당 피사체에 대응하는 사용자의 출입 날짜 및 시각, 출입 시점의 온도(또는 피사체의 체온), 출입 사진(예를 들어 해당 출입 게이트의 일측에 구성된 카메라부(110)를 통해 획득된 영상/영상정보 등 포함), 수신된 정보(예를 들어 전화번호, 개인 안심 번호 등 포함) 등을 포함하는 입출입 관리 명부를 생성한다. 이때, 상기 제어부(160)는 상기 카메라부(110)를 통해 해당 사용자와 관련한 출입 사진을 획득할 수도 있고, 해당 입출입 관리 장치(100)와 연동하며 해당 출입 게이트를 포함하는 영역을 촬영하는 CCTV 카메라(미도시)를 통해 획득된 출입 사진을 제공받을 수도 있다. 여기서, 상기 CCTV 카메라는 상기 출입 게이트가 위치한 주변에 설치(또는 배치)하며, 상기 출입 게이트를 통과하는 사용자(또는 피사체)를 포함하는 영상을 획득(또는 촬영)하고, 상기 획득된 영상을 상기 입출입 관리 장치(100)에 전송할 수 있다. 또한, 상기 제어부(160)는 등록된 사용자의 해당 출입 게이트 통과에 따라 발생하는 복수의 이벤트 정보를 상기 생성된 입출입 관리 명부에 업데이트(또는 누적 관리)할 수 있다. 여기서, 상기 이벤트 정보는 사용자의 출입 날짜 및 시각, 출입 시점의 온도, 출입 사진, 수신된 정보(예를 들어 전화번호, 개인 안심 번호 등 포함) 등을 포함한다.As a result of the determination (or the result of the confirmation), when the received information is not included in the access registration information previously stored in the corresponding storage unit 130 (or the database) (or the user corresponding to the received information is registered in advance) user), the
즉, 상기 판단 결과(또는 상기 확인 결과), 해당 사용자가 입력한 전화번호 또는 개인 안심 번호가 해당 저장부(130)(또는 상기 데이터베이스)에 미리 저장된 출입 등록 정보에 포함되지 않은 경우(또는 상기 수신된 정보에 대응하는 사용자가 미리 등록된 사용자가 아닌 경우), 상기 제어부(160)는 해당 사용자가 미리 등록된 사용자가 아닌 것으로 판단하고, 해당 입출입 관리 장치(100)가 구성된 상기 출입 게이트에서의 해당 피사체에 대응하는 사용자의 출입 날짜 및 시각, 출입 시점의 온도(또는 피사체의 체온), 출입 사진, 수신된 정보(예를 들어 전화번호, 개인 안심 번호 등 포함) 등을 포함하는 상기 입출입 관리 명부를 생성한다.That is, when the determination result (or the confirmation result) and the phone number or personal safety number entered by the corresponding user are not included in the access registration information pre-stored in the corresponding storage unit 130 (or the database) (or the received If the user corresponding to the registered information is not a pre-registered user), the
또한, 상기 제어부(160)는 상기 생성된 입출입 관리 명부를 상기 저장부(130)(또는 상기 데이터베이스)에 저장한다. 이때, 상기 제어부(160)는 상기 생성된 입출입 관리 명부를 통신부(120)를 통해 해당 출입 게이트에서의 사용자의 입출입을 관리하는 상기 서버에 전송할 수도 있다.Also, the
또한, 상기 판단 결과(또는 상기 확인 결과), 상기 수신된 정보가 해당 저장부(130)(또는 상기 데이터베이스)에 미리 저장된 출입 등록 정보에 포함된 경우(또는 상기 수신된 정보에 대응하는 사용자가 미리 등록된 사용자인 경우), 상기 제어부(160)는 해당 입출입 관리 장치(100)가 구성된 상기 출입 게이트에서의 해당 피사체에 대응하는 사용자의 출입 날짜 및 시각, 출입 시점의 온도(또는 피사체의 체온), 출입 사진(예를 들어 해당 출입 게이트의 일측에 구성된 카메라부(110)를 통해 획득된 영상/영상정보 등 포함), 수신된 정보(예를 들어 전화번호, 개인 안심 번호, 바코드 정보, QR 코드 정보 등 포함) 등을 포함하는 입출입 관리 명부를 생성한다. 이때, 상기 제어부(160)는 상기 카메라부(110)를 통해 해당 사용자와 관련한 출입 사진을 획득할 수도 있고, 해당 입출입 관리 장치(100)와 연동하며 해당 출입 게이트를 포함하는 영역을 촬영하는 CCTV 카메라(미도시)를 통해 획득된 출입 사진을 제공받을 수도 있다. 여기서, 상기 CCTV 카메라는 상기 출입 게이트가 위치한 주변에 설치(또는 배치)하며, 상기 출입 게이트를 통과하는 사용자(또는 피사체)를 포함하는 영상을 획득(또는 촬영)하고, 상기 획득된 영상을 상기 입출입 관리 장치(100)에 전송할 수 있다. 또한, 상기 제어부(160)는 등록된 사용자의 해당 출입 게이트 통과에 따라 발생하는 복수의 이벤트 정보를 상기 생성된 입출입 관리 명부에 업데이트(또는 누적 관리)할 수 있다. 여기서, 상기 이벤트 정보는 사용자의 출입 날짜 및 시각, 출입 시점의 온도, 출입 사진, 수신된 정보 등을 포함한다.In addition, as a result of the determination (or the result of the confirmation), when the received information is included in the access registration information previously stored in the corresponding storage unit 130 (or the database) (or the user corresponding to the received information registered user), the
또한, 상기 제어부(160)는 상기 생성된 입출입 관리 명부를 상기 저장부(130)(또는 상기 데이터베이스)에 저장한다. 이때, 상기 제어부(160)는 상기 생성된 입출입 관리 명부를 상기 통신부(120)를 통해 해당 출입 게이트에서의 사용자의 입출입을 관리하는 상기 서버, 상기 데이터베이스 등에 전송할 수도 있다.Also, the
본 발명의 실시예에서는 상기 입출입 관리 장치(100)에서 전용 앱 형태 또는 웹 사이트 형태로 상기 서버에서 제공하는 다양한 기능(예를 들어 체온 확인 기능, 마스크 착용 여부 확인 기능, 방명록/출입명부 작성 기능 등 포함)을 수행할 수 있다.In an embodiment of the present invention, various functions provided by the server in the form of a dedicated app or website in the access management device 100 (eg, a function to check body temperature, a function to check whether a mask is worn, a function to create a guest book/entry list, etc. included) can be performed.
도 3 내지 도 5는 본 발명의 실시예에 따른 상기 입출입 관리 장치(100)가 적용된 출입 게이트(10)의 예를 나타낸 도이다.3 to 5 are diagrams illustrating examples of an access gate 10 to which the
상기 출입 게이트(10)는 다음의 [표 1]과 같은 사양(specification)으로 구성할 수 있다. 이때, 상기 출입 게이트(10)는 임의의 사용자의 출입 관리를 위해서 입/출입 제어를 위한 차단기/차단게이트(미도시), 소독액분사기(미도시), 전원부(미도시), 디스플레이부(미도시), 조명등(미도시), 상대표시 LED(미도시), 안내 스크린(미도시), 제어 PC(미도시), PLC(Programmable Logic Controller)(미도시), 제어 스위치(미도시) 등으로 구성된다.The entrance gate 10 may be configured according to the specifications shown in Table 1 below. At this time, the access gate 10 includes a circuit breaker/blocking gate (not shown), a disinfectant sprayer (not shown), a power supply unit (not shown), and a display unit (not shown) for controlling access/exit for access management of arbitrary users. ), lighting (not shown), relative display LED (not shown), guidance screen (not shown), control PC (not shown), PLC (Programmable Logic Controller) (not shown), control switch (not shown), etc. do.
체온체크
마스크체크
출입기록facial recognition
body temperature check
mask check
access record
또한, 상기 도 3에 도시된 바와 같이, 상기 출입 게이트(10)는 상기 입출입 관리 장치(100)의 전면에 위치한 피사체를 포함하는 제 1 영상 및 제 2 영상을 획득한다. 해당 출입 게이트(10) 통과 전에는 녹색불을 표시하고, 무증상은 파란불, 발열증상자는 빨간불을 표시한다.Also, as shown in FIG. 3 , the access gate 10 acquires a first image and a second image including a subject located in front of the
또한, 상기 출입 게이트(10)는 해당 피사체에 대해서 체온 및 마스크 착용 여부를 확인한 후, 해당 피사체로부터 제공되는 정보를 이용해서 입출입 관리 명부를 생성 및 저장(또는 관리)한다.In addition, the access gate 10 checks the subject's body temperature and whether or not to wear a mask, and then creates and stores (or manages) an entry/exit management list using information provided from the subject.
또한, 상기 도 4에 도시된 바와 같이, 상기 출입 게이트(10)는 상기 획득된 제 1 영상 및 제 2 영상을 근거로 해당 피사체에 대해서 확인되는 체온이 정상이고, 마스크를 착용한 상태로 확인되는 경우, 해당 출입 게이트(10)의 안쪽 영역에서 미리 설정된 시간(예를 들어 5초) 동안 기다릴 것을 요청하는 정보를 출력한다.In addition, as shown in FIG. 4, the entrance gate 10 determines that the body temperature of the corresponding subject is normal and that the mask is worn based on the obtained first and second images. In this case, information requesting to wait for a preset time (for example, 5 seconds) in the inner area of the corresponding entrance gate 10 is output.
또한, 상기 출입 게이트(10)는 센서(미도시)를 통해 해당 출입 게이트(10)의 안쪽 영역에 상기 피사체가 위치한 것으로 판단되면, 상기 미리 설정된 시간 동안 소독액을 분사한다.In addition, when it is determined through a sensor (not shown) that the subject is located in the inner region of the corresponding entrance gate 10, the entrance gate 10 sprays a disinfectant solution for the preset time period.
또한, 상기 도 5에 도시된 바와 같이, 상기 출입 게이트(10)는 소독액 분사 후, 상기 피사체가 해당 출입 게이트(10)를 통과하여 일정 영역 내로 진입할 수 있도록 유도(또는 안내)한다.In addition, as shown in FIG. 5 , the entrance gate 10 induces (or guides) the subject to enter a certain area through the entrance gate 10 after spraying the disinfectant solution.
이와 같이, 가시광 카메라와 열화상 카메라를 이용해서 빠르게 체온을 측정하고 마스크 착용 여부를 판단하고, 방명록 기재를 요청한 후, 사용자가 입력하는 전화번호나 고유 코드 또는 바코드나 QR 코드 인식에 따른 정보를 근거로 미리 등록된 사용자인지 여부를 판단하고, 판단 결과에 따라 출입 게이트에서의 출입 시각, 출입 시점의 온도, 출입 사진, 입력되거나 인식된 전화번호나 고유 코드나 바코드 정보나 QR 코드 정보 등을 입출입 관리 명부로 저장할 수 있다.In this way, after quickly measuring body temperature using a visible light camera and a thermal imaging camera, determining whether or not to wear a mask, requesting entry in the guest book, and based on information based on the phone number or unique code or barcode or QR code recognition entered by the user Determines whether or not the user is pre-registered, and manages entry and exit based on the result of the determination, such as access time at the gate, temperature at the time of entry, access photo, input or recognized phone number, unique code, barcode information, QR code information, etc. You can save it as a list.
또한, 이와 같이, OpenCV를 이용해서 인식된 안면 영역에서의 픽셀별 온도값을 근거로 마스크 착용 여부를 확인하며, 안면 인식과 눈 인식을 병합하여 눈만 인식했을 경우에도 확장되는 알고리즘을 적용하여 안면 영역을 인지할 수 있다.In addition, in this way, whether or not a mask is worn is checked based on the temperature value of each pixel in the face area recognized using OpenCV, and an algorithm that is expanded even when only the eyes are recognized by merging face recognition and eye recognition is applied to the face area. can recognize
이하에서는, 본 발명에 따른 입출입 관리 방법을 도 1 내지 도 9를 참조하여 상세히 설명한다.Hereinafter, the input/output management method according to the present invention will be described in detail with reference to FIGS. 1 to 9 .
도 6 내지 도 7은 본 발명의 실시예에 따른 입출입 관리 방법을 나타낸 흐름도이다.6 to 7 are flowcharts illustrating a method for managing access according to an embodiment of the present invention.
먼저, 카메라부(110)는 피사체(또는 객체)로부터 동일한 거리와 각도에서, 상기 피사체를 촬영하여 가시광 영상인 제 1 영상과, 열화상 영상인 제 2 영상을 각각 획득한다. 이때, 상기 카메라부(110)는 입출입 관리 장치(100)의 일측에 구비된 동작 인식 센서(또는 센서부)(미도시)를 통해 상기 피사체가 감지되는 경우, 상기 피사체를 포함하는 상기 제 1 영상 및 상기 제 2 영상을 획득할 수 있다.First, the
즉, 상기 카메라부(110)에 포함된 가시광 카메라(111)는 상기 피사체를 촬영하여, 가시광 영상인 상기 제 1 영상을 획득(또는 촬상)한다.That is, the visible
또한, 상기 카메라부(110)에 포함된 열화상 카메라(112)는 상기 피사체를 촬영하여, 열화상 영상인 상기 제 2 영상을 획득한다. 이때, 상기 가시광 카메라(111)와 상기 열화상 카메라(112)는 상기 피사체로부터 동일한 거리와 각도에 배치되어, 동일한 가로 및 세로 길이의 상기 제 1 영상 및 상기 제 2 영상을 획득한다.In addition, the
일 예로, 제 1 가시광 카메라(111)는 제 1 피사체를 촬영하여, 가시광 영상인 제 1 영상을 획득한다.For example, the first
또한, 제 1 열화상 카메라(112)는 상기 제 1 피사체를 촬영하여, 열화상 영상인 제 2 영상을 획득한다(S610).In addition, the first
이후, 제어부(160)는 OpenCV 라이브러리를 이용하여 상기 카메라부(110)로부터 획득된 가시광 영상인 제 1 영상에서 피사체의 안면 영역을 인식한다. 이때, 상기 제어부(160)는 상기 OpenCV 라이브러리를 이용하여 상기 제 1 영상에서 눈 영역을 인식할 수도 있다. 이는 안면 영역의 인식이 되지 않는 경우를 보완하기 위한 과정으로, 상기 OpenCV 라이브러리를 이용한 안면 영역 인식이 10% ~ 20% 정도의 확률로 실패하는 경우가 있어, 상기 제어부(160)는 추가로 눈 영역 인식을 진행(또는 수행)하고, 그 결과를 확장하여 안면 영역을 추정할 수 있다.Thereafter, the
또한, 상기 제어부(160)는 상기 눈 영역이 인식되면, 상기 인식된 눈 영역에 대해서 정사각형 모양으로 정형화하고, 상기 정형화된 정사각형의 한 변 길이를 기준으로 하여 안면 영역의 가로 길이 및 세로 길이를 추정한다. 여기서, 상기 안면 영역의 가로 길이는 상기 정사각형의 한 변 길이에 미리 설정된 제 1 배수(예를 들어 3배 ~ 5배 중에서 선택되는 정수)를 곱하여 계산(또는 산출)하고, 상기 안면 영역의 세로 길이는 상기 정사각형의 한 변 길이에 미리 설정된 제 2 배수(예를 들어 4배 ~ 7배 중에서 선택되는 다른 정수)를 곱하여 계산(또는 산출)한다. 이때, 상기 제어부(160)는 상기 안면 영역의 가로 길이와 상기 안면 영역의 세로 길이의 비율이 1: (1.2~ 1.7)을 유지(또는 만족/충족)하도록 상기 정사각형 한 변 길이를 근거로 상기 안면 영역의 가로 길이와 세로 길이를 추정(또는 계산)할 수 있다. 여기서, 상기 인식된 피사체의 양쪽 눈 영역에 대한 2개의 정사각형의 한 변 길이가 서로 다른 경우, 상기 제어부(160)는 2개의 정사각형의 한 변 길이의 평균값 또는, 상기 2개의 정사각형의 한 변 길이 중 더 큰 값 또는, 상기 2개의 정사각형의 한 변 길이 중 더 작은 값을 이용하여 상기 안면 영역의 가로 길이와 세로 길이를 추정할 수도 있다.In addition, when the eye region is recognized, the
일 예로, 제 1 제어부(160)는 상기 OpenCV 라이브러리를 이용하여 상기 획득된 제 1 영상에서 제 1 피사체의 안면 영역을 인식한다(S620).For example, the
이후, 상기 제어부(160)는 상기 인식된 제 1 영상에서의 피사체의 안면 영역을 상기 획득된 제 2 영상에 오버레이(또는 중첩)한다. 이때, 상기 획득된 제 1 영상과 제 2 영상은 동일한 가로 및 세로 길이로 구성되어, 상기 제어부(160)는 영상에 대한 크기(또는 사이즈) 재설정없이 용이하게 상기 인식된 제 1 영상에서의 피사체의 안면 영역을 상기 제 2 영상에 오버레이(또는 중첩)할 수 있다. 또한, 상기 제 1 영상과 상기 제 2 영상의 크기가 서로 다른 경우, 상기 제어부(160)는 상기 제 2 영상의 크기(예를 들어 가로*세로)를 상기 제 1 영상의 크기에 대응하도록 조정(또는 그 반대의 경우도 포함)한 후, 상기 인식된 제 1 영상에서의 피사체의 안면 영역을 상기 획득된 제 2 영상에 오버레이(또는 중첩)할 수도 있다.Thereafter, the
또한, 상기 제어부(160)는 상기 제 2 영상 중에서 상기 제 1 영상에서의 피사체의 안면 영역에 의해 오버레이된 영역(또는 중첩된 영역)을 상기 제 2 영상에서의 피사체의 안면 영역으로 선택(또는 설정)한다.In addition, the
이와 같이, 상기 제어부(160)는 열 데이터에 대한 정보를 포함하는 상기 제 2 영상 내에서 피사체의 안면 영역을 확인(또는 인식/검출)하기 위해서, 상기 가시광 영상인 제 1 영상에서 피사체의 안면 영역을 인식(또는 획득)하고, 인식된(또는 획득된) 제 1 영상에서의 피사체의 안면 영역을 상기 제 2 영상에 오버레이(또는 중첩)하여, 오버레이된 영역(또는 중첩된 영역)을 상기 제 2 영상에서의 피사체의 안면 영역으로 선택할 수 있다.In this way, the
일 예로, 상기 제 1 제어부는 상기 제 1 영상에서의 제 1 피사체의 안면 영역을 상기 획득된 제 2 영상에 오버레이한다.For example, the first control unit overlays a facial region of a first subject in the first image on the obtained second image.
또한, 상기 제 1 제어부는 상기 제 2 영상 중에서 상기 제 1 피사체의 안면 영역이 오버레이된 제 11 영역을 상기 제 2 영상에서의 제 1 피사체의 안면 영역으로 선택한다(S630).In addition, the first controller selects an 11th region overlaid with the face region of the first subject from the second image as the face region of the first subject in the second image (S630).
이후, 상기 제어부(160)는 상기 제 2 영상에서의 피사체의 안면 영역 내의 복수의 픽셀을 분석하여, 픽셀별로 온도 데이터(또는 픽셀별 온도 데이터)를 각각 획득한다.Thereafter, the
즉, 상기 제어부(160)는 해당 피사체의 체온을 측정하기 위해서, 상기 열화상 카메라(112)를 통해 획득된 제 2 영상 전체를 스캔하여 온도 데이터를 검출하는 대신에, 상기 제 2 영상에서의 피사체의 안면 영역만을 스캔하여, 해당 제 2 영상에서의 피사체의 안면 영역 내의 복수의 픽셀에 대한 픽셀별 온도 데이터를 검출함으로써, 데이터 처리 속도가 향상되고, PC, 스마트 폰 등 낮은 사양의 장비로도 동작 수행이 가능할 수 있다.That is, in order to measure the body temperature of the subject, the
일 예로, 상기 제 1 제어부는 상기 제 2 영상에서의 제 1 피사체의 안면 영역(또는 제 11 영역) 내에 구성된 복수의 픽셀을 분석하여, 픽셀별 온도 데이터를 획득한다(S640).For example, the first controller analyzes a plurality of pixels configured in the facial area (or 11th area) of the first subject in the second image to obtain temperature data for each pixel (S640).
이후, 상기 제어부(160)는 상기 획득된 픽셀별 온도 데이터를 근거로 해당 제 2 영상(또는 제 1 영상)에 포함된 피사체의 체온을 확인(또는 판단/결정)한다. 이때, 상기 제어부(160)는 상기 획득된 픽셀별 온도 데이터의 평균값을 상기 피사체의 체온으로 확인(또는 판단/결정)할 수 있다.Then, the
또한, 상기 제어부(160)는 상기 확인된(또는 판단된/결정된) 해당 피사체의 체온을 표시부(140) 및/또는 음성 출력부(150)를 통해 출력한다.In addition, the
또한, 상기 제어부(160)는 상기 확인된(또는 판단된/결정된) 피사체의 체온이 미리 설정된 제 1 설정 온도(예를 들어 섭씨 37°~ 38° 중에서 선택된 온도)를 초과하는지 여부를 확인한다. 이때, 상기 제어부(160)는 상기 확인된(또는 판단된/결정된) 피사체의 체온이 미리 설정된 제 1 설정 온도 범위(예를 들어 섭씨 37°~ 38°) 내에 존재하는지 여부를 확인할 수도 있다.In addition, the
상기 확인 결과, 상기 확인된 피사체의 체온이 상기 제 1 설정 온도를 초과하는 경우, 상기 제어부(160)는 경고등, 경고음 등의 경보(또는 알람)를 상기 표시부(140) 및/또는 상기 음성 출력부(150)를 통해 출력한다. 이때, 상기 확인된 피사체의 체온이 미리 설정된 제 1 설정 온도 범위(예를 들어 섭씨 37°~ 38°) 내에 존재하지 않은 경우(또는 벗어난 경우), 상기 제어부(160)는 경고등, 경고음 등의 경보(또는 알람)를 상기 표시부(140) 및/또는 상기 음성 출력부(150)를 통해 출력할 수도 있다.As a result of the check, when the checked body temperature of the subject exceeds the first set temperature, the
또한, 상기 확인 결과, 상기 확인된 피사체의 체온이 상기 제 1 설정 온도를 초과하지 않는 경우, 상기 제어부(160)는 해당 피사체의 체온이 정상 범위 내에 존재함을 나타내는 정보를 상기 표시부(140) 및/또는 상기 음성 출력부(150)를 통해 출력한다. 이때, 상기 확인된 피사체의 체온이 미리 설정된 제 1 설정 온도 범위(예를 들어 섭씨 37°~ 38°) 내에 존재하는 경우, 상기 제어부(160)는 해당 피사체의 체온이 정상 범위 내에 존재함을 나타내는 정보를 상기 표시부(140) 및/또는 상기 음성 출력부(150)를 통해 출력할 수도 있다.In addition, as a result of the check, when the checked body temperature of the subject does not exceed the first set temperature, the
일 예로, 상기 제 1 제어부는 상기 획득된 픽셀별 온도 데이터의 평균값을 계산하고, 상기 계산된 픽셀별 온도 데이터의 평균값을 상기 제 1 피사체의 체온(예를 들어 36.5°)으로 확인한다.For example, the first control unit calculates an average value of the acquired temperature data per pixel, and identifies the average value of the calculated temperature data per pixel as the body temperature (eg, 36.5°) of the first subject.
또한, 도 8에 도시된 바와 같이, 상기 제 1 제어부는 상기 제 1 피사체가 표시되고 있는 화면의 일측에 상기 확인된 제 1 피사체의 체온(예를 들어 36.5°)(800)을 표시한다(S650).In addition, as shown in FIG. 8 , the first controller displays the confirmed body temperature (for example, 36.5°) (800) of the first subject on one side of the screen on which the first subject is displayed (S650). ).
이후, 상기 제어부(160)는 상기 제 2 영상에서의 피사체의 안면 영역에 포함된 복수의 픽셀 중에서 미리 설정된 제 2 설정 온도(예를 들어 섭씨 30° ~ 35° 중에서 선택된 온도) 이상인 픽셀의 개수(또는 픽셀 수)를 카운트한다.Thereafter, the
또한, 상기 제어부(160)는 상기 카운트된 픽셀의 개수를 근거로 해당 카운트된 픽셀의 개수가 전체 안면 영역에서 차지하는 비율(또는 비중)에 따라 피사체의 마스크 착용 여부를 판단한다. 이는 마스크를 쓰면 표면 온도가 낮게 측정되기 때문에, 픽셀의 온도가 상기 제 2 설정 온도 이상인 부분은 노출된 피부로 판단할 수 있기 때문이다.In addition, the
즉, 상기 제어부(160)는 상기 제 2 영상에서의 피사체의 안면 영역에서 상기 카운트된 픽셀의 개수가 차지하는 비율을 계산한다.That is, the
또한, 상기 제어부(160)는 상기 계산된 비율이 미리 설정된 기준 값(예를 들어 25% ~ 40% 중에서 선택된 값)을 초과하는지 여부를 확인한다.In addition, the
상기 확인 결과, 상기 계산된 비율이 상기 기준값을 초과하지 않는 경우, 상기 제어부(160)는 상기 피사체가 마스크를 착용한 상태로 판단한다.As a result of the check, if the calculated ratio does not exceed the reference value, the
또한, 상기 확인 결과, 상기 계산된 비율이 상기 기준값을 초과하는 경우, 상기 제어부(160)는 상기 피사체가 마스크를 착용하지 않은 상태로 판단한다.Also, as a result of the check, when the calculated ratio exceeds the reference value, the
또한, 상기 제어부(160)는 상기 판단되는 해당 피사체의 마스크 착용 여부에 대한 정보를 상기 표시부(140) 및/또는 상기 음성 출력부(150)를 통해 출력한다. 이때, 상기 피사체가 마스크를 착용하지 않은 상태로 확인되는 경우, 상기 제어부(160)는 경고등, 경고음 등의 경보를 상기 표시부(140) 및/또는 상기 음성 출력부(150)를 통해 출력할 수도 있다.In addition, the
일 예로, 상기 제 1 제어부는 상기 제 2 영상에서의 제 1 피사체의 안면 영역에 포함된 복수의 픽셀 중에서 상기 제 2 설정 온도 중에서 선택된 특정 온도인 34° 이상인 제 11 픽셀 수를 카운트한다.For example, the first controller counts the number of 11th pixels having a specific temperature of 34° or higher selected from the second set temperature among a plurality of pixels included in the facial region of the first subject in the second image.
또한, 상기 제 1 제어부는 상기 제 2 영상에서의 제 1 피사체의 안면 영역에서 상기 카운트된 제 11 픽셀 수가 차지하는 제 11 비율(예를 들어 25%)을 계산한다.Also, the first controller calculates an 11th ratio (eg, 25%) of the counted 11th pixels in the facial area of the first subject in the second image.
또한, 상기 제 1 제어부는 상기 계산된 제 11 비율이 상기 기준값(예를 들어 30%)을 초과하는지 여부를 확인한다.Also, the first controller checks whether the calculated 11th ratio exceeds the reference value (eg, 30%).
상기 확인 결과, 상기 제 11 비율(예를 들어 25%)이 상기 기준값(예를 들어 30%)을 초과하지 않을 때, 상기 제 1 제어부는 상기 제 1 피사체가 마스크를 착용한 상태로 판단한다.As a result of the check, when the 11th ratio (eg 25%) does not exceed the reference value (eg 30%), the first controller determines that the first subject is wearing a mask.
또한, 상기 도 8에 도시된 바와 같이, 상기 제 1 제어부는 상기 제 1 피사체의 마스크 착용 여부에 대한 정보(810)를 상기 제 1 피사체의 체온이 표시되는 화면의 일측에 표시한다(S660).In addition, as shown in FIG. 8 , the first controller displays
이후, 상기 제어부(160)는 방명록 기재 요청(또는 전자 출입 명부 작성 요청)을 위한 안내 화면을 상기 표시부(140)에 표시한다. 이때, 상기 제어부(160)는 상기 피사체의 체온, 마스크 착용 여부에 대한 정보 등이 상기 표시부(140)에 표시된 후, 미리 설정된 시간(예를 들어 1초, 2초 등 포함)이 지난 후에, 상기 안내 화면을 표시할 수 있다. 여기서, 상기 안내 화면은 사용자의 전화번호나 개인 안심 번호의 입력을 요청하거나, 사용자가 소지한 단말(미도시)에 미리 설치된 앱을 통해 생성된 바코드나 QR 코드의 인식을 요청하기 위한 정보 등을 포함한다. 이때, 상기 개인 안심 번호(또는 고유 코드)는 사용자의 출입 기록 관리를 위해서 개인정보 보호위원회(미도시)에 의해서 지정된 기관(예를 들어 카카오, 네이버, 패스(PASS) 등 포함)으로부터 미리 발급된 코드(예를 들어 12가34나 등 포함)일 수 있다.Thereafter, the
또한, 상기 제어부(160)는 상기 표시부(140) 또는 상기 음성 출력부(150)를 통해 사용자 입력에 따라 전화번호 또는 개인 안심 번호를 수신하거나 또는, 상기 카메라부(110)를 통해 사용자(또는 상기 단말)가 제공하는 바코드 또는 QR 코드를 스캔하여 바코드 정보 또는 QR 코드 정보를 수신한다. 이때, 상기 제어부(160)는 상기 입출입 관리 장치(100)에 구성된 입력부(미도시)를 통해 상기 전화번호, 상기 개인 안심 번호, 상기 바코드 인식에 따른 바코드 정보, 상기 QR 코드 인식에 따른 QR 코드 정보 등을 수신할 수도 있다.In addition, the
일 예로, 상기 제 1 제어부는 상기 제 1 피사체의 체온 및 마스크 착용 여부에 대한 정보를 1초동안 표시한 후, 도 9에 도시된 바와 같이, 방명록 기재 요청을 위한 안내 화면(900)을 표시한다.As an example, the first control unit displays information about the body temperature of the first subject and whether or not a mask is worn for 1 second, and then displays a
또한, 상기 제 1 제어부는 사용자가 소지한 제 1 단말(미도시)에서 표시되는 QR 코드 체크인 화면 내의 제 1 QR 코드를 포함하는 제 11 영상을 상기 제 1 가시광 카메라를 통해 획득한다. 이때, 상기 제 1 QR 코드는 해당 사용자와 관련한 제 1 개인 안심 번호를 포함한다.In addition, the first controller acquires an 11th image including a 1st QR code in a QR code check-in screen displayed on a 1st terminal (not shown) possessed by a user through the 1st visible light camera. At this time, the first QR code includes a first personal safety number related to the corresponding user.
또한, 상기 제 1 제어부는 상기 획득된 제 11 영상에 포함된 제 1 QR 코드를 인식하여, 해당 제 1 QR 코드에 포함된 제 1 QR 코드 정보(예를 들어 해당 제 1 피사체의 사용자와 관련한 제 1 개인 안심 번호인 12가34너 등 포함)를 확인한다(S670).In addition, the first control unit recognizes the first QR code included in the acquired 11th image, and the first QR code information included in the first QR code (for example, a first QR code related to the user of the first subject) 1, personal safety number 12, including 34 you, etc.) is checked (S670).
이후, 상기 제어부(160)는 상기 수신된 정보(예를 들어 전화번호, 개인 안심 번호, 바코드 정보, QR 코드 정보 등 포함)를 근거로 해당 사용자(또는 해당 피사체)가 미리 등록된 사용자인지 여부를 판단(또는 확인)한다.Thereafter, the
즉, 상기 제어부(160)는 상기 수신된 정보와 관련한 사용자가 미리 등록된 사용자인지를 판단하기 위해서, 상기 수신된 정보가 해당 저장부(130)(또는 해당 입출입 관리 장치(100)와 연동하는 데이터베이스(미도시))에 미리 저장된 출입 등록 정보에 포함된 상태인지 여부를 판단한다.That is, in order to determine whether the user related to the received information is a pre-registered user, the
일 예로, 상기 제 1 제어부는 상기 확인된 제 1 QR 코드 정보(예를 들어 제 1 개인 안심 번호인 12가34너 등 포함)가 상기 저장부(130)에 미리 저장된 출입 등록 정보에 포함된 상태인지 여부를 판단한다(S680).For example, the first control unit is in a state in which the checked first QR code information (eg, including the first personal security number 12 ga 34 you, etc.) is included in the access registration information pre-stored in the
상기 판단 결과(또는 상기 확인 결과), 상기 수신된 정보가 해당 저장부(130)(또는 상기 데이터베이스)에 미리 저장된 출입 등록 정보에 포함되지 않은 경우(또는 상기 수신된 정보에 대응하는 사용자가 미리 등록된 사용자가 아닌 경우), 상기 제어부(160)는 해당 입출입 관리 장치(100)가 구성된 출입 게이트(미도시)에서의 해당 피사체에 대응하는 사용자의 출입 날짜 및 시각, 출입 시점의 온도(또는 피사체의 체온), 출입 사진(예를 들어 해당 출입 게이트의 일측에 구성된 카메라부(110)를 통해 획득된 영상/영상정보 등 포함), 수신된 정보(예를 들어 전화번호, 개인 안심 번호 등 포함) 등을 포함하는 입출입 관리 명부를 생성한다. 이때, 상기 제어부(160)는 상기 카메라부(110)를 통해 해당 사용자와 관련한 출입 사진을 획득할 수도 있고, 해당 입출입 관리 장치(100)와 연동하며 해당 출입 게이트를 포함하는 영역을 촬영하는 CCTV 카메라(미도시)를 통해 획득된 출입 사진을 제공받을 수도 있다. 여기서, 상기 CCTV 카메라는 상기 출입 게이트가 위치한 주변에 설치(또는 배치)하며, 상기 출입 게이트를 통과하는 사용자(또는 피사체)를 포함하는 영상을 획득(또는 촬영)하고, 상기 획득된 영상을 상기 입출입 관리 장치(100)에 전송할 수 있다. 또한, 상기 제어부(160)는 등록된 사용자의 해당 출입 게이트 통과에 따라 발생하는 복수의 이벤트 정보를 상기 생성된 입출입 관리 명부에 업데이트(또는 누적 관리)할 수 있다. 여기서, 상기 이벤트 정보는 사용자의 출입 날짜 및 시각, 출입 시점의 온도, 출입 사진, 수신된 정보(예를 들어 전화번호, 개인 안심 번호 등 포함) 등을 포함한다.As a result of the determination (or the result of the confirmation), when the received information is not included in the access registration information previously stored in the corresponding storage unit 130 (or the database) (or the user corresponding to the received information is registered in advance) user), the
즉, 상기 판단 결과(또는 상기 확인 결과), 해당 사용자가 입력한 전화번호 또는 개인 안심 번호가 해당 저장부(130)(또는 상기 데이터베이스)에 미리 저장된 출입 등록 정보에 포함되지 않은 경우(또는 상기 수신된 정보에 대응하는 사용자가 미리 등록된 사용자가 아닌 경우), 상기 제어부(160)는 해당 사용자가 미리 등록된 사용자가 아닌 것으로 판단하고, 해당 입출입 관리 장치(100)가 구성된 상기 출입 게이트에서의 해당 피사체에 대응하는 사용자의 출입 날짜 및 시각, 출입 시점의 온도(또는 피사체의 체온), 출입 사진, 수신된 정보(예를 들어 전화번호, 개인 안심 번호 등 포함) 등을 포함하는 상기 입출입 관리 명부를 생성한다.That is, when the determination result (or the confirmation result) and the phone number or personal safety number entered by the corresponding user are not included in the access registration information pre-stored in the corresponding storage unit 130 (or the database) (or the received If the user corresponding to the registered information is not a pre-registered user), the
또한, 상기 제어부(160)는 상기 생성된 입출입 관리 명부를 상기 저장부(130)(또는 상기 데이터베이스)에 저장한다. 이때, 상기 제어부(160)는 상기 생성된 입출입 관리 명부를 통신부(120)를 통해 해당 출입 게이트에서의 사용자의 입출입을 관리하는 서버(미도시)에 전송할 수도 있다.Also, the
일 예로, 사용자 입력에 따른 제 1 전화번호(예를 들어 010-1234-5678)가 상기 저장부(130)에 미리 저장된 출입 등록 정보에 포함되지 않은 상태일 때, 상기 제 1 제어부는 상기 사용자의 제 1 출입 날짜 및 시각(예를 들어 2021년 06월 05일 토요일 오후 1시 30분 40초), 출입 시점의 상기 제 1 피사체의 체온(예를 들어 36.5°), 상기 제 1 가시광 카메라를 통해 획득되는 상기 제 1 피사체를 포함하는 제 101 영상, 상기 제 1 전화번호(예를 들어 010-1234-5678) 등을 포함하는 제 1 입출입 관리 명부를 생성하고, 상기 생성된 제 1 입출입 관리 명부를 상기 저장부(130)에 저장한다(S690).For example, when a first phone number (for example, 010-1234-5678) according to a user input is not included in access registration information pre-stored in the
또한, 상기 판단 결과(또는 상기 확인 결과), 상기 수신된 정보가 해당 저장부(130)(또는 상기 데이터베이스)에 미리 저장된 출입 등록 정보에 포함된 경우(또는 상기 수신된 정보에 대응하는 사용자가 미리 등록된 사용자인 경우), 상기 제어부(160)는 해당 입출입 관리 장치(100)가 구성된 상기 출입 게이트에서의 해당 피사체에 대응하는 사용자의 출입 날짜 및 시각, 출입 시점의 온도(또는 피사체의 체온), 출입 사진(예를 들어 해당 출입 게이트의 일측에 구성된 카메라부(110)를 통해 획득된 영상/영상정보 등 포함), 수신된 정보(예를 들어 전화번호, 개인 안심 번호, 바코드 정보, QR 코드 정보 등 포함) 등을 포함하는 입출입 관리 명부를 생성한다. 이때, 상기 제어부(160)는 상기 카메라부(110)를 통해 해당 사용자와 관련한 출입 사진을 획득할 수도 있고, 해당 입출입 관리 장치(100)와 연동하며 해당 출입 게이트를 포함하는 영역을 촬영하는 CCTV 카메라(미도시)를 통해 획득된 출입 사진을 제공받을 수도 있다. 여기서, 상기 CCTV 카메라는 상기 출입 게이트가 위치한 주변에 설치(또는 배치)하며, 상기 출입 게이트를 통과하는 사용자(또는 피사체)를 포함하는 영상을 획득(또는 촬영)하고, 상기 획득된 영상을 상기 입출입 관리 장치(100)에 전송할 수 있다. 또한, 상기 제어부(160)는 등록된 사용자의 해당 출입 게이트 통과에 따라 발생하는 복수의 이벤트 정보를 상기 생성된 입출입 관리 명부에 업데이트(또는 누적 관리)할 수 있다. 여기서, 상기 이벤트 정보는 사용자의 출입 날짜 및 시각, 출입 시점의 온도, 출입 사진, 수신된 정보 등을 포함한다.In addition, as a result of the determination (or the result of the confirmation), when the received information is included in the access registration information previously stored in the corresponding storage unit 130 (or the database) (or the user corresponding to the received information registered user), the
또한, 상기 제어부(160)는 상기 생성된 입출입 관리 명부를 상기 저장부(130)(또는 상기 데이터베이스)에 저장한다. 이때, 상기 제어부(160)는 상기 생성된 입출입 관리 명부를 통신부(120)를 통해 해당 출입 게이트에서의 사용자의 입출입을 관리하는 상기 서버에 전송할 수도 있다.Also, the
일 예로, 상기 제 1 QR 코드 정보(예를 들어 제 1 개인 안심 번호인 12가34너 등 포함)가 상기 저장부(130)에 미리 저장된 출입 등록 정보에 포함된 상태일 때, 상기 제 1 제어부는 상기 사용자의 제 2 출입 날짜 및 시각(예를 들어 2021년 06월 05일 토요일 오후 1시 20분 30초), 출입 시점의 상기 제 1 피사체의 체온(예를 들어 36.5°), 상기 제 1 가시광 카메라를 통해 획득되는 상기 제 1 피사체를 포함하는 제 102 영상, 상기 제 1 QR 코드 정보(예를 들어 제 1 개인 안심 번호인 12가34너 등 포함) 등을 포함하는 제 2 입출입 관리 명부를 생성하고, 상기 생성된 제 2 입출입 관리 명부를 상기 저장부(130)에 저장한다(S700).For example, when the first QR code information (including, for example, the first personal safety number 12ga34you, etc.) is included in the access registration information pre-stored in the
본 발명의 실시예는 앞서 설명된 바와 같이, 가시광 카메라와 열화상 카메라를 이용해서 빠르게 체온을 측정하고 마스크 착용 여부를 판단하고, 방명록 기재를 요청한 후, 사용자가 입력하는 전화번호나 고유 코드 또는 바코드나 QR 코드 인식에 따른 정보를 근거로 미리 등록된 사용자인지 여부를 판단하고, 판단 결과에 따라 출입 게이트에서의 출입 시각, 출입 시점의 온도, 출입 사진, 입력되거나 인식된 전화번호나 고유 코드나 바코드 정보나 QR 코드 정보 등을 입출입 관리 명부로 저장하여, 입 출입 관리를 위한 대기 시간을 줄이고 관리를 용이하도록 구성할 수 있다.As described above, the embodiment of the present invention quickly measures body temperature using a visible light camera and a thermal imaging camera, determines whether or not a mask is worn, requests a guestbook entry, and then a phone number, unique code, or barcode input by the user. B. Based on the information from the QR code recognition, it is determined whether the user is pre-registered, and based on the determination result, the time of entry at the gate, the temperature at the time of entry, the entry and exit photo, the entered or recognized phone number, or a unique code or barcode Information or QR code information can be stored as an entry/exit management list to reduce waiting time for entry/exit management and to facilitate management.
또한, 본 발명의 실시예는 앞서 설명된 바와 같이, OpenCV를 이용해서 인식된 안면 영역에서의 픽셀별 온도값을 근거로 마스크 착용 여부를 확인하며, 안면 인식과 눈 인식을 병합하여 눈만 인식했을 경우에도 확장되는 알고리즘을 적용하여 안면 영역을 인지하여, 안면 인식의 정확도를 높이고, 데이터 학습을 통한 안면 인식 기능을 수행하는 딥러닝 결과보다 빠르고 정확한 데이터를 획득할 수 있다.In addition, as described above, the embodiment of the present invention checks whether or not a mask is worn based on the temperature value of each pixel in the face area recognized using OpenCV, and when only the eyes are recognized by merging face recognition and eye recognition. It is possible to recognize the face area by applying an extended algorithm to increase the accuracy of face recognition, and obtain faster and more accurate data than the deep learning result that performs the face recognition function through data learning.
전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing may be modified and modified by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be construed according to the claims below, and all technical ideas within the equivalent range should be construed as being included in the scope of the present invention.
100: 입출입 관리 장치 110: 카메라부
120: 통신부 130: 저장부
140: 표시부 150: 음성 출력부
160: 제어부 111: 가시광 카메라
112: 열화상 카메라100: access management device 110: camera unit
120: communication unit 130: storage unit
140: display unit 150: audio output unit
160: controller 111: visible light camera
112: thermal imaging camera
Claims (7)
상기 획득된 제 1 영상 및 제 2 영상을 근거로 상기 피사체의 체온 및 상기 피사체의 마스크 착용 여부를 확인하고, 결과를 출력하고, 방명록 기재 요청을 위한 안내 화면을 표시하고, 사용자로부터 제공되는 전화번호, 개인 안심 번호, 바코드에 대응하는 바코드 정보 및 QR 코드에 대응하는 QR 코드 정보 중 어느 하나의 정보를 수신하고, 상기 수신된 정보를 근거로 상기 사용자가 미리 등록된 사용자인지 여부를 판단하고, 상기 판단 결과, 상기 사용자가 미리 등록된 사용자일 때, 상기 피사체에 대응하는 사용자의 출입 날짜 및 시각, 출입 시점의 상기 피사체의 체온, 출입 사진 및 상기 정보를 포함하는 입출입 관리 명부를 생성하는 제어부를 포함하며,
상기 제어부는,
상기 제 1 영상에서 상기 피사체의 안면 영역을 인식하고, 상기 제 2 영상에 상기 인식된 안면 영역을 중첩하고, 상기 제 2 영상에서 상기 중첩된 영역을 제 2 영상의 안면 영역으로 선택하고, 상기 제 2 영상에서 선택된 안면 영역에서 픽셀별 온도 데이터를 획득하고, 상기 획득된 픽셀별 온도 데이터를 근거로 상기 피사체의 체온을 확인하고, 상기 확인된 피사체의 체온을 출력하며,
상기 제 1 영상에서 눈 영역을 인식하고, 상기 인식된 눈 영역에 대해서 정사각형 모양으로 정형화하고, 상기 정형화된 정사각형의 한 변 길이를 기준으로 하여 안면 영역의 가로 길이 및 세로 길이를 추정하고, 상기 추정된 가로 길이 및 세로 길이를 적용한 안면 영역을 근거로 상기 제 1 영상에서 상기 피사체의 안면 영역을 인식하는 것을 특징으로 하는 입출입 관리 장치.a camera unit that captures a first image that is a visible light image and a second image that is a thermal image by photographing a subject; and
Based on the obtained first and second images, the body temperature of the subject and whether or not the subject is wearing a mask are checked, the results are output, a guide screen for requesting a guestbook entry is displayed, and a phone number provided by the user , Receiving any one of a personal safety number, barcode information corresponding to a barcode, and QR code information corresponding to a QR code, determining whether the user is a pre-registered user based on the received information, and As a result of the determination, when the user is a pre-registered user, a controller for generating an entry/exit management list including the access date and time of the user corresponding to the subject, the body temperature of the subject at the time of access, an access photo, and the information and
The control unit,
A facial region of the subject is recognized in the first image, the recognized facial region is overlaid on the second image, the overlapped region in the second image is selected as a facial region of the second image, 2 Obtaining pixel-by-pixel temperature data from a facial region selected from the image, checking the body temperature of the subject based on the acquired temperature data by pixel, and outputting the identified body temperature of the subject;
The eye region is recognized in the first image, the recognized eye region is standardized into a square shape, the horizontal length and the vertical length of the facial region are estimated based on the length of one side of the standardized square, and the estimation and recognizing the facial region of the subject in the first image based on the facial region to which the horizontal and vertical lengths are applied.
상기 카메라부는,
상기 피사체를 촬영하여 상기 가시광 영상인 제 1 영상을 획득하는 가시광 카메라; 및
상기 피사체를 촬영하여, 상기 열화상 영상인 제 2 영상을 획득하는 열화상 카메라를 포함하며,
상기 가시광 카메라 및 상기 열화상 카메라는,
상기 피사체로부터 동일한 거리와 각도로 배치하는 것을 특징으로 하는 입출입 관리 장치.According to claim 1,
The camera unit,
a visible light camera that photographs the subject and obtains a first image that is the visible light image; and
A thermal imaging camera that photographs the subject and acquires a second image, which is the thermal image,
The visible light camera and the thermal imaging camera,
Entry and exit management device, characterized in that disposed at the same distance and angle from the subject.
상기 제어부는,
상기 수신된 정보와 관련한 사용자가 미리 등록된 사용자인지를 판단하기 위해서, 상기 수신된 정보가 데이터베이스에 미리 저장된 출입 등록 정보에 포함된 상태인지 여부를 판단하는 것을 특징으로 하는 입출입 관리 장치.According to claim 1,
The control unit,
In order to determine whether a user related to the received information is a pre-registered user, it is determined whether the received information is included in access registration information previously stored in a database.
제어부에 의해, 상기 획득된 제 1 영상 및 제 2 영상을 근거로 상기 피사체의 체온 및 상기 피사체의 마스크 착용 여부를 확인하고, 결과를 출력하는 단계;
상기 제어부에 의해, 방명록 기재 요청을 위한 안내 화면을 표시하는 단계;
상기 제어부에 의해, 사용자로부터 제공되는 전화번호, 개인 안심 번호, 바코드에 대응하는 바코드 정보 및 QR 코드에 대응하는 QR 코드 정보 중 어느 하나의 정보를 수신하는 단계;
상기 제어부에 의해, 상기 수신된 정보를 근거로 상기 사용자가 미리 등록된 사용자인지 여부를 판단하는 단계; 및
상기 판단 결과, 상기 사용자가 미리 등록된 사용자일 때, 상기 제어부에 의해, 상기 피사체에 대응하는 사용자의 출입 날짜 및 시각, 출입 시점의 상기 피사체의 체온, 출입 사진 및 상기 정보를 포함하는 입출입 관리 명부를 생성하는 단계를 포함하며,
상기 피사체의 체온 및 상기 피사체의 마스크 착용 여부를 확인하고, 결과를 출력하는 단계는,
상기 제 1 영상에서 상기 피사체의 안면 영역을 인식하는 과정;
상기 제 2 영상에 상기 인식된 안면 영역을 중첩하는 과정;
상기 제 2 영상에서 상기 중첩된 영역을 제 2 영상의 안면 영역으로 선택하는 과정;
상기 제 2 영상에서 선택된 안면 영역에서 픽셀별 온도 데이터를 획득하는 과정;
상기 획득된 픽셀별 온도 데이터를 근거로 상기 피사체의 체온을 확인하는 과정; 및
상기 확인된 피사체의 체온을 출력하는 과정을 포함하며,
상기 제어부는,
상기 제 1 영상에서 눈 영역을 인식하고, 상기 인식된 눈 영역에 대해서 정사각형 모양으로 정형화하고, 상기 정형화된 정사각형의 한 변 길이를 기준으로 하여 안면 영역의 가로 길이 및 세로 길이를 추정하고, 상기 추정된 가로 길이 및 세로 길이를 적용한 안면 영역을 근거로 상기 제 1 영상에서 상기 피사체의 안면 영역을 인식하는 것을 특징으로 하는 입출입 관리 방법.obtaining a first image, which is a visible light image, and a second image, which is a thermal image, by photographing a subject by a camera unit;
checking, by a controller, the body temperature of the subject and whether or not the subject is wearing a mask based on the acquired first and second images, and outputting a result;
displaying, by the control unit, a guidance screen for requesting entry into the guestbook;
Receiving, by the controller, any one of barcode information corresponding to a phone number, personal safety number, and barcode provided by the user, and QR code information corresponding to a QR code;
determining, by the control unit, whether the user is a pre-registered user based on the received information; and
As a result of the determination, when the user is a pre-registered user, the access date and time of the user corresponding to the subject, the body temperature of the subject at the time of access, an access photo, and an entry/exit management list including the information by the control unit Including the step of generating,
The step of checking the body temperature of the subject and whether or not the subject is wearing a mask, and outputting the result,
recognizing a facial region of the subject in the first image;
superimposing the recognized facial region on the second image;
selecting the overlapped area in the second image as a facial area of the second image;
acquiring temperature data for each pixel in the facial region selected from the second image;
checking the body temperature of the subject based on the obtained temperature data for each pixel; and
Including the process of outputting the body temperature of the identified subject,
The control unit,
The eye region is recognized in the first image, the recognized eye region is standardized into a square shape, the horizontal and vertical lengths of the facial region are estimated based on the length of one side of the standardized square, and the estimation and recognizing the facial region of the subject in the first image based on the facial region to which the horizontal and vertical lengths are applied.
상기 피사체의 체온 및 상기 피사체의 마스크 착용 여부를 확인하고, 결과를 출력하는 단계는,
상기 제 2 영상에서의 피사체의 안면 영역에 포함된 복수의 픽셀 중에서 미리 설정된 제 2 설정 온도 이상인 픽셀의 개수를 카운트하는 과정;
상기 카운트된 픽셀의 개수를 근거로 상기 제 2 영상에서의 피사체의 안면 영역에서 상기 카운트된 픽셀의 개수가 차지하는 비율을 계산하는 과정;
상기 계산된 비율이 미리 설정된 기준값을 초과하는지 여부를 확인하는 과정;
상기 확인 결과, 상기 계산된 비율이 상기 기준값을 초과하지 않을 때, 상기 피사체가 마스크를 착용한 상태로 판단하는 과정;
상기 확인 결과, 상기 계산된 비율이 상기 기준값을 초과할 때, 상기 피사체가 마스크를 착용하지 않은 상태로 판단하는 과정; 및
상기 판단되는 상기 피사체의 마스크 착용 여부에 대한 정보를 출력하는 과정을 포함하는 것을 특징으로 하는 입출입 관리 방법.According to claim 4,
The step of checking the body temperature of the subject and whether or not the subject is wearing a mask, and outputting the result,
counting the number of pixels having a predetermined second set temperature or higher among a plurality of pixels included in a facial region of a subject in the second image;
calculating a ratio occupied by the counted number of pixels in a facial region of a subject in the second image based on the counted number of pixels;
checking whether the calculated ratio exceeds a preset reference value;
determining that the subject is wearing a mask when the calculated ratio does not exceed the reference value as a result of the check;
determining that the subject is not wearing a mask when the calculated ratio exceeds the reference value as a result of the check; and
and outputting information on whether or not the determined subject wears a mask.
상기 수신된 정보를 근거로 상기 사용자가 미리 등록된 사용자인지 여부를 판단하는 단계는,
상기 수신된 정보와 관련한 사용자가 미리 등록된 사용자인지를 판단하기 위해서, 상기 수신된 정보가 데이터베이스에 미리 저장된 출입 등록 정보에 포함된 상태인지 여부를 판단하는 것을 특징으로 하는 입출입 관리 방법.According to claim 4,
Determining whether the user is a pre-registered user based on the received information includes:
In order to determine whether a user related to the received information is a pre-registered user, it is determined whether the received information is included in access registration information previously stored in a database.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210084047A KR102472815B1 (en) | 2021-06-28 | 2021-06-28 | Apparatus for managing input/output and method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210084047A KR102472815B1 (en) | 2021-06-28 | 2021-06-28 | Apparatus for managing input/output and method thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102472815B1 true KR102472815B1 (en) | 2022-12-01 |
Family
ID=84440895
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210084047A KR102472815B1 (en) | 2021-06-28 | 2021-06-28 | Apparatus for managing input/output and method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102472815B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102576380B1 (en) * | 2023-06-07 | 2023-09-08 | 김동현 | Method and system for managing products marked with a date overlaapied on a rectangular micro quick response code using neural networks |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010097619A (en) * | 2009-12-11 | 2010-04-30 | Secom Co Ltd | Face detection device |
KR20180123900A (en) * | 2017-05-10 | 2018-11-20 | 수원대학교산학협력단 | Method and apparatus for alarming thermal heat detection results obtained by monitoring heat from human using thermal scanner |
KR20200122268A (en) | 2020-09-23 | 2020-10-27 | 주식회사 한스크리에이티브 | Access control system based on mobile device and control method thereof |
-
2021
- 2021-06-28 KR KR1020210084047A patent/KR102472815B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010097619A (en) * | 2009-12-11 | 2010-04-30 | Secom Co Ltd | Face detection device |
KR20180123900A (en) * | 2017-05-10 | 2018-11-20 | 수원대학교산학협력단 | Method and apparatus for alarming thermal heat detection results obtained by monitoring heat from human using thermal scanner |
KR20200122268A (en) | 2020-09-23 | 2020-10-27 | 주식회사 한스크리에이티브 | Access control system based on mobile device and control method thereof |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102576380B1 (en) * | 2023-06-07 | 2023-09-08 | 김동현 | Method and system for managing products marked with a date overlaapied on a rectangular micro quick response code using neural networks |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108664783B (en) | Iris recognition-based recognition method and electronic equipment supporting same | |
US10564392B2 (en) | Imaging apparatus and focus control method | |
EP3163498B1 (en) | Alarming method and device | |
US10719950B2 (en) | Head mount display (HMD) operated with mobile device for transforming reference coordinate systems for providing screen information | |
KR102287751B1 (en) | Method and apparatus for iris recognition of electronic device | |
US10215557B2 (en) | Distance image acquisition apparatus and distance image acquisition method | |
US20140282275A1 (en) | Detection of a zooming gesture | |
WO2017071044A1 (en) | Method and device for controlling unmanned aerial vehicle | |
KR102230691B1 (en) | Method and device for recognizing biometric information | |
US10083351B2 (en) | Control system and control method | |
US20140282224A1 (en) | Detection of a scrolling gesture | |
US10045001B2 (en) | Powering unpowered objects for tracking, augmented reality, and other experiences | |
WO2016137294A1 (en) | Electronic device and control method thereof | |
US20170277222A1 (en) | Head-mounted display | |
KR101760898B1 (en) | Context awareness based interactive guidance system and control method thereof | |
CN108710833B (en) | User identity authentication method and mobile terminal | |
US20170251138A1 (en) | Video call method and device | |
KR102472815B1 (en) | Apparatus for managing input/output and method thereof | |
WO2022183663A1 (en) | Event detection method and apparatus, and electronic device, storage medium and program product | |
KR20210019218A (en) | Smart door | |
KR102181084B1 (en) | Apparatus for providing immersive contents and method thereof | |
KR101558728B1 (en) | Visitor supervisory apparatus and system for notification service of visitor information having the same, and method thereof | |
US11243674B2 (en) | Display apparatus and image processing method | |
KR20150035108A (en) | System for robot cleaner and preventing crime using wifi direct | |
KR102632212B1 (en) | Electronic device for managnign vehicle information using face recognition and method for operating the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GRNT | Written decision to grant |