KR102310915B1 - Artificial intelligence-based smart pass medical device system using mask detection and body temperature correction of visitors - Google Patents

Artificial intelligence-based smart pass medical device system using mask detection and body temperature correction of visitors Download PDF

Info

Publication number
KR102310915B1
KR102310915B1 KR1020210021777A KR20210021777A KR102310915B1 KR 102310915 B1 KR102310915 B1 KR 102310915B1 KR 1020210021777 A KR1020210021777 A KR 1020210021777A KR 20210021777 A KR20210021777 A KR 20210021777A KR 102310915 B1 KR102310915 B1 KR 102310915B1
Authority
KR
South Korea
Prior art keywords
entrant
body temperature
face
occupant
infrared
Prior art date
Application number
KR1020210021777A
Other languages
Korean (ko)
Inventor
구기도
Original Assignee
주식회사 아하정보통신
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아하정보통신 filed Critical 주식회사 아하정보통신
Priority to PCT/KR2021/006223 priority Critical patent/WO2021235833A1/en
Application granted granted Critical
Publication of KR102310915B1 publication Critical patent/KR102310915B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48—Thermography; Techniques using wholly visual means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/20—Individual registration on entry or exit involving the use of a pass
    • G07C9/22—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder
    • G07C9/25—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/20—Individual registration on entry or exit involving the use of a pass
    • G07C9/22—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder
    • G07C9/25—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G07C9/257—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition electronically
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/80—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for detecting, monitoring or modelling epidemics or pandemics, e.g. flu

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Radiation Pyrometers (AREA)
  • Collating Specific Patterns (AREA)
  • Lock And Its Accessories (AREA)

Abstract

The present invention relates to a smart pass system and method using face recognition and body temperature measurement of an entrant. The smart pass system according to the present invention comprises: an infrared sensor which detects infrared rays emitted from an entrant's body; an infrared array sensor driving unit which converts a measured value of the infrared sensor into an electrical signal; a determination control unit which calculates a body temperature of the entrant by using the data that the measured value is converted into an electrical signal, and determines the entry or exit of the entrant or the range of the entry and exit according to a preset request of a manager based on the calculated body temperature; a face recognition camera unit which senses and photographs the face of the entrant; and an information display unit which displays a result of determining the entry or exit of the entrant or the range of the entry and exit, on an image obtained by photographing the face of the entrant.

Description

출입자의 마스크 탐지 및 체온 보정을 이용한 인공지능 기반 스마트패스 시스템{Artificial intelligence-based smart pass medical device system using mask detection and body temperature correction of visitors}Artificial intelligence-based smart pass medical device system using mask detection and body temperature correction of visitors

본 발명의 실시예는 출입자의 마스크 탐지 및 체온 보정을 이용한 인공지능 기반 스마트패스 시스템 및 방법에 관한 것으로, 보다 상세하게는 출입자를 촬영한 이미지를 통해 마스크의 정상착용 유무를 탐지하고 출입자의 체열을 산출하여 출입 가능 여부를 결정하는 출입자의 얼굴 인식 및 체온 측정을 통한 스마트 패스 시스템 및 방법에 관한 것이다.An embodiment of the present invention relates to an AI-based smart pass system and method using mask detection and body temperature correction of entrants. The present invention relates to a smart pass system and method through face recognition and body temperature measurement of an entrant that calculates and determines whether access is allowed.

출입통제 시스템은 건물, 연구소, 공장, 사무실, 보안구역 등 접근자의 통제가 요구되는 특정 장소의 인명, 재산, 정보 등을 안전하게 보호하기 위하여 설치되고 있다.Access control systems are being installed to safely protect people, property, information, etc. in specific places where access control is required, such as buildings, research institutes, factories, offices, and security areas.

일반적으로 건물이나 건물 내 사무실 등에서 접근자의 통제가 요구되는 출입통제는 출입 관리인, 출입카드 판독, 지문이나 홍채 등의 생체 인식을 통해 이루어지고 있으며, 출입 관리인에 의한 출입통제 방식은 방문자들이 일일이 출입 정보를 기록하여야 하므로 매우 번거로운 문제점이 있다.In general, access control that requires the control of an accessor in a building or office building is performed through biometric recognition such as an access manager, access card reading, fingerprint or iris. There is a very cumbersome problem because it has to be recorded.

특히, 병원, 학교, 대기업, 관공서, 교도소 또는 군대 등의 공간에서는 다양한 사람이 단체 생활하게 되는데, 이러한 공간에는 다양한 사람이 함께 생활하기 때문에 소수의 인원이 특정한 질병에 감염될 경우 단체 생활하는 모든 사람에게 해당 질병이 전염될 우려가 있다.In particular, in spaces such as hospitals, schools, large corporations, government offices, prisons, or the military, various people live in groups. There is a risk that the disease may be transmitted to

이와 같은 출입 통제 시스템의 관련 기술로는 대한민국 공개특허공보 1999-0073948호(1999. 10. 05 공개, 발명의 명칭: 화상을 이용한 출입통제 시스템)이 있다.As a related technology of such an access control system, there is Republic of Korea Patent Publication No. 1999-0073948 (published on October 05, 1999, title of the invention: access control system using an image).

그러나, 기존의 출입통제 시스템은 출입하고자 하는 사람을 촬영한 화상에만 기초하여 출입 가부를 결정하는 방식으로 운영되었고, 그로 인해 특정 공간에 출입할 수 있는 권한이 있는 사람은 질병에 감염되더라도 자유롭게 해당 공간으로 출입하고 있다.However, the existing access control system was operated in such a way as to decide whether to enter or not based only on images of the person who wanted to enter, and as a result, those who have the right to enter a specific space can freely enter the space even if they are infected with a disease. is entering into

따라서, 많은 사람이 함께 생활하는 공간으로 출입하고자 하는 사람의 질병 감염 여부를 판단하기 위하여 체온이 정상인 출입자만이 출입 가능하도록 통제하는 기술이 필요하다.Therefore, in order to determine whether a person who wants to enter a space where many people live together is infected with a disease, there is a need for a technology for controlling so that only those who have a normal body temperature can enter.

본 발명은 전술한 문제를 해결하기 위해 안출된 것으로서, 본 발명에 따르면, 인공지능을 이용하는 출입자 인식 및 열화상 카메라를 이용하여 출입자를 카메라로 촬영하고, 출입자에게 반사되는 적외선을 카메라로 촬영하여 출입자의 안면을 인식하도록 함으로써, 열화상 이미지센서를 통해 열화상 카메라를 대체하여 체열에 따른 출입이 가능하도록 하여, 경제성이 우수한 스마트 패스 시스템을 제공하고자 한다.The present invention has been devised to solve the above-mentioned problem. According to the present invention, the occupants are photographed with a camera using resident recognition using artificial intelligence and a thermal imaging camera, and infrared rays reflected from the occupants are photographed with the camera. By recognizing the face of a person, it is intended to provide an economical smart pass system by replacing a thermal imaging camera with a thermal image sensor and allowing entry and exit according to body heat.

또한, 본 발명에 따르면 인공지능 딥러닝 데이터 베이스에 기초하여 분석한 출입자의 이미지 데이터를 참조하고 마스크를 쓴 안면의 체온을 산출하며, 보다 구체적으로 출입자의 마스크 탐지 기능을 통해 마스크의 착용 유무를 체크하고, 출입자가 마스크를 쓰지 않거나, 마스크를 턱이나 입에만 걸친 경우에는 정보 표시부에 출입 금지 표시를 디스플레이하고 스피커를 통해 마스크의 착용을 요청하는 안내 음성을 출력하여 더욱 출입 통제의 효율성과 편의성을 향상시키고자 한다.In addition, according to the present invention, based on the artificial intelligence deep learning database, it refers to the image data of the person who is analyzed and calculates the body temperature of the face wearing the mask, and more specifically, checks whether the person is wearing a mask through the mask detection function In addition, if a person does not wear a mask or only wears a mask on their chin or mouth, an entry prohibition sign is displayed on the information display and a voice guidance requesting to wear a mask is output through the speaker to further improve the efficiency and convenience of access control. want to do

또한, 본 발명에 따르면 기존의 출입 통제 시스템에 카메라, 열화상 이미지 센서 및 거리측정 센서를 추가하여 체열 및 이미지 식별에 따른 출입 통제를 구현하여, 보안을 목적으로 하는 출입 시스템의 효율성과 경제성을 향상시키고자 한다.In addition, according to the present invention, by adding a camera, a thermal image sensor, and a distance measurement sensor to the existing access control system, access control according to body heat and image identification is implemented, thereby improving the efficiency and economic feasibility of an access system for security purposes. want to do

또한, 본 발명에 따르면 스마트 패스 시스템이 외부 환경에 노출되어 설치되는 등 외부 온도에 의해 실제 체온과 다르게 측정될 경우에는, 출입자의 체온 보정 기능을 통해 산출된 출입자의 체온을 보정하도록 하여 더욱 신뢰도 높은 체온 측정 및 출입 통제를 제공하고자 한다.In addition, according to the present invention, when the smart pass system is measured differently from the actual body temperature due to the external temperature, such as being exposed to the external environment, the body temperature of the entrants calculated through the occupant's body temperature correction function is corrected so that higher reliability is obtained. We want to provide temperature measurement and access control.

나아가, 본 발명에 따르면, 사람들의 출입이 잦은 영역에 비접촉 방식의 체열 감지를 통해 출입을 통제하거나 사람들의 건강 상태를 직간접적으로 인지시킬 수 있으므로, 전염병 예방과 개인의 건강 관리에 도움을 주고자 한다.Furthermore, according to the present invention, it is possible to control access or directly or indirectly recognize people's health status through non-contact body heat sensing in an area where people frequently enter and exit, so that it is possible to help prevent infectious diseases and manage personal health. do.

전술한 문제를 해결하기 위한 본 실시예에 따른 출입자의 얼굴 인식 및 체온 측정을 이용한 스마트 패스 시스템은, 출입자의 인체에서 발산하는 적외선을 감지하는 적외선 센서; 상기 적외선 센서에서의 측정값을 전기적 신호로 변환하는 적외선어레이센서 구동부; 상기 측정값을 전기적 신호로 변환한 데이터를 이용하여 상기 출입자의 신체의 체온을 산출하고, 상기 산출된 체온에 기초하여 관리자의 기설정된 요구에 따라 상기 출입자의 출입 여부 또는 출입 범위를 판단하는 판단 제어부; 상기 출입자의 안면을 감지하여 촬영하는 안면인식 카메라부; 및 상기 출입자의 안면을 촬영한 영상 상에, 상기 출입자의 출입 여부 또는 출입 범위를 판단한 결과를 함께 표시하는 정보 표시부;를 포함하여 구성된다.In order to solve the above problem, the smart pass system using face recognition and body temperature measurement of an entrant according to the present embodiment includes an infrared sensor that detects infrared rays emitted from the entrant's body; an infrared array sensor driving unit for converting the measured value from the infrared sensor into an electrical signal; A determination control unit that calculates the body temperature of the occupant using the data converted from the measured value into an electrical signal, and determines whether or not the occupant enters or exits according to a preset request of an administrator based on the calculated body temperature ; a face recognition camera unit for sensing and photographing the face of the entrant; and an information display unit for displaying a result of determining whether or not the occupant enters the occupant or the entrant's access range on the image obtained by photographing the face of the entrant.

본 발명의 다른 일실시예에 따르면, 상기 적외선 센서는 적외선 어레이 센서로 구성되어, 열화상 픽셀로 구성되는 상기 출입자의 열화상 정보를 획득하고, 상기 적외선어레이센서 구동부는, 열전대에 의한 신호에 의해 상기 적외선 센서의 출력 전압을 산출할 수 있다.According to another embodiment of the present invention, the infrared sensor is composed of an infrared array sensor, and obtains the thermal image information of the entrant consisting of a thermal image pixel, and the infrared array sensor driver, by a signal by a thermocouple The output voltage of the infrared sensor may be calculated.

본 발명의 다른 일실시예에 따르면, 상기 적외선어레이센서 구동부는 하기의 수학식 1에 의해 상기 적외선 센서의 출력 전압

Figure 112021019732122-pat00001
을 산출할 수 있다.According to another embodiment of the present invention, the infrared array sensor driving unit output voltage of the infrared sensor by Equation 1 below
Figure 112021019732122-pat00001
can be calculated.

[수학식 1][Equation 1]

Figure 112021019732122-pat00002
Figure 112021019732122-pat00002

이때,

Figure 112021019732122-pat00003
는 상수 장치 계수,
Figure 112021019732122-pat00004
는 물체 방사율,
Figure 112021019732122-pat00005
는 물체 온도,
Figure 112021019732122-pat00006
는 주변 온도,
Figure 112021019732122-pat00007
는 센서(하우징) 온도, n은 신호 전압의 온도 종속성을 설명하는 지수이다.At this time,
Figure 112021019732122-pat00003
is the constant device coefficient,
Figure 112021019732122-pat00004
is the object emissivity,
Figure 112021019732122-pat00005
is the object temperature,
Figure 112021019732122-pat00006
is the ambient temperature,
Figure 112021019732122-pat00007
is the sensor (housing) temperature, and n is an exponent describing the temperature dependence of the signal voltage.

본 발명의 다른 일실시예에 따르면, 상기 적외선어레이센서 구동부는,According to another embodiment of the present invention, the infrared array sensor driving unit,

상기 적외선 센서에서의 측정값을 하기의 수학식 2에 의해 보정할 수 있다.The measured value of the infrared sensor may be corrected by Equation 2 below.

[수학식 2][Equation 2]

Figure 112021019732122-pat00008
Figure 112021019732122-pat00008

이때,

Figure 112021019732122-pat00009
는 상수 장치 계수,
Figure 112021019732122-pat00010
는 물체 방사율,
Figure 112021019732122-pat00011
는 물체 온도,
Figure 112021019732122-pat00012
는 증폭된 온도, n은 신호 전압의 온도 종속성을 설명하는 지수이다.At this time,
Figure 112021019732122-pat00009
is the constant device coefficient,
Figure 112021019732122-pat00010
is the object emissivity,
Figure 112021019732122-pat00011
is the object temperature,
Figure 112021019732122-pat00012
is the amplified temperature, and n is an exponent describing the temperature dependence of the signal voltage.

본 발명의 다른 일실시예에 따르면, 상기 적외선 센서는 상기 정보 표시부를 통해 표시되는 상기 출입자의 이마 부위에 대응되는 고정점을 기준으로 하여 설정되는 범위의 픽셀의 온도를 측정하고, 상기 적외선어레이센서 구동부는 상기 설정되는 범위의 픽셀의 측정값 중에서 최고치를 상기 판단 제어부로 제공할 수 있다.According to another embodiment of the present invention, the infrared sensor measures the temperature of a pixel in a range set based on a fixed point corresponding to the forehead portion of the entrant displayed through the information display unit, and the infrared array sensor The driving unit may provide the highest value among the measured values of the pixels within the set range to the determination control unit.

본 발명의 다른 일실시예에 따르면, 상기 판단 제어부는 인공지능 딥러닝 데이터 베이스에 저장된 데이터를 이용해 상기 출입자의 노출된 안면 또는 마스크를 쓴 안면을 분석하여 상기 출입자를 감지하고, 상기 인공지능 딥러닝 데이터 베이스에 기초하여 분석한 출입자의 이미지 데이터를 참조하고 상기 출입자의 노출된 안면 또는 마스크를 쓴 안면의 체온을 산출할 수 있다.According to another embodiment of the present invention, the determination control unit detects the entrant by analyzing the exposed face or the mask-wearing face of the entrant using data stored in the artificial intelligence deep learning database, and the artificial intelligence deep learning It is possible to refer to the image data of the visitor analyzed based on the database and calculate the body temperature of the exposed face or the face wearing the mask.

본 발명의 다른 일실시예에 따르면, 상기 출입자의 움직임에 따라 상기 적외선 센서의 각도를 조절하는 각도 조절부; 상기 출입자와의 거리를 산출하여 상기 체열 산출부의 체열 산출을 위한 정보로 제공하는 거리측정 센서; 상기 판단 제어부의 판단 결과에 따라 도어의 개폐를 제어하는 출입 통제 장치; 상기 출입자의 체열 정보 및 체열 측정 시간을 저장하는 데이터 베이스; 및 상기 데이터 베이스에 저장된 상기 출입자의 체열 정보 및 체열 측정 시간을 상기 출입자의 개인 휴대 단말기로 메시지 전송하는 통신부;를 더 포함할 수 있다.According to another embodiment of the present invention, an angle adjusting unit for adjusting the angle of the infrared sensor according to the movement of the entrant; a distance measuring sensor that calculates the distance from the person and provides information for calculating the body heat of the body heat calculator; an access control device for controlling opening and closing of a door according to a determination result of the determination control unit; a database for storing body heat information and body heat measurement time of the entrant; and a communication unit that transmits the body heat information and body temperature measurement time of the person stored in the database to the personal portable terminal of the person.

본 발명의 다른 일실시예에 따르면, 상기 판단 제어부는 상기 출입자의 안면을 촬영한 영상을 분석하여, 상기 출입자가 마스크를 착용하지 않은 것으로 판단하면, 상기 출입 통제 장치가 상기 도어를 폐쇄하도록 제어할 수 있다.According to another embodiment of the present invention, the determination control unit analyzes the image captured by the face of the entrant, and when it is determined that the entrant is not wearing a mask, controls the access control device to close the door. can

본 발명의 다른 일실시예에 따르면, 상기 판단 제어부는 인공지능 딥러닝 데이터베이스에 기초하여 상기 출입자의 안면을 촬영한 영상을 분석하여, 상기 출입 통제 장치가 상기 도어를 개폐하도록 제어할 수 있다.According to another embodiment of the present invention, the determination controller may control the access control device to open and close the door by analyzing an image obtained by photographing the face of the occupant based on an artificial intelligence deep learning database.

본 발명의 실시예에 따르면 인공지능을 이용하는 출입자 인식 및 열화상 카메라를 이용하여 출입자를 카메라로 촬영하고, 출입자에게 반사되는 적외선을 카메라로 촬영하여 출입자의 안면을 인식하도록 함으로써, 열화상 이미지센서를 통해 열화상 카메라를 대체하여 체열에 따른 출입이 가능하도록 하여, 경제성이 우수한 스마트 패스 시스템을 제공할 수 있다.According to an embodiment of the present invention, a thermal image sensor is installed by photographing an occupant with a camera using an occupant recognition and thermal imaging camera using artificial intelligence, and photographing the infrared ray reflected by the occupant with a camera to recognize the occupant's face. Through this, it is possible to provide an economical smart pass system by replacing a thermal imaging camera and allowing entry and exit according to body heat.

또한, 본 발명의 실시예에 따르면 인공지능 딥러닝 데이터 베이스에 기초하여 분석한 출입자의 이미지 데이터를 참조하고 마스크를 쓴 안면의 체온을 산출하하며, 보다 구체적으로 출입자의 마스크 탐지 기능을 통해 마스크의 착용 유무를 체크하고, 출입자가 마스크를 쓰지 않거나, 마스크를 턱이나 입에만 걸친 경우에는 정보 표시부에 출입 금지 표시를 디스플레이하고 스피커를 통해 마스크의 착용을 요청하는 안내 음성을 출력하여 더욱 출입 통제의 효율성과 편의성을 향상시킬 수 있다.In addition, according to an embodiment of the present invention, the body temperature of the face wearing the mask is calculated by referring to the image data of the person who is analyzed based on the artificial intelligence deep learning database, and more specifically, through the mask detection function of the person wearing the mask, It checks whether the person is wearing a mask, or if the person wearing a mask is not wearing a mask or only wears a mask on the chin or mouth, a sign of prohibition of access is displayed on the information display section and a voice guidance requesting to wear a mask is output through the speaker to further improve access control efficiency and convenience can be improved.

또한, 본 발명의 실시예에 따르면 기존의 출입 통제 시스템에 카메라, 열화상 이미지 센서 및 거리측정 센서를 추가하여 체열 및 이미지 식별에 따른 출입 통제를 구현할 수 있으므로, 보안을 목적으로 하는 출입 시스템의 효율성과 경제성을 향상시킬 수 있다.In addition, according to an embodiment of the present invention, since it is possible to implement access control according to body heat and image identification by adding a camera, a thermal image sensor, and a distance measurement sensor to the existing access control system, the efficiency of the access system for security purposes and economic efficiency can be improved.

또한, 본 발명의 실시예에 따르면 스마트 패스 시스템이 외부 환경에 노출되어 설치되는 등 외부 온도에 의해 실제 체온과 다르게 측정될 경우에는, 출입자의 체온 보정 기능을 통해 산출된 출입자의 체온을 보정하도록 하여 더욱 신뢰도 높은 체온 측정 및 출입 통제가 가능하도록 할 수 있다.In addition, according to an embodiment of the present invention, when the smart pass system is measured differently from the actual body temperature due to the external temperature, such as being exposed to the external environment and installed, the body temperature of the occupant calculated through the entrant's body temperature correction function is corrected. It can enable more reliable temperature measurement and access control.

나아가, 본 발명의 실시예에 따르면, 사람들의 출입이 잦은 영역에 비접촉 방식의 체열 감지를 통해 출입을 통제하거나 사람들의 건강 상태를 직간접적으로 인지시킬 수 있으므로, 전염병 예방과 개인의 건강 관리에 도움을 줄 수 있다.Furthermore, according to an embodiment of the present invention, it is possible to control access or directly or indirectly recognize people's health status through non-contact body heat sensing in an area where people frequently enter and exit, thus helping to prevent infectious diseases and manage personal health. can give

도 1 및 도 2는 본 발명의 일실시예에 따른 출입자의 얼굴 인식 및 체온 측정을 이용한 스마트 패스 시스템을 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 출입자의 얼굴 인식 및 체온 측정을 이용한 스마트 패스 시스템의 구성도이다.
도 4 및 도 5는 본 발명의 일실시예에 따른 적외선 센서와 전외선어레이센서 구동부의 체온 측정 방법을 설명하기 위한 도면이다.
도 6 내지 도 9는 본 발명의 일실시예에 따른 출입자의 체온 측정과 마스크 착용에 따른 화면표시 방법을 도시한 도면이다.
도 10은 본 발명의 일실시예에 따른 출입자의 얼굴 인식 및 체온 측정을 이용한 스마트 패스 시스템의 출입자의 안면을 인식하는 방법을 설명하기 위한 흐름도이다.
도 11은 본 발명의 일실시예에 따른 출입자의 얼굴 인식 및 체온 측정을 이용한 스마트 패스 시스템의 출입자의 안면을 인식하는 방법을 설명하기 위한 도면이다.
도 12는 본 발명의 일실시예에 따른 출입등록 방법을 설명하기 위한 도면이다.
도 13은 본 발명의 일실시예에 따른 출입관리 방법을 설명하기 위한 도면이다.
도 14는 본 발명의 일실시예에 따른 출입자의 출입 방법을 설명하기 위한 도면이다.
도 15는 본 발명의 일실시예에 따른 스마트 패스 시스템의 설정 방법을 설명하기 위한 도면이다.
도 16은 본 발명의 다른 일실시예에 따른 출입관리 방법을 설명하기 위한 도면이다.1 and 2 are diagrams illustrating a smart pass system using face recognition and body temperature measurement of an entrant according to an embodiment of the present invention.
3 is a block diagram of a smart pass system using face recognition and body temperature measurement of an entrant according to an embodiment of the present invention.
4 and 5 are diagrams for explaining a body temperature measurement method of the infrared sensor and the front ultraviolet array sensor driving unit according to an embodiment of the present invention.
6 to 9 are diagrams illustrating a screen display method according to an occupant's body temperature measurement and mask wearing according to an embodiment of the present invention.
10 is a flowchart illustrating a method of recognizing the face of an entrant in the smart pass system using the occupant's face recognition and body temperature measurement according to an embodiment of the present invention.
11 is a view for explaining a method of recognizing the face of an entrant in the smart pass system using the occupant's face recognition and body temperature measurement according to an embodiment of the present invention.
12 is a view for explaining an access registration method according to an embodiment of the present invention.
13 is a view for explaining an access control method according to an embodiment of the present invention.
14 is a view for explaining a method of entering and exiting an occupant according to an embodiment of the present invention.
15 is a view for explaining a method of setting a smart pass system according to an embodiment of the present invention.
16 is a view for explaining an access control method according to another embodiment of the present invention.

이하에서는 첨부한 도면을 참조하여 바람직한 본 발명의 일실시예에 대해서 상세히 설명한다. 다만, 실시형태를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. 또한, 도면에서의 각 구성요소들의 크기는 설명을 위하여 과장될 수 있으며, 실제로 적용되는 크기를 의미하는 것은 아니다.Hereinafter, an exemplary embodiment of the present invention will be described in detail with reference to the accompanying drawings. However, in describing the embodiment, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, a detailed description thereof will be omitted. In addition, the size of each component in the drawings may be exaggerated for explanation, and does not mean the size actually applied.

도 1 및 도 2는 본 발명의 일실시예에 따른 출입자의 얼굴 인식 및 체온 측정을 이용한 스마트 패스 시스템을 도시한 도면이고, 도 3은 본 발명의 일실시예에 따른 출입자의 얼굴 인식 및 체온 측정을 이용한 스마트 패스 시스템의 구성도이다.1 and 2 are diagrams illustrating a smart pass system using face recognition and body temperature measurement of entrants according to an embodiment of the present invention, and FIG. 3 is occupant's face recognition and body temperature measurement according to an embodiment of the present invention. It is a configuration diagram of a smart pass system using

또한, 도 4 및 도 5는 본 발명의 일실시예에 따른 적외선 센서와 전외선어레이센서 구동부의 체온 측정 방법을 설명하기 위한 도면이고, 도 6 내지 도 9는 본 발명의 일실시예에 따른 출입자의 체온 측정과 마스크 착용에 따른 화면표시 방법을 도시한 도면이다.In addition, FIGS. 4 and 5 are diagrams for explaining a method for measuring body temperature of an infrared sensor and an electric wave array sensor driving unit according to an embodiment of the present invention, and FIGS. 6 to 9 are occupants according to an embodiment of the present invention It is a diagram showing a screen display method according to the body temperature measurement and mask wearing.

본 발명의 일실시예에 따른 출입자의 얼굴 인식 및 체온 측정을 이용한 스마트 패스 시스템(100)은 적외선 센서(110), 적외선어레이센서 구동부(120), 판단 제어부(130), 안면인식 카메라부(140), 정보 표시부(150), 각도 조절부(160), 거리측정 센서(170), 출입 통제 장치(180), 지문인식 모듈(185), 카드리더기(190), 통신부(195), 인공지능 딥러닝 데이터 베이스(210) 및 데이터 베이스(220)를 포함하여 구성될 수 있다.The smart pass system 100 using the face recognition and body temperature measurement of an entrant according to an embodiment of the present invention includes an infrared sensor 110 , an infrared array sensor driving unit 120 , a determination control unit 130 , and a face recognition camera unit 140 . ), information display unit 150, angle adjustment unit 160, distance measurement sensor 170, access control device 180, fingerprint recognition module 185, card reader 190, communication unit 195, artificial intelligence deep It may be configured to include a running database 210 and a database 220 .

적외선 센서(110)는 출입자의 인체에서 발산하는 적외선을 감지하고, 적외선어레이센서 구동부(120)는 상기 적외선 센서(110)에서의 측정값을 전기적 신호로 변환한다.The infrared sensor 110 detects infrared rays emitted from the human body of the entrant, and the infrared array sensor driving unit 120 converts the measured value from the infrared sensor 110 into an electrical signal.

이때, 상기 적외선 센서(110)는 적외선 어레이 센서로 구성되어, 열화상 픽셀로 구성되는 상기 출입자의 열화상 정보를 획득할 수 있으며, 상기 적외선어레이센서 구동부(120)는 열전대에 의한 신호에 의해 상기 적외선 센서의 출력 전압을 산출할 수 있다.At this time, the infrared sensor 110 is composed of an infrared array sensor, it is possible to obtain the thermal image information of the entrant consisting of a thermal image pixel, the infrared array sensor driver 120 is the signal by the thermocouple. The output voltage of the infrared sensor can be calculated.

도 4를 참조하면, 상기 적외선 센서(110)는 32x32Pixel로 구성되어 피사체의 열화상 픽셀1(T1,1)~픽셀1024(T32,32)의 열화상 정보를 취득할 수 있으며, 상기 적외선 센서(110)는 사람의 피부를 통해 방사되는 적외선을 전기로 변환한다.4, the infrared sensor 110 is composed of 32x32 Pixels to acquire thermal image information of the thermal image pixel 1 (T1,1) to pixel 1024 (T32,32) of the subject, and the infrared sensor ( 110) converts infrared rays emitted through human skin into electricity.

그에 따라, 적외선어레이센서 구동부(120)는 하기의 수학식 1에 의해 상기 적외선 센서의 출력 전압

Figure 112021019732122-pat00013
을 산출할 수 있다.Accordingly, the infrared array sensor driving unit 120 is the output voltage of the infrared sensor by Equation 1 below
Figure 112021019732122-pat00013
can be calculated.

[수학식 1][Equation 1]

Figure 112021019732122-pat00014
Figure 112021019732122-pat00014

이때,

Figure 112021019732122-pat00015
는 상수 장치 계수,
Figure 112021019732122-pat00016
는 물체 방사율,
Figure 112021019732122-pat00017
는 물체 온도,
Figure 112021019732122-pat00018
는 주변 온도,
Figure 112021019732122-pat00019
는 센서 온도, n은 신호 전압의 온도 종속성을 설명하는 지수이다.At this time,
Figure 112021019732122-pat00015
is the constant device coefficient,
Figure 112021019732122-pat00016
is the object emissivity,
Figure 112021019732122-pat00017
is the object temperature,
Figure 112021019732122-pat00018
is the ambient temperature,
Figure 112021019732122-pat00019
is the sensor temperature, and n is an exponent describing the temperature dependence of the signal voltage.

즉, 상기 센서 출력 전압은 물체 온도 및 방사율과 센서 칩 온도 및 주변 온도를 이용해 상기 수학식 1에 의해 계산할 수 있다.That is, the sensor output voltage can be calculated by Equation 1 using the object temperature and emissivity, and the sensor chip temperature and ambient temperature.

또한, 상기 적외선어레이센서 구동부(120)는 상기 적외선 센서(110)에서의 측정값을 하기의 수학식 2에 의해 보정할 수 있다.In addition, the infrared array sensor driving unit 120 may correct the measured value in the infrared sensor 110 by the following Equation (2).

[수학식 2][Equation 2]

Figure 112021019732122-pat00020
Figure 112021019732122-pat00020

이때,

Figure 112021019732122-pat00021
는 상수 장치 계수,
Figure 112021019732122-pat00022
는 물체 방사율,
Figure 112021019732122-pat00023
는 물체의 온도,
Figure 112021019732122-pat00024
는 주변 온도, n은 신호 전압의 온도 종속성을 설명하는 지수이다.At this time,
Figure 112021019732122-pat00021
is the constant device coefficient,
Figure 112021019732122-pat00022
is the object emissivity,
Figure 112021019732122-pat00023
is the temperature of the object,
Figure 112021019732122-pat00024
is the ambient temperature, and n is an exponent describing the temperature dependence of the signal voltage.

즉, 상기 적외선어레이센서 구동부(120)는 증폭된 온도 기준 전압과 별도의 보정된 센서 전압을 통해 주변 온도 보상을 수행할 수 있으며, 주변 환경에 따라 수동으로도 온도 보상의 값을 증감 할 수 있다. 또한, 판단 제어부(130)는 전달된 온도를 분석하여 전달된 온도와 설정된 기준온도 범위를 벗어나는 비정상에 해당하는 경우 다시 온도 측정 명령을 전달하여 상기 적외선 센서(110)와 상기 적외선어레이센서 구동부(120)가 재온도 측정을 수행하도록 제어할 수 있다.That is, the infrared array sensor driving unit 120 may perform ambient temperature compensation through the amplified temperature reference voltage and a separate corrected sensor voltage, and may increase or decrease the value of temperature compensation manually according to the surrounding environment. . In addition, the determination control unit 130 analyzes the transferred temperature, and if it corresponds to an abnormality that is out of the transferred temperature and the set reference temperature range, transmits a temperature measurement command again to the infrared sensor 110 and the infrared array sensor driving unit 120 ) can be controlled to perform re-temperature measurement.

또한, 도 5를 참조하면, 상기 적외선 센서(110)는 상기 정보 표시부(150)를 통해 표시되는 상기 출입자의 이마 부위에 대응되는 고정점을 기준으로 하여 설정되는 범위의 픽셀의 온도를 측정하고, 상기 적외선어레이센서 구동부(120)는 상기 설정되는 범위의 픽셀의 측정값 중에서 최고치를 상기 판단 제어부(130)로 제공할 수 있다.In addition, referring to FIG. 5 , the infrared sensor 110 measures the temperature of a pixel in a range set based on a fixed point corresponding to the forehead portion of the entrant displayed through the information display unit 150, The infrared array sensor driving unit 120 may provide the highest value among the measured values of the pixels in the set range to the determination control unit 130 .

예를 들어, 출입자가 체온측정을 위해 센서와 30cm 떨어진 발판에 위치하여 체온을 측정할 수 있으며, 이때 정보 표시부(150)를 통하여 표시되는 화면에 고정된 빨간 점에 출입자가 이마 중심을 위치하고, 이마 중심으로 고정된 64픽셀만 측정할 수 있다.For example, the visitor can measure body temperature by being positioned on a footrest 30 cm away from the sensor for body temperature measurement. Only 64 pixels fixed to the center can be measured.

그에 따라, 상기 적외선어레이센서 구동부(120)는 계산된 온도 값은 유효픽셀(64픽셀)에서 최고치의 값만 판단 제어부(130)로 전달할 수 있으며, 전달된 최고치 값을 계산하여 상기 정보 표시부(150)를 통해 표시할 수 있다.Accordingly, the infrared array sensor driving unit 120 may transmit the calculated temperature value to the determination control unit 130 only the highest value in the effective pixel (64 pixels), calculate the transmitted highest value, the information display unit 150 can be displayed through

판단 제어부(130)는 상기 측정값을 전기적 신호로 변환한 데이터를 이용하여 상기 출입자의 신체의 체온을 산출하고, 상기 산출된 체온에 기초하여 관리자의 기설정된 요구에 따라 상기 출입자의 출입 여부 또는 출입 범위를 판단한다.The determination control unit 130 calculates the body temperature of the occupant by using the data converted from the measured value into an electrical signal, and based on the calculated body temperature, the occupant enters or exits according to a preset request of the manager. judge the scope.

이때, 상기 판단 제어부(130)는 인공지능 딥러닝 데이터 베이스(210)에 저장된 데이터를 이용해 상기 출입자의 노출된 안면 또는 마스크를 쓴 안면을 분석하여 상기 출입자를 감지하고, 상기 인공지능 딥러닝 데이터 베이스(210)에 기초하여 분석한 출입자의 이미지 데이터를 참조하고 상기 출입자의 노출된 안면 또는 마스크를 쓴 안면의 체온을 산출할 수 있다.At this time, the determination control unit 130 detects the entrant by analyzing the exposed face or the mask-wearing face of the entrant using the data stored in the artificial intelligence deep learning database 210, and the artificial intelligence deep learning database Based on 210 , it is possible to refer to the analyzed image data of the entrant and calculate the body temperature of the exposed face or the mask-wearing face of the entrant.

또한, 상기 판단 제어부(130)는 상기 출입자의 안면을 촬영한 영상을 분석하여, 상기 출입자가 마스크를 착용하지 않은 것으로 판단하면, 상기 출입 통제 장치(180)가 상기 도어를 폐쇄하도록 제어할 수 있으며, 이때 인공지능 딥러닝 데이터베이스(210)에 기초하여 상기 출입자의 안면을 촬영한 영상을 분석하여, 상기 출입 통제 장치(180)가 상기 도어를 개폐하도록 제어하도록 할 수 있다.In addition, the determination control unit 130 analyzes the image of the face of the entrant and determines that the occupant is not wearing a mask, the access control device 180 may control the door to close. , at this time, based on the artificial intelligence deep learning database 210, by analyzing the image of the person's face, it is possible to control the access control device 180 to open and close the door.

즉, 도 6에서와 같이 상기 판단 제어부(130)는 인공지능 딥러닝 데이터 베이스(210)를 참조하여 출입자의 체온이 정상 체온이고 마스크를 정상적으로 착용한 경우에는 출입가능을 표시하고, 도 7에 도시된 바와 같이 마스크를 정상적으로 착용하였으나 출입자의 체온이 정상 체온이 아닌 경우에는 출입금지를 표시할 수 있다.That is, as shown in FIG. 6 , the determination control unit 130 refers to the artificial intelligence deep learning database 210 to indicate that access is possible when the body temperature of the occupant is normal body temperature and the mask is normally worn, as shown in FIG. 7 . As described above, if a mask is normally worn, but the body temperature of the person entering the room is not normal, it can be marked as prohibited from entering.

또한, 도 8에서와 같이 상기 판단 제어부(130)는 인공지능 딥러닝 데이터 베이스(210)를 참조하여 출입자가 마스크를 미착용한 경우에는 출입금지를 표시함과 동시에 마스크의 착용을 요청하는 문구를 표시하고, 마찬가지로 출입자가 마스크를 잘못 착용한 경우에는 출입금지를 표시하고 동시에 마스크의 정상 착용을 요청하는 문구를 표시할 수 있다.In addition, as shown in FIG. 8 , the determination control unit 130 refers to the artificial intelligence deep learning database 210 and, when the entrant does not wear a mask, displays the prohibition of entry and at the same time displays a phrase requesting to wear the mask. Similarly, if the person wearing the mask incorrectly wears the mask, it is possible to display the prohibition of entry and at the same time display a phrase requesting to wear the mask normally.

아울러, 이와 같은 판단 제어부(130)의 마스크의 정상 착용, 오착용, 미착용의 구분시에는, 인공지능 딥러닝 데이터 베이스(210)를 참조하여 출입자의 안면에서 눈, 코, 입, 이마, 볼, 콧구멍의 노출 유무에 따라 마스크의 탐지 기능을 이용하여 마스크의 정상 착용을 판별할 수 있다.In addition, when the determination control unit 130 divides the mask into normal wearing, erroneous wearing, and non-wearing, the eyes, nose, mouth, forehead, cheeks, Depending on whether or not the nostrils are exposed, it is possible to determine whether the mask is normally worn using the mask detection function.

보다 구체적으로, 상기 판단 제어부(130)는 눈과 이마가 정상적으로 노출되고, 코와 볼의 일정 면적 이상이 노출되지 않으며, 콧구멍이 노출되지 않으면 마스크를 정상 착용한 것으로 판단할 수 있다.More specifically, the determination control unit 130 may determine that the mask is normally worn when the eyes and forehead are normally exposed, the nose and cheeks are not exposed over a certain area, and the nostrils are not exposed.

또한, 상기 판단 제어부(130)는 눈과 이마가 정상적으로 노출되었으나, 입과 콧구멍이 감지되는 경우에는 마스크를 미착용한 것으로 판단하면 출입자의 출입을 차단할 수 있다.In addition, the determination control unit 130 determines that the mask is not worn when the eyes and forehead are normally exposed, but the mouth and nostrils are sensed, and can block the entrance of the occupant.

또한, 상기 판단 제어부(130)는 눈과 이마가 정상적으로 노출되었으나, 코와 볼의 일정 면적 이상이 노출되거나 콧구멍이 노출되면, 마스크를 오착용한 것으로 판단하면 출입자의 출입을 차단할 수 있으며, 눈과 이마가 노출되지 않은 경우에는 마스크를 오착용한 것으로 판단하면 출입자의 출입을 차단할 수 있다.In addition, the determination control unit 130 may block entry and exit of the occupant if it is determined that the mask is incorrectly worn, when the eyes and forehead are normally exposed, but when more than a certain area of the nose and cheeks are exposed or the nostrils are exposed, If the forehead and forehead are not exposed, if it is judged that the mask is worn incorrectly, entry and exit of the person can be blocked.

그뿐만 아니라, 본 발명의 일실시예에 따른 상기 판단 제어부(130)는 새로 측정된 상기 출입자의 체온을 데이터베이스(220)에 저장된 상기 출입자의 체온 데이터와 비교하여, 상기 출입자의 새로 측정된 체온이 상기 저장된 체온 데이터의 범위를 벗어나는 경우에는 상기 출입 통제 장치(180)가 도어를 폐쇄하도록 제어하고, 정보 표시부(150)가 출입금지를 표시하도록 제어할 수 있다.In addition, the determination control unit 130 according to an embodiment of the present invention compares the newly measured body temperature of the entrant with the entrant's body temperature data stored in the database 220, and determines that the newly measured body temperature of the entrant is When it is out of the range of the stored body temperature data, the access control device 180 may control the door to close, and the information display unit 150 may control to display the access prohibition.

보다 상세하게 설명하면, 상기 판단 제어부(130)는 기존에 측정된 체온의 평균을 계산하여, 상기 새로 측정된 체온이 상기 체온의 평균으로부터 일정 범위를 벗어나는 경우, 상기 출입 통제 장치(180)가 도어를 폐쇄하도록 제어하고, 정보 표시부(150)가 출입금지를 표시하도록 제어할 수 있다.In more detail, the determination control unit 130 calculates the average of the previously measured body temperature, and when the newly measured body temperature is out of a predetermined range from the average of the body temperature, the access control device 180 controls the door. can be controlled to close, and the information display unit 150 can be controlled to display prohibition of access.

예를 들어, 특정 출입자의 현재까지의 체온 평균이 36.5℃이나, 새로 측정된 체온이 37.6℃로서, 체온의 평균 값인 36.5℃의 ±1℃의 범위를 벗어나는 경우에는 출입을 금지할 수 있다. 또는 기존의 일정한 복수의 출입자들의 체온 평균 대비 현재 측정되는 출입자의 체온이 ±α℃를 벗어나는 경우에 출입을 금지하는 것도 가능하다.For example, if the current average body temperature of a specific person is 36.5°C, but the newly measured body temperature is 37.6°C, which is outside the range of ±1°C of the average body temperature of 36.5°C, access may be prohibited. Alternatively, it is also possible to prohibit access when the current measured body temperature of an occupant exceeds ±α°C compared to the average body temperature of a plurality of existing entrants.

또 다른 예로서는, 출입자의 지난 출입 시에 측정된 체온이 36.7℃이고, 새로 측정된 체온이 37.8℃로서, 출입자의 체온의 변동이 ±1℃의 범위를 벗어나는 경우에는 출입을 금지할 수 있다.As another example, if the body temperature measured during the last entry and exit of the visitor is 36.7°C and the newly measured body temperature is 37.8°C, and the change in body temperature of the visitor is outside the range of ±1°C, entry may be prohibited.

이와 같이, 본 발명의 일실시예에 따르면, 출입자의 체온의 변동이 급격하게 발생하는 경우에는 출입자의 출입을 금지하여 방역에 더욱 중점을 두어 출입 통제가 가능하도록 할 수 있다.As described above, according to an embodiment of the present invention, when a change in the body temperature of an occupant occurs abruptly, entry of the occupant is prohibited, so that access control is possible with more emphasis on quarantine.

한편, 상기 안면인식 카메라부(140)는 일예로 안면인식 듀얼카메라 모듈로 구성할 수 있으며, 상기 듀얼 카메라 모듈을 이용하여 상기 출입자의 안면을 감지하여 촬영하고, 정보 표시부(150)는 상기 출입자의 안면을 촬영한 영상 상에, 상기 출입자의 출입 여부 또는 출입 범위를 판단한 결과를 함께 표시할 수 있다.On the other hand, the face recognition camera unit 140 may be configured as, for example, a face recognition dual camera module, using the dual camera module to detect and photograph the face of the entrant, and the information display unit 150 is the entrant's A result of judging whether or not the person enters or leaves the entrance may be displayed on the image of the photographed face.

각도 조절부(160)는 인공지능 딥러닝 데이터 베이스(210)에 저장된 인공지능 딥러닝을 이용하여, 상기 출입자의 움직임에 따라 상기 적외선 센서(110) 또는 스마트 패스 시스템(130)의 각도를 조절할 수 있다.The angle adjusting unit 160 may adjust the angle of the infrared sensor 110 or the smart pass system 130 according to the movement of the person using the artificial intelligence deep learning stored in the artificial intelligence deep learning database 210. have.

거리측정 센서(170)는 상기 출입자와의 거리를 산출하여 판단 제어부(130)에서의 체열 산출을 위한 데이터로 제공할 수 있다.The distance measuring sensor 170 may calculate the distance between the person and the person and provide it as data for body heat calculation in the determination control unit 130 .

정보 표시부(150)는 상기 출입자의 측정된 체열, 출입 여부 또는 출입 범위를 표시할 수 있다.The information display unit 150 may display the measured body heat of the entrant, whether or not to enter, or the scope of the entrant.

또한, 출입 통제 장치(180)는 상기 출입 판단부(140)의 판단 결과에 따라 도어의 개폐를 제어할 수 있다.Also, the access control device 180 may control opening and closing of the door according to the determination result of the access determination unit 140 .

아울러, 본 발명의 일실시예에 따르면, 지문 인식 모듈(185) 및 카드 리더기(190)를 더 포함하도록 구성될 수 있다.In addition, according to an embodiment of the present invention, it may be configured to further include a fingerprint recognition module 185 and a card reader (190).

즉, 상기 지문 인식 모듈(185)은 상기 출입자의 지문을 통한 신원 인증을 제공하고, 상기 카드 리더기(190)는 상기 출입자의 RF 태그를 통한 신원 인증을 제공하여, 출입자의 얼굴 인식과 체온 측정에 따른 출입 이외의 다른 신원 인증 방식을 통해 출입이 이루어지도록 할 수 있다.That is, the fingerprint recognition module 185 provides identity authentication through the fingerprint of the entrant, and the card reader 190 provides identity authentication through the RF tag of the entrant, so as to recognize the entrant's face and measure body temperature. Access can be made through an identity authentication method other than the corresponding access.

한편, 출입자의 얼굴 인식을 처리하는 프로세스에 따르면 사람의 얼굴 위치를 특정한 이후에 식별 가능한 세부 얼굴 구성요소들인 눈썹의 모양 및 개수, 주름의 형태와 개수 등을 조합한 경우의 수로 분석해서 서로 다른 얼굴을 인식하도록 한다. 기타 다른 구성요소들은 이마 면적의 크기, 눈의 모양 차이, 코의 길이/모양, 입술의 형태, 귀의 모양 등 여러 변수를 포함하여 출입자의 얼굴을 인식할 수 있다.On the other hand, according to the process of processing the face recognition of a person, the number of cases in which the shape and number of eyebrows, the shape and number of wrinkles, etc., which are detailed facial components that can be identified after specifying the location of the person's face, are combined to recognize Other components may recognize the face of the occupant including various variables such as the size of the forehead area, the difference in the shape of the eyes, the length/shape of the nose, the shape of the lips, and the shape of the ears.

한편, 본 발명의 일실시예에 따르면, 데이터 베이스(220)를 포함하도록 구성되어, 상기 출입자의 체열 정보 및 체열 측정 시간을 저장하여 출입자의 건강 상태를 저장함으로써 전염성이 높은 질병의 확산을 위한 데이터로 활용할 수 있다. 또한, 스마트 패스 시스템은 데이터 베이스(220)에 저장된 출입자의 체열 정보 및 체열 측정 시간 등을 출입자의 개인 휴대 단말기로 메시지 전송하는 통신부(195)를 더 포함할 수도 있다.Meanwhile, according to an embodiment of the present invention, it is configured to include the database 220, and stores the body heat information and body temperature measurement time of the occupants to store the occupants' health status, thereby data for the spread of highly contagious diseases. can be used as In addition, the smart pass system may further include a communication unit 195 that transmits a message to the visitor's personal portable terminal, such as body heat information and body temperature measurement time, stored in the database 220 .

또한, 본 발명의 일실시예에 따르면, 도 2에 도시된 바와 같이 내부에서 발생하는 열을 방열하는 방열판(171), 높이 조절을 위한 높이 조절부(172) 및 사용자에게 안내 음향 정보를 제공하기 위한 스피커(173)를 더 포함하여 구성될 수 있다.In addition, according to an embodiment of the present invention, as shown in FIG. 2 , a heat sink 171 for dissipating heat generated inside, a height adjustment unit 172 for height adjustment, and to provide guide sound information to the user It may be configured to further include a speaker 173 for.

도 10은 본 발명의 일실시예에 따른 출입자의 얼굴 인식 및 체온 측정을 이용한 스마트 패스 시스템의 출입자의 안면을 인식하는 방법을 설명하기 위한 흐름도이고, 도 11은 본 발명의 일실시예에 따른 출입자의 얼굴 인식 및 체온 측정을 이용한 스마트 패스 시스템의 출입자의 안면을 인식하는 방법을 설명하기 위한 도면이다.10 is a flowchart illustrating a method of recognizing the face of an entrant in the smart pass system using the occupant's face recognition and body temperature measurement according to an embodiment of the present invention, and FIG. 11 is an occupant according to an embodiment of the present invention It is a diagram for explaining a method of recognizing the face of an entrant in the smart pass system using face recognition and body temperature measurement of

이후부터는 도 10 및 도 11을 참조하여 본 발명의 일실시예에 따른 출입자의 얼굴 인식 및 체온 측정을 이용한 스마트 패스 시스템의 출입자의 안면을 인식하는 방법을 설명하기로 한다.Hereinafter, a method for recognizing the face of an entrant in the smart pass system using the occupant's face recognition and body temperature measurement according to an embodiment of the present invention will be described with reference to FIGS. 10 and 11 .

먼저, 적외선 센서가 출입자의 체열을 감지하여 열화상 이미지를 생성한다(S310).First, the infrared sensor detects the body heat of the entrant and generates a thermal image (S310).

이후, 안면인식 듀얼카메라가 상기 출입자를 촬영하여 이미지를 생성한다(S320).Then, the facial recognition dual camera creates an image by photographing the entrant (S320).

보다 상세하게 설명하면, 판단 제어부가 상기 인공지능 딥러닝을 이용하여, 상기 출입자의 안면을 감지하며, 이때, 상기 판단 제어부가 상기 인공지능 딥러닝을 이용해 상기 출입자의 안면 또는 마스크를 쓴 안면을 분석하여 상기 출입자를 감지할 수 있다.In more detail, the determination control unit uses the artificial intelligence deep learning to detect the face of the entrant, and at this time, the determination control unit analyzes the face or the masked face of the entrant using the artificial intelligence deep learning Thus, the entrant can be detected.

또한, 적외선 출력부가 상기 출입자에게 적외선을 출력하고, 적외선 조사 각도 조절부가 상기 인공지능 딥러닝을 이용하여, 상기 출입자의 움직임에 따라 상기 적외선 센서의 각도를 조절한 후, 촬영부가 상기 출입자를 촬영하여 이미지를 생성할 수 있다.In addition, the infrared output unit outputs infrared rays to the occupants, and the infrared irradiation angle adjustment unit uses the artificial intelligence deep learning to adjust the angle of the infrared sensor according to the movement of the entrants, and then the photographing unit photographs the entrants. You can create an image.

즉, 도 11의 (a)와 같이 안면 감지부가 출입자의 안면이 모두 노출된 상태 (체열이 정상 범위를 벗어나는 경우)를 감지하거나, (b)와 같이 상기 안면 감지부가 출입자의 안면이 모두 노출된 상태(마스크 미착용의 경우)를 감지할 수 있으며, 도 11의 (c)에서와 같이 마스크에 의해 출입자의 안면의 일부만이 노출된 상태를 감지하거나, 도 11의 (d)에서와 같이 마스크에 의해 출입자의 안면에서 눈 윗부분을 제외한 대부분의 영역의 가려진 상태를 감지할 수 있다.That is, as shown in (a) of FIG. 11, the face sensing unit detects a state in which the face of the entrant is exposed (when body heat is outside the normal range), or as shown in (b), the face sensing unit detects that the face of the entrant is all exposed. A state (in the case of not wearing a mask) can be detected, and a state in which only a part of the face of the occupant is exposed by the mask as shown in FIG. It is possible to detect the occluded state of most areas of the visitor's face except for the upper part of the eyes.

따라서, 본 발명의 일실시예에 다르면, 출입자가 마스크를 쓰지 않거나, 마스크를 턱이나 입에만 걸친 경우에는 정보 표시부 또는 스피커를 통해 '마스크를 착용해주세요'와 같은 문구를 표시하거나 안내 음성을 출력할 수 있다.Therefore, according to one embodiment of the present invention, if the person does not wear a mask or wears the mask only on the chin or mouth, a phrase such as 'Please wear a mask' is displayed through the information display unit or the speaker or a voice guidance is output. can

이와 같은 안면이 감지된 이미지를 생성한 이후에는, 체열 산출부가 상기 열화상 이미지와 상기 이미지를 맵핑하여 상기 출입자의 신체의 체열을 산출할 수 있다(S330). 이때, 출입자의 마스크 착용 유무도 체크할 수 있다.After generating the image in which the face is detected, the body heat calculator may calculate the body heat of the entrant by mapping the thermal image and the image ( S330 ). At this time, it is also possible to check whether the person entering or not wearing a mask.

이때, 본 발명의 일실시예에 따르면, 상기 체열 산출부가 인공지능 딥러닝을 이용해 분석한 출입자의 이미지 데이터를 참조하여, 상기 출입자의 안면 또는 마스크를 쓴 안면의 체열을 산출할 수 있다.In this case, according to an embodiment of the present invention, the body heat calculator may calculate the body heat of the person's face or the face wearing a mask with reference to the image data of the person who has been analyzed using artificial intelligence deep learning.

그에 따라, 판단 제어부는 상기 산출된 체열에 따라 상기 출입자의 출입 여부 또는 출입 범위를 판단할 수 있으며(S340), 출입 통제 장치가 상기 판단 제어부의 판단 결과에 따라 도어의 개폐를 제어할 수 있다(S350).Accordingly, the determination control unit may determine whether the person enters or exits or the access range according to the calculated body heat (S340), and the access control device may control opening/closing of the door according to the determination result of the determination control unit (S340). S350).

이때, 정보 표시부는 상기 출입자의 측정된 체열, 출입 여부 또는 출입 범위를 표시할 수 있으며, 출입자의 체열이 정상 범위를 벗어나는 경우에는 체온 이상을 자동으로 감지하여 도어가 오픈되지 않도록 함과 동시에, 음향과 정보 표시를 통해 체온의 이상을 통보할 수 있다. At this time, the information display unit may display the measured body temperature of the entrant, whether or not the occupant has entered, or the entry/exit range. It is possible to notify an abnormality in body temperature through the display and information display.

또한, 출입자의 출퇴근 시간과 체온 측정 데이터를 출입자 등록정보에 따른 지정된 번호의 휴대폰 문자메시지나 SNS 어플리케이션의 메시지 알람 또는 푸쉬 알람 등을 통해 전송할 수도 있다. In addition, the commuting time and body temperature measurement data of the entrant may be transmitted through a mobile phone text message of a designated number according to resident registration information, a message alarm of an SNS application, or a push alarm.

아울러, 본 발명의 일실시예에 따르면, 지문 인식 모듈이 상기 출입자의 지문을 통한 신원 인증을 제공하고, 상기 카드 리더기가 상기 출입자의 RF 태그를 통한 신원 인증을 제공하여, 출입자의 얼굴 인식과 체온 측정에 따른 출입 이외의 다른 신원 인증 방식을 통해 출입이 이루어지도록 할 수 있다.In addition, according to an embodiment of the present invention, the fingerprint recognition module provides identity authentication through the fingerprint of the entrant, and the card reader provides identity authentication through the RF tag of the occupant, thereby recognizing the entrant's face and body temperature. Access can be made through an identity authentication method other than access based on measurement.

또한, 본 발명의 일실시예에 따르면, 데이터 베이스가 출입자의 체열 정보 및 체열 측정 시간을 저장하여 출입자의 건강 상태를 저장함으로써 전염성이 높은 질병의 확산을 위한 데이터로 활용하도록 할 수 있다.In addition, according to an embodiment of the present invention, the database stores the body heat information and body temperature measurement time of the entrants to store the occupants' health status, so that the database can be utilized as data for the spread of highly contagious diseases.

도 12는 본 발명의 일실시예에 따른 출입등록 방법을 설명하기 위한 도면이고, 도 13은 본 발명의 일실시예에 따른 출입관리 방법을 설명하기 위한 도면이다.12 is a diagram for explaining an access registration method according to an embodiment of the present invention, and FIG. 13 is a diagram for explaining an access management method according to an embodiment of the present invention.

이후부터는 본 발명의 일실시예에 따른 출입등록 방법과 출입관리 방법을 설명하기로 한다.Hereinafter, an access registration method and an access management method according to an embodiment of the present invention will be described.

본 발명의 일실시예에 따르면 출입등록과 출입관리를 위한 스마트 단말 또는 컴퓨터 단말을 더 포함하여 구성될 수 있다. 출입자는 상기 스마트 단말 또는 컴퓨터 단말을 이용해 스마트 패스 시스템에 접속하여 출입등록을 진행할 수 있으며, 관리자는 상기 스마트 단말 또는 컴퓨터 단말을 이용해 상기 출입자의 출입관리를 실행할 수 있다.According to an embodiment of the present invention, it may be configured to further include a smart terminal or a computer terminal for access registration and access management. An occupant may access the smart pass system using the smart terminal or computer terminal to perform access registration, and an administrator may execute access management of the entrant using the smart terminal or computer terminal.

출입자는 스마트 단말 또는 컴퓨터 단말을 사용해 개인정보 동의로서 출입자 등록을 위한 개인정보 동의 내용 확인 및 동의를 실행할 수 있으며, 이름, 주민번호, 부서 정보, 휴대폰 번호, 주소, 출입기간 등의 개인정보를 등록할 수 있다.Visitors can use a smart terminal or computer terminal to confirm and agree to the personal information consent for registration as personal information consent, and register personal information such as name, resident number, department information, mobile phone number, address, and access period. can do.

또한, 출입자는 얼굴 사진을 등록하고, 최종적으로 도 6에서와 같이 입력한 정보를 다시 확인하여 출입등록 신청을 완료할 수 있다.In addition, the visitor may register a face photo and finally check the input information again as shown in FIG. 6 to complete the access registration application.

한편, 관리자는 스마트 단말 또는 컴퓨터 단말을 사용해 출입자 리스트와 승인자 리스트를 제공받고, 각 출입자의 상세 내용을 선택하여 출입자의 상세 정보를 확인할 수 있다.On the other hand, the manager can be provided with the entrant list and the approver list using a smart terminal or a computer terminal, and can check the detailed information of the entrant by selecting the details of each entrant.

또한, 관리자는 출입자 등록 신청을 승인할 수 있으며 도 7에서와 같이 출입자 현황 및 통계를 확인하여 일별 보고, 월별 보고를 확인 및 출력하고, 일별 출입자 현황과 월별 출입자 현황을 표와 그래프로 제공받을 수 있다.In addition, the administrator can approve the application for entry and exit registration, check the status and statistics of visitors as shown in FIG. 7, check and print the daily and monthly reports, and receive the daily and monthly entry and exit status in tables and graphs. have.

도 14는 본 발명의 일실시예에 따른 출입자의 출입 방법을 설명하기 위한 도면이고, 도 15는 본 발명의 일실시예에 따른 스마트 패스 시스템의 설정 방법을 설명하기 위한 도면이고, 도 16은 본 발명의 다른 일실시예에 따른 출입관리 방법을 설명하기 위한 도면이다.14 is a diagram for explaining a method for entering and exiting a person according to an embodiment of the present invention, FIG. 15 is a diagram for explaining a method for setting a smart pass system according to an embodiment of the present invention, and FIG. 16 is this It is a diagram for explaining an access control method according to another embodiment of the present invention.

먼저 스마트 패스 시스템을 동작시키면, 도 14에 도시된 바와 같이 화면에 출입자의 위치 가이드 선이 표시되고, 출입자가 화면에 표시된 선에 맞추어 서면 카메라 모듈이 출입자를 인식의 체온을 측정하여 화면에 표시하고, 체온이 정상 체온일 경우에는 음성을 통해 통지하고, 체온이 높은 경우에는 경고음과 함께 출입 금지를 디스플레이 한다.First, when the smart pass system is operated, as shown in FIG. 14, the location guide line of the entrant is displayed on the screen, and the camera module measures the body temperature of the entrant and displays it on the screen when the entrant stands in line with the line displayed on the screen. , When the body temperature is normal, it notifies through voice, and when the body temperature is high, it displays a warning sound and prohibition of entry.

한편, 마스크 탐지 기능을 사용한 경우에는 마스크를 착용하고 있을 때만 출입 가능 표시를 디스플레이 할 수 있으며, 마스크를 착용하고 있지 않은 경우에는 마스크를 착용해달라는 음성과 함께 출입 금지 표시를 디스플레이 할 수 있다.On the other hand, in the case of using the mask detection function, the entrance permission mark can be displayed only when the mask is worn, and when the mask is not worn, the entry prohibition mark can be displayed along with a voice requesting to wear the mask.

또한, 도 15에 도시된 바와 같이 본 발명의 일실시예에 따른 스마트 패스 시스템은 안면 인식 및 체온 측정 기능과 관련된 상세 설정이 가능하다.In addition, as shown in FIG. 15 , in the smart pass system according to an embodiment of the present invention, detailed settings related to facial recognition and body temperature measurement functions are possible.

즉, 출입자의 마스크 착용 여부와 생체 감지 여부를 설정할 수 있으며, 감지된 출입자의 체온에 따른 경보 기준 값을 설정할 수 있도록 하여 측정된 출입자의 체온이 경보 기준 값 보다 높은 경우에는 정보 표시부(화면)와 스피커를 통해 경보를 제공할 수 있다. 또한, 마스크 착용 여부와 생체 감지 여부에 대한 인식 강도를 설정하여 출입관리의 상황에 따른 관리 편의를 제공할 수 있다.That is, it is possible to set whether the occupant wears a mask and whether the biometric is detected, and an alarm reference value according to the detected entrant's body temperature can be set. An alarm can be provided through a speaker. In addition, it is possible to provide management convenience according to the situation of access control by setting the recognition strength for whether to wear a mask and whether to detect a biometric.

그 외에도, 체온 검사 기능을 설정할 수 있으며, 온도 보상 설정으로서 외부 온도에 의해 실제 체온과 다르게 측정될 경우에 온도를 보정하도록 설정할 수 있으며, 경보 임계값을 설정하여 측정되는 체온이 입력한 수치보다 높으면 경보 메시지를 띄우고, 체온 경보가 켜져 있으면 경고음을 울리도록 할 수 있다. 또한, 체온 경보를 설정하여 경고음이 울리는지의 여부를 설정할 수 있으며, 온도 표시 형식을 설정할 수 있으며, 방열용 팬의 동작을 제어할 수 있으며, 마스크 탐지 여부를 설정하여 체온 측정 시에 마스크를 썼는지 확인하여 마스크를 쓰지 않은 출입자가 감지되면 출입금지 표시와 안내 음성을 제공하도록 할 수 있다. 또한, 낯선 사람 모드를 설정하여 데이터베이스에 등록되지 않은 출입자를 감지하면 이를 표시하고, 낯선 사람 기록을 설정하면 낯선 출입자를 감지하여 촬영한 사진을 별도로 저장하도록 할 수 있다.In addition, the body temperature test function can be set, and as a temperature compensation setting, it can be set to correct the temperature when it is measured differently from the actual body temperature by the external temperature. You can display an alarm message and sound an alarm when the temperature alarm is on. In addition, by setting the body temperature alarm, you can set whether or not an alarm sounds, set the temperature display format, control the operation of the heat dissipation fan, and set whether to detect the mask to check whether a mask is worn when measuring body temperature Thus, when a person who is not wearing a mask is detected, it is possible to provide a prohibition sign and a voice guidance. In addition, when a stranger mode is set to detect a visitor who is not registered in the database, it is displayed, and when a stranger record is set, a picture taken by detecting a stranger can be separately stored.

또한, 스마트 패스 시스템을 통해 출입자를 등록할 수 있다. 즉, 스마트 통행 관리 플랫폼을 실행하여 페이스 데이터 베이스를 선택하면, 사진을 촬영하고 ID와 이름을 적고 성별을 선택한 뒤 저장하면 데이터 베이스에 저장된다.In addition, visitors can be registered through the smart pass system. In other words, if you run the smart traffic management platform and select the face database, take a photo, write down your ID and name, select your gender, and save it to the database.

그뿐만 아니라, 본 발명의 일 실시예에 따르면 도 16에서와 같이 스마트 패스 시스템을 통해 체온을 측정했던 출입자들의 기록을 확인할 수 있으며, 기록에는 이름과 신분, 통과 시간, 측정 당시의 체온과 사진 등이 저장될 수 있다.In addition, according to an embodiment of the present invention, as shown in FIG. 16 , it is possible to check the records of the entrants who have measured their body temperature through the smart pass system, and the records include names and identifications, transit times, body temperature and photos at the time of measurement, etc. This can be saved.

또한, 감지된 출입자가 데이터베이스에 없는 출입자인 경우에는 '낯선 사람'으로 표시되며, 검색하고자 하는 시간대를 입력하여 해당 시간 동안의 출입자의 기록을 검색할 수 있으며, USB 저장 장치를 연결하여 출입자의 기록을 저장할 수도 있다.In addition, if the detected entrant is not in the database, it is displayed as a 'stranger'. You can search the occupant's record for that time by entering the time period you want to search. can also be saved.

이때, 데이터 베이스에 등록된 출입자들의 리스트를 확인하면 리스트에는 이름과 ID, 신분, 유효기간, 등록된 유형 및 사진이 표시되고, 삭제 또는 수정을 통해 출입자 리스트를 관리할 수 있다.At this time, if the list of the entrants registered in the database is checked, the list displays the name, ID, identity, expiration date, registered type and photo, and the entrant list can be managed through deletion or modification.

본 발명의 일실시예에 따른 출입자의 얼굴 인식 및 체온 측정을 이용한 스마트 패스 시스템은, 성인이 사용하기 용이하도록 일정 높이의 받침대 위에 설치될 수 있으며, 아동이 사용하기 용이하도록 상대적으로 낮은 높이의 받침대 위에 설치될 수 있다. (도 1 및 도 2 참조)The smart pass system using the face recognition and body temperature measurement of an entrant according to an embodiment of the present invention can be installed on a pedestal of a certain height for easy use by adults, and a pedestal with a relatively low height for easy use by children. It can be installed above. (See Figs. 1 and 2)

또한, 소정 높이에 배치가 가능하도록 탁상형으로 구성될 수 있으며, 건물입구 또는 회의실 출입구에 설치되어 출입문의 개폐를 제어하도록 하여, 출입자의 출입 여부를 자동으로 통제하도록 구성될 수 있다.In addition, it may be configured in a tabletop type so that it can be disposed at a predetermined height, and is installed at the entrance of a building or a conference room to control the opening and closing of the door, so that it can be configured to automatically control whether or not an occupant enters the room.

한편, 본 발명의 일실시예에 따르면 받침대에 시인성 라이트(light)를 설치하여 출입자의 주목도를 높임으로써 스마트 패스 시스템에서 출입자의 얼굴 인식률을 향상시킬 수 있다.On the other hand, according to an embodiment of the present invention, by installing a visibility light (light) on the pedestal to increase the attention of the entrants, it is possible to improve the face recognition rate of the entrants in the smart pass system.

이와 같이, 본 발명의 일실시예에 따른 출입자의 얼굴 인식 및 체온 측정을 이용한 스마트 패스 시스템은 다양한 높이와 다양한 위치와 도어에 설치가 가능하도록 구성되어 건물 또는 출입처의 다양한 출입공간에 적용하여 설치할 수 있다.As such, the smart pass system using the face recognition and body temperature measurement of an occupant according to an embodiment of the present invention is configured to be installed at various heights and at various locations and doors, and can be installed by applying it to various entrances and exits of buildings or places of entry. have.

전술한 바와 같은 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였다. 그러나 본 발명의 범주에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능하다. 본 발명의 기술적 사상은 본 발명의 전술한 실시예에 국한되어 정해져서는 안 되며, 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.In the detailed description of the present invention as described above, specific embodiments have been described. However, various modifications are possible without departing from the scope of the present invention. The technical spirit of the present invention should not be limited to the above-described embodiments of the present invention, and should be defined by the claims as well as the claims and equivalents.

100: 출입자의 얼굴 인식 및 체온 측정을 이용한 스마트 패스 시스템
110: 적외선 센서
120: 적외선어레이센서 구동부
130: 판단 제어부
140: 안면인식 카메라부
150: 정보 표시부
160: 각도 조절부
170: 거리측정 센서
180: 출입 통제 장치
185: 지문인식 모듈
190: 카드 리더기
195: 통신부
210: 인공지능 딥러닝 데이터 베이스
220: 데이터 베이스100: Smart pass system using face recognition and body temperature measurement
110: infrared sensor
120: infrared array sensor driving unit
130: judgment control unit
140: face recognition camera unit
150: information display unit
160: angle adjustment unit
170: distance measuring sensor
180: access control device
185: fingerprint recognition module
190: card reader
195: Ministry of Communications
210: artificial intelligence deep learning database
220: database

Claims (8)

출입자의 인체에서 발산하는 적외선을 감지하는 적외선 센서;
상기 적외선 센서에서의 측정값을 전기적 신호로 변환하는 적외선어레이센서 구동부;
상기 측정값을 전기적 신호로 변환한 데이터를 이용하여 상기 출입자의 신체의 체온을 산출하고, 상기 산출된 체온에 기초하여 관리자의 기설정된 요구에 따라 상기 출입자의 출입 여부 또는 출입 범위를 판단하는 판단 제어부;
상기 출입자의 안면을 감지하여 촬영하는 카메라부; 및
상기 출입자의 안면을 촬영한 영상 상에, 상기 출입자의 출입 여부 또는 출입 범위를 판단한 결과를 함께 표시하는 정보 표시부;를 포함하며,
상기 적외선 센서는, 적외선 어레이 센서로 구성되어 열화상 픽셀로 구성되는 상기 출입자의 열화상 정보를 획득하고,
상기 적외선어레이센서 구동부는, 열전대에 의한 신호에 의해 상기 적외선 센서의 출력 전압을 산출하며, 하기의 수학식 1에 의해 상기 적외선 센서의 출력 전압을 산출하는 출입자의 얼굴 인식 및 체온 측정을 이용한 스마트 패스 시스템.
[수학식 1]
Figure 112021088360406-pat00025

(
Figure 112021088360406-pat00026
는 센서 출력 전압,
Figure 112021088360406-pat00027
는 상수 장치 계수,
Figure 112021088360406-pat00028
는 물체 방사율,
Figure 112021088360406-pat00029
는 물체 온도,
Figure 112021088360406-pat00030
는 주변 온도,
Figure 112021088360406-pat00031
는 센서 온도,
Figure 112021088360406-pat00032
은 신호 전압의 온도 종속성 지수)
an infrared sensor that detects infrared rays emitted from a person's body;
an infrared array sensor driving unit for converting the measured value from the infrared sensor into an electrical signal;
A determination control unit for calculating the body temperature of the occupant by using the data converted from the measured value into an electrical signal, and determining whether the occupant enters or exits according to a preset request of an administrator based on the calculated body temperature ;
a camera unit for sensing and photographing the face of the entrant; and
and an information display unit for displaying a result of determining whether or not the occupant enters or exits the occupant's face on the image captured by the occupant's face;
The infrared sensor is configured as an infrared array sensor to obtain the thermal image information of the entrant consisting of thermal image pixels,
The infrared array sensor driving unit calculates the output voltage of the infrared sensor by a signal by a thermocouple, and a smart pass using the face recognition and body temperature measurement of the person who calculates the output voltage of the infrared sensor by the following Equation 1 system.
[Equation 1]
Figure 112021088360406-pat00025

(
Figure 112021088360406-pat00026
is the sensor output voltage,
Figure 112021088360406-pat00027
is the constant device coefficient,
Figure 112021088360406-pat00028
is the object emissivity,
Figure 112021088360406-pat00029
is the object temperature,
Figure 112021088360406-pat00030
is the ambient temperature,
Figure 112021088360406-pat00031
is the sensor temperature,
Figure 112021088360406-pat00032
is the temperature dependence index of the signal voltage)
 삭제delete 청구항 1에 있어서,
상기 적외선어레이센서 구동부는,
상기 적외선 센서에서의 측정값을 하기의 수학식 2에 의해 보정하는 출입자의 얼굴 인식 및 체온 측정을 이용한 스마트 패스 시스템.
[수학식 2]
Figure 112021019732122-pat00033

(
Figure 112021019732122-pat00034
는 보정된 센서 전압,
Figure 112021019732122-pat00035
는 상수 장치 계수,
Figure 112021019732122-pat00036
는 물체 방사율,
Figure 112021019732122-pat00037
는 물체 온도,
Figure 112021019732122-pat00038
는 주변 온도,
Figure 112021019732122-pat00039
은 신호 전압의 온도 종속성 지수)

The method according to claim 1,
The infrared array sensor driving unit,
A smart pass system using face recognition and body temperature measurement of an entrant that corrects the measured value of the infrared sensor by Equation 2 below.
[Equation 2]
Figure 112021019732122-pat00033

(
Figure 112021019732122-pat00034
is the calibrated sensor voltage,
Figure 112021019732122-pat00035
is the constant device coefficient,
Figure 112021019732122-pat00036
is the object emissivity,
Figure 112021019732122-pat00037
is the object temperature,
Figure 112021019732122-pat00038
is the ambient temperature,
Figure 112021019732122-pat00039
is the temperature dependence index of the signal voltage)

 청구항 1에 있어서,
상기 적외선 센서는,
상기 정보 표시부를 통해 표시되는 상기 출입자의 이마 부위에 대응되는 고정점을 기준으로 하여 설정되는 범위의 픽셀의 온도를 측정하고,
상기 적외선어레이센서 구동부는,
상기 설정되는 범위의 픽셀의 측정값 중에서 최고치를 상기 판단 제어부로 제공하는 출입자의 얼굴 인식 및 체온 측정을 통한 스마트 패스 시스템.
The method according to claim 1,
The infrared sensor is
Measures the temperature of the pixel in a range set based on a fixed point corresponding to the forehead of the visitor displayed through the information display unit,
The infrared array sensor driving unit,
A smart pass system through face recognition and body temperature measurement of an entrant that provides the highest value among the measured values of pixels within the set range to the determination control unit.
 청구항 1에 있어서,
상기 판단 제어부는
인공지능 딥러닝 데이터 베이스에 저장된 데이터를 이용해 상기 출입자의 노출된 안면 또는 마스크를 쓴 안면을 분석하여 상기 출입자를 감지하고,
상기 인공지능 딥러닝 데이터 베이스에 기초하여 분석한 출입자의 이미지 데이터를 참조하고 상기 출입자의 노출된 안면 또는 마스크를 쓴 안면의 체온을 산출하는 출입자의 얼굴 인식 및 체온 측정을 통한 스마트 패스 시스템.
The method according to claim 1,
The determination control unit
Detects the occupant by analyzing the exposed face of the occupant or the face wearing a mask using the data stored in the artificial intelligence deep learning database,
A smart pass system through face recognition and body temperature measurement of an entrant that refers to the occupant's image data analyzed based on the artificial intelligence deep learning database and calculates the body temperature of the occupant's exposed face or face wearing a mask.
 청구항 1에 있어서,
상기 출입자의 움직임에 따라 상기 적외선 센서의 각도를 조절하는 각도 조절부;
상기 출입자와의 거리를 산출하여 상기 체열 산출부의 체열 산출을 위한 정보로 제공하는 거리측정 센서;
상기 판단 제어부의 판단 결과에 따라 도어의 개폐를 제어하는 출입 통제 장치;
상기 출입자의 체열 정보 및 체열 측정 시간을 저장하는 데이터 베이스; 및
상기 데이터 베이스에 저장된 상기 출입자의 체열 정보 및 체열 측정 시간을 상기 출입자의 개인 휴대 단말기로 메시지 전송하는 통신부;
를 더 포함하는 출입자의 얼굴 인식 및 체온 측정을 통한 스마트 패스 시스템.

The method according to claim 1,
an angle adjusting unit for adjusting an angle of the infrared sensor according to the movement of the entrant;
a distance measuring sensor that calculates the distance from the person and provides information for calculating the body heat of the body heat calculator;
an access control device for controlling opening and closing of a door according to a determination result of the determination control unit;
a database for storing body heat information and body heat measurement time of the entrant; and
a communication unit that transmits the body heat information and body heat measurement time stored in the database to the personal portable terminal of the visitor;
Smart pass system through face recognition and body temperature measurement of the entrants further comprising a.

 청구항 6에 있어서,
상기 판단 제어부는,
상기 출입자의 안면을 촬영한 영상을 분석하여, 상기 출입자가 마스크를 착용하지 않은 것으로 판단하면, 상기 출입 통제 장치가 상기 도어를 폐쇄하도록 제어하는 출입자의 얼굴 인식 및 체온 측정을 통한 스마트 패스 시스템.
7. The method of claim 6,
The determination control unit,
A smart pass system through face recognition and body temperature measurement for controlling the access control device to close the door when it is determined that the entrant is not wearing a mask by analyzing the image taken of the entrant's face.
 청구항 7에 있어서,
상기 판단 제어부는,
인공지능 딥러닝 데이터베이스에 기초하여 상기 출입자의 안면을 촬영한 영상을 분석하여, 상기 출입 통제 장치가 상기 도어를 개폐하도록 제어하는 출입자의 얼굴 인식 및 체온 측정을 통한 스마트 패스 시스템.
8. The method of claim 7,
The determination control unit,
A smart pass system through face recognition and body temperature measurement of an occupant that controls the access control device to open and close the door by analyzing an image taken of the occupant's face based on an artificial intelligence deep learning database.
KR1020210021777A 2020-05-18 2021-02-18 Artificial intelligence-based smart pass medical device system using mask detection and body temperature correction of visitors KR102310915B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2021/006223 WO2021235833A1 (en) 2020-05-18 2021-05-18 Artificial intelligence-based smart pass system using mask detection and body temperature correction of entering or exiting person

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200059408 2020-05-18
KR20200059408 2020-05-18

Publications (1)

Publication Number Publication Date
KR102310915B1 true KR102310915B1 (en) 2021-10-08

Family

ID=78115618

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210021777A KR102310915B1 (en) 2020-05-18 2021-02-18 Artificial intelligence-based smart pass medical device system using mask detection and body temperature correction of visitors

Country Status (2)

Country Link
KR (1) KR102310915B1 (en)
WO (1) WO2021235833A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102445574B1 (en) * 2021-11-03 2022-09-20 신재협 Method for managing status of user using apparatus for checking status
WO2023140408A1 (en) * 2022-01-21 2023-07-27 주식회사 대호씨엔에스 Body temperature measurement system

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115393908A (en) * 2022-08-17 2022-11-25 江苏科技大学 Intelligent recognition system based on characteristic classification

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101355946B1 (en) * 2010-11-17 2014-02-12 (주)이지템 Device and method for measuring temperature using infrared array sensors
KR20170083842A (en) * 2016-01-11 2017-07-19 (주) 비엑스 솔루션 System and method for access control based on non-contact measurement for body heat
KR101968101B1 (en) * 2018-07-12 2019-04-11 천재두 Object recognition camera module and object recognition system thereof

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170108735A (en) * 2016-03-17 2017-09-27 (주)솔루션즈온넷 Admission control system
KR20200041458A (en) * 2018-10-12 2020-04-22 센시(주) An entrance and exit gate capable of diagnosising health status of passengers

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101355946B1 (en) * 2010-11-17 2014-02-12 (주)이지템 Device and method for measuring temperature using infrared array sensors
KR20170083842A (en) * 2016-01-11 2017-07-19 (주) 비엑스 솔루션 System and method for access control based on non-contact measurement for body heat
KR101968101B1 (en) * 2018-07-12 2019-04-11 천재두 Object recognition camera module and object recognition system thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102445574B1 (en) * 2021-11-03 2022-09-20 신재협 Method for managing status of user using apparatus for checking status
WO2023140408A1 (en) * 2022-01-21 2023-07-27 주식회사 대호씨엔에스 Body temperature measurement system

Also Published As

Publication number Publication date
WO2021235833A1 (en) 2021-11-25

Similar Documents

Publication Publication Date Title
KR102310915B1 (en) Artificial intelligence-based smart pass medical device system using mask detection and body temperature correction of visitors
KR102177824B1 (en) Face recognition access control system and method using thermal imaging camera
JP7420183B2 (en) Authentication system
KR20170108735A (en) Admission control system
CN111402481A (en) Intelligent access control system with body temperature measuring function, control method and computer readable storage medium
KR102235095B1 (en) Door opening/closing control method for measuring the temperature of automatic door access requester
KR102233265B1 (en) A method for controlling access based on the user's biometric information based on deep learning, and an electronic lock system access control system for the same
JP2018183564A (en) Deep body temperature measuring apparatus, deep body temperature measuring system, and deep body temperature measuring method
KR102268431B1 (en) a thermogram body temperature checking system and the data system using thereof
KR102296550B1 (en) Electronic access list creation and order payment system using kiosks
JP7344520B2 (en) Disease person identification device and disease person identification system
JP6865321B1 (en) Entrance / exit management device, entrance / exit management method, entrance / exit management program, and entrance / exit management system
KR20030091345A (en) Method and system for facial liveness test
KR102344107B1 (en) Worker safety accident prevention prediction system and method
CN115516502A (en) Organism determination device and organism determination method
KR102474851B1 (en) system for measuring temperature of body
KR20110006062A (en) System and method for face recognition
KR102302183B1 (en) Smart Pass System with Child Access Record and Body Temperature Notification Functions
KR102518332B1 (en) Automatic door system and control method thereof
KR102252866B1 (en) the method for recognizing a face using ToF camera
JP2022128965A (en) Face authentication system and face authentication method
KR20220019563A (en) Artificial intelligence-based non-contact admission management system
KR20220080884A (en) Method and system for extracting image using thermal camera
KR20220113216A (en) Access control apparatus based on deep learning model and method using the same
KR102567798B1 (en) Apparatus for untact entrance control

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant