KR102233265B1 - A method for controlling access based on the user's biometric information based on deep learning, and an electronic lock system access control system for the same - Google Patents
A method for controlling access based on the user's biometric information based on deep learning, and an electronic lock system access control system for the same Download PDFInfo
- Publication number
- KR102233265B1 KR102233265B1 KR1020200185182A KR20200185182A KR102233265B1 KR 102233265 B1 KR102233265 B1 KR 102233265B1 KR 1020200185182 A KR1020200185182 A KR 1020200185182A KR 20200185182 A KR20200185182 A KR 20200185182A KR 102233265 B1 KR102233265 B1 KR 102233265B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- information
- verification device
- detecting
- control system
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
- G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
-
- G06K9/00006—
-
- G06K9/00221—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
- G07C9/00571—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys operated by interacting with a central unit
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/30—Individual registration on entry or exit not involving the use of a pass
- G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
- G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Lock And Its Accessories (AREA)
Abstract
Description
본 발명은 일반적인 전자 장치에 관한 것으로서, 상세하게는 딥러닝 기반으로 사용자를 식별하고 사용자의 생체 정보에 기초하여 장벽 사이에서의 사용자의 엑세스를 승인하기 위한 장치에 관한 것이다.The present invention relates to a general electronic device, and more particularly, to a device for identifying a user based on deep learning and approving a user's access between barriers based on the user's biometric information.
현대사회는 나날이 기술이 발달하면서 우리 생활도 편리하고 윤택해질 뿐만 아니라 청결하고 위생적인 삶을 누구나 누릴 수 있도록 각종 기술과 제도가 발달되고 있다.In the modern society, as technology develops day by day, not only our lives are convenient and prosperous, but also various technologies and systems are being developed so that anyone can enjoy a clean and hygienic life.
특히, 우리나라는 20세기 산업화를 통해 전기, 통신, 상하수도, 도로, 항만, 공항과 같은 사회간접자본을 구축하고, 국민건강보험, 국민연금, 의무교육과 같은 사회제도를 확충하고, 각종 산업기술, 생활기술, 의료기술 등의 발달로 인해 우리국민들의 평균수명도 크게 증가하면서 건강하고 쾌적한 삶을 영위할 수 있게 되었다. 하지만, 2003년의 사스(SARS), 2015년의 메르스(MERS), 2020년의 코로나 바이러스 19(Corona virus 19) 사태로 인해, 우리나라뿐만 아니라 전 세계에 살고 있는 많은 사람들이 바이러스와 신종 질병에 대한 위험으로부터 자유로울 수 없다는 사실을 깨우쳤다. 특히, 21세기 세계화 시대에는 단일 국가의 노력만으로 계속적으로 출현하는 신종 감염병을 효과적으로 대처하는데 한계가 있기 때문에, 국가 간의 협력과 정보공개의 중요성이 커지고 있는 실정이다.In particular, through industrialization in the 20th century, Korea builds social overhead capital such as electricity, telecommunications, water and sewage, roads, ports, and airports, expands social systems such as national health insurance, national pension, and compulsory education, and provides various industrial technologies, Due to the development of life technology and medical technology, the average life span of the Korean people has increased significantly, enabling them to lead a healthy and comfortable life. However, due to the SARS in 2003, MERS in 2015, and Corona virus 19 in 2020, many people living in the world as well as in Korea are suffering from viruses and new diseases. I realized that I couldn't be free from the dangers. In particular, in the era of globalization in the 21st century, there is a limit to effectively coping with new infectious diseases that continue to emerge only with the efforts of a single country, so cooperation and information disclosure between countries are increasing in importance.
한편, 감염병이 발생한 후 일정 기간이 경과하면 대유행시기가 오는데, 백신이 개발되기 전까지는 일단 감염 의심자를 선별하여 건물 내의 출입을 통제하고 사람들의 식별 정보를 관리하여 향후 자가격리를 위한 데이터베이스를 신속히 구축하며 일단 감염자로 의심되는 사람을 최대한 선별하여 격리 조치하는 것이 감염병 확산 방지를 위한 최선의 방법이다.On the other hand, after a certain period of time after the infectious disease occurs, the pandemic period comes. Until the vaccine is developed, the suspected infection is first selected to control access to the building and the identification information of people is managed to quickly establish a database for self-isolation in the future. The best way to prevent the spread of infectious diseases is to select and quarantine people suspected of being infected as much as possible.
이러한 감염성 질환은 종류에 따라 다양한 방식으로 발현되나, 가장 흔한 감염증상으로 고열을 유발하기 때문에, 공항, 각종 건물, 관공서, 병원 등의 장소의 출입구에 열화상 카메라를 설치한 후, 열화상 카메라에 의해 획득된 열화상을 통해 진입하는 사람들 중 고열자를 별도로 검출하는 방식의 도입이 증가하고 있는 추세이다.These infectious diseases are manifested in various ways depending on the type, but since it is the most common infection symptom and causes high fever, thermal imaging cameras are installed at the entrances of places such as airports, buildings, government offices, hospitals, etc. The introduction of a method of separately detecting a high fever among those entering through the thermal image obtained by the method is increasing.
또한 종래의 방식은 고열자가 검출되더라도, 후속대처들이 통합적으로 이루어지는 것이 아니라, 관리자에 의해 일일이 개별적으로 이루어지기 때문에 후속대처에 소요되는 시간이 지체될 뿐만 아니라 방역 효율성이 현저히 떨어지는 단점을 갖는다.In addition, even if a high fever person is detected, the conventional method has a disadvantage that not only the time required for the follow-up response is delayed but also the quarantine efficiency is significantly lowered because the follow-up measures are not performed collectively, but individually performed by the manager.
본 발명은 도어락장치와 검증장치를 연동하여 건물 내의 입출입을 통제하고 입출력 이력 관리에 따른 질병 확산의 관리를 위한 데이터를 수집할 수 있으며 질병 관리를 위한 딥러닝 기반으로 사용자의 식별 정보를 빠르고 정확하게 검출할 수 있는 방법 및 시스템을 제공하고자 한다.In the present invention, the door lock device and the verification device are interlocked to control entry and exit in the building, collect data for management of disease spread according to input/output history management, and quickly and accurately detect user identification information based on deep learning for disease management. We would like to provide a method and system that can be done.
실시예는, 도어에 설치된 도어락장치 무선으로 연동하여 상기 도어의 잠금 또는 잠금 해제 여부를 판별하기 위하여 사용자의 생체 정보를 센싱하는 검증장치는 촬영 영상에 기초하여 객체를 검출하는 단계; 상기 검증장치는 검출된 객체의 근접 여부를 판단하는 단계; 상기 검증장치는 근접하는 상기 객체를 사용자로 식별하고 상기 객체의 얼굴 영역을 검출하는 단계; 디스플레이 영상에서 표시된 가이드 라인 내에서 표시되는 상기 얼굴 영역 내에서의 열 감지 영역을 검출하여 상기 열 감지 영역 내에서의 온도를 검출하여 상기 사용자의 체온을 측정하는 단계; 상기 사용자의 마스크 미착용에 따른 알람 메시지의 출력을 위하여 상기 사용자의 얼굴 영역을 분석하여 마스크의 촬영 여부 검출하는 단계;를 포함하는 사용자의 생체 정보에 기초하여 출입을 통제하는 방법을 제공할 수 있다.In an embodiment, a verification device for sensing biometric information of a user in order to determine whether the door is locked or unlocked by wirelessly interlocking with a door lock device installed on a door includes: detecting an object based on a photographed image; The verification device determining whether the detected object is in proximity; The verification apparatus includes the steps of identifying the adjacent object as a user and detecting a face area of the object; Measuring a body temperature of the user by detecting a temperature in the heat sensing region by detecting a heat sensing region in the face region displayed within a guide line displayed in a display image; A method of controlling access based on the user's biometric information, including the step of detecting whether or not the mask is photographed by analyzing the user's face area in order to output an alarm message according to the user's non-wearing of the mask may be provided.
다른 측면에서, 상기 검증장치는 상기 사용자가 상기 도어락 장치의 키패드에 신호를 입력할 때마다 상의 키패드에 마련된 지문 센서를 통해 상기 사용자의 지문을 인식하는 단계;를 더 포함하는 사용자의 생체 정보에 기초하여 출입을 통제하는 방법을 제공할 수 있다.In another aspect, the verification device further comprises the step of recognizing the user's fingerprint through a fingerprint sensor provided on the upper keypad whenever the user inputs a signal to the keypad of the door lock device. This can provide a way to control access.
다른 측면에서, 상기 검증장치는 상기 사용자의 신장을 추정하는 단계;를 더 포함하고, 상기 신장의 추정 결과에 기초하여 상기 키패드의 표면이 지면과 이루를 각도를 조절하여 상기 사용자의 지문과 상기 키패드의 표면의 접촉 면적을 증가시키는 사용자의 생체 정보에 기초하여 출입을 통제하는 방법을 제공할 수 있다.In another aspect, the verification device further comprises: estimating the height of the user, and based on the estimation result of the height, the user's fingerprint and the keypad are adjusted by adjusting an angle formed by the surface of the keypad with the ground. It is possible to provide a method of controlling access based on the user's biometric information that increases the contact area of the surface of the user.
다른 측면에서, 상기 사용자의 체온이 기 설정 온도를 초과하는 경우, 상기 키패드의 표면이 상기 지면을 향하도록 상기 키패드의 각도를 조절하는 사용자의 생체 정보에 기초하여 출입을 통제하는 방법을 제공할 수 있다.In another aspect, when the body temperature of the user exceeds a preset temperature, a method of controlling access based on biometric information of the user adjusting the angle of the keypad so that the surface of the keypad faces the ground can be provided. have.
다른 측면에서, 상기 사용자의 지문 정보에 기초하여 상기 사용자의 식별 정보를 검출하여 건물 내의 입출입 인원 이력을 관리하는 단계;를 더 포함하는 사용자의 생체 정보에 기초하여 출입을 통제하는 방법을 제공할 수 있다.In another aspect, it is possible to provide a method of controlling access based on the user's biometric information, further comprising: detecting the user's identification information based on the user's fingerprint information and managing the entry/exit personnel history in the building. have.
다른 측면에서, 상기 건물로 나가는 상기 사용자의 체온을 감지하는 단계; 및 상기 사용자의 체온이 비정상으로 판단하면 상기 도어락장치의 잠금을 유지하고 미리 마련된 장소로 이동을 알리는 메시지를 표시하는 단계;를 더 포함하는 사용자의 생체 정보에 기초하여 출입을 통제하는 방법을 제공할 수 있다.In another aspect, sensing the body temperature of the user exiting the building; And if it is determined that the body temperature of the user is abnormal, maintaining the lock of the door lock device and displaying a message informing the movement to a pre-prepared place; providing a method of controlling access based on the user's biometric information further comprising I can.
다른 측면에서, 상기 건물로 출입할 때 검출되어 저장한 사용자의 특징 정보와 건물을 나가는 사용자의 특징 정보를 비교하여 사용자를 식별하는 단계; 및 식별된 사용자의 건물 출입 시점에서부터 현재까지의 건물을 들어오기 위해 검증된 사람들의 정보를 검출하여 경고 메시지를 표시하는 단계;를 더 포함하는 사용자의 생체 정보에 기초하여 출입을 통제하는 방법을 제공할 수 있다.In another aspect, identifying a user by comparing characteristic information of a user, which is detected and stored when entering and exiting the building, with characteristic information of a user exiting the building; And Providing a method for controlling access based on the user's biometric information further comprising the step of detecting information of the verified people to enter the building from the time of entering the building to the present by the identified user and displaying a warning message. can do.
실시예는, 검증장치를 이용하여 건물에 출입하는 사용자의 생체 정보를 검출하고, 검출된 생체 정보에 기초하여 검증장치와 무선으로 연결된 도어락장치의 잠금 유지 또는 잠금 해제를 통해 건물의 입출입을 통제할 수 있다.The embodiment detects biometric information of a user entering and exits a building using a verification device, and controls entry and exit of a building by locking or unlocking a door lock device wirelessly connected to the verification device based on the detected biometric information. I can.
실시예는, 건물에 출입하는 사용자의 마스크 착용 여부를 감지하고 그에 따른 결과 메시지를 출력할 수 있는 입출입통제시스템을 제공할 수 있다.The embodiment may provide an entry/exit control system capable of detecting whether a user entering a building is wearing a mask and outputting a result message accordingly.
실시예는, 도어락장치와 검증 장치의 연동을 통해 건물 내로의 사람들의 입출입을 용이하게 통제하면서도 질병의 감염의 확산을 최소화할 수 있으며 사람들의 입출입 이력을 관리할 수 있다.In the embodiment, through the interlocking of the door lock device and the verification device, while easily controlling the entry and exit of people into the building, the spread of disease infection can be minimized, and the entry and exit history of people can be managed.
실시예는, 마스크를 착용한 사용자의 경우에도 얼굴 영역에서 눈물샘 부근인 열 감지 영역을 통해 체온을 측정할 수 있다.In the embodiment, even in the case of a user wearing a mask, body temperature may be measured through a heat sensing region near the tear gland in the face region.
실시예는, 사용자의 지문 정보를 검출하여 사용자를 정확히 식별함으로서 마스크를 착용한 사용자를 안면 인식으로 식별할 때의 부정학함을 개선할 수 있다.According to the embodiment, by accurately identifying the user by detecting the user's fingerprint information, negativity when identifying a user wearing a mask by facial recognition may be improved.
실시예는, 사용자의 추정된 신장에 따라 키패드의 각도를 조절함으로써 사용자의 지문과 키패드의 접촉 면적을 증가시켜 사용자의 지문 정보를 정확히 검출할 수 있다.According to the embodiment, by adjusting the angle of the keypad according to the estimated height of the user, the contact area between the user's fingerprint and the keypad may be increased, thereby accurately detecting the user's fingerprint information.
실시예는, 건물로 들어오는 사용자와 건물을 나가는 사용자를 식별하여 특정하고 해당 사용자의 체온이 비정상적인 경우 해당 사용자의 건물 입출입 시간 동안의 다른 사람들을 식별하여 해당 다른 사람들에게 미리 지정된 장소로 즉시 이동하라고 경고함으로써 질병의 감염의 확산을 최소화할 수 있다.In the embodiment, a user entering a building and a user leaving the building are identified and specified, and when the body temperature of the user is abnormal, other people during the entering/exiting time of the user are identified, and the corresponding other people are warned to immediately move to a predetermined place. By doing so, the spread of disease infection can be minimized.
실시예는, 건물 외부에서 건물 내부로 들어오는 사람들의 체온의 경우 외부 환경의 기온에 크게 영향을 받아 측정된 체온 정보의 정확도가 떨어져서 체온이 비정상임에도 불구하고 정상으로 탐지되는 문제를 해결하기 위하여 건물을 나가려는 사람에 대한 체온도 측정할 수 있는 방법 및 시스템을 제공한다.In the embodiment, in the case of the body temperature of people entering the building from the outside of the building, the accuracy of the measured body temperature information is poorly affected by the temperature of the external environment, so that the building is constructed to solve the problem of being detected as normal even though the body temperature is abnormal. Provides a method and system for measuring body temperature for a person going out.
도 1은 본 발명의 실시예에 따른 출입통제시스템에 대한 전체적인 구성들간의 관계를 나타낸 것이다.
도 2 및 도 3은 검증 컴포넌트를 가지는 출입통제시스템에 건물에 설치된 예시도이다.
도 4a는 본 발명의 실시예에 따른 출입통제시스템의 예시적인 블록도이다.
도 4b 및 도 4c는 검증장치와 사용자의 상호 작용을 설명하기 위한 예시도이다.
도 5는 본 발명의 다른 실시예에 따른 출입통제시스템에 대한 예시도이다.
도 6은 본 발명의 실시예에 따른 사용자의 생체 정보에 기초하여 출입을 통제하는 방법에 대한 흐름도이다.
도 7 및 도 8은 사용자의 신장 추정 결과에 기초하여 구동계가 키패드의 각도를 조절하고, 검증장치에서 사용자의 얼굴 영역과 체온 정보가 나타나는 것을 개략적으로 나타낸 것이다.
도 9 내지 도 12는 검증장치의 디스플레이 상에서 표시되는 화면에 대한 예시도이다.
도 13은 본 발명의 실시예에 따른 사용자의 생체 정보에 기초하여 출입을 통제하는 방법에 대한 흐름도이다.
도 14는 검증장치의 디스플레이를 통해 표시되는 각종 정보에 대한 예시도이다.
도 15는 관리서버 상에서의 입출입 이력에 대한 관리 정보를 설명하기 위한 것이다.
도 17 및 도 18은 관리서버를 통해 얼굴 데이터 베이스를 설정하기 위해 제공되는 검증장치용 소프트웨어의 유저 인터페이스의 예시도이다.
도 19는 인물 추가에 따른 유저 인터페이스를 묘사한 것이다.
도 20은 로그뷰와 출입 기록을 보여주는 유저 인터페이스를 묘사한 것이다.1 shows the relationship between the overall configurations of the access control system according to an embodiment of the present invention.
2 and 3 are exemplary views installed in a building in an access control system having a verification component.
4A is an exemplary block diagram of an access control system according to an embodiment of the present invention.
4B and 4C are exemplary diagrams for explaining an interaction between a verification device and a user.
5 is an exemplary view of an access control system according to another embodiment of the present invention.
6 is a flowchart illustrating a method of controlling access based on biometric information of a user according to an embodiment of the present invention.
7 and 8 schematically show that the driving system adjusts the angle of the keypad based on the user's height estimation result, and the user's face region and body temperature information are displayed in the verification device.
9 to 12 are exemplary diagrams of screens displayed on the display of the verification device.
13 is a flowchart illustrating a method of controlling access based on biometric information of a user according to an embodiment of the present invention.
14 is an exemplary diagram for various types of information displayed through a display of a verification device.
15 is for explaining management information on the entry/exit history on the management server.
17 and 18 are exemplary views of a user interface of software for a verification device provided to set a face database through a management server.
19 depicts a user interface according to the addition of a person.
20 depicts a user interface showing log views and access records.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.Since the present invention can apply various transformations and have various embodiments, specific embodiments are illustrated in the drawings and will be described in detail in the detailed description. Effects and features of the present invention, and a method of achieving them will become apparent with reference to the embodiments described below in detail together with the drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various forms. In the following embodiments, terms such as first and second are used for the purpose of distinguishing one constituent element from other constituent elements rather than a limiting meaning. In addition, expressions in the singular include plural expressions unless the context clearly indicates otherwise. In addition, terms such as include or have means that the features or components described in the specification are present, and do not preclude the possibility of adding one or more other features or components in advance. In addition, in the drawings, the size of components may be exaggerated or reduced for convenience of description. For example, the size and thickness of each component shown in the drawings are arbitrarily shown for convenience of description, and thus the present invention is not necessarily limited to what is shown.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, and when describing with reference to the drawings, the same or corresponding components are assigned the same reference numerals, and redundant descriptions thereof will be omitted. .
도 1은 본 발명의 실시예에 따른 출입통제시스템에 대한 전체적인 구성들간의 관계를 나타낸 것이다. 도 2 및 도 3은 검증 컴포넌트를 가지는 출입통제시스템에 건물에 설치된 예시도이고, 도 4a는 본 발명의 실시예에 따른 출입통제시스템의 예시적인 블록도이다. 그리고, 도 4b 및 도 4c는 검증장치와 사용자의 상호 작용을 설명하기 위한 예시도이다. 또한, 도 5는 본 발명의 다른 실시예에 따른 출입통제시스템에 대한 예시도이다.1 shows the relationship between the overall configurations of the access control system according to an embodiment of the present invention. 2 and 3 are exemplary views installed in a building in an access control system having a verification component, and FIG. 4A is an exemplary block diagram of an access control system according to an embodiment of the present invention. In addition, FIGS. 4B and 4C are exemplary diagrams for explaining an interaction between a verification device and a user. In addition, Figure 5 is an exemplary view of an access control system according to another embodiment of the present invention.
도 1 내지 도 5를 참조하면, 본 발명의 실시예에 따른 출입통제시스템(100)은 도어락장치(110)와 검증장치(120) 그리고 네트워크(300)로 구성될 수 있다.Referring to FIGS. 1 to 5, the
일부 실시예에서, 출입통제시스템(100)은 관리서버(200)를 더 포함할 수 있다.In some embodiments, the
도어락장치(110)와 검증장치(120)는 일체로 구성될 수 있으나, 이에 제한되는 것은 아니고 도어랑장치(110)와 검증장치(120)는 서로 분리된 구성으로 이루어질 수 있고 이들은 서로 무선으로 통신할 수 있다.The
검증장치(120)는 사용자(p)의 동작 상태 정보 및 도어락장치(110)의 동작 상태 정보를 표시할 수 있다. 또한, 검증장치(120)는 체온 정보 등과 같은 사용자(p)의 상태를 표시하고, 사용자(p)와의 상호 작용하기 위한 옵션 또는 인사말을 사용자(p)에게 제공하기 위한 사용자 인터페이스를 제공하기 위한 하나 이상의 터치 또는 비터치 대화형 패널 또는 디스플레이(199)를 구비할 수 있다. 또한, 검증장치(120)는 및 사용자(p)를 검증하고 도어락장치(110) 외에 다른 전자 장치나 각종 센서(내장형, 이식형 센서나 화학 또는 바이오 센서, 착용형 센서와 통신하기 위한 사용자 인터페이스를 제공할 수 있다. 또한, 검증장치(120)는 터치 스크린, 기계식 스위치, 터치 감지 스위치, 디스플레이, 그래픽 및/또는 터치 인터페이스, 가상 어시스턴트(예를 들어 음성으로 작동 가능한 AI 장치), 센서, 카메라, 수신기, 송신기 등을 포함할 수 있다.The
검증장치(120)에 구비된 센서는 사용자(p)의 안면 인식, 손바닥 특징과 같은 터치 및 비터치 상호 작용을 통한 사용자의 생체 정보를 검출하고 수집하기 위한 장치, 음성, 신체 크기, 색상, 모양, 자세 등과 같은 기타 개인 식별 정보를 검출하기 위한 장치를 포함할 수 있다.The sensor provided in the
또한, 검증장치(120)에 구비된 센서는 환경 센서로서 예를 들어, 모션 센서, 카메라 및 근접 센서, 주변 광 센서와 같은 기타 센서를 더 포함할 수 있다.In addition, the sensor provided in the
일부 실시예에서, 전술한 센서의 적어도 일부의 센서 장치는 도어락장치(110)에 구비될 수도 있다.In some embodiments, at least some of the above-described sensors may be provided in the
또한, 검증장치(120)는 딥러닝 안면인식 AI 알고리즘이 적용된 장치가 될 수 있다. 또한, 검증장치(120)는 열화면 온도측정을 위한 장치를 내장할 수 있다.In addition, the
또한, 검증장치(120)는 안면인식, 마스크 감지, 얼굴인식비교, 온도 측정 등을 지원할 수 있다. 또한, 검증장치(120)는 카메라 시야각, 신체 표면 온도를 통한 얼굴정보, 마스크 착용 여부와 같은 개인별 정보를 정확하게 선별할 수 있다.In addition, the
또한, 검증장치(120)는 사용자(p)들이 출입권리, 신체표면 온도 상태 모니터링 등 전염병을 막는 것을 효과적으로 도울 수 있다.In addition, the
일부 실시예에서, 출입통제시스템(100)은 생체 정보, 비디오 영상을 수집하기 위한 더 나은 조명 조건을 제공하기 위하여 입구에서 편리한 야간 조명 기능을 제공하기 위한 각종 발광 시스템을 포함할 수 있다.In some embodiments, the
출입통제시스템(100)은 하나 이상의 일회용 배터리 또는 충전식 배터리, 예를 들어 니켈 카드뮴 (NiCd), 리튬 (Li), AA, AAA, 및/또는 재충전 가능한 커패시터, 예를 들어 슈퍼 커패시터 (SC) 또는 울트라 커패시터를 포함할 수 있고, 이를 통해 도어락장치(110) 및 검증장치(120)의 구동에 필요한 전력을 제공할 수 있다. 일부 실시예에 따르면, 출입통제시스템(100)은 유선으로 전력을 공급받을 수도 있다.The
출입통제시스템(100)은 다른 전자장치간의 통신을 가능하게 하고 전력에 대한 지원을 제공하는 USB (Universal Serial Bus) 인터페이스와 같은 임의의 공통 인터페이스를 구비할 수 있다.The
출입통제시스템(100)은 인증 정보를 수집하기 위한 센서장치(130) 및 수집된 사용자 상호 작용, 입력, 인증 정보, 배터리 충전을 처리하고 외부 장치와의 통신을 위한 적절한 하드웨어 및 통신 기능을 포함할 수 있다. The
출입통제시스템(100)은 하나 이상의 메시징, 텍스트, 비디오 표시 및 잠금 해제나 잠금 동작을 수행할 수 있다.The
출입통제시스템(100)은 사용자(p)의 생체 정보를 이용하여 사용자(p)를 인증하고 사용자(p)의 상호 작용 및 인증 정보에 기초하여 동작을 수행하기 위한 다양한 터치 및 비터치 입력 장치를 갖는 임의의 컴퓨팅 장치를 포함할 수 있다. 여기서의 인증 정보로는 얼굴 및 이미지 인식 정보, 기타 생체 정보, 청각 정보, 신체 크기 정보 색상 정보, 모양 정보, 자세 정보 등 다양한 엔티티 상호 작용이 가능할 수 있다.The
출입통제시스템(100)은 예를 들어 비일시적 컴퓨터 판독 가능 매체와 같은 다양한 유형의 컴퓨터 판독 가능 매체 및 다양한 다른 유형의 컴퓨터 판독 가능 매체를 위한 인터페이스를 포함할 수 있다.The
출입통제시스템(100)의 센서장치(130)는 카메라(190)를 포함할 수 있다. 카메라(190)는 열화상 카메라(191), 깊이 측정 카메라(192), RGB 영상 카메라(193)를 포함할 수 있다.The sensor device 130 of the
하나 이상의 원격 센서 장치(180)는 부분적으로 또는 전체적으로 센서장치(130)의 구성 요소를 포함할 수 있고 수집을 용이하게 할 수 있다. 출입통제시스템(100)은 하나 이상의 센서에 통신 가능하게 결합된 프로세서, 메모리, 네트워크 인터페이스, GPS, 전원공급장치 등을 갖는 전자 장치로 구성될 수 있다.One or more of the
예시적으로, 출입통제시스템(100)은 메인 프로세서(142) 및 메모리(150)를 포함할 수 있다. 메인 프로세서(142)는 실시예에 따른 프로세서를 수행하기 위해 메모리(150)로부터 명령어(151) 및/또는 데이터(152)를 검색하고 실행할 수 있다. 메인 프로세서(142)는 단일 프로세서, 다중 코어 프로세서 또는 상이한 구현에서 다중 프로세서 일 수 있다.For example, the
출입통제시스템(100)을 작동하기 위한 명령 및 데이터를 임의의 컴퓨터 판독 가능 저장 매체에 저장, 전송 또는 이로부터 수신할 수 있다.Commands and data for operating the
메모리(150)는 동적 랜덤 엑세스 메모리(DRAM) 및/또는 읽기 전용 메모리(ROM)를 포함할 수 있다. 메모리(150)는 데이터(152) 및 메인 프로세서(142)에 의해 검색되고 처리된 명령어(151)를 저장하기 위한 임시 위치를 제공할 수 있다.The
메모리(150)는 수집된 각종 인증 정보나 환경 정보 등을 저장할 수 있고, 무선 연결을 통해 다른 장치로 전송될 수 있다.The
출입통제시스템(100)은 네트워크 인터페이스(161)를 통해 네트워크(300)에 연결된다. 일부 실시예에서, 네트워크 인터페이스(161)는 무선 제어부(162)가 네트워크 장치(160)에 통합되고 안테나에 결합할 수 있다.The
네트워크 인터페이스(161)는 RF(radio frequency) 회로가 구비될 수 있다. RF 회로는 선택적으로 네트워크들, 예컨대 월드 와이드 웹(WWW)으로도 지칭되는 인터넷, 인트라넷, 및/또는 무선 네트워크, 예컨대 셀룰러 전화 네트워크, 무선 근거리 통신망(local area network; LAN) 및/또는 대도시 통신망(metropolitan area network; MAN), 및 다른 디바이스들과 무선 통신에 의해 통신한다. 무선 통신은, 선택적으로, GSM(Global System for Mobile Communications), EDGE(Enhanced Data GSM Environment), HSDPA(high-speed downlink packet access), HSUPA(high-speed uplink packet access), EV-DO(Evolution, Data-Only), HSPA, HSPA+, DC-HSPDA(Dual-Cell HSPA), LTE(long term evolution), NFC(near field communication), W-CDMA(wideband code division multiple access), CDMA(code division multiple access), TDMA(time division multiple access), 블루투스, Wi-Fi(Wireless Fidelity)(예를 들어, IEEE 802.11a, IEEE 802.11b, IEEE 802.11g 및/또는 IEEE 802.11n), VoiP(voice over Internet Protocol), Wi-MAX, 이메일용 프로토콜(예를 들어, IMAP(Internet message access protocol) 및/또는 POP(post office protocol)), 인스턴트 메시징(예를 들어, XMPP(extensible messaging and presence protocol), SIMPLE(Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions), IMPS(Instant Messaging and Presence Service)), 및/또는 SMS(Short Message Service), 또는 본 문헌의 출원일 현재 아직 개발되지 않은 통신 프로토콜들을 포함하는 임의의 다른 적합한 통신 프로토콜을 포함하지만 이로 한정되지 않는 복수의 통신 표준들, 프로토콜들 및 기술들 중 임의의 것을 사용한다.The
센서장치(130)는 출입통제시스템(100)에 연결되거나, 이에 형성되거나 이에 원격으로 연결될 수 있다.The sensor device 130 may be connected to the
센서장치(130)는 인증 정보 및 온도, 습도, 대기질, 연기, 각종 가스 등과 같은 환경 정보를 감지하기 위한 다양한 센서 구성을 포함하고 제어할 수 있다.The sensor device 130 may include and control various sensor configurations for sensing authentication information and environmental information such as temperature, humidity, air quality, smoke, and various gases.
이러한 센서 구성은 하나 이상의 컨디션 센서(135), 특징 센서(135), 모션 센서(135a), 카메라(190), 기타 센서(135c)를 사용하여 다양한 환경 정보를 모니터링하고 센서를 적절하게 조정하여 인증 정보를 수집할 수 있다. 일부 실시예에서, 외부의 기온 정보에 기초하여 열화상 카메라(191)를 통해 검출된 사용자의 체온 정보를 보정할 수 있다. 또한, 모션센서(135a)는 예를 들어 전자 잠금 시스템(100)의 전방의 객체의 방향, 이동 속도 등을 검출하여 모션을 인식할 수 있다.These sensor configurations use one or
출입통제시스템(100)은 하나 이상의 원격 센서 장치(180)로부터 추가적인 인증 정보를 수집할 수 있다.The
생체 정보와 사용자(p)의 특징 정보는 생체 인식/AI/뉴럴 프로세서(141)에 의해 분석될 수 있다.The biometric information and the characteristic information of the user p may be analyzed by the biometric recognition/AI/
센서장치(130)는 도어락장치(110) 및 검증장치(120)의 동작에 따른 상태 정보 및 사용자(p)의 생체 신호 인식에 따른 판단 결과 정보 등을 표시하기 위한 스피커(131)를 구비할 수 있다. 또한, 예를 들어 사용자(p)나 외부 사운드 정보를 수집하기 위한 마이크로폰(132)을 구비할 수도 있다. 또한 센서장치(130)는 사운드의 처리를 위한 오디오 엔코더/디코더(133) 및 코덱(134)을 구비할 수 있다.The sensor device 130 may include a
일부 실시예에서, 센서장치(130)는 NFC(135d)를 더 포함할 수 있다. 사용자는 NFC 방식의 카드의 태그나 스마트폰과 같은 단말기의 NFC 기능을 이용하여 도어락장치(110)의 NFC(135d)와의 전기적인 신호를 교환함으로써 도어락장치(110)를 잠금 또는 잠금을 해제할 수 있다.In some embodiments, the sensor device 130 may further include an NFC (135d). The user can lock or unlock the
센서장치(130)는 제어부(136)에 의해 제어될 수 있고, 내부의 각종 구성들로부터 수집된 결과는 제어부(136)에 전달될 수 있다.The sensor device 130 may be controlled by the
일부 실시예에서, 출입통제시스템(100)은 검출된 GPS 정보를 분석하기 위한 GPS 프로세서(143)를 더 포함할 수 있다.In some embodiments, the
출입통제시스템(100)은 도어락장치(110)상의 키패드(111)의 표면이 지면과 이루를 각도를 조절하기 위하여 구동계(112)를 구비할 수 있다. 키패드(111)는 지문 센서가 구비된 터치 패널로 이루어질 수 있다. 그리고, 생체 인식/AI/뉴럴 프로세서(141)는 키패드(111)에 손가락이 접촉되는 경우 키패드(111) 상의 지문 센서의 검출 정보를 분석할 수 있다.The
도 6은 본 발명의 실시예에 따른 사용자의 생체 정보에 기초하여 출입을 통제하는 방법에 대한 흐름도이다. 도 7 및 도 8은 사용자의 신장 추정 결과에 기초하여 구동계가 키패드의 각도를 조절하고, 검증장치에서 사용자의 얼굴 영역과 체온 정보가 나타나는 것을 개략적으로 나타낸 것이다.6 is a flowchart illustrating a method of controlling access based on biometric information of a user according to an embodiment of the present invention. 7 and 8 schematically show that the driving system adjusts the angle of the keypad based on the user's height estimation result, and the user's face region and body temperature information are displayed in the verification device.
도 6을 참조하면, 본 발명의 실시예에 따른 사용자의 생체 정보에 기초하여 출입을 통제하는 방법(S100)은 객체 검출 단계(S110), 객체 근접 여부 판단 단계(S120), 객체 식별 및 얼굴 영역 검출 단계(S130), 신장 추정 단계(S140), 얼굴 영역에 따른 열 감지 영역 검출 단계(S150), 열 감지 영역 내에서 사용자의 체온 감지 단계(S160), 추정된 신장에 따른 키패드의 위치 조절 단계(S170), 사용자의 식별 정보를 수집하는 단계(S180) 및 도어락 장치의 잠금 유지 또는 잠금을 해제하는 단계(S190)를 포함할 수 있다.Referring to FIG. 6, a method (S100) of controlling access based on a user's biometric information according to an embodiment of the present invention includes an object detection step (S110), an object proximity determination step (S120), object identification and face area. Detecting step (S130), height estimating step (S140), heat sensing area detecting step (S150) according to the face area, detecting the user's body temperature within the heat sensing area (S160), adjusting the position of the keypad according to the estimated height (S170), collecting the user's identification information (S180), and maintaining or releasing the lock of the door lock device (S190).
이하, 각 단계별로 상술한다.Hereinafter, each step will be described in detail.
- 객체 검출 단계(S110)-Object detection step (S110)
출입통제시스템(100)은 카메라(190) 전방의 객체를 검출할 수 있다.The
생체 인식/AI/뉴럴 프로세서(141)는 미리 학습된 출입통제시스템(100)의 전방의 영상과 현재 카메라(190)를 통해 촬영된 영상의 비교를 통해 객체의 검출 여부를 판단할 수 있다. The biometric recognition/AI/
일부 실시예에서, 메인 프로세서(142)는 RGB 카메라의 촬영 영상을 분석하여 전방의 객체를 검출할 수 있다. 다른 측면에서, 메인 프로세서(142)는 깊이 측정 카메라를 이용하여 전방의 객체를 검출할 수 있다. 상세하게, 깊이 값이 유지되는 화소의 경우 배경 화소로 판단하고 깊이 값이 변화하는 화소의 경우 객체의 깊이 값으로 판단할 수 있다.In some embodiments, the
- 객체 근접 여부 판단 단계(S120)-Determining whether the object is in proximity (S120)
출입통제시스템(100)은 전방의 객체가 검출되면, 객체의 근접 여부를 판단할 수 있다.When an object in front is detected, the
상세하게, 출입통제시스템(100)은 전방의 촬영 영상을 분석하여 미리 설정된 속도 이상으로 검출된 객체의 근접 여부를 판단할 수 있다.In detail, the
사용자(p)가 도어(10)를 향해 나아가는 경우, 출입통제시스템(100)은 객체가 미리 설정된 속도 이상으로 객체가 근접하는 것으로 판단할 수 있다. 이와 달리, 사용자(p)가 도어(10)를 지나치는 경우 출입통제시스템(100)은 객체가 근접하는 것으로 판단하지 않게 된다.When the user p proceeds toward the
일부 실시예에서 메인 프로세서(142)는 깊이 측정 카메라로부터의 촬영 영상내의 깊이 값의 변화를 분석함으로써 검출된 객체가 기 설정된 속도 이상으로 깊이 측정 카메라를 향해 다가오는지 여부를 판별할 수 있다. 상세하게, 배경 영역 상에서 객체가 검출되면 검출된 객체 내의 임의의 복수의 화소들을 중심으로 깊이 값이 점점 줄어드는 위 임의의 복수의 화소들의 주변 화소의 수가 증가 경우에는 객체가 근접해진다고 판단할 수 있다.In some embodiments, the
- 객체 식별 및 얼굴 영역 검출 단계(S130)-Object identification and face region detection step (S130)
출입통제시스템(100)은 객체가 전방으로 미리 설정된 속도 이상으로 접근하는 것으로 판단하면 촬영된 객체의 영상을 분석하여 객체가 사람인지 여부를 판별할 수 있다. 이 때, 사람에 대한 영상의 학습된 데이터가 활용될 수 있다.The
일부 실시예에서 생체 인식/AI/뉴럴 프로세서(141)는 전방의 배경 상에서의 사람들의 이미지에 대한 학습 정보를 저장하고, 학습 정보를 기초로 카메라(190)의 촬영 영상 내에서의 사람이 검출되는지를 판단할 수 있다.In some embodiments, the biometric recognition/AI/
또한, 생체 인식/AI/뉴럴 프로세서(141)는 RGB 영상 카메라(193)의 촬영 영상에서 미리 학습된 CNN 신경망을 통해 사람 객체의 얼굴 영역을 검출할 수 있다. 이 때 정확한 얼굴 영역을 검출하기 위하여 Mask R-CNN 딥러닝 신경망이 적용될 수 있다.In addition, the biometric recognition/AI/
- 신장 추정 단계(S140)-Height estimation step (S140)
출입통제시스템(100)은 객체가 사람으로 식별되면 신장 추정 알고리즘에 따라 사용자의 신장을 추정할 수 있다.When the object is identified as a person, the
신장 추정 알고리즘을 상술한다.The height estimation algorithm will be described in detail.
1) 신체 검출 단계1) body detection stage
출입통제시스템(100)은 깊이 측정 카메라(192)를 통해 실시간 촬영되어 획득한 깊이 화면과 배경 깊이 화면을 서로 비교하여 신체를 검출할 수 있다. 출입통제시스템(100)은 기 설정치(이진화 임계값) 이상의 깊이 값을 가지는 화소의 화소 값을 1로 하고 그 외의 깊이 값을 가지는 화소의 값을 0으로 함으로서 이진화 화면을 생성할 수 있다.The
2) 깊이 영상의 3차원 변환하여 신장 추정2) Estimate height by 3D transformation of depth image
거리를 의미하는 깊이 정보를 통해 신체를 3차원 구조로 변환하여 신장을 추정할 수 있다.The height can be estimated by transforming the body into a three-dimensional structure through depth information indicating distance.
신장은 추출된 신체 영역에서 머리 정수리 점과 발끝 점간의 3차원 공간상에서의 거리로 계산될 수 있다. 머리 정수리 점과 발끝 점은 각각 검출된 얼굴 영역의 최상단 화소와 신체 영역의 최하단 화소로 검출한다. 만약 얼굴 영역의 최상단에 다수의 화소가 존재하는 경우 머리 정수리 점은 해당 화소의 중간 화소로 검출할 수 있다. 또한, 발끝 영역의 최하단에 다수의 화소가 존재하는 경우 발끝은 해당 화소의 중간 화소로 검출할 수 있다.Height can be calculated as a distance in a three-dimensional space between the head and toe points in the extracted body area. The head and toe points are detected as the topmost pixel of the detected face area and the bottommost pixel of the body area, respectively. If a plurality of pixels exist at the top of the face area, the head point may be detected as an intermediate pixel of the corresponding pixel. In addition, when a plurality of pixels are present at the lowermost end of the toe region, the toe may be detected as an intermediate pixel of the pixel.
신장은 머리 정수리와 발끝 점 사이의 실세계에서의 길이를 측정함으로써 추정될 수 있다. 머리 정수리와 발끝의 두 개의 화소들간의 실세계에서의 길이를 측정하기 위하여 머리 정수리와 발끝의 두 개의 화소들의 2차원 이미지 좌표들은 3차원 좌표로 변환될 수 있다. 그리고, 3차원 좌표로 변환된 머리 정수리와 발끝의 두 개의 화소들간의 유클리드 거리로 계산됨으로써 신장을 추정할 수 있다.Height can be estimated by measuring the real-world length between the head and toe points. In order to measure the length in the real world between the two pixels of the crown of the head and the tip of the toe, the 2D image coordinates of the two pixels of the crown of the head and the tip of the toe may be converted into 3D coordinates. In addition, the height can be estimated by calculating the Euclidean distance between the two pixels of the head and the tip of the head converted into 3D coordinates.
- 얼굴 영역에 따른 열 감지 영역 검출 단계(S150)-Detecting the heat detection area according to the face area (S150)
출입통제시스템(100)은 검출된 얼굴 영역 내에서 열 감지 영역을 지정하고 해당 열 감지 영역을 트래킹 할 수 있다.The
또한, 출입통제시스템(100)은 검출된 얼굴 영역 내에서 코 끝 지점을 검출할 수 있다. 코 끝 지점은 깊이 값이 가장 작은 지점이 될 수 있다. 그리고, 코 끝 지점을 포함하는 코 영역은 코 끝 지점을 중심으로 주변부의 화소의 깊이 값이 급격이 감소하는 형태를 보일 수 있다. 따라서, 출입통제시스템(100)은 가장 깊이 값이 작은 지점의 화소를 중심으로 주변부의 화소의 깊이 값이 급격히 감소하지 여부를 판별함으로써 검출된 화소가 코 끝 지점의 화소에 해당하는지 여부를 검증할 수 있다.In addition, the
또한, 출입통제시스템(100)은 검출된 얼굴 영역에서의 머리 정수리의 끝 점을 최상단 중간 화소로 하고, 검출된 코 끝 지점의 화소를 최하단 중간 화소로 하는 박스 영역을 지정하고 해당 박스 영역에서 열 감지 영역으로 지정할 수 있다. In addition, the
열 감지 영역은 머리 정수리의 끝 점으로부터 수직 아래로 2/3의 지점에 해당하고 코 끝 지점으로부터 수직 상단으로 1/3의 지점에 해당하는 화소를 중심으로 화소로 하는 사각 영역이 될 수 있다. 그리고, 출입통제시스템(100)은 열 감지 영역인 사각 영역을 지속적으로 트래킹하면서 열화상 카메라(191)의 초점을 조절하며 사각 영역과의 초점을 유지할 수 있다.The heat sensing area may be a rectangular area centered on a pixel corresponding to a point of 2/3 vertically downward from the end point of the head and 1/3 of the vertical top from the tip of the nose as a center. In addition, the
- 열 감지 영역 내에서 사용자의 체온 감지 단계(S160)-Detecting the user's body temperature within the heat detection area (S160)
출입통제시스템(100)은 사용자(p)의 열 감지 영역인 사각 영역 내에서 사용자(p)의 눈물샘 부근에서의 열을 감지함으로써 사용자(p)의 체온을 감지할 수 있다.The
출입통제시스템(100)은 촬영된 영상에서의 눈물샘 부근의 영역은 미리 학습된 RGB 영상인 사각 영역의 CNN 신경망을 통해 검출할 수 있다.The
출입통제시스템(100)은 눈물샘 부근의 영역에서 복수회의 체온을 검출하여 검출된 체온 중 가장 높은 체온의 값을 사용자의 체온으로 결정할 수 있다.The
- 추정된 신장에 따른 키패드의 위치 조절 단계(S170)-Adjusting the position of the keypad according to the estimated height (S170)
출입통제시스템(100)은 사용자(p)의 체온 감지에 따라 사용자(p)의 체온이 미리 설정된 체온값 미만인 경우 사용자 식별 정보 수집 절차를 진행할 수 있다.The
사용자(p)의 식별 정보 수집 절차를 위해 출입통제시스템(100)은 사용자(p)의 추정된 신장 값에 기초하여 도어락장치(110)의 키패드(111)의 위치를 조절함으로써 손가락의 지문과 키패드(111)의 표면의 접촉 면적을 증가시킬 수 있다.For the user (p)'s identification information collection procedure, the
상세하게, 사용자(p)의 신장에 기초하여 키패드(111)가 지면과 이루는 각도를 변경할 수 있다. 사용자(p)의 신장이 작으면 도 8에서와 같이 구동계(112)는 키패드(111)의 표면이 지면과 이루는 각도를 높일 수 있다. 이와 달리, 도 7에서와 같이 사용자의 신장이 클수록 키패드(111)가 지면으로부터 이루는 각도는 줄어들 수 있다. In detail, the angle formed by the
일부 실시예에서, 출입통제시스템(100)은 사용자(p)의 체온이 비정상인 것으로 판단하면 키패드(111)의 표면이 사용자(p)의 시야에서 벗어나도록 키패드(111)의 표면이 지면측을 향하도록 키패드(111)의 각도를 변경함으로써 사용자가 키패드(111)의 표면의 접촉 조작을 방지할 수 있다.In some embodiments, the
- 사용자의 식별 정보를 수집하는 단계(S180) 및 도어락장치의 잠금 유지 또는 잠금 해제하는 단계(S190)-Collecting user identification information (S180) and locking or unlocking the door lock device (S190)
체온이 정상인 사용자(p)는 도어락장치(101)의 키패드(111) 상에 비밀번호를 입력하기 위하여 키패드(111)의 표면 상에 손가락을 터치할 수 있다.A user with normal body temperature (p) may touch a finger on the surface of the
출입통제시스템(100)은 키패드(111)에 입력된 비밀번호와 미리 저장된 잠금 해제를 위한 비밀번호의 일치 여부를 판단할 뿐만 아니라 표면 상에 손가락이 터치되면 손가락의 지문 정보를 검출할 수 있다. The
또한, 비밀번호는 복수의 숫자로 이루어지게 되므로 사용자가 키패드(111)를 복수회 터치할 때마다 사용자의 손가락으로부터 지문을 검출할 수 있다.In addition, since the password consists of a plurality of numbers, a fingerprint can be detected from the user's finger whenever the user touches the keypad 111 a plurality of times.
출입통제시스템(100)은 검출된 지문을 통해 사용자의 신원을 식별하여 미리 등록된 사용자인지 여부를 판단할 수 있다.The
일부 실시예에서, 출입통제시스템(100)은 사용자의 신원을 식별함으로써 건물 내의 입출입 인원 이력을 관리할 수 있다.In some embodiments, the
일부 실시예에서, 출입통제시스템(100)은 검출된 지문 정보를 사용자(p)가 소지한 단말기로 전송할 수 있다. 단말기는 출입통제시스템(100)로부터 수신한 지문 정보와 미리 저장된 사용자(p)의 지문 정보의 일치 여부를 판단하고 지문 정보가 일치하면 사용자(p)의 식별 정보를 출입통제시스템(100)로 전송할 수 있다.In some embodiments, the
출입통제시스템(100)은 수신한 사용자(p)의 식별 정보에 기초하여 건물 내의 입출입 인원의 이력을 관리할 수 있다.The
일부 실시예에서, 도어락장치(110)는 공중이 입출입 가능한 건물의 도어 상에 설치될 수도 있다. 이 경우, 검증장치(120)는 키패드(111) 상의 특정 영역을 터치하라는 메시지를 표시할 수 있다. 그리고, 사용자(p)는 키패드(111) 상에는 비밀번호의 입력이 아닌 특정 버튼들을 터치함으로서 신호를 입력할 수 있다. 그리고, 출입통제시스템(100)은 특정 버튼들에 대한 사용자(p)의 터치가 있는 경우 사용자의 지문을 인식하여 사용자(p)의 식별 정보를 검출할 수도 있다. 출입통제시스템(100)은 사용자(p)의 식별 정보의 검출이 완료되면 도어락장치(110)의 잠금을 해제하여 사용자(p)가 건물 내로 출입할 수 있도록 한다.In some embodiments, the
한편, 실시예는 사용자의 안면 인식에 따른 사용자를 식별할 수 있고, 사용자의 지문을 인식하여 추가적인 상요자의 식별 정보를 조회함으로써, 2 단계의 검증 과정을 거쳐 입출입을 통제할 수도 있다.Meanwhile, in the embodiment, a user may be identified according to the user's facial recognition, and entry/exit may be controlled through a two-step verification process by recognizing a user's fingerprint and inquiring for additional user identification information.
일부 실시예에서, 단말기는 출입통제시스템(100)로부터 수신한 지문 정보와 미리 저장된 사용자(p)의 지문 정보의 일치 여부를 판단하고 지문 정보가 일치하면 사용자(p)의 질병에 대한 백신 접종 여부에 대한 정보를 검증장치(120)로 전송할 수 있다.In some embodiments, the terminal determines whether the fingerprint information received from the
검증장치(120)는 단말기로부터 수신한 사용자(p)의 질병에 대한 백신의 접종 여부에 대한 정보에 기초하여 사용자(p)의 백신 접종이 확인되면 도어락장치(110)의 잠금이 해제되도록 할 수도 있다.The
보안 수준이 높은 백신 접종 여부와 같은 사용자의 의료 정보는 사용자가 소지한 단말기 상에서만 저장될 수 있다. 그리고, 사용자의 안면 인식에 따른 사용자 식별 및 사용자의 지문 인식에 따른 추가적인 사용자 식별, 즉 2단계를 통한 사용자 검증 과정을 거친 후에 검증장치(120)는 단말기로부터 사용자의 백신 접종 여부에 대한 정보를 단말기로부터 수신할 수 있다. 그리고, 검증장치(120)는 사용자가 백신을 접종한 것으로 확인하면 도어락장치(110)의 잠금을 해제할 수 있다. 그리고, 검증장치(120)는 사용자의 백신 접종 여부에 관한 단말기로부터 수신한 정보는 영구 삭제하여 사용자의 민감한 개인 정보를 보호할 수 있다.The user's medical information, such as whether or not to be vaccinated with a high level of security, can be stored only on the terminal of the user. And, after the user identification according to the user's facial recognition and the additional user identification according to the user's fingerprint recognition, that is, the user verification process through
도 9 내지 도 12는 검증장치의 디스플레이 상에서 표시되는 화면에 대한 예시도이다.9 to 12 are exemplary diagrams of screens displayed on the display of the verification device.
일부 실시예에서, 검증장치(120)의 디스플레이(199) 상에는 가이드 라인(gl)이 표시될 수 있다.In some embodiments, a guide line gl may be displayed on the
가이드 라인(gl)은 검증장치(120)가 사용자의 생체 정보를 센싱하기 적합한 위치가 되도록 사용자의 적절한 위치를 유도하기 위한 것이다.The guide line (gl) is for guiding the user's proper position so that the
사용자는 가이드 라인(gl)에 의해 둘러싸인 영역 안으로 촬영된 자신의 안면 영상(cp)이 들어가도록 적절한 위치를 잡을 수 있다.The user can set an appropriate position so that the photographed facial image cp of the user enters the area enclosed by the guide line gl.
검증장치(120)는 가이드 라인(gl) 상에서의 촬영 영상을 분석하여 전술한 사용자의 체온을 측정할 수 있다.The
디스플레이(199)의 제1 영역(a1) 상에는 측정된 사용자의 체온 정도가 표시될 수 있다.The measured user's body temperature may be displayed on the first area a1 of the
일부 실시예에서, 검증장치(120)는 가이드 라인(gl) 내의 영상을 분석하여 사용자의 안면 인식 정보를 추출하고, 이와 매칭되고 미리 저장된 사용자의 안면 영상 정보를 제2 영역(a2) 상에 표시할 수 있다.In some embodiments, the
일부 실시예에서, 검증장치(120)를 마스크를 착용한 사용자의 안면에 대한 영상을 분석하여 안면 인식 정보를 추출하고, 이와 매칭되고 미리 저장된 사용자의 안면 영상 정보를 제2 영역(a2)에 표시할 수 있다. 또한, 검증장치(120)는 촬영 영상을 분석하여 사용자의 마스크(m) 촬영 여부를 분석할 수 있다.In some embodiments, the
일부 실시예에서, 검증장치(120)는 사용자의 촬영 영상(cp) 내에서 마스크(m)가 검출되지 않으면 마스크의 착용을 지시하는 메시지를 출력할 수 있다.In some embodiments, if the mask m is not detected in the captured image cp of the user, the
일부 실시예에서, 출입통제시스템(100)은 검증장치(120)를 통해 사용자의 마스크에 대한 착용이 감지되지 않으면 도어락장치(110)의 잠금 상태가 유지되도록 할 수 있다.In some embodiments, the
도 13은 본 발명의 실시예에 따른 사용자의 생체 정보에 기초하여 출입을 통제하는 방법에 대한 흐름도이다.13 is a flowchart illustrating a method of controlling access based on biometric information of a user according to an embodiment of the present invention.
도 13을 참조하여 건물 내로 출입했던 사용자가 건물 외부로 나가는 과정에 있어서 사용자의 생체 정보에 기초하여 출입을 통제하는 방법을 설명한다.Referring to FIG. 13, a method of controlling access based on the user's biometric information in the process of a user entering the building going out of the building will be described.
실시예에 따른 사용자의 생체 정보에 기초하여 출입을 통제하는 방법(S200)은 객체 검출 단계(S210), 객체 근접 여부 판단 단계(S220), 객체 식별 및 얼굴 영역 검출 단계(S230), 신장 추정 단계(S240), 얼굴 영역에 따른 열 감지 영역 검출 단계(S250), 열 감지 영역 내에서 사용자의 체온 감지 단계(S260), 체온이 정상인 경우 도어락장치의 잠금을 해제하는 단계(S270), 체온이 정상이 아닌 경우 긴급모드 실행 단계(S280)를 포함할 수 있다.A method (S200) of controlling access based on the user's biometric information according to an embodiment includes an object detection step (S210), an object proximity determination step (S220), an object identification and face area detection step (S230), and a height estimation step. (S240), detecting a heat detection area according to the face area (S250), detecting a user's body temperature within the heat detection area (S260), unlocking the door lock device when the body temperature is normal (S270), and the body temperature is normal If not, an emergency mode execution step (S280) may be included.
객체 검출 단계(S210), 객체 근접 여부 판단 단계(S220), 객체 식별 및 얼굴 영역 검출 단계(S230), 신장 추정 단계(S240), 얼굴 영역에 따른 열 감지 영역 검출 단계(S250), 열 감지 영역 내에서 사용자의 체온 감지 단계(S260) 단계는 도 6에서의 객체 검출 단계(S110), 객체 근접 여부 판단 단계(S120), 객체 식별 및 얼굴 영역 검출 단계(S130), 신장 추정 단계(S140), 얼굴 영역에 따른 열 감지 영역 검출 단계(S150), 열 감지 영역 내에서 사용자의 체온 감지 단계(S160)와 동일하게 출입통제시스템(100)이 구동할 수 있다.Object detection step (S210), object proximity determination step (S220), object identification and face area detection step (S230), height estimation step (S240), heat detection area detection step (S250) according to the face area, heat detection area In the step of detecting the user's body temperature (S260), an object detection step (S110) in FIG. 6, an object proximity determination step (S120), an object identification and face region detection step (S130), a height estimation step (S140) The
출입통제시스템(100)은 현재 검출된 사용자의 체온이 정상인 것으로 판단하면 도어락장치(110)의 잠금을 해제하여 사용자가 건물 밖으로 나갈 수 있도록 허용할 수 있다(S270). 그리고, 식별된 사용자의 정보를 이용하여 사용자의 건물 내의 입출입 이력을 관리할 수 있다. If it is determined that the currently detected user's body temperature is normal, the
또한, 사용자의 체온 감지 단계(S260)에서 출입통제시스템(100)은 사용자의 체온이 비정상인 것으로 판단하면 긴급모드를 실행할 수 있다(S280). In addition, in the sensing of the user's body temperature (S260), the
상세하게, 긴급모드 실행 단계(S280)는 도어락장치의 잠금을 유지하는 단계S281), 미리 마련된 장소로 이동 메시지를 표시하는 단계(S282) 및 사용자를 식별하는 단계(S283)를 포함할 수 있다. In detail, the emergency mode execution step (S280) may include a step S281 of maintaining the lock of the door lock device, a step of displaying a moving message to a previously prepared location (S282), and a step of identifying a user (S283).
출입통제시스템(100)은 사용자의 체온이 비정상적인 경우 도어락장치(110)의 잠금을 유지할 수 있다. 그리고, 출입통제시스템(100)은 사용자에게 미리 마련된 장소로 즉시 이동하라는 메시지를 표시할 수 있다(S282). 그리고, 출입통제시스템(100)은 현재 검출된 객체의 식별 정보, 얼굴 영역에 대한 영상 정보 그리고 추정된 신장 정보와 같은 사용자의 특징 정보와 매칭되는 미리 저장된 특징 정보를 검색할 수 있다. 여기서의 미리 저장된 특징 정보는 도 6에서 설명한 바와 같은 방식으로 건물 내로 들어오는 사람들로부터 검출된 특징 정보이다. 또한, 출입통제시스템(100)은 해당 사용자의 건물 내로 출입을 허용한 시점부터 현재 사용자가 식별된 시점까지의 시간 동안 건물 내로 들어오기 위해 검증장치(120)에 의해서 식별된 모든 사람들의 정보를 외부의 서버로 전송할 수 있다. 이 경우, 서버는 건물 내부 표시장치를 통해 관련된 모든 사람들의 기본적인 식별 정보를 안내하면서 미리 마련된 장소로 즉시 이동하라는 경고 메시지를 표시할 수 있다.The
도 14는 검증장치의 디스플레이를 통해 표시되는 각종 정보에 대한 예시도이다.14 is an exemplary diagram for various types of information displayed through a display of a verification device.
검증장치(120)의 디스플레이(199) 상에는 사용자의 촬영 영상과 사용자의 현재 체온 정보, 건물 내의 출입 인원에 대한 정보를 표시할 수 있다. 또한, 검증장치(120)는 건물 내에서 사람들의 밀집 영역 정보를 표시할 수 있다. 여기서의 사람들의 밀집 영역 정보는 건물 내에 설치된 각종 감시 카메라와 Wi-Fi 통신망을 통해 탐지되는 단말기의 수 등의 정보에 기초하여 결정된 영역 별 추정된 사람들의 인원 정보에 기초하여 생성된 정보이다. 또한, 건물 내로 들어온 사람들 중에서 체온이 비정상인 경우나 감염의 의심이 되는 사람의 격리를 위해 미리 지정된 장소에 대한 정보를 표시할 수 있다. On the
일부 실시예에서, 검증장치(120)는 표시되는 정보 중 어느 하나의 터치 입력에 응답하여 선택된 정보의 상세한 정보를 더 표시할 수도 있다.In some embodiments, the
도 15는 관리서버 상에서의 입출입 이력에 대한 관리 정보를 설명하기 위한 것이다.15 is for explaining management information on the entry/exit history on the management server.
관리서버(200)는 검증장치(120)로부터 수신된 사용자의 생체 정보 및 생체 정보의 검출 시점에 따른 입출력 이력 정보를 관리할 수 있다.The
예시적으로 관리서버(200)는 방문자 로그를 관리할 수 있고, 입출입한 사용자의 영상 정보, 입출입 시점에 대한 정보를 관리할 수 있다. For example, the
예시적으로, 관리서버(200)에서 저장된 방문자 로그 정보는 직원들의 출퇴근 관리를 위한 정보로 활용될 수 있다.For example, the visitor log information stored in the
도 16은 검증장치를 등록하기 위한 유저 인터페이스의 예시를 묘사한 것이다.16 depicts an example of a user interface for registering a verification device.
도 16을 참조하면, 검증장치(120)를 네트워크(300)에 등록하기 위하여 검증장치(120)를 컴퓨팅 장치에 연결하고, 컴퓨팅 장치에 마련된 검색 툴을 실행하여 검증장치(120)의 IP를 검색할 수 있다. 그리고, 유저는 툴을 이용하여 검증장치(120)의 IP 주소를 수정할 수 있다. 이와 같은 검증장치(120)의 등록 과정은 도어락장치(110)의 등록에도 동일하게 적용하여 설명될 수 있다.Referring to FIG. 16, in order to register the
도 17 및 도 18은 관리서버를 통해 얼굴 데이터 베이스를 설정하기 위해 제공되는 검증장치용 소프트웨어의 유저 인터페이스의 예시도이다. 그리고, 도 19는 인물 추가에 따른 유저 인터페이스를 묘사한 것이다. 또한, 도 20은 로그뷰와 출입 기록을 보여주는 유저 인터페이스를 묘사한 것이다.17 and 18 are exemplary views of a user interface of software for a verification device provided to set a face database through a management server. And, Figure 19 depicts a user interface according to the addition of a person. In addition, FIG. 20 depicts a user interface showing log view and access records.
도 17을 참조하면, 검증장치용 소프트웨어를 사용하여 얼굴 데이터 베이스를 설정하고 실시간 비디오 미리보기, 실시간 비교 결과, 디바이스 로그 읽어오기, 장치의 파라미터 설정하기를 할 수 있다.Referring to FIG. 17, a face database may be set using software for a verification device, and a real-time video preview, a real-time comparison result, a device log read, and a device parameter may be set.
유저 인터페이스 상에서의 각 기능에 대한 설명은 아래와 같다.A description of each function on the user interface is as follows.
1) 비디오 미리 보기 윈도우: [장치접속] 버튼을 클릭하면, 카메라에서 입력되는 실시간 비디오를 보여줄 수 있다.1) Video preview window: If you click the [Device Connection] button, you can show the real-time video input from the camera.
2) IP 입력 박스장치의 IP 주소를 입력할 수 있도록 한다.2) IP input box Allows you to enter the IP address of the device.
3) 접속/비접속 장치 버튼: 검증장치(120)에 연결하기 위해서 “장치접속” 버튼을 누르면, 실시간 비디오를 미리 볼 수 있고, 실시간 스냅샷을 캡쳐할 수 있고, 인식 결과를 화면에 표시할 수 있다. 3) Connected/Disconnected Device Button: If you press the “Connect Device” button to connect to the
“접속종료” 버튼을 클릭하여 미리보기를 종료할 수 있다.You can end the preview by clicking the "End Connection" button.
4) 비교 결과:캡쳐된 얼굴이 장치의 얼굴 데이터베이스와 매칭될 때, 화면에 표시되고, 얼굴 기본정보, 매칭율, 온도, 기타값이 표시될 수 있다. 얼굴 데이터베이스가 매칭되지 않으면 여기에 표시되지 않을 수 있다. 4) Comparison result: When the captured face matches the device's face database, it is displayed on the screen, and basic face information, matching rate, temperature, and other values can be displayed. If the face database does not match, it may not be displayed here.
5) 스냅 디스플레이바:비디오 미리보기 모드에서 현재 화면에 캡쳐된 얼굴 그림과 체온이 표시된다. 5) Snap display bar: In the video preview mode, the face image and body temperature captured on the current screen are displayed.
6) 얼굴관리: 얼굴 관리 버튼을 누르면 얼굴 데이터를 추가, 삭제, 지우기, 확인, 변경 등을 할 수 있다. 6) Face management: By pressing the face management button, you can add, delete, delete, check, and change face data.
7) 로그뷰: 관리서버(200)에 저장된 얼굴인식 기록정보를 보거나 출력할 수 있고, 직원 출입기록을 저장할 수 있다.7) Log view: You can view or output the face recognition record information stored in the
8) 방문자 로그: 검증장치(120)로부터 검출되어 관리서버(200)에 저장된 방문자정보를 보거나 출력할 수 있고, 직원 출입기록을 저장할 수 있다. 8) Visitor log: Visitor information detected from the
9) 파라미터 설정:검증장치(120)의 얼굴인식 주요 파라미터를 설정하거나 수정할 수 있다. 9) Parameter setting: Main parameters of face recognition of the
10) 예비 버튼: 추가적인 함수의 지정이 가능하도록 하는 버튼이 미리 마련될 수 있다.10) Spare button: A button that enables the designation of additional functions may be provided in advance.
도 18을 참조하여 유저 인터페이스 상에서 얼굴 데이터베이스를 관리하는 것을 설명한다. 유저는 도 18에서 묘사된 설정창에서 얼굴 데이터를 추가, 삭제, 확인, 수정, 가져오기와 내보내기를 할 수 있다.Managing the face database on the user interface will be described with reference to FIG. 18. The user can add, delete, check, correct, import and export facial data in the setting window depicted in FIG. 18.
유저 인터페이스 상에서의 각 기능에 대한 설명은 아래와 같다.A description of each function on the user interface is as follows.
1) 추가: 스냅샷으로 얼굴 정보를 장치에 추가할 수 있다. 1) Add: You can add face information to the device as a snapshot.
2) 모두 삭제: 검증장치(120) 및/또는 관리서버(200) 상의 모든 얼굴 정보를 삭제한다. 2) Delete all: All face information on the
3) 인물 등록: 검증장치(120) 및/또는 관리서버(200) 상에 인물 정보를 등록한다. 3) Person registration: Person information is registered on the
4) 얼굴 등록: 검증장치(120) 및/또는 관리서버(200)에 여러 개의 얼굴정보를 한번에 등록한다.4) Face registration: Multiple face information is registered in the
5) 얼굴 저장: 얼굴 정보를 검증장치(120) 및/또는 관리서버(200)에서 PC 프로그램으로 백업한다. 5) Face storage: Face information is backed up from the
6) 얼굴 정보 동기화: 검증장치(120) 및/또는 관리서버(200)의 얼굴 정보들을 프로그램으로 가져와 화면에 표시해준다.6) Synchronization of face information: Face information of the
7) 얼굴 사진 동기화: 검증장치(120) 및/또는 관리서버(200)가 PC 소프트웨어로 얼굴 사진들을 업로드한다.7) Synchronization of face photos: The
8) 데이터베이스 내보내기: 검증장치(120) 및/또는 관리서버(200)에서 PC로 얼굴정보를 백업한다. 8) Database export: The face information is backed up from the
9) 데이터베이스 가져오기: PC로부터 검증장치(120) 및/또는 관리서버(200)로 얼굴정보를 보낸다.9) Database import: The face information is sent from the PC to the
10) 수정: 현재 개별 얼굴정보 특성을 수정한다. 10) Correction: Correct the characteristics of the current individual face information.
11) 삭제: 검증장치(120) 및/또는 관리서버(200)로부터 현재 얼굴 정보를 삭제한다.11) Deletion: The current face information is deleted from the
도 19를 참조하면, “추가”] 버튼을 누르고 인물 추가를 시작할 수 있다. 얼굴 사진은 “스냅하기” 버튼을 눌러 카메라로부터 직접 캡쳐 하고, 개인정보를 입력한다. 얼굴정보를 성공적으로 입력하였으면 “입력 확인” 버튼을 누른다.Referring to FIG. 19, it is possible to start adding a person by pressing the "Add"] button. Face photos are captured directly from the camera by pressing the “Snap” button, and personal information is entered. If you have successfully entered the face information, click the “Confirm Input” button.
추가적으로, 얼굴 데이터베이스의 기본 정보를 동기화시키기 위해서 “얼굴 정보 동기화 버튼”이 마련된 추가적이 유저 인터페이스가 표시될 수 있고, 사용자로부터의 해당 버튼의 클릴에 응답하여 입력된 얼굴의 수의 통계를 표시할 수 있다.In addition, an additional user interface with a “face information synchronization button” provided to synchronize basic information of the face database may be displayed, and statistics of the number of faces entered in response to the click of the button from the user may be displayed. have.
도 20을 참조하면, “로그뷰”를 클릭하고, 시작시간과 종료시간을 선택하기 위해서 인터페이스를 들어가서, 로그를 검색하기 위해서 “탐색” 버튼을 제공하여 로그뷰와 출입 기록을 열람할 수 있도록 한다. 또한, 출입 기록을 EXCEL로 저장하여 자동으로 저장하기 위해서 저장경로를 선택하기 위해서 버튼을 제공할 수 있다.Referring to Fig. 20, click "Log View", enter the interface to select the start time and end time, and provide the "Search" button to search the log so that the log view and access records can be viewed. . In addition, a button can be provided to select a storage path in order to automatically save access records as EXCEL.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.The embodiments according to the present invention described above may be implemented in the form of program instructions that can be executed through various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, and the like alone or in combination. The program instructions recorded in the computer-readable recording medium may be specially designed and constructed for the present invention or may be known and usable to those skilled in the computer software field. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magnetic-optical media such as floptical disks. medium), and a hardware device specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device can be changed to one or more software modules to perform the processing according to the present invention, and vice versa.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.Specific implementations described in the present invention are examples, and do not limit the scope of the present invention in any way. For brevity of the specification, descriptions of conventional electronic configurations, control systems, software, and other functional aspects of the systems may be omitted. In addition, the connection or connection members of the lines between the components shown in the drawings exemplarily represent functional connections and/or physical or circuit connections. It may be referred to as a connection, or circuit connections. In addition, if there is no specific mention such as “essential” or “importantly”, it may not be an essential component for the application of the present invention.
또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.In addition, although the detailed description of the present invention has been described with reference to a preferred embodiment of the present invention, the spirit of the present invention described in the claims to be described later if one of ordinary skill in the relevant technical field or those of ordinary skill in the relevant technical field And it will be understood that various modifications and changes can be made to the present invention within a range not departing from the technical field. Therefore, the technical scope of the present invention should not be limited to the contents described in the detailed description of the specification, but should be determined by the claims.
Claims (7)
상기 검증장치는 검출된 객체의 근접 여부를 판단하는 단계;
상기 검증장치는 근접하는 상기 객체를 사용자로 식별하고 상기 객체의 얼굴 영역을 검출하는 단계;
디스플레이 영상에서 표시된 가이드 라인 내에서 표시되는 상기 얼굴 영역 내에서의 열 감지 영역을 검출하여 상기 열 감지 영역 내에서의 온도를 검출하여 상기 사용자의 체온을 측정하는 단계;
상기 사용자의 마스크 미착용에 따른 알람 메시지의 출력을 위하여 상기 사용자의 얼굴 영역을 분석하여 마스크의 촬영 여부 검출하는 단계;
상기 검증장치는 상기 사용자가 상기 도어락장치의 키패드에 신호를 입력할 때마다 상의 키패드에 마련된 지문 센서를 통해 상기 사용자의 지문을 인식하는 단계;
상기 사용자의 지문 정보에 기초하여 상기 사용자의 식별 정보를 검출하여 건물 내의 입출입 인원 이력을 관리하는 단계;
상기 건물로 나가는 상기 사용자의 체온을 감지하는 단계; 및
상기 사용자의 체온이 비정상으로 판단하면 상기 도어락장치의 잠금을 유지하고 미리 마련된 장소로 이동을 알리는 경고 메시지를 표시하는 단계;를 포함하는
사용자의 생체 정보에 기초하여 출입을 통제하는 방법.A verification device for sensing biometric information of a user in order to determine whether the door is locked or unlocked by wirelessly interlocking with a door lock device installed on a door, the method comprising: detecting an object based on a captured image;
The verification device determining whether the detected object is in proximity;
The verification apparatus includes the steps of identifying the adjacent object as a user and detecting a face area of the object;
Measuring a body temperature of the user by detecting a temperature in the heat sensing region by detecting a heat sensing region in the face region displayed within a guide line displayed in a display image;
Analyzing the user's face area to output an alarm message according to the user's non-wearing of the mask, and detecting whether or not the mask is photographed;
The verification device includes the steps of recognizing the user's fingerprint through a fingerprint sensor provided on the upper keypad whenever the user inputs a signal to the keypad of the door lock device;
Detecting the user's identification information based on the user's fingerprint information, and managing a history of personnel entering and leaving the building;
Sensing the body temperature of the user exiting the building; And
If it is determined that the body temperature of the user is abnormal, maintaining the lock of the door lock device and displaying a warning message notifying the movement to a pre-prepared place; including;
A method of controlling access based on the user's biometric information.
상기 검증장치는 상기 사용자의 신장을 추정하는 단계;를 더 포함하고,
상기 신장의 추정 결과에 기초하여 상기 키패드의 표면이 지면과 이루를 각도를 조절하여 상기 사용자의 지문과 상기 키패드의 표면의 접촉 면적을 증가시키는
사용자의 생체 정보에 기초하여 출입을 통제하는 방법.The method of claim 1,
The verification device further includes estimating the height of the user,
Increasing the contact area between the user's fingerprint and the surface of the keypad by adjusting the angle that the surface of the keypad makes with the ground based on the estimation result of the height
A method of controlling access based on the user's biometric information.
상기 사용자의 체온이 기 설정 온도를 초과하는 경우, 상기 키패드의 표면이 상기 지면을 향하도록 상기 키패드의 각도를 조절하는
사용자의 생체 정보에 기초하여 출입을 통제하는 방법.The method of claim 3,
When the user's body temperature exceeds a preset temperature, adjusting the angle of the keypad so that the surface of the keypad faces the ground.
A method of controlling access based on the user's biometric information.
상기 건물로 출입할 때 검출되어 저장한 사용자의 특징 정보와 건물을 나가는 사용자의 특징 정보를 비교하여 사용자를 식별하는 단계; 및
식별된 사용자의 건물 출입 시점에서부터 현재까지의 건물을 들어오기 위해 검증된 사람들의 정보를 검출하여 경고 메시지를 표시하는 단계;를 더 포함하는
사용자의 생체 정보에 기초하여 출입을 통제하는 방법.The method of claim 1,
Identifying a user by comparing characteristic information of a user, which is detected and stored when entering or exiting the building, with characteristic information of a user exiting the building; And
Further comprising: detecting information of verified people to enter the building from the point of time of entering the building by the identified user to the present, and displaying a warning message;
A method of controlling access based on the user's biometric information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200185182A KR102233265B1 (en) | 2020-12-28 | 2020-12-28 | A method for controlling access based on the user's biometric information based on deep learning, and an electronic lock system access control system for the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200185182A KR102233265B1 (en) | 2020-12-28 | 2020-12-28 | A method for controlling access based on the user's biometric information based on deep learning, and an electronic lock system access control system for the same |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102233265B1 true KR102233265B1 (en) | 2021-03-29 |
Family
ID=75249892
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200185182A KR102233265B1 (en) | 2020-12-28 | 2020-12-28 | A method for controlling access based on the user's biometric information based on deep learning, and an electronic lock system access control system for the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102233265B1 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113309415A (en) * | 2021-04-30 | 2021-08-27 | 湖北工业大学工程技术学院 | Novel door lock |
KR102444270B1 (en) * | 2021-09-28 | 2022-09-16 | 주식회사 넷온 | System for non-face-to-face access control and payment service provision using user terminals and method thereof |
KR20220138314A (en) * | 2021-04-05 | 2022-10-12 | 케이투웹테크 주식회사 | Apparatus for determining approval of entering to a restricted space using user information and method thereof |
KR102482906B1 (en) * | 2022-02-22 | 2023-01-03 | 이후시스(주) | System and method for providing health-care diagnosis and access contol solutions through non-contact type biological recognition |
KR102524868B1 (en) * | 2022-04-07 | 2023-04-24 | 아리아엣지 주식회사 | Access management method, device and system using clothes or equipment recognition |
KR20240055562A (en) | 2022-10-20 | 2024-04-29 | 임현근 | A device for measuring a mask wearer's fever using a tiny machine-learning model and a method for measuring a fever using the same |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170033534A (en) * | 2015-09-17 | 2017-03-27 | 이근장 | Face recognition digital door lock |
KR20180088346A (en) * | 2018-07-23 | 2018-08-03 | 주식회사 케이티앤씨 | Door lock system using iris detection |
KR20180127739A (en) * | 2017-05-22 | 2018-11-30 | 한국전자통신연구원 | User device and method for providing security pattern thereof |
KR102136837B1 (en) | 2020-03-30 | 2020-07-23 | (주)패스넷 | Elevator system with body temperature detection and quarantine function |
KR102135633B1 (en) | 2020-04-20 | 2020-08-26 | 김승호 | An access inspection system that is checking ID Card and body temperature of a person for entering the building |
KR102168651B1 (en) | 2020-04-02 | 2020-10-21 | 이상화 | Body temperature measuring device with thermal sensor and monitoring system therewith |
-
2020
- 2020-12-28 KR KR1020200185182A patent/KR102233265B1/en active IP Right Grant
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170033534A (en) * | 2015-09-17 | 2017-03-27 | 이근장 | Face recognition digital door lock |
KR20180127739A (en) * | 2017-05-22 | 2018-11-30 | 한국전자통신연구원 | User device and method for providing security pattern thereof |
KR20180088346A (en) * | 2018-07-23 | 2018-08-03 | 주식회사 케이티앤씨 | Door lock system using iris detection |
KR102136837B1 (en) | 2020-03-30 | 2020-07-23 | (주)패스넷 | Elevator system with body temperature detection and quarantine function |
KR102168651B1 (en) | 2020-04-02 | 2020-10-21 | 이상화 | Body temperature measuring device with thermal sensor and monitoring system therewith |
KR102135633B1 (en) | 2020-04-20 | 2020-08-26 | 김승호 | An access inspection system that is checking ID Card and body temperature of a person for entering the building |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220138314A (en) * | 2021-04-05 | 2022-10-12 | 케이투웹테크 주식회사 | Apparatus for determining approval of entering to a restricted space using user information and method thereof |
KR102601008B1 (en) * | 2021-04-05 | 2023-11-10 | 케이투웹테크 주식회사 | Apparatus for determining approval of entering to a restricted space using user information and method thereof |
CN113309415A (en) * | 2021-04-30 | 2021-08-27 | 湖北工业大学工程技术学院 | Novel door lock |
KR102444270B1 (en) * | 2021-09-28 | 2022-09-16 | 주식회사 넷온 | System for non-face-to-face access control and payment service provision using user terminals and method thereof |
KR102482906B1 (en) * | 2022-02-22 | 2023-01-03 | 이후시스(주) | System and method for providing health-care diagnosis and access contol solutions through non-contact type biological recognition |
KR102524868B1 (en) * | 2022-04-07 | 2023-04-24 | 아리아엣지 주식회사 | Access management method, device and system using clothes or equipment recognition |
KR20240055562A (en) | 2022-10-20 | 2024-04-29 | 임현근 | A device for measuring a mask wearer's fever using a tiny machine-learning model and a method for measuring a fever using the same |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102233265B1 (en) | A method for controlling access based on the user's biometric information based on deep learning, and an electronic lock system access control system for the same | |
US10679443B2 (en) | System and method for controlling access to a building with facial recognition | |
US8340366B2 (en) | Face recognition system | |
WO2017181769A1 (en) | Facial recognition method, apparatus and system, device, and storage medium | |
KR101730255B1 (en) | Face recognition digital door lock | |
KR101682311B1 (en) | Face recognition digital door lock | |
JP6148065B2 (en) | Face recognition system | |
EP1868158A2 (en) | Face authentication apparatus, face authentication method, and entrance and exit management apparatus | |
JP5932317B2 (en) | Face authentication database management method, face authentication database management apparatus, and face authentication database management program | |
JP6148064B2 (en) | Face recognition system | |
KR102012672B1 (en) | Anti-crime system and method using face recognition based people feature recognition | |
JP5538701B2 (en) | Method, system, determination device, terminal device, server device, program, and recording medium for identity authentication | |
JP2002183734A (en) | Face authentication device and face authentication method | |
KR101515214B1 (en) | Identification method using face recognition and entrance control system and method thereof using the identification method | |
KR102310915B1 (en) | Artificial intelligence-based smart pass medical device system using mask detection and body temperature correction of visitors | |
JP2013069155A (en) | Face authentication database construction method, face authentication device, and face authentication program | |
EP3879419A1 (en) | Information processing device, information processing method, and recording medium | |
JP2016046639A (en) | Authentication device | |
JP6621092B1 (en) | Risk determination program and system | |
KR101596363B1 (en) | Access Control Apparatus and Method by Facial Recognition | |
US11594086B2 (en) | Automatic switching for frictionless access control | |
TWI631480B (en) | Entry access system having facil recognition | |
CN115516502A (en) | Organism determination device and organism determination method | |
JP5877678B2 (en) | Face authentication database management method, face authentication database management apparatus, and face authentication database management program | |
KR102233254B1 (en) | Method for controlling access based on user's biometric information and electronic lock system for the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |