KR102658852B1 - Access control system based on facial recognition - Google Patents

Abstract

본 발명은 안면 인식 기반 출입 관리 시스템에 관한 것으로서, 더욱 상세히는 출입 통제 대상인 건물에 구비된 출입문의 일측에 배치되는 카메라를 통해 출입자의 얼굴 정면을 촬영한 영상과 상기 출입문의 상단에 위치하여 복수의 카메라를 통해 사선 방향으로 출입자의 얼굴을 촬영한 영상을 기초로 미등록된 출입자의 비정상적인 출입을 관리하는 안면 인식 기반 출입 관리 시스템에 관한 것이다. 본 발명은, 건물에 대한 출입 권한이 등록되지 않은 추적 대상자를 정확하게 추적할 수 있을 뿐만 아니라 건물 내 진입 이후 비정상적으로 오랜 시간 동안 건물 내 머무르는 추적 대상자 발생시 건물 내 등록자와 관리자에게 알림을 제공하여 건물 내 보안 처리가 이루어지도록 지원함으로써, 건물 내 보안 강화를 지원할 수 있는 효과가 있다.The present invention relates to a facial recognition-based access control system. More specifically, the present invention relates to an access control system based on facial recognition, and more specifically, to an image of the front face of an entrant through a camera placed on one side of a door provided in a building subject to access control, and a plurality of images located at the top of the door. This is about a facial recognition-based access control system that manages abnormal entry of unregistered visitors based on images taken of the visitor's face diagonally through a camera. The present invention not only enables accurate tracking of tracked subjects who have not been registered with permission to enter the building, but also provides notifications to registrants and managers within the building when tracked subjects remain in the building for an abnormally long period of time after entering the building. By supporting security processing, it has the effect of supporting the strengthening of security within the building.

Description

안면 인식 기반 출입 관리 시스템{Access control system based on facial recognition}Access control system based on facial recognition}

본 발명은 안면 인식 기반 출입 관리 시스템에 관한 것으로서, 더욱 상세히는 출입 통제 대상인 건물에 구비된 출입문의 일측에 배치되는 카메라를 통해 출입자의 얼굴 정면을 촬영한 영상과 상기 출입문의 상단에 위치하여 복수의 카메라를 통해 사선 방향으로 출입자의 얼굴을 촬영한 영상을 기초로 미등록된 출입자의 비정상적인 출입을 관리하는 안면 인식 기반 출입 관리 시스템에 관한 것이다.The present invention relates to a facial recognition-based access control system. More specifically, the present invention relates to an access control system based on facial recognition, and more specifically, to an image of the front face of an entrant through a camera placed on one side of a door provided in a building subject to access control, and a plurality of images located at the top of the door. This is about a facial recognition-based access control system that manages abnormal entry of unregistered visitors based on images taken of the visitor's face diagonally through a camera.

현재 보안이 강조되는 연구소나 기관 뿐만 아니라 사생활 보장을 위해 아파트에서도 출입자에 대한 엄격한 보안을 요구하고 있으며, 이를 통해 보안이 요구되는 건물에 출입하는 출입자를 통제하기 위한 출입 통제 시스템이 지속적으로 개발 및 개선되고 있다.Currently, strict security for visitors is required not only in research institutes and institutions where security is emphasized, but also in apartments to ensure privacy, and through this, access control systems to control people entering buildings requiring security are continuously being developed and improved. It is becoming.

이러한 기존의 출입 통제 시스템은, 최근 발전을 거듭하여 출입문에 인접하여 구성된 카메라를 통해 출입자의 정면 얼굴을 촬영한 영상을 기초로 출입자의 얼굴을 인식하고, 상기 얼굴 인식을 통해 식별된 출입자가 미리 등록된 출입 권한이 있는 등록자인지 여부를 판단하여 출입문을 선택적으로 개방함으로써, 건물에 대한 보안을 지원하고 있다.This existing access control system has recently been developed and recognizes the face of the visitor based on the image of the front face of the visitor through a camera installed adjacent to the door, and the visitor identified through facial recognition is registered in advance. The security of the building is supported by selectively opening the door by determining whether the registrant has authorized access.

그러나, 건물에 대한 출입 권한이 있는 등록자에 의해 출입이 일시적으로 승인된 배달원과 같은 출입자의 경우 건물 내부로 진입 이후에 건물 외부로 진출이 이루어졌는지를 확인할 필요성이 있으나, 기존의 출입 통제 시스템은, 오직 출입자의 건물 내부에 대한 진입 가능 여부를 확인하는 기능만에 치중되어 있어, 건물 내부로 진입한 출입자에 대한 지속적인 관리를 지원할 수 없으므로 보안 기능이 떨어지는 문제가 있다.However, in the case of visitors such as delivery workers whose access is temporarily approved by a registrant with access authority to the building, there is a need to check whether they have entered the outside of the building after entering the building. However, the existing access control system: Since it is focused solely on the function of checking whether a person can enter the building, it cannot support continuous management of the people who have entered the building, so there is a problem of poor security function.

또한, 건물에 대한 출입 권한이 있는 등록자가 건물 내부로 진입할 때 출입 승인을 받지 않은 출입자가 등록자의 뒤에 바짝 붙어 출입하는 경우에도, 기존의 출입 통제 시스템은 해당 출입자의 출입을 통제할 수 없어 역시 보안 기능이 무용해지는 문제가 있다.In addition, when a registrant with permission to access the building enters the building, even if a person who has not been approved enters the building closely behind the registrant, the existing access control system cannot control the access of the person. There is a problem where the security function becomes useless.

한국공개특허 제10-2021-0128193호Korean Patent Publication No. 10-2021-0128193

본 발명은 건물의 출입을 위해 구성된 출입문의 일측에 인접하여 구성되는 정면 카메라를 통해 출입자의 정면 얼굴을 인증함과 아울러 출입문의 상단에 건물 내부 및 건물 외부의 출입자를 촬영하도록 구성된 복수의 보조 카메라를 통해 출입자를 사선으로 촬영한 영상을 기초로 출입 권한이 없는 출입자를 추적하고, 해당 출입자가 건물 내 비정상적으로 오랜 시간 머무는 경우 건물 내 등록자를 대상으로 알림을 제공하여 건물의 보안 기능을 높일 수 있도록 지원하는데 그 목적이 있다.The present invention authenticates the front face of the visitor through a front camera configured adjacent to one side of the door configured for entering and exiting the building, and also provides a plurality of auxiliary cameras configured to photograph people entering and exiting the building inside and outside the building at the top of the door. It tracks unauthorized visitors based on images taken diagonally, and provides notifications to registrants in the building if the visitor stays in the building for an abnormally long time, helping to increase the security function of the building. There is a purpose to doing so.

본 발명의 실시예에 따른 안면 인식 기반 출입 관리 시스템은, 건물 내 출입문의 일측에 인접에 구성되어 출입자의 정면 얼굴을 촬영하는 정면 카메라부와, 상기 출입문의 상단에 구성되어 건물 내로 진입하는 출입자를 사선 방향으로 촬영하는 제 1 보조 카메라부와, 상기 출입문의 상단에 구성되어 건물 내부로부터 건물 외부로 진출하는 출입자를 사선 방향으로 촬영하는 제 2 보조 카메라부 및 상기 정면 카메라부로부터 수신된 영상에서 상기 건물에 대한 출입 권한이 있는 등록자의 얼굴을 인식하여 생성한 제 1 등록 정보와 상기 제 1 보조 카메라부로부터 수신된 영상에서 상기 등록자의 얼굴을 인식하여 생성한 제 2 등록 정보가 상호 매칭된 상태로 포함된 하나 이상의 등록자별 인증 정보를 저장하고, 상기 정면 카메라부로부터 수신된 영상을 기초로 상기 출입자의 얼굴을 인식하여 제 1 인식 정보를 생성하거나 상기 제 1 보조 카메라부로부터 수신된 영상을 기초로 상기 출입자의 얼굴을 인식하여 제 2 인식 정보를 생성하며, 상기 제 2 인식 정보에 대응하는 제 2 등록 정보가 포함된 인증 정보가 존재하지 않는 경우 상기 제 2 인식 정보에 대응하는 출입자를 추적 대상자로 확인하고, 상기 제 1 보조 카메라부의 영상을 기초로 상기 추적 대상자에 대한 진입 정보를 기록하며, 상기 제 2 보조 카메라부로부터 수신된 영상을 기초로 상기 추적 대상자에 대해 건물 내부로부터 건물 외부로의 진출 여부를 판단하여 상기 진입 정보에 따른 진입 시점을 기준으로 미리 설정된 시간 동안 상기 추적 대상자가 건물 외부로 진출하지 않는 경우 상기 하나 이상의 등록자와 각각 대응하는 하나 이상의 등록자 단말로 알림 정보를 전송하는 출입 관리 서버를 포함할 수 있다.The facial recognition-based access control system according to an embodiment of the present invention includes a front camera unit configured adjacent to one side of an entrance door in a building to capture the front face of an entrant, and a front camera unit configured at the top of the door to detect an entrant entering the building. In the image received from the first auxiliary camera unit that takes pictures in a diagonal direction, the second auxiliary camera unit that is configured at the top of the door and takes pictures of the person entering from the inside of the building to the outside of the building in a diagonal direction, and the front camera part, First registration information generated by recognizing the face of a registrant with access to the building and second registration information generated by recognizing the registrant's face in the image received from the first auxiliary camera unit are matched with each other. Stores the included authentication information for each registrant, and generates first recognition information by recognizing the face of the visitor based on the image received from the front camera unit or based on the image received from the first auxiliary camera unit. The face of the visitor is recognized to generate second recognition information, and if there is no authentication information including second registration information corresponding to the second recognition information, the visitor corresponding to the second recognition information is tracked. Confirm, record entry information about the person to be tracked based on the image from the first auxiliary camera unit, and advance the person to be tracked from inside the building to the outside of the building based on the image received from the second auxiliary camera unit. An access management server that determines whether the tracked person does not enter the building for a preset time based on the entry point according to the entry information and sends notification information to one or more registrant terminals corresponding to the one or more registrants. may include.

본 발명과 관련된 일 예로서, 상기 제 1 인식 정보 또는 제 1 등록 정보는, 상기 정면 카메라부로부터 수신된 영상에서 얼굴의 특징점을 추출하여 생성한 특징점 정보를 포함하고, 상기 제 2 인식 정보 또는 제 2 등록 정보는, 상기 제 1 보조 카메라부로부터 수신된 영상에서 얼굴의 특징점을 추출하여 생성한 특징점 정보를 포함하는 것을 특징으로 할 수 있다.As an example related to the present invention, the first recognition information or first registration information includes feature point information generated by extracting feature points of the face from the image received from the front camera unit, and the second recognition information or the first registration information 2 The registration information may include feature point information generated by extracting feature points of the face from the image received from the first auxiliary camera unit.

본 발명과 관련된 일 예로서, 상기 출입 관리 서버는, 상기 추적 대상자에 대해 상기 제 2 인식 정보를 포함하는 태그 정보를 생성한 후 저장하면서 상기 태그 정보와 매칭하여 상기 진입 정보를 기록하고, 상기 제 2 보조 카메라부로부터 수신된 영상에서 얼굴을 인식하여 제 3 인식 정보를 생성하며, 상기 제 3 인식 정보와 동일하거나 미리 설정된 기준치 이상 유사한 제 2 인식 정보가 포함된 특정 태그 정보가 존재하면, 상기 제 3 인식 정보에 대응하는 출입자를 상기 특정 태그 정보에 대응하는 추적 대상자로 확인하고, 상기 제 2 보조 카메라부의 영상을 기초로 상기 추적 대상자 확인시 상기 추적 대상자에 대한 진출 정보를 생성한 후 상기 특정 태그 정보와 매칭하여 저장하는 것을 특징으로 할 수 있다.As an example related to the present invention, the access control server generates and stores tag information including the second recognition information for the person to be tracked, records the entry information by matching the tag information, and records the entry information. 2 Third recognition information is generated by recognizing a face in an image received from an auxiliary camera unit, and if there is specific tag information containing second recognition information that is the same as the third recognition information or is similar to the third recognition information by more than a preset standard value, the third recognition information is generated. 3 Confirm that the person entering and leaving corresponding to the recognition information is the person to be tracked corresponding to the specific tag information, generate entry information for the person to be tracked when the person to be tracked is confirmed based on the image of the second auxiliary camera unit, and then use the specific tag. It may be characterized by matching and storing information.

본 발명과 관련된 일 예로서, 상기 출입 관리 서버는, 상기 제 1 보조 카메라부로부터 수신된 영상 또는 상기 제 2 보조 카메라부로부터 수신된 영상 및 상기 태그 정보를 기초로 상기 추적 대상자와 동일한 출입자가 검출될 때마다 상기 동일한 출입자의 진입 정보 또는 진출 정보를 생성하여 상기 태그 정보와 매칭 저장하며, 상기 태그 정보와 매칭되는 진입 정보가 미리 설정된 기준 횟수 이상 확인된 경우 상기 복수의 등록자 단말 또는 미리 설정된 관리자 단말에 경고 정보를 전송하는 것을 특징으로 할 수 있다.As an example related to the present invention, the access control server detects the same visitor as the person to be tracked based on the image received from the first auxiliary camera unit or the image received from the second auxiliary camera unit and the tag information. Each time, entry information or exit information of the same visitor is generated, matched with the tag information and stored, and when entry information matching the tag information is confirmed more than a preset standard number of times, the plurality of registrant terminals or a preset administrator terminal It may be characterized by transmitting warning information to.

본 발명과 관련된 일 예로서, 상기 출입문을 개폐하는 개폐 장치를 더 포함하고, 상기 출입 관리 서버는, 상기 출입자에 대해 생성한 상기 제 1 인식 정보 또는 제 2 인식 정보에 대응하는 인증 정보가 존재하면 상기 개폐 장치로 상기 출입문을 개방시키기 위한 제어 정보를 전송하는 것을 특징으로 할 수 있다.As an example related to the present invention, it further includes an opening and closing device that opens and closes the door, and the access management server, if authentication information corresponding to the first recognition information or the second recognition information generated for the visitor exists, It may be characterized in that control information for opening the door is transmitted to the opening and closing device.

본 발명과 관련된 일 예로서, 상기 출입 관리 서버는, 상기 출입자에 대해 생성한 상기 제 1 인식 정보 또는 제 2 인식 정보에 대응하는 인증 정보가 존재하는지 여부에 대한 1차 인증 수행 후 상기 1차 인증에 성공한 상태에서 상기 정면 카메라부 또는 제 1 보조 카메라부로부터 수신된 영상을 기초로 미리 설정된 제스처가 인식되면 상기 출입문 개방을 위한 제어 정보를 상기 개폐 장치로 전송하는 것을 특징으로 할 수 있다.As an example related to the present invention, the access control server performs primary authentication on whether authentication information corresponding to the first recognition information or second recognition information generated for the visitor exists, and then performs the first authentication. In a successful state, if a preset gesture is recognized based on the image received from the front camera unit or the first auxiliary camera unit, control information for opening the door may be transmitted to the opening and closing device.

본 발명과 관련된 일 예로서, 상기 출입 관리 서버는, 상기 등록자 단말로부터 출입 권한이 있는 방문자를 등록하기 위한 등록 요청 정보 수신시 상기 등록 요청 정보의 수신 시점에 상기 정면 카메라부를 통해 수신된 영상을 기초로 상기 방문자에 대한 제 1 인식 정보 및 상기 제 2 보조 카메라부를 통해 수신되는 영상을 기초로 상기 방문자에 대한 제 2 인식 정보를 생성한 후 상기 제 1 인식 정보 및 제 2 인식 정보를 상호 매칭된 상태로 포함하는 방문자 정보를 생성하고, 상기 방문자 정보 및 상기 등록 요청 정보를 전송한 등록자 단말에 대응하는 등록자 식별 정보를 포함하는 상기 인증 정보를 생성하여 저장하는 것을 특징으로 할 수 있다.As an example related to the present invention, when receiving registration request information for registering a visitor with access authority from the registrant terminal, the access management server bases the image received through the front camera unit at the time of receiving the registration request information. After generating second recognition information about the visitor based on the first recognition information about the visitor and the image received through the second auxiliary camera unit, the first recognition information and the second recognition information are matched with each other. It may be characterized by generating and storing visitor information including, and generating and storing the authentication information including registrant identification information corresponding to the registrant terminal that transmitted the visitor information and the registration request information.

본 발명과 관련된 일 예로서, 상기 방문자 정보는 방문자 종류를 포함하고, 상기 출입 관리 서버는, 상기 출입자에 대해 생성한 제 1 인식 정보 또는 제 2 인식 정보에 대응하는 인증 정보가 존재하는 것으로 검색되고, 상기 검색된 인증 정보에 배달원에 대응하는 방문자 종류가 설정된 경우 상기 출입자를 배달원으로 식별하며, 상기 배달원으로 식별된 출입자에 대한 진입 정보를 생성한 후 상기 진입 정보에 따른 진입 시점부터 상기 배달원에 대응하는 방문자 종류에 대해 미리 설정된 출입 가능 시간 내에 상기 배달원으로 식별된 출입자에 대한 진출 정보가 생성되지 않는 경우 상기 배달원으로 식별된 출입자에 대응하는 인증 정보에 포함된 등록자 식별 정보를 확인하고, 상기 확인된 등록자 식별 정보에 대응하는 등록자 단말 또는 미리 설정된 관리자 단말로 알림 정보를 전송하는 것을 특징으로 할 수 있다.As an example related to the present invention, the visitor information includes a visitor type, and the access management server searches for the existence of authentication information corresponding to the first recognition information or second recognition information generated for the visitor. , if a visitor type corresponding to a delivery person is set in the retrieved authentication information, the visitor is identified as a delivery person, and after generating entry information for the visitor identified as the delivery person, the visitor corresponding to the delivery person is entered from the point of entry according to the entry information. If entry information for the visitor identified as the delivery person is not generated within the access time preset for the visitor type, check the registrant identification information included in the authentication information corresponding to the visitor identified as the delivery person, and check the registrant identification information included in the authentication information corresponding to the visitor identified as the delivery person. It may be characterized by transmitting notification information to a registrant terminal or a preset administrator terminal corresponding to the identification information.

본 발명과 관련된 일 예로서, 상기 출입 관리 서버는, 상기 제 1 보조 카메라부로부터 수신된 영상에서 복수의 얼굴이 검출된 경우 상기 복수의 얼굴과 각각 대응하는 복수의 제 2 인식 정보를 생성하고, 상기 복수의 제 2 인식 정보 중 인증 정보가 검색되지 않는 제 2 인식 정보에 대응하는 추적 대상자를 상기 제 1 보조 카메라부의 영상에서 식별하고, 상기 제 1 보조 카메라부로부터 수신된 영상을 기초로 생성한 복수의 제 2 인식 정보에 따라 검색된 하나 이상의 인증 정보를 기초로 상기 추적 대상자와 함께 진입 중인 상태의 하나 이상의 등록자를 식별한 후 상기 식별된 등록자별 등록자 단말로 무단 출입자의 존재를 알리기 위한 이상 발생 정보를 전송하는 것을 특징으로 할 수 있다.As an example related to the present invention, the access control server generates a plurality of second recognition information corresponding to the plurality of faces when a plurality of faces are detected in the image received from the first auxiliary camera unit, Among the plurality of second recognition information, a tracking target corresponding to second recognition information for which authentication information is not searched is identified from the image of the first auxiliary camera unit, and generated based on the image received from the first auxiliary camera unit. Abnormality occurrence information for identifying one or more registrants who are entering a state together with the person to be tracked based on one or more authentication information retrieved according to a plurality of second recognition information and then notifying the presence of an unauthorized person to the registrant terminal for each identified registrant It may be characterized by transmitting.

본 발명과 관련된 일 예로서, 상기 출입 관리 서버는, 상기 제 1 보조 카메라부로부터 수신된 영상을 통해 영상에서 검출된 얼굴의 수와 상기 출입문을 통과하는 인원수를 산출하고, 상기 얼굴의 수와 인원수가 불일치하면 상기 이상 발생 정보를 생성하며, 상기 이상 발생 정보 생성시 상기 출입문을 개폐하는 개폐 장치로 상기 이상 발생 정보를 전송하여 상기 개폐 장치에서 상기 개폐 장치에 구성된 스피커부를 통해 상기 무단 출입자 발생에 대한 경고 음향이 출력되도록 하는 것을 특징으로 할 수 있다.As an example related to the present invention, the access control server calculates the number of faces detected in the image and the number of people passing through the door through the image received from the first auxiliary camera unit, and calculates the number of faces and the number of people If there is a mismatch, the abnormality occurrence information is generated, and when the abnormality occurrence information is generated, the abnormality occurrence information is transmitted to the opening and closing device that opens and closes the door, and the opening and closing device responds to the unauthorized entry and exit through a speaker unit configured in the opening and closing device. It may be characterized in that a warning sound is output.

본 발명은 건물 내부로 출입문을 통해 진입하려는 출입자에 대해 출입문의 일측에 구성되어 정면을 촬영하는 정면 카메라부와 출입문의 상단에 구성되어 사선 방향으로 촬영하는 보조 카메라부를 통해 정면과 사선 방향으로 촬영하여 획득된 영상을 기초로 정면 얼굴 인식 없이 출입문이 일시적으로 개방된 상태를 이용하여 건물 내로 무단 출입하려는 출입자를 추적 대상자로 용이하게 구분하여 추적할 수 있음과 아울러 해당 추적 대상자의 건물 외부로의 진출 상태를 건물 내부에서 출입문의 상단에 구성된 다른 보조 카메라부를 통해 출입자를 사선 방향으로 촬영하여 얻어진 영상을 기반으로 용이하게 추적할 수 있어, 건물에 대한 출입 권한이 등록되지 않은 추적 대상자를 정확하게 추적할 수 있을 뿐만 아니라 건물 내 진입 이후 비정상적으로 오랜 시간 동안 건물 내 머무르는 추적 대상자 발생시 건물 내 등록자와 관리자에게 알림을 제공하여 건물 내 보안 처리가 이루어지도록 지원함으로써, 건물 내 보안 강화를 지원할 수 있는 효과가 있다.The present invention provides a front camera unit configured on one side of the door to capture images of the front of a person attempting to enter the building through an entrance door, and an auxiliary camera unit located at the top of the door to capture images in an oblique direction, thereby capturing images in the front and diagonal directions. Based on the acquired image, it is possible to easily classify and track people attempting to enter the building without permission by using the state in which the door is temporarily open without frontal facial recognition, as well as the status of the person being tracked outside the building. Inside the building, visitors can be easily tracked based on images obtained by shooting them diagonally through another auxiliary camera unit configured at the top of the entrance door, making it possible to accurately track trackers who are not registered with access rights to the building. In addition, when a traced person stays in the building for an abnormally long time after entering the building, notifications are provided to registrants and managers in the building to support security processing within the building, which has the effect of supporting the strengthening of security within the building.

또한, 본 발명은 출입 권한이 있는 등록자의 건물 내 진입시 출입문이 일시적으로 개방된 상태를 이용하여 등록자에 근접하여 따라 들어가는 출입 권한이 없는 무단 출입자를 검출하여 경고를 제공함으로써, 건물에 대한 보안 효과를 높일 수 있다.In addition, the present invention detects and provides a warning to unauthorized entrants who follow the registrant close to the registrant by using the door temporarily open when a registrant with access authority enters the building, thereby improving the security effect on the building. It can be raised.

도 1 및 도 2는 본 발명의 실시예에 따른 안면 인식 기반 출입 관리 시스템의 구성도.
도 3은 본 발명의 실시예에 따른 출입 관리 서버의 구성도.
도 4는 본 발명의 실시예에 따른 안면 인식 기반 출입 관리 시스템의 출입 통제에 대한 동작 순서도.
도 5는 본 발명의 실시예에 따른 안면 인식 기반 출입 관리 시스템의 방문자 관리에 대한 동작 순서도.
도 6은 본 발명의 실시예에 따른 안면 인식 기반 출입 관리 시스템의 등록자를 따라 들어가는 무단 출입자 통제에 대한 동작 순서도.1 and 2 are block diagrams of a facial recognition-based access control system according to an embodiment of the present invention.
Figure 3 is a configuration diagram of an access management server according to an embodiment of the present invention.
Figure 4 is an operation flowchart for access control of the facial recognition-based access control system according to an embodiment of the present invention.
Figure 5 is an operation flowchart for visitor management of the facial recognition-based access control system according to an embodiment of the present invention.
Figure 6 is an operation flowchart for controlling unauthorized access following a registrant of the facial recognition-based access control system according to an embodiment of the present invention.

이하, 도면을 참고하여 본 발명의 상세 실시예를 설명한다.Hereinafter, detailed embodiments of the present invention will be described with reference to the drawings.

도 1 및 도 2는 본 발명의 실시예에 따른 안면 인식 기반 출입 관리 시스템(이하, 출입 관리 시스템)의 구성도이다.1 and 2 are configuration diagrams of a facial recognition-based access control system (hereinafter referred to as access control system) according to an embodiment of the present invention.

도시된 바와 같이, 본 발명의 실시예에 따른 출입 관리 시스템은, 출입 통제 및 보안이 요구되는 건물에 구비된 출입문의 일측에 구성되어 출입문의 외부로부터 건물 내부로 진입하기 위해 출입문에 접근하는 출입자의 정면 얼굴을 촬영하기 위한 정면 카메라부(10)와, 상기 출입문의 상단(또는 상측)에 구성되어 상기 건물 내로 진입하는(진입하려는) 출입자를 사선 방향으로 촬영하는 제 1 보조 카메라부(20)와, 상기 건물 내부에서 출입문의 상단(또는 상측)에 구성되어 건물 내부로부터 건물 외부로 진출하는(진출하려는) 출입자를 사선 방향으로 촬영하는 제 2 보조 카메라부(30) 및 통신망을 통해 상기 정면 카메라부(10), 제 1 보조 카메라부(20) 및 제 2 보조 카메라부(30)와 통신하는 출입 관리 서버(100)를 포함하여 구성될 수 있다.As shown, the access management system according to an embodiment of the present invention is configured on one side of an entrance door provided in a building that requires access control and security, and is configured to allow the access of the entrance to the door to enter the building from the outside of the door. A front camera unit 10 for photographing the front face, and a first auxiliary camera unit 20 configured at the top (or upper side) of the door to capture diagonally images of people entering (or attempting to enter) the building. , a second auxiliary camera unit 30 configured at the top (or upper side) of the entrance door inside the building to capture in a diagonal direction people entering (or trying to enter) the outside of the building from inside the building, and the front camera unit through a communication network. (10), it may be configured to include an access management server 100 that communicates with the first auxiliary camera unit 20 and the second auxiliary camera unit 30.

이때, 상기 정면 카메라부(10)는, 상기 출입문의 일측 방향에 상기 출입문과 분리되어 상기 출입문에 인접 구성될 수 있고, 상기 제 1 보조 카메라부(20) 또는 제 2 보조 카메라부(30)는, 상기 출입문의 상단(상측) 방향에 상기 출입문과 분리되어 상기 출입문에 인접 구성될 수 있다.At this time, the front camera unit 10 may be separated from the door in one direction of the door and adjacent to the door, and the first auxiliary camera unit 20 or the second auxiliary camera unit 30 may be configured to be adjacent to the door. , It may be configured adjacent to the door and separated from the door at the top (upper side) of the door.

이때, 본 발명에서 설명하는 통신망은 유/무선 통신망을 포함할 수 있으며, 이러한 무선 통신망의 일례로 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS), 5G 이동통신 서비스, 블루투스(Bluetooth), LoRa(Long Range), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신망으로는 유선 LAN(Local Area Network), 유선 WAN(Wide Area Network), 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.At this time, the communication network described in the present invention may include a wired/wireless communication network, and examples of such wireless communication networks include Wireless LAN (WLAN), DLNA (Digital Living Network Alliance), Wireless Broadband (Wibro), WiMAX (World Interoperability for Microwave Access: Wimax), GSM (Global System for Mobile communication), CDMA (Code Division Multi Access), CDMA2000 (Code Division Multi Access 2000), EV-DO (Enhanced Voice-Data Optimized or Enhanced Voice- Data Only), WCDMA (Wideband CDMA), HSDPA (High Speed Downlink Packet Access), HSUPA (High Speed Uplink Packet Access), IEEE 802.16, Long Term Evolution (LTE), LTE-A (Long Term Evolution- Advanced), Wireless Mobile Broadband Service (WMBS), 5G mobile communication service, Bluetooth, LoRa (Long Range), RFID (Radio Frequency Identification), Infrared Data Association (IrDA), UWB (Ultra Wideband), ZigBee, Near Field Communication (NFC), Ultrasound Communication (USC), Visible Light Communication (VLC), Wi-Fi, This may include Wi-Fi Direct, etc. In addition, wired communication networks include wired LAN (Local Area Network), wired WAN (Wide Area Network), Power Line Communication (PLC), USB communication, Ethernet, serial communication, and optical/coaxial. Cables, etc. may be included.

또한, 상기 정면 카메라부(10), 제 1 보조 카메라부(20) 및 제 2 보조 카메라부(30) 각각은 상기 통신망을 통해 상기 출입 관리 서버(100)와 통신하기 위한 통신 모듈과, 각종 정보를 저장하는 저장 모듈과, 출입자를 촬영하기 위한 카메라 모듈과, 상기 정면 카메라부(10), 제 1 보조 카메라부(20) 또는 제 2 보조 카메라부(30)의 전반적인 제어 기능을 수행하기 위한 제어 모듈 등을 포함하여 구성될 수 있다. In addition, the front camera unit 10, the first auxiliary camera unit 20, and the second auxiliary camera unit 30 each include a communication module for communicating with the access control server 100 through the communication network, and various information A storage module for storing, a camera module for photographing visitors, and a control for performing the overall control function of the front camera unit 10, the first auxiliary camera unit 20, or the second auxiliary camera unit 30. It may be composed of modules, etc.

또한, 상기 정면 카메라부(10), 제 1 보조 카메라부(20) 및 제 2 보조 카메라부(30) 각각은 IP 카메라(Internet Protocol camera)와 같은 네트워크(network) 카메라로 구성될 수 있다.Additionally, each of the front camera unit 10, the first auxiliary camera unit 20, and the second auxiliary camera unit 30 may be configured as a network camera such as an IP camera (Internet Protocol camera).

또한, 상기 출입 관리 시스템은, 상기 출입문을 개폐하며 상기 출입 관리 서버(100)와 통신망을 통해 통신하는 개폐 장치(40)를 더 포함하여 구성될 수도 있으며, 상기 개폐 장치(40)는, 상기 건물의 댁내에 구성되는 하나 이상의 월패드(wall pad)(월 패드 장치)와 통신할 수 있다.In addition, the access control system may further include an opening and closing device 40 that opens and closes the door and communicates with the access management server 100 through a communication network, and the opening and closing device 40 is configured to operate in the building. It is possible to communicate with one or more wall pads (wall pad devices) configured in the home.

이에 따라, 상기 개폐 장치(40)는, 상기 월패드 또는 상기 출입 관리 서버(100)로부터 수신되는 제어 정보에 따라 상기 출입문을 개폐할 수 있다.Accordingly, the opening and closing device 40 can open and close the door according to control information received from the wall pad or the access management server 100.

이때, 상기 개폐 장치(40)는, 모듈로서 상기 정면 카메라부(10)에 포함되어 구성될 수도 있으며, 이 경우 상기 정면 카메라부(10)에 구성된 제어 모듈에 의해 상기 개폐 장치(40)가 제어될 수 있고, 상기 제어 모듈에서 상기 통신 모듈을 통해 상기 출입 관리 서버(100)로부터 제어 정보를 수신하여 상기 개폐 장치(40)의 상기 출입문에 대한 개방 동작이 이루어지도록 할 수 있으며, 상기 개폐 장치(40)의 출입문 개방시 상기 제어 모듈에서 이하에서 설명하는 개방 상태 정보를 생성하여 상기 통신 모듈을 통해 상기 출입 관리 서버(100)로 전송할 수 있다.At this time, the opening and closing device 40 may be configured as a module included in the front camera unit 10. In this case, the opening and closing device 40 is controlled by a control module configured in the front camera unit 10. It may be that the control module receives control information from the access management server 100 through the communication module so that the opening and closing device 40 performs an opening operation for the door, and the opening and closing device ( 40) When the door is opened, the control module may generate open status information described below and transmit it to the access management server 100 through the communication module.

또한, 상기 출입 관리 시스템은, 상기 건물에 대한 출입 권한이 있는 하나 이상의 등록자와 각각 대응하는 하나 이상의 등록자 단말과, 상기 건물에 대한 보안을 관리하는 관리자에 대응하는 관리자 단말 등을 포함할 수 있으며, 상기 하나 이상의 등록자 단말과 관리자 단말은 통신망을 통해 상기 출입 관리 서버(100)와 통신할 수 있다.In addition, the access management system may include one or more registrant terminals each corresponding to one or more registrants with access rights to the building, and an administrator terminal corresponding to an administrator who manages security for the building, The one or more registrant terminals and the administrator terminal may communicate with the access management server 100 through a communication network.

이때, 상기 등록자 단말 또는 관리자 단말은, 통신 기능을 구비한 스마트 폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 슬레이트 PC(Slate PC), 태블릿 PC(Tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display) 등 포함) 등으로 구성될 수 있으며, 상기 월패드로 구성될 수도 있다.At this time, the registrant terminal or administrator terminal is a smart phone with a communication function, a portable terminal, a mobile terminal, a personal digital assistant (PDA), or a personal computer ( Personal Computer, Laptop Computer, Slate PC, Tablet PC, Ultrabook, Wearable Device (e.g., Smartwatch, Smart Glass) ), HMD (Head Mounted Display), etc.), etc., and may also be composed of the wall pad.

또한, 본 발명에서 설명하는 등록자는, 건물에 대한 출입권한이 있으면서 건물에 거주하는 거주자 이거나 상기 건물에 대한 출입 권한이 있는 건물에 대한 상시 출입이 가능하도록 상기 출입 관리 서버(100)에 등록된 자를 의미할 수 있다.In addition, the registrant described in the present invention is a resident who lives in the building and has access rights to the building, or a person registered in the access management server 100 to enable constant access to the building with access rights to the building. It can mean.

한편, 상기 출입 관리 서버(100)는, 상기 정면 카메라부(10)와 제 1 보조 카메라부(20) 및 제 2 보조 카메라부(30) 각각으로부터 수신되는 영상을 분석하여 상기 건물을 출입하는 출입자 중 상기 건물에 대한 출입 권한이 있는 인증 정보가 등록된 등록자가 아닌 출입자 또는 일시적으로 출입 권한이 부여된 출입자를 검출하고, 상기 검출된 출입자를 추적하여 비정상적인 출입 행위를 보이는 출입자 발생시 등록자나 건물 내 보안을 관리하는 관리자에게 알림을 통지하여 건물의 보안을 강화할 수 있는데, 이를 이하 도면을 참고하여 상세히 설명한다.Meanwhile, the access management server 100 analyzes images received from each of the front camera unit 10, the first auxiliary camera unit 20, and the second auxiliary camera unit 30 to determine the number of people entering and exiting the building. Among them, it detects visitors who are not registrants with authentication information registered with access authority to the above building or visitors who are temporarily granted access authority, and tracks the detected entrants. In the event of an entrant showing abnormal entry behavior, security is provided to the registrant or the building. The security of the building can be strengthened by notifying the manager who manages it, which will be explained in detail with reference to the drawing below.

도 3은 본 발명의 실시예에 따른 출입 관리 서버(100)의 상세 구성도이고, 도 4는 본 발명의 실시에 따른 출입 관리 서버(100)의 출입 통제에 대한 동작 순서도이다.FIG. 3 is a detailed configuration diagram of the access management server 100 according to an embodiment of the present invention, and FIG. 4 is an operation flowchart for access control of the access management server 100 according to an embodiment of the present invention.

도시된 바와 같이, 상기 출입 관리 서버(100)는, 통신부(110), 저장부(120), 제어부(130) 등을 포함하여 구성될 수 있다.As shown, the access management server 100 may be configured to include a communication unit 110, a storage unit 120, a control unit 130, etc.

우선, 상기 통신부(110)는, 통신망을 통해 상기 정면 카메라부(10), 제 1 보조 카메라부(20), 제 2 보조 카메라부(30), 개폐 장치(40), 등록자 단말, 관리자 단말 등과 통신할 수 있다.First, the communication unit 110 communicates with the front camera unit 10, the first auxiliary camera unit 20, the second auxiliary camera unit 30, the opening and closing device 40, the registrant terminal, the administrator terminal, etc. through a communication network. Can communicate.

상기 저장부(120)는 상기 출입 관리 서버(100)의 동작에 필요한 각종 정보를 저장할 수 있으며, 상기 저장부(120)는 HDD(Hard Disk Drive), SSD(Solid State Drive) 등과 같은 다양한 형태로 구성될 수 있으며, DB로 구성되거나 하나 이상의 DB를 포함하여 구성될 수도 있다.The storage unit 120 can store various information necessary for the operation of the access control server 100, and the storage unit 120 is available in various forms such as HDD (Hard Disk Drive), SSD (Solid State Drive), etc. It may be composed of a DB or may be composed of one or more DBs.

일례로, 상기 저장부(120)는, 상기 건물에 대한 출입 권한이 있는 등록자별 인증 정보가 저장되는 등록자 DB, 상기 건물을 출입하는 출입자 기록을 위한 출입 내역 DB, 학습 데이터가 저장되는 학습 DB, 영상이 저장되는 영상 DB 등을 포함할 수 있다.For example, the storage unit 120 includes a registrant DB in which authentication information for each registrant with access rights to the building is stored, an access history DB for recording people entering and leaving the building, a learning DB in which learning data is stored, It may include a video DB where videos are stored.

이때, 상기 등록자 DB, 상기 출입 내역 DB, 학습 DB, 영상 DB 등은 각각 개별 데이터베이스 서버로 구성되어 상기 출입 관리 서버(100)와 연동(통신)하도록 구성될 수도 있다.At this time, the registrant DB, the access history DB, the learning DB, the video DB, etc. may each be configured as individual database servers and configured to link (communicate) with the access management server 100.

또한, 상기 제어부(130)는 상기 출입 관리 서버(100)의 전반적인 제어 기능을 수행하고, 상기 제어부(130)는 RAM, ROM, CPU, GPU, 버스를 포함할 수 있으며, RAM, ROM, CPU, GPU 등은 버스를 통해 서로 연결될 수 있다.In addition, the control unit 130 performs the overall control function of the access management server 100, and the control unit 130 may include RAM, ROM, CPU, GPU, and a bus. GPUs, etc. can be connected to each other through a bus.

또한, 상기 통신부(110) 및 저장부(120)는 상기 제어부(130)에 포함되어 구성될 수도 있다.Additionally, the communication unit 110 and the storage unit 120 may be included in the control unit 130.

또한, 상기 제어부(130)는 상기 통신부(110)를 통해 상기 정면 카메라부(10), 제 1 보조 카메라부(20), 제 2 보조 카메라부(30), 개폐 장치(40), 등록자 단말, 관리자 단말 등과 통신할 수 있다.In addition, the control unit 130 controls the front camera unit 10, the first auxiliary camera unit 20, the second auxiliary camera unit 30, the opening and closing device 40, the registrant terminal, and the front camera unit 10 through the communication unit 110. It can communicate with administrator terminals, etc.

이하에서 설명하는, 상기 출입 관리 서버(100)의 동작 구성은 상기 제어부(130)에 의해 수행되는 것일 수 있다.The operation configuration of the access management server 100, described below, may be performed by the control unit 130.

도시된 바와 같이, 상기 출입 관리 서버(100)는, 상기 건물 내부로 출입 권한이 있는 등록자를 등록하기 위해 상기 정면 카메라부(10)로부터 상기 등록자의 정면 얼굴을 촬영한 영상을 수신하고, 상기 제 1 보조 카메라부(20)로부터 상기 건물 외부에서 상기 출입문 인근에 위치하는 상기 등록자를 사선 방향으로 촬영한 영상을 수신할 수 있다.As shown, the access management server 100 receives an image of the front face of the registrant from the front camera unit 10 in order to register the registrant with permission to enter the building, and the first 1 An image taken diagonally of the registrant located near the door from outside the building can be received from the auxiliary camera unit 20.

또한, 상기 출입 관리 서버(100)는, 상기 정면 카메라부(10)로부터 수신된 영상(제 1 영상)으로부터 미리 설정된 영상 분석 알고리즘을 통해 상기 등록자의 얼굴에 해당하는 영역을 검출한 후 상기 제 1 영상에서 검출된 영역에 대해 특징점(제 1 특징점)을 추출하여 해당 추출된 특징점(제 1 특징점)에 대한 특징점 정보를 포함하는 제 1 등록 정보를 생성하고, 상기 제 1 보조 카메라부(20)로부터 수신된 영상(제 2 영상)으로부터 상기 영상 분석 알고리즘을 통해 상기 등록자의 얼굴에 해당하는 영역을 검출한 후 상기 제 2 영상에서 검출된 영역에 대해 특징점(제 2 특징점)을 추출하여 해당 추출된 특징점(제 2 특징점)에 대한 특징점 정보를 포함하는 제 2 등록 정보를 생성할 수 있다(S1).In addition, the access control server 100 detects the area corresponding to the registrant's face from the image (first image) received from the front camera unit 10 through a preset image analysis algorithm, and then detects the area corresponding to the registrant's face. A feature point (first feature point) is extracted from the area detected in the image to generate first registration information including feature point information for the extracted feature point (first feature point), and the first registration information is generated from the first auxiliary camera unit 20. Detecting the area corresponding to the face of the registrant from the received image (second image) through the image analysis algorithm, extracting feature points (second feature points) for the region detected in the second image, and extracting the extracted feature points Second registration information including feature point information for (second feature point) can be generated (S1).

또한, 상기 출입 관리 서버(100)는, 상기 제 1 등록 정보 및 제 2 등록 정보를 포함하는 인증 정보를 생성한 후 상기 등록자 DB에 저장할 수 있다(S2).Additionally, the access management server 100 may generate authentication information including the first registration information and the second registration information and store the authentication information in the registrant DB (S2).

이때, 상기 인증 정보는, 등록자 식별 정보, 등록자에 대응하는 건물 내 방의 호수, 등록자의 연락처 정보 등을 포함할 수 있다.At this time, the authentication information may include registrant identification information, the number of the room in the building corresponding to the registrant, and the registrant's contact information.

이를 통해, 상기 출입 관리 서버(100)는, 상기 건물에 대한 출입 권한이 있는 하나 이상의 등록자별로 인증 정보를 생성하여 상기 등록자 DB에 저장함으로써, 하나 이상의 등록자를 등록할 수 있다.Through this, the access management server 100 can register one or more registrants by generating authentication information for each one or more registrants with access rights to the building and storing it in the registrant DB.

또한, 상기 출입 관리 서버(100)에서 상기 등록자 DB를 확보한 상태에서, 상기 출입문을 통해 상기 건물 내로 진입하고자 하는 출입자가 출입문에 근접하면, 상기 정면 카메라부(10) 및 제 1 보조 카메라부(20)는 각각 출입자를 촬영할 수 있으며, 상기 정면 카메라부(10)는 상기 출입자(또는 출입자의 얼굴)를 정면으로 촬영한 제 1 영상을 생성하여 상기 출입 관리 서버(100)에 전송하고, 상기 제 1 보조 카메라부(20)는 상기 출입자(출입자의 얼굴)를 사선으로(사선 방향으로) 촬영한 제 2 영상을 생성하여 상기 출입 관리 서버(100)에 전송할 수 있다.In addition, with the registrant DB secured in the access management server 100, when a person wishing to enter the building through the door approaches the door, the front camera unit 10 and the first auxiliary camera unit ( 20) is capable of photographing each visitor, and the front camera unit 10 generates a first image of the visitor (or the face of the visitor) taken from the front and transmits it to the access management server 100, and the first 1 The auxiliary camera unit 20 may generate a second image that captures the visitor (face of the visitor) diagonally (diagonally) and transmit it to the access management server 100.

또한, 상기 출입 관리 서버(100)는, 상기 정면 카메라부(10)로부터 수신된 출입자에 대한 상기 제 1 영상에서 상기 영상 분석 알고리즘을 통해 상기 출입자의 얼굴(얼굴 영역)에 대한 특징점을 추출하여 생성한 특징점 정보를 포함하는 제 1 인식 정보를 생성할 수 있고, 상기 제 1 보조 카메라부(20)로부터 수신된 출입자에 대한 제 2 영상에서 상기 영상 분석 알고리즘을 통해 상기 출입자의 얼굴(얼굴 영역)에 대한 특징점을 추출하여 생성한 특징점 정보를 포함하는 제 2 인식 정보를 생성할 수 있다(S3).In addition, the access management server 100 extracts and generates feature points for the visitor's face (face area) from the first image of the visitor received from the front camera unit 10 through the image analysis algorithm. First recognition information including one feature point information can be generated, and the second image of the visitor received from the first auxiliary camera unit 20 can be used to identify the visitor's face (face area) through the image analysis algorithm. Second recognition information including feature point information generated by extracting feature points for the feature can be generated (S3).

이때, 본 발명에서 설명하는 영상 분석 알고리즘은 상기 제어부(130)에 미리 설정될 수 있으며, 이러한 영상 분석 알고리즘의 일례로, SIFT(Scale Invariant Feature Transform), HOG(Histogram of Oriented Gradient), Haar feature, Ferns, LBP(Local Binary Pattern), MCT(Modified Census Transform), 칼만 필터 (Kalman filter), 객체 인식(object detection), 세그멘테이션(segmentation), 스켈레톤(skeleton) 분석 등과 같은 다양한 영상 분석 알고리즘이 적용될 수 있으며, 이외에도 딥러닝(Deep learning) 기반의 영상 분석 알고리즘이 적용될 수도 있다.At this time, the image analysis algorithm described in the present invention may be preset in the control unit 130, and examples of such image analysis algorithms include Scale Invariant Feature Transform (SIFT), Histogram of Oriented Gradient (HOG), Haar feature, Various image analysis algorithms such as Ferns, LBP (Local Binary Pattern), MCT (Modified Census Transform), Kalman filter, object detection, segmentation, skeleton analysis, etc. can be applied. , In addition, a deep learning-based image analysis algorithm may be applied.

또한, 상기 출입 관리 서버(100)는, 상기 출입자에 대응하는 제 1 인식 정보 또는 상기 출입자에 대응하는 제 2 인식 정보를 기초로 상기 등록자 DB를 검색하여, 상기 제 1 인식 정보 또는 제 2 인식 정보와 대응하는(매칭되는) 인증 정보가 존재하면 상기 출입자가 상기 등록자 DB에 등록된 등록자인 것으로 판단하고, 상기 출입문을 개방 또는 폐쇄시키는 개폐 장치(40)(또는 정면 카메라부(10))로 상기 출입문을 개방시키기 위한 제어 정보를 전송할 수 있다.In addition, the access management server 100 searches the registrant DB based on the first recognition information corresponding to the visitor or the second recognition information corresponding to the visitor, and retrieves the first recognition information or the second recognition information. If there is authentication information corresponding to (matching), it is determined that the visitor is a registrant registered in the registrant DB, and the opening and closing device 40 (or the front camera unit 10) for opening or closing the door is used. Control information for opening the door can be transmitted.

이때, 상기 출입 관리 서버(100)는, 상기 제 1 인식 정보와 동일하거나 미리 설정된 기준치 이상 유사한 제 1 등록 정보를 포함하거나 상기 제 2 인식 정보와 동일하거나 미리 설정된 기준치 이상 유사한 제 2 등록 정보를 포함하는 인증 정보를 상기 제 1 인식 정보 또는 제 2 인식 정보와 대응하는(매칭되는) 인증 정보로 판단할 수 있다.At this time, the access control server 100 includes first registration information that is the same as the first recognition information or is similar to the preset reference value or more, or includes second registration information that is the same as the second recognition information or is similar to the preset reference value or more. The authentication information may be determined to be authentication information that corresponds to (matches) the first recognition information or the second recognition information.

또한, 상기 출입 관리 서버(100)는, 상기 제 1 인식 정보와 동일하거나 미리 설정된 기준치 이상 유사한 제 1 등록 정보를 상기 제 1 인식 정보와 대응하는 것으로 판단하고, 상기 제 2 인식 정보와 동일하거나 미리 설정된 기준치 이상 유사한 제 2 등록 정보를 상기 제 2 인식 정보와 대응하는 것으로 판단할 수 있으며, 상기 제 1 인식 정보와 대응하는 제 1 등록 정보가 포함된 인증 정보 또는 상기 제 2 인식 정보와 대응하는 제 2 등록 정보가 포함된 인증 정보를 상기 제 1 인식 정보 또는 제 2 인식 정보와 대응하는 인증 정보로 판단할 수 있다.In addition, the access management server 100 determines that the first registration information that is the same as the first recognition information or is similar to the first recognition information by more than a preset standard value corresponds to the first recognition information, and determines that the first registration information is the same as the first recognition information or is similar to the first recognition information in advance. Second registration information similar to a set standard or more may be determined to correspond to the second recognition information, and authentication information containing the first registration information corresponding to the first recognition information or a second registration information corresponding to the second recognition information may be determined to correspond to the second recognition information. 2 Authentication information including registration information may be determined to be authentication information corresponding to the first recognition information or the second recognition information.

이에 따라, 상기 개폐 장치(40)는, 상기 제어 정보를 기초로 상기 출입문을 개방할 수 있다.Accordingly, the opening and closing device 40 can open the door based on the control information.

상술한 구성에서, 상기 출입 관리 서버(100)는, 상기 건물에 대한 보안을 강화하기 위해, 상기 출입자에 대해 생성한 상기 제 1 인식 정보 또는 제 2 인식 정보에 대응하는 인증 정보가 존재하는지 여부에 대한 1차 인증 수행 후 상기 제 1 인식 정보 또는 제 2 인식 정보에 대응하는 인증 정보가 상기 등록자 DB에 존재하여 상기 1차 인증에 성공한 상태에서 상기 정면 카메라부(10) 또는 제 1 보조 카메라부(20)로부터 수신된 제 2 영상을 기초로 미리 설정된 제스처(Gesture)(또는 동작 패턴)가 인식되면 상기 출입문 개방을 위한 제어 정보를 상기 개폐 장치(40)로 전송할 수도 있다.In the above-described configuration, the access management server 100 determines whether authentication information corresponding to the first recognition information or the second recognition information generated for the visitor exists in order to strengthen security for the building. After performing the first authentication, authentication information corresponding to the first recognition information or the second recognition information exists in the registrant DB and the first authentication is successful, and the front camera unit 10 or the first auxiliary camera unit ( If a preset gesture (or movement pattern) is recognized based on the second image received from 20), control information for opening the door may be transmitted to the opening and closing device 40.

한편, 상기 건물 내로 무단 출입하려는 출입자가 상기 정면 카메라부(10)의 촬영을 회피하는 상황에서도 상기 제 1 보조 카메라부(20)를 통해 상기 출입자를 촬영하여 상기 제 2 영상을 상기 출입 관리 서버(100)에 전송할 수 있다.Meanwhile, even in a situation where a person attempting to enter the building without permission avoids being photographed by the front camera unit 10, the visitor is photographed through the first auxiliary camera unit 20 and the second image is sent to the access management server ( 100).

이에 따라, 상기 출입 관리 서버(100)는, 상기 제 1 보조 카메라부(20)로부터 상기 제 2 영상 수신시 상기 제 2 영상을 기초로 제 2 인식 정보를 생성하고, 상기 제 2 인식 정보를 기초로 상기 등록자 DB를 검색하여, 상기 등록자 DB에 상기 제 2 인식 정보와(제 2 인식 정보에) 대응하는(매칭되는) 인증 정보가 존재하는지(검색되는지) 판단할 수 있다(S4).Accordingly, the access control server 100 generates second recognition information based on the second image when receiving the second image from the first auxiliary camera unit 20, and generates second recognition information based on the second recognition information. By searching the registrant DB, it can be determined whether authentication information corresponding to (matching) the second recognition information (and the second recognition information) exists (is searched) in the registrant DB (S4).

이때, 상기 출입 관리 서버(100)는, 상기 제 2 영상을 기초로 생성한 제 2 인식 정보와 특정 인증 정보에 포함된 제 2 등록 정보가 상호 동일하거나 미리 설정된 기준치 이상 유사한 경우 상기 제 2 영상을 기초로 생성한 제 2 인식 정보와 상기 특정 인증 정보가 상호 대응하는(매칭되는) 것으로 판단할 수 있다.At this time, the access management server 100 displays the second image when the second recognition information generated based on the second image and the second registration information included in the specific authentication information are identical or similar to each other by more than a preset standard value. It may be determined that the second recognition information generated as a basis and the specific authentication information correspond to (match) each other.

또한, 상기 출입 관리 서버(100)는, 상기 제 2 인식 정보와 대응하는 인증 정보가 상기 등록자 DB에 존재하지 않으면(상기 등록자 DB에서 검색되지 않으면)(S5), 상기 제 2 인식 정보에 대응하는 출입자가 출입 권한이 없는 것으로 판단하고 상기 출입자를 추적 대상자로 설정하여 추적할 수 있다(S6).In addition, if the authentication information corresponding to the second recognition information does not exist in the registrant DB (if it is not searched in the registrant DB) (S5), the access management server 100 provides authentication information corresponding to the second recognition information. It is determined that the visitor does not have access permission, and the visitor can be set as a tracking target and tracked (S6).

또한, 상기 출입 관리 서버(100)는, 상기 제 2 인식 정보가 생성된 생성 시점을 기준으로 미리 설정된 시간 범위 내에 제 1 인식 정보가 생성되지 않고 상기 제 2 인식 정보와 대응하는 인증 정보가 상기 등록자 DB에 존재하지 않으면(상기 등록자 DB에서 검색되지 않으면), 상기 출입자가 출입 권한이 없는 것으로 판단하고 상기 출입자를 추적 대상자로 설정하여 추적할 수 있다.In addition, the access control server 100 is configured to prevent the first recognition information from being generated within a preset time range based on the generation time at which the second recognition information is generated and the authentication information corresponding to the second recognition information to be transmitted to the registrant. If it does not exist in the DB (if it is not searched in the registrant DB), it is determined that the visitor does not have access permission, and the visitor can be set as a tracking target and tracked.

이때, 상기 시간 범위는 상기 생성 시점을 기준으로 생성 시점 이전의 미리 미리 설정된 제 1 시간 범위와 상기 생성 시점 이후의 미리 설정된 제 2 시간 범위를 포함할 수 있다.At this time, the time range may include a first preset time range before the creation time and a second preset time range after the creation time based on the creation time.

또한, 상기 출입 관리 서버(100)는, 상기 정면 카메라부(10)를 통해 출입자가 촬영되어 상기 정면 카메라부(10)로부터 수신된 제 1 영상을 기초로 상기 출입자에 대해 생성한 제 1 인식 정보와 동일하거나 미리 설정된 기준치 이상 유사한 제 1 등록 정보가 포함된 인증 정보가 상기 등록자 DB에서 확인된 경우에도, 상기 출입자에 대해 상기 제 1 보조 카메라부(20)를 통해 촬영된 제 2 영상을 기초로 생성한 제 2 인식 정보와 동일하거나 미리 설정된 기준치 이상 유사한 제 2 등록 정보가 포함된 인증 정보가 상기 등록자 DB에 존재하지 않는 경우(제 2 인식 정보에 대응하는 제 2 등록 정보가 포함된 인증 정보가 상기 등록자 DB에 존재하지 않는 경우) 상기 출입자를 추적 대상자로 설정할 수 있다.In addition, the access management server 100 captures the visitor through the front camera unit 10 and generates first recognition information for the visitor based on the first image received from the front camera unit 10. Even if authentication information including first registration information that is the same as or similar to a preset standard or more is confirmed in the registrant DB, based on the second image captured through the first auxiliary camera unit 20 for the visitor, If authentication information containing second registration information that is identical to the generated second recognition information or is similar to the preset standard or more does not exist in the registrant DB (authentication information containing second registration information corresponding to the second recognition information) does not exist in the registrant DB (If the registrant does not exist in the DB), the visitor can be set as a person to be tracked.

또한, 상기 출입 관리 서버(100)는, 상기 추적 대상자에 대해 고유 식별자를 생성하여 상기 추적 대상자에 대해 태깅(설정)하고 상기 고유 식별자 및 상기 제 2 인식 정보를 포함하는 태그(tag) 정보(또는 태깅(tagging) 정보)를 상기 추적 대상자에 대응하도록 생성할 수 있으며, 상기 태그 정보를 상기 출입 내역 DB에 저장할 수 있다.In addition, the access management server 100 generates a unique identifier for the person to be tracked, tags (sets) the person to be tracked, and tags information (or tag) including the unique identifier and the second recognition information. Tagging information) can be created to correspond to the person to be tracked, and the tag information can be stored in the access history DB.

또한, 상기 출입 관리 서버(100)는, 상기 제 1 영상 또는 제 2 영상을 기초로 영상 분석 알고리즘을 통해 분석하여 상기 추적 대상자가 확인되면, 상기 추적 대상자가 건물 내로 진입하는 것으로 판단하고, 상기 추적 대상자에 대해 진입 시점을 포함하는 진입 정보를 생성한 후 상기 태그 정보와 매칭하여 상기 출입 내역 DB에 저장할 수 있다(S6).In addition, the access management server 100 analyzes the first image or the second image through an image analysis algorithm and, when the tracked person is confirmed, determines that the tracked person enters the building, and performs the tracking. After generating entry information including the entry point for the subject, it can be matched with the tag information and stored in the access history DB (S6).

이때, 상기 진입 시점은, 상기 제 1 영상 또는 제 2 영상을 통해 상기 추적 대상자가 설정된(확인된) 시점일 수 있다.At this time, the entry point may be the point in time when the person to be tracked is set (confirmed) through the first or second image.

또는, 상기 개폐 장치(40)는, 상기 출입문의 개방시마다 개방 상태 정보를 상기 출입 관리 서버(100)에 전송할 수 있으며, 상기 출입 관리 서버(100)는, 상기 제 1 영상 또는 제 2 영상을 기초로 추적 대상자가 설정된(확인된) 시점부터 미리 설정된 설정 시간 이내에 상기 개폐 장치(40)로부터 상기 개방 상태 정보를 수신하면, 상기 추적 대상자가 건물 내로 진입한 것으로 판단하여 상기 추적 대상자에 대응하는 진입 정보를 생성할 수도 있다.Alternatively, the opening and closing device 40 may transmit open status information to the access management server 100 every time the door is opened, and the access management server 100 may transmit information on the opening status to the access management server 100 based on the first image or the second image. If the open state information is received from the opening/closing device 40 within a preset time from the time the tracking target is set (confirmed), it is determined that the tracking target has entered the building, and entry information corresponding to the tracking target is provided. You can also create .

이때, 상기 출입 관리 서버(100)는, 상기 제 2 영상을 기초로 추적 대상자를 확인한 시점 이후 가장 최근에 수신된 개방 상태 정보를 상기 추적 대상자에 대응하는 상기 개방 상태 정보로 확인하고, 상기 확인된 개방 상태 정보의 수신 시점을 상기 진입 시점으로 설정할 수도 있다.At this time, the access management server 100 verifies the most recently received open status information after the time when the tracking target is confirmed based on the second image as the open status information corresponding to the tracking target, and confirms the opened status information corresponding to the tracking target. The reception point of open state information may be set to the entry point.

또한, 상기 출입 관리 서버(100)는, 상기 제 2 보조 카메라부(30)로부터 수신된 제 3 영상을 기초로 상기 출입문을 통해 건물 외부로 진출하는 출입자를 검출할 수 있다.In addition, the access management server 100 may detect a person entering the outside of the building through the door based on the third image received from the second auxiliary camera unit 30.

일례로, 상기 출입 관리 서버(100)는, 상기 제 3 영상에서 출입자의 얼굴 영역을 검출하고, 상기 얼굴 영역에서 특징점을 추출하여 특징점 정보를 생성한 후 상기 특징점 정보를 포함하는 제 3 인식 정보를 생성할 수 있다.For example, the access management server 100 detects the face area of the visitor in the third image, extracts feature points from the face area, generates feature point information, and then generates third recognition information including the feature point information. can be created.

또한, 상기 출입 관리 서버(100)는, 상기 제 3 인식 정보를 기초로 상기 출입 내역 DB를 검색하여, 상기 제 3 인식 정보와 대응하는 태그 정보가 존재하는지 여부를 판단할 수 있다.Additionally, the access management server 100 may search the access history DB based on the third recognition information and determine whether tag information corresponding to the third recognition information exists.

이때, 상기 출입 관리 서버(100)는, 상기 제 3 인식 정보와 동일하거나 미리 설정된 기준치 이상 유사한 제 2 인식 정보가 포함된 특정 태그 정보가 상기 출입 내역 DB에 존재하면 상기 특정 태그 정보를 상기 제 3 인식 정보와 대응하는 태그 정보로 식별(판단 또는 검출)할 수 있으며, 상기 특정 태그 정보에 대응하는 추적 대상 자를 상기 제 3 인식 정보에 대응하는 추적 대상자로 식별할 수 있다.At this time, if specific tag information including second recognition information that is the same as the third recognition information or is similar to the third recognition information by more than a preset standard exists in the access history DB, the access management server 100 sends the specific tag information to the third recognition information. It is possible to identify (determine or detect) the tag information corresponding to the recognition information, and the tracked person corresponding to the specific tag information can be identified as the tracked person corresponding to the third recognition information.

이때, 상기 제 1 보조 카메라부(20) 및 제 2 보조 카메라부(30)는 상기 카메라부의 상단에서 상호 동일한 높이를 가지면서 상호 반대 방향으로 상호 동일한 촬영 자세(일례로, 상호 동일한 PTZ(PAN/TILT/ZOOM)값)를 가지도록 배치될 수 있다.At this time, the first auxiliary camera unit 20 and the second auxiliary camera unit 30 have the same height from the top of the camera unit and are in the same shooting posture in opposite directions (for example, the same PTZ (PAN/ It can be arranged to have a TILT/ZOOM value).

이에 따라, 상기 제 1 보조 카메라부(20)에 의해 촬영된 상기 건물 내부로 진입하는 특정 출입자와 상기 제 2 보조 카메라부(30)에 의해 촬영된 상기 건물 내부에서 외부로 진출하는 특정 출입자가 상호 동일한 사람인 경우 상기 특정 출입자에 대해 상기 제 1 보조 카메라부(20)에서 촬영된 영상에 나타난 특정 출입자의 얼굴로부터 추출된 특징점과 상기 제 2 보조 카메라부(30)에서 촬영된 영상에 나타난 특정 출입자의 얼굴로부터 추출된 특징점은 상호 동일하거나 미리 설정된 기준치 이상 유사하다.Accordingly, a specific visitor entering the inside of the building captured by the first auxiliary camera unit 20 and a specific visitor entering the outside of the building captured by the second auxiliary camera unit 30 are mutually In the case of the same person, the feature points extracted from the face of the specific visitor appearing in the image captured by the first auxiliary camera unit 20 and the specific visitor appearing in the image captured by the second auxiliary camera unit 30 for the specific visitor Feature points extracted from the face are identical or similar to each other by more than a preset standard value.

또한, 상기 출입 관리 서버(100)는, 상기 제 3 영상을 기초로 생성한 상기 제 3 인식 정보에 대응하는 추적 대상자가 확인된 경우 상기 추적 대상자가 상기 건물 내부에서 출입문을 통과하여 건물 외부로 진출하는 것으로 판단하고, 상기 추적 대상자에 대해 진출 시점을 포함하는 진출 정보를 생성한 후 상기 추적 대상자에 대응하는 특정 태그 정보와 매칭하여 상기 출입 내역 DB에 저장할 수 있다.In addition, the access management server 100, when a person to be tracked corresponding to the third recognition information generated based on the third image is confirmed, allows the person to be tracked to pass through the door from inside the building and advance to the outside of the building. It is determined that this is the case, and after generating entry information including the time of entry for the person to be tracked, it can be matched with specific tag information corresponding to the person to be tracked and stored in the access history DB.

이때, 상기 진출 시점은, 상기 제 3 영상을 통해 상기 추적 대상자가 확인된 시점일 수 있다.At this time, the advance time may be the time when the person to be tracked is confirmed through the third image.

또는, 상기 개폐 장치(40)는, 상기 출입문의 개방시마다 개방 상태 정보를 상기 출입 관리 서버(100)에 전송할 수 있으며, 상기 출입 관리 서버(100)는, 상기 제 3 영상을 기초로 상기 추적 대상자가 확인된 시점부터 미리 설정된 설정 시간 이내에 상기 개폐 장치(40)로부터 상기 개방 상태 정보를 수신하면, 상기 추적 대상자가 건물 내부로부터 출입문을 통과하여 건물 외부로 진출하는 것으로 판단하여 상기 추적 대상자에 대응하는 진출 정보를 생성할 수도 있다.Alternatively, the opening and closing device 40 may transmit open state information to the access management server 100 every time the door is opened, and the access management server 100 may determine the tracking target based on the third image. When the open state information is received from the opening/closing device 40 within a preset time from the time it is confirmed, it is determined that the person to be tracked passes through the door from inside the building and advances to the outside of the building, and a device corresponding to the person to be tracked is determined. Advance information can also be created.

이때, 상기 출입 관리 서버(100)는, 상기 제 3 영상을 기초로 추적 대상자를 확인한 시점 이후 가장 최근에 수신된 개방 상태 정보를 상기 추적 대상자에 대응하는 상기 개방 상태 정보로 확인하고, 상기 확인된 개방 상태 정보의 수신 시점을 상기 진출 시점으로 설정할 수도 있다.At this time, the access management server 100 confirms the most recently received open state information after the time when the tracking target is confirmed based on the third image as the open status information corresponding to the tracking target, and the confirmed The reception time of the open status information may be set to the advance time.

또한, 상기 출입 관리 서버(100)는, 상기 진입 정보에 따른 진입 시점을 기준으로 미리 설정된 기준 시간 내에(미리 설정된 기준 시간이 경과되기 전에) 상기 추적 대상자에 대한 진출 정보가 생성되지 않는 경우 상기 추적 대상자를 비정상 출입자로 판단하면서 상기 건물의 보안이 위협되는 상황이 발생한 것으로 판단하여 알림 정보(또는 알람(alarm) 정보)를 생성할 수 있다(S7, S8).In addition, the access management server 100, if entry information for the person to be tracked is not generated within a preset reference time (before the preset reference time elapses) based on the entry point according to the entry information, the tracking While determining that the subject is an abnormal visitor, it is determined that a situation threatening the security of the building has occurred, and notification information (or alarm information) can be generated (S7, S8).

또한, 상기 출입 관리 서버(100)는, 상기 비정상 출입자의 발생에 대한 상기 알림 정보를 상기 하나 이상의 등록자 단말 또는 미리 설정된 관리자 단말에 전송할 수 있다(S9).Additionally, the access management server 100 may transmit the notification information regarding the occurrence of the abnormal visitor to the one or more registrant terminals or a preset administrator terminal (S9).

이때, 상기 출입 관리 서버(100)는, 상기 등록자 DB에 저장된 인증 정보를 기초로 상기 등록자 단말을 하나 이상 식별하고, 상기 하나 이상의 등록자 단말에 상기 알림 정보를 전송할 수 있다.At this time, the access management server 100 may identify one or more registrant terminals based on authentication information stored in the registrant DB and transmit the notification information to the one or more registrant terminals.

또한, 상기 출입 관리 서버(100)는, 상기 알림 정보를 수신한 하나 이상의 등록자 단말 중 어느 하나 또는 상기 관리자 단말로부터 상기 알림 정보에 따른 보안 위협 상황의 해제 요청에 대한 응답 정보 수신시 상기 알림 정보의 전송을 중단하고, 상기 알림 정보에 대응하는 보안 위협 상황의 해제에 대한 해제 정보를 상기 하나 이상의 등록자 단말 또는 관리자 단말에 전송할 수 있다.In addition, the access management server 100, upon receiving response information to a request for release of a security threat situation according to the notification information from any one of one or more registrant terminals that received the notification information or the administrator terminal, sends the notification information to the access control server 100. Transmission may be stopped, and release information on the release of the security threat situation corresponding to the notification information may be transmitted to the one or more registrant terminals or administrator terminals.

즉, 상기 출입 관리 서버(100)는, 특정 등록자나 관리자로부터 상기 알림 정보에 대응하는 추적 대상자가 출입 권한이 있는 출입자인 것으로 상기 응답 정보를 기초로 확인된 경우 알림 정보에 따른 보안 위협 상황을 해제할 수 있다.That is, the access management server 100 releases the security threat situation according to the notification information when it is confirmed based on the response information that the person to be tracked corresponding to the notification information from a specific registrant or administrator is an visitor with access authority. can do.

또한, 상기 출입 관리 서버(100)는, 상기 제 1 보조 카메라부(20)로부터 수신된 영상(제 2 영상)에 대한 영상 분석을 통해 특정 출입자에 대한 제 2 인식 정보 생성시 상기 출입 내역 DB를 검색하여, 상기 출입 내역 DB에 상기 제 2 인식 정보와 동일하거나 미리 설정된 기준치 이상 유사한 제 2 인식 정보를 포함하는 기존 태그 정보가 존재하면, 상기 기존 태그 정보에 대응하는 기존 추적 대상자와 상기 특정 출입자가 동일 인물인 것으로 식별하고, 상기 제 1 보조 카메라부(20)의 영상을 기초로 상기 특정 출입자의 건물 내부 진입이 확인되면 진입 정보를 생성한 후 기 저장된 상태의 상기 기존 태그 정보와 매칭하여 진입 정보를 상기 출입 내역 DB에 저장 및 기록할 수 있다.In addition, the access management server 100 uses the access history DB when generating second recognition information for a specific visitor through image analysis of the video (second video) received from the first auxiliary camera unit 20. By searching, if there is existing tag information in the access history DB including second recognition information that is the same as the second recognition information or is similar to the second recognition information by more than a preset standard, the existing tracker and the specific visitor corresponding to the existing tag information are identified. When it is identified as the same person and the entry into the building of the specific person is confirmed based on the image of the first auxiliary camera unit 20, entry information is generated and then matched with the existing tag information in a pre-stored state to generate entry information. Can be stored and recorded in the access history DB.

또한, 상기 출입 관리 서버(100)는, 상기 제 1 보조 카메라부(20)로부터 수신된 영상(제 2 영상) 또는 상기 제 2 보조 카메라부(30)로부터 수신된 영상(제 3 영상)과 기 저장된 하나 이상의 기존 태그 정보를 이용하여 상기 기존 추적 대상자와 동일한 출입자가 검출될 때마다 상기 동일한 출입자의 진입 정보 또는 진출 정보를 상기 기존 태그 정보와 매칭하여 저장하며, 상기 기존 태그 정보와 매칭되는 진입 정보가 미리 설정된 기준 횟수(또는 개수) 이상 확인된 경우 상기 복수의 등록자 단말 또는 미리 설정된 관리자 단말에 경고 정보(또는 이벤트 발생 정보)를 전송할 수 있다.In addition, the access control server 100 is configured to display an image (second image) received from the first auxiliary camera unit 20 or an image (third image) received from the second auxiliary camera unit 30. Whenever the same visitor as the existing tracker is detected using one or more stored existing tag information, the entry information or exit information of the same visitor is matched with the existing tag information and stored, and the entry information matching the existing tag information is stored. If confirmed more than a preset standard number (or number), warning information (or event occurrence information) may be transmitted to the plurality of registrant terminals or a preset administrator terminal.

상술한 구성에서, 상기 출입 관리 서버(100)는, 상기 정면 카메라부(10)로부터 수신된 영상, 상기 제 1 보조 카메라부(20)로부터 수신된 영상 및 상기 제 2 보조 카메라부(30)로부터 수신된 영상을 상기 영상 DB에 저장할 수 있다.In the above-described configuration, the access management server 100 receives the image from the front camera unit 10, the image received from the first auxiliary camera unit 20, and the second auxiliary camera unit 30. The received video can be stored in the video DB.

이에 따라, 상기 출입 관리 서버(100)는, 상기 진입 정보가 미리 설정된 기준 횟수 이상 확인된 태그 정보(기존 태그 정보)에 대응하는 출입자를 비정상 출입자로 확인하고, 상기 출입 내역 DB에서 상기 비정상 출입자에 대응하는 태그 정보와 매칭된 가장 최근의 진입 정보에 따른 진입 시점을 확인하며, 상기 영상 DB에 저장된 하나 이상의 영상 중에서 상기 확인된 진입 시점에 대응하는 영상을 추출한 후 상기 경고 정보에 포함시켜, 상기 하나 이상의 등록자 단말 또는 관리자 단말에 전송할 수 있다.Accordingly, the access management server 100 identifies the visitor whose entry information corresponds to tag information (existing tag information) confirmed more than a preset standard number of times as an abnormal visitor, and identifies the abnormal visitor in the access history DB. The entry point according to the most recent entry information matched with the corresponding tag information is confirmed, the image corresponding to the confirmed entry point is extracted from one or more images stored in the video DB, and then included in the warning information, and the one It can be transmitted to one or more registrant terminals or administrator terminals.

이때, 상기 진입 시점을 기초로 추출된 영상은 이미지 또는 이미지 프레임(frame)일 수도 있다.At this time, the video extracted based on the entry point may be an image or an image frame.

또한, 상기 출입 관리 서버(100)는, 등록자 단말로부터 출입 권한이 있는 방문자를 등록하기 위한 등록 요청 정보를 수신할 수 있으며, 상기 등록 요청 정보의 수신 시점에 상기 정면 카메라부(10)를 통해 수신된 영상을 기초로 상기 방문자에 대한 제 1 인식 정보 및 상기 제 1 보조 카메라부(20)를 통해 수신되는 영상을 기초로 상기 방문자에 대한 제 2 인식 정보를 생성한 후 상기 제 1 인식 정보 및 제 2 인식 정보를 상호 매칭된 상태로 포함하는 방문자 정보를 생성할 수 있다.In addition, the access management server 100 may receive registration request information for registering a visitor with access permission from the registrant terminal, and receives the registration request information through the front camera unit 10 at the time of receiving the registration request information. After generating first recognition information about the visitor based on the image received and second recognition information about the visitor based on the image received through the first auxiliary camera unit 20, the first recognition information and the first recognition information are generated. 2 Visitor information containing recognition information in a mutually matched state can be created.

또한, 상기 출입 관리 서버(100)는, 상기 방문자 정보 및 상기 등록 요청 정보를 전송한 등록자 단말에 대응하는 등록자의 등록자 식별 정보를 포함하는 인증 정보를 생성하여 상기 등록자 DB에 저장할 수 있다.Additionally, the access management server 100 may generate authentication information including registrant identification information of the registrant corresponding to the registrant terminal that transmitted the visitor information and the registration request information and store it in the registrant DB.

이에 따라, 상기 출입 관리 서버(100)는, 상기 출입 내역 DB에 저장된 하나 이상의 태그 정보 중 상기 방문자 정보에 포함된 제 2 인식 정보와 일치하는 제 2 인식 정보가 포함된 특정 태그 정보가 존재하면, 상기 특정 태그 정보에 대응하는 추적 대상자가 등록자에 의해 인증된 방문자임을 확인하고, 상기 특정 태그 정보에 대응하는 상기 인증된 방문자에 대해서는 상술한 바와 같은 경고 정보를 발생시키지 않을 수 있다.Accordingly, the access management server 100, if there is specific tag information including second recognition information that matches the second recognition information included in the visitor information among one or more tag information stored in the access history DB, It may be confirmed that the person to be tracked corresponding to the specific tag information is a visitor authenticated by the registrant, and the warning information as described above may not be generated for the authenticated visitor corresponding to the specific tag information.

한편, 상기 출입 관리 서버(100)는, 상기 진입 정보 생성시 상기 진입 정보에 대응하는 추적 대상자에 대해 생성한 제 2 인식 정보를 상기 진입 정보에 포함시킬 수 있으며, 상기 진출 정보 생성시 상기 진출 정보에 대응하는 추적 대상자에 대해 생성한 제 3 인식 정보를 상기 진출 정보에 포함시킬 수 있다.Meanwhile, the access management server 100 may include in the entry information the second recognition information generated for the person to be tracked corresponding to the entry information when generating the entry information, and when generating the entry information, the entry information Third recognition information generated for the tracking target corresponding to may be included in the advance information.

또한, 상기 출입 관리 서버(100)는, 상기 출입 내역 DB에서 서로 다른 복수의 태그 정보 각각에 대해 태그 정보(또는 특정 태그 정보)에 매칭된 하나 이상의 진입 정보 또는 하나 이상의 진출 정보를 기초로 상기 태그 정보(또는 특정 태그 정보)에 포함된 고유 식별자와 상기 진입 정보를 상호 매칭한 학습 데이터를 생성하거나 상기 고유 식별자와 상기 진출 정보를 상호 매칭한 학습 데이터를 생성할 수 있으며, 해당 학습 데이터를 학습 DB에 저장할 수 있다.In addition, the access management server 100 tags the tag based on one or more entry information or one or more exit information matched to tag information (or specific tag information) for each of a plurality of different tag information in the access history DB. Learning data can be generated by matching the unique identifier included in information (or specific tag information) with the entry information, or learning data can be generated by matching the unique identifier with the entry information, and the corresponding learning data can be stored in a learning DB. It can be saved in .

또한, 상기 출입 관리 서버(100)는, 상기 학습 데이터를 학습하는 학습 모델을 포함하여 구성될 수 있으며, 상기 학습 모델은 상기 제어부(130)에 포함되어 구성될 수도 있다.Additionally, the access control server 100 may be configured to include a learning model that learns the learning data, and the learning model may be included in the control unit 130.

이때, 상기 학습 모델은 딥러닝(Deep Learning) 알고리즘으로 구성될 수 있으며, 상기 딥러닝 알고리즘은 하나 이상의 신경망 모델로 구성될 수 있다.At this time, the learning model may be composed of a deep learning algorithm, and the deep learning algorithm may be composed of one or more neural network models.

또한, 본 발명에서 설명하는 신경망 모델(또는 신경망)은 입력층(Input Layer), 하나 이상의 은닉층(Hidden Layers) 및 출력층(Output Layer)으로 구성될 수 있으며, 상기 신경망 모델에는 DNN(Deep Neural Network), RNN(Recurrent Neural Network), CNN(Convolutional Neural Network), 생성 모델(Generative Model) 등과 같은 다양한 종류의 신경망이 적용될 수 있다.In addition, the neural network model (or neural network) described in the present invention may be composed of an input layer, one or more hidden layers, and an output layer, and the neural network model includes a deep neural network (DNN). , various types of neural networks such as RNN (Recurrent Neural Network), CNN (Convolutional Neural Network), Generative Model, etc. can be applied.

상술한 구성에 따라, 상기 출입 관리 서버(100)는, 상기 학습 모델에 상기 학습 DB에 저장된 복수의 학습 데이터를 학습시킬 수 있으며, 이를 통해 추적 대상자로 설정된 이력이 있는 하나 이상의 출입자 각각에 대해 시간별 얼굴 특징점(또는 시간별 얼굴의 특징점 또는 시간별 얼굴 특징점의 패턴)을 상기 학습 모델에 학습시킬 수 있다.According to the above-described configuration, the access control server 100 can train the learning model with a plurality of learning data stored in the learning DB, and through this, each of the one or more visitors who have a history of being set as a subject to be tracked can be tracked by time. Facial feature points (or facial feature points by time or patterns of facial feature points by time) can be trained in the learning model.

즉, 상기 학습 모델은 진입 정보 또는 진출 정보와 고유 식별자 사이의 상관 관계가 학습될 수 있다.That is, the learning model may learn the correlation between entry information or exit information and a unique identifier.

이를 통해, 상기 출입 관리 서버(100)는, 상기 제 1 보조 카메라부(20)로부터 수신된 제 2 영상을 기초로 제 2 인식 정보 및 진입 시점을 포함하는 진입 정보를 생성하면, 상기 진입 정보를 상기 학습 모델에 입력으로 적용하여 상기 진입 정보에 대응하는 고유 식별자를 상기 학습 모델을 통해 출력으로 산출하여, 상기 진입 정보에 대응하는 추적 대상자를 출입 내역 DB에 대한 검색 없이 즉시 정확하게 식별(검출)할 수 있다.Through this, when the access management server 100 generates entry information including second recognition information and an entry point based on the second image received from the first auxiliary camera unit 20, the entry information is By applying it as an input to the learning model, a unique identifier corresponding to the entry information is calculated as an output through the learning model, and the tracked person corresponding to the entry information can be immediately and accurately identified (detected) without searching the entry history DB. You can.

이때, 진입 정보에 포함되는 진입 시점은, 상기 진입 정보의 생성에 이용된 제 2 영상에 대한 상기 제 1 보조 카메라부(20)의 촬영 시점일 수도 있다.At this time, the entry time included in the entry information may be the shooting time of the first auxiliary camera unit 20 for the second image used to generate the entry information.

또한, 상기 출입 관리 서버(100)는, 상기 제 2 보조 카메라부(30)로부터 수신된 영상(제 3 영상)을 기초로 제 3 인식 정보 및 진출 시점을 포함하는 진출 정보를 생성하고, 상기 진출 정보를 상기 학습 모델에 입력으로 적용하여 상기 진출 정보에 대응하는 고유 식별자를 상기 학습 모델을 통해 출력으로 산출할 수 있으며, 상기 진출 정보에 대응하는 추적 대상자를 출입 내역 DB에 대한 검색 없이 즉시 정확하게 식별(검출)할 수 있다.In addition, the access management server 100 generates advance information including third recognition information and an advance time based on the image (third image) received from the second auxiliary camera unit 30, and By applying the information as input to the learning model, a unique identifier corresponding to the entry information can be calculated as an output through the learning model, and the tracked person corresponding to the entry information can be immediately and accurately identified without searching the entry/exit history DB. (detection) can be done.

또한, 상기 출입 관리 서버(100)는, 상기 학습 모델을 통해 상기 진입 정보 또는 진출 정보에 대응하도록 산출된 고유 식별자에 대응하는 태그 정보를 상기 출입 내역 DB에서 식별하고, 상기 식별된 태그 정보와 매칭하여 상기 학습 모델의 입력으로 사용된 진입 정보 또는 진출 정보를 상기 출입 내역 DB에 저장할 수 있다.In addition, the access management server 100 identifies tag information corresponding to a unique identifier calculated to correspond to the entry information or exit information through the learning model in the access history DB, and matches it with the identified tag information. Thus, the entry information or exit information used as input to the learning model can be stored in the entry/exit history DB.

상술한 구성을 통해, 본 발명은 건물 내부로 출입문을 통해 진입하려는 출입자에 대해 출입문의 일측에 구성되어 정면을 촬영하는 정면 카메라부(10)와 출입문의 상단에 구성되어 사선 방향으로 촬영하는 보조 카메라부를 통해 정면과 사선 방향으로 촬영하여 획득된 영상을 기초로 정면 얼굴 인식 없이 출입문이 일시적으로 개방된 상태를 이용하여 건물 내로 무단 출입하려는 출입자를 추적 대상자로 용이하게 구분하여 추적할 수 있음과 아울러 해당 추적 대상자의 건물 외부로의 진출 상태를 건물 내부에서 출입문의 상단에 구성된 다른 보조 카메라부를 통해 출입자를 사선 방향으로 촬영하여 얻어진 영상을 기반으로 용이하게 추적할 수 있어, 건물에 대한 출입 권한이 등록되지 않은 추적 대상자를 정확하게 추적할 수 있을 뿐만 아니라 건물 내 진입 이후 비정상적으로 오랜 시간 동안 건물 내 머무르는 추적 대상자 발생시 건물 내 등록자와 관리자에게 알림을 제공하여 건물 내 보안 처리가 이루어지도록 지원함으로써, 건물 내 보안 강화를 지원할 수 있다.Through the above-described configuration, the present invention includes a front camera unit 10 configured on one side of the door to photograph the front of a person trying to enter through the door into the building, and an auxiliary camera configured at the top of the door to capture images in an oblique direction. Based on the images obtained by shooting from the front and diagonal directions through the camera, it is possible to easily classify and track people who attempt to enter the building without permission by using the door temporarily open without frontal facial recognition. The status of the person to be tracked outside the building can be easily tracked based on the video obtained by shooting the person entering the building diagonally through another auxiliary camera unit installed at the top of the door inside the building, so that access rights to the building are not registered. Not only can it accurately track untracked subjects, but it also provides notifications to registrants and managers in the building when traced subjects stay in the building for an abnormally long period of time after entering the building, thereby strengthening security within the building by supporting security processing within the building. can support.

한편, 본 발명은 출입 권한이 없는 출입자에 대해서 등록자에 의해 일시적으로 출입 권한이 부여된 방문자를 무단 출입자(또는 비정상 출입자)와 구분하여 관리할 수 있도록 지원하고, 이러한 방문자가 비정상적인 출입 행위를 보이는 경우 이를 추적할 수 있도록 지원함으로써, 무단 출입자와 방문자의 구분 관리를 통한 건물 내 보안 관리의 효율성을 높일 수 있는데, 이를 도 5를 참고하여 상세히 설명한다.Meanwhile, the present invention supports the management of visitors who are temporarily granted access permission by the registrant by distinguishing them from unauthorized visitors (or abnormal visitors), and when such visitors exhibit abnormal entry behavior. By supporting tracking, the efficiency of security management within the building can be increased by distinguishing and managing unauthorized entry and visitors, which is explained in detail with reference to FIG. 5.

상술한 바와 같이, 상기 출입 관리 서버(100)는, 등록자 단말 또는 관리자 단말로부터 방문자 등록을 위한 등록 요청 정보를 수신한 시점에 정면 카메라부(10)로부터 수신된 영상(제 1 영상) 및 제 1 보조 카메라부(20)로부터 수신된 영상(제 2 영상)을 기초로 방문자 정보를 포함하는 인증 정보를 생성하여 상기 등록자 DB에 저장할 수 있으며, 이를 통해 방문자를 등록자로서 등록할 수 있다(S11).As described above, the access control server 100 receives the image (first image) and the first image received from the front camera unit 10 at the time of receiving registration request information for visitor registration from the registrant terminal or the administrator terminal. Authentication information including visitor information can be generated based on the image (second image) received from the auxiliary camera unit 20 and stored in the registrant DB, and through this, the visitor can be registered as a registrant (S11).

이때, 상기 등록 요청 정보는, 상기 방문자의 등록을 요청한 등록자 또는 상기 방문자와 연관된 등록자에 대한 등록자 식별정보 및 상기 방문자에 대한 방문자 종류를 포함할 수 있으며, 상기 출입 관리 서버(100)에는 복수의 방문자 종류를 포함하면서 복수의 방문자 종류별로 출입 가능 시간(또는 건물 내 체류 가능 시간 또는 체류 가능 시간)이 미리 설정된 설정 정보가 미리 설정될 수 있다.At this time, the registration request information may include registrant identification information for the registrant who requested registration of the visitor or a registrant associated with the visitor, and a visitor type for the visitor, and the access management server 100 may include a plurality of visitors. Setting information that includes the type and pre-set the entry time (or the possible stay in the building or the possible stay time) for a plurality of visitor types may be preset.

일례로, 상기 방문자가 가족인 경우 출입 가능 시간이 무한으로 설정될 수 있고, 상기 방문자가 배달원(또는 택배원)인 경우 출입 가능 시간(체류 가능 시간)이 30분 또는 1시간으로 설정될 수 있다. 또는, 상기 출입 가능 시간은 9시 ~ 9시 30분과 같은 특정 시간대가 설정될 수도 있다.For example, if the visitor is a family member, the access time can be set to infinite, and if the visitor is a delivery person (or courier), the access time (stay time) can be set to 30 minutes or 1 hour. Alternatively, the access time may be set to a specific time zone such as 9:00 to 9:30.

또한, 상기 출입 관리 서버(100)는, 상기 등록 요청 정보에 포함된 등록자 식별 정보를 상기 등록 요청 정보에 대응하는 인증 정보에 포함시킬 수 있다.Additionally, the access management server 100 may include registrant identification information included in the registration request information in authentication information corresponding to the registration request information.

상술한 구성을 통해, 상기 출입 관리 서버(100)는, 상기 방문자 등록 이후 상기 정면 카메라부(10)로부터 수신된 출입자에 대한 영상(제 1 영상)을 기초로 제 1 인식 정보를 생성하거나 제 1 보조 카메라부(20)로부터 수신된 출입자에 대한 영상(제 2 영상)을 기초로 제 2 인식 정보를 생성한 후 상기 제 1 인식 정보 또는 제 2 인식 정보를 기초로 상기 등록자 DB를 검색하여, 상기 제 1 인식 정보 또는 제 2 인식 정보에 대응하는 방문자 정보가 포함된 인증 정보가 존재하는 것으로 검색되면(S12, S13, S14), 상기 출입자를 상기 검색된 인증 정보에 대응하는 방문자인 것으로 판단하고, 상기 검색된 인증 정보에 대응하는 방문자의 건물 내 출입을 허용할 수 있다(S15).Through the above-described configuration, the access management server 100 generates first recognition information based on the image (first image) of the visitor received from the front camera unit 10 after registration of the visitor or generates the first recognition information. After generating second recognition information based on the image (second image) of the visitor received from the auxiliary camera unit 20, the registrant DB is searched based on the first recognition information or the second recognition information, and If authentication information containing visitor information corresponding to the first recognition information or second recognition information is searched (S12, S13, S14), the visitor is determined to be a visitor corresponding to the searched authentication information, and Visitors matching the retrieved authentication information can be allowed to enter the building (S15).

이를 위해, 상기 출입 관리 서버(100)는, 상기 출입자를 상기 검색된 인증 정보에 대응하는 방문자인 것으로 판단하면, 상기 개폐 장치(40)로 출입문 개방을 위한 제어 정보를 전송할 수 있다.To this end, when the access management server 100 determines that the visitor is a visitor corresponding to the searched authentication information, it can transmit control information for opening the door to the opening and closing device 40.

이때, 상기 출입 관리 서버(100)는, 상기 방문자에 대응하는 방문자 종류가 가족인 경우 해당 방문자에 대해 건물 내부로의 진입에 따른 진입 정보 또는 건물 내부에서 건물 외부로의 진출에 따른 진출 정보를 기록하지 않을 수 있다.At this time, if the type of visitor corresponding to the visitor is a family member, the access management server 100 records entry information according to entry into the building or entry information according to entry from inside the building to the outside of the building for the visitor. You may not.

또한, 상기 출입 관리 서버(100)는, 방문자(또는 출입자)에 대응하는 상기 제 1 인식 정보 또는 제 2 인식 정보를 기초로 등록자 DB를 검색하여 상기 출입자에 대응하는 인증 정보를 식별하고 해당 인증 정보에 방문자 정보가 포함된 경우, 상기 식별된 인증 정보에서 방문자 종류를 식별하고(S16), 상기 식별된 방문자 종류가 배달원인 경우 상기 방문자(또는 출입자)를 배달원으로 식별할 수 있다(S17).In addition, the access management server 100 searches the registrant DB based on the first recognition information or second recognition information corresponding to the visitor (or visitor), identifies authentication information corresponding to the visitor, and provides the corresponding authentication information. If visitor information is included, the type of visitor can be identified from the identified authentication information (S16), and if the identified type of visitor is a delivery person, the visitor (or visitor) can be identified as a delivery person (S17).

이때, 상기 출입 관리 서버(100)는, 상기 제 1 영상 또는 제 2 영상을 기초로 방문자에 대응하는 상기 제 1 인식 정보 또는 제 2 인식 정보를 생성하고, 상기 생성된 제 1 인식 정보 또는 제 2 인식 정보가 포함된 방문자 정보를 포함하는 인증 정보를 상기 방문자에 대응하는 인증 정보로서 상기 등록자 DB에서 식별하여 추출할 수 있으며, 상기 추출된 인증 정보를 기초로 상술한 바와 같이 상기 방문자의 방문자 종류를 식별할 수 있다.At this time, the access management server 100 generates the first recognition information or second recognition information corresponding to the visitor based on the first image or the second image, and the generated first recognition information or second recognition information Authentication information including visitor information containing recognition information can be identified and extracted from the registrant DB as authentication information corresponding to the visitor, and the visitor type of the visitor is determined as described above based on the extracted authentication information. can be identified.

또한, 상기 출입 관리 서버(100)는, 상기 제 1 보조 카메라부(20)로부터 수신된 영상을 기초로 상기 식별된 배달원에 대응하는 진입 정보를 생성할 수 있으며, 상기 진입 정보를 상기 등록자 DB에 저장된 상기 식별된 배달원에 대응하는 인증 정보와 매칭하여 상기 등록자 DB에 저장할 수 있다(S15).In addition, the access management server 100 may generate entry information corresponding to the identified delivery person based on the image received from the first auxiliary camera unit 20, and store the entry information in the registrant DB. It can be matched with the stored authentication information corresponding to the identified delivery person and stored in the registrant DB (S15).

또한, 상기 출입 관리 서버(100)는, 상기 식별된 배달원에 대해 상기 설정 정보를 기초로 출입 가능 시간 및 상기 진입 정보에 따른 진입 시점을 확인할 수 있다.In addition, the access management server 100 may check the access time for the identified delivery person based on the setting information and the entry point according to the entry information.

또한, 상기 출입 관리 서버(100)는, 상기 식별된 배달원에 대한 상기 진입 정보에 따른 진입 시점부터 상기 식별된 배달원의 방문자 종류에 대응하는 미리 설정된 출입 가능 시간 내에(미리 설정된 출입 가능 시간이 경과되기 전에) 상기 배달원에 대한 진출 정보가 생성되지 않는 경우 상기 식별된 배달원을 비정상 출입자로 판단할 수 있다(S18, S19).In addition, the access management server 100 operates within a preset access time corresponding to the visitor type of the identified delivery person from the entry point according to the entry information for the identified delivery person (until the preset access time has elapsed). If entry information for the delivery person is not generated (before), the identified delivery person may be determined to be an abnormal visitor (S18, S19).

또한, 상기 출입 관리 서버(100)는, 비정상 출입자 발생시 상기 비정상 출입자로 판단된 상기 식별된 배달원에 대응하는 인증 정보에서 상기 비정상 출입자를 등록 요청한 특정 등록자의 등록자 식별정보를 확인하고, 상기 확인된 등록자 식별정보에 대응하는 상기 등록자 DB에 저장된 특정 등록자의 인증 정보를 기초로 상기 특정 등록자에 대응하는 등록자 단말을 식별한 후 상기 식별된 등록자 단말로 알림 정보를 전송할 수 있다(S20).In addition, when an abnormal visitor occurs, the access management server 100 checks the registrant identification information of a specific registrant who requested registration of the abnormal visitor from the authentication information corresponding to the identified delivery person determined to be the abnormal visitor, and identifies the confirmed registrant. After identifying the registrant terminal corresponding to the specific registrant based on the authentication information of the specific registrant stored in the registrant DB corresponding to the identification information, notification information can be transmitted to the identified registrant terminal (S20).

또는, 상기 출입 관리 서버(100)는, 상기 등록자 DB에 등록된 모든 등록자와 각각 대응하는 모든 등록자 단말에 상기 알림 정보를 전송하거나 미리 설정된 관리자 단말로 상기 알림 정보를 전송할 수 있다.Alternatively, the access management server 100 may transmit the notification information to all registrant terminals corresponding to all registrants registered in the registrant DB, or transmit the notification information to a preset administrator terminal.

또한, 상기 출입 관리 서버(100)는, 상기 비정상 출입자로 판단된 배달원에 대응하는 인증 정보에 매칭되어 등록자 DB에 저장된 진입 정보에서 진입 시점을 확인하고, 상기 영상 DB에 저장된 하나 이상의 영상 중에서 상기 확인된 진입 시점에 대응하는 영상을 하나 이상 추출한 후 상기 알림 정보에 포함시켜, 상기 등록자 단말 또는 관리자 단말에 전송할 수 있다.In addition, the access management server 100 matches the authentication information corresponding to the delivery person determined to be an abnormal visitor, confirms the entry point from the entry information stored in the registrant DB, and confirms the entry point among one or more images stored in the video DB. One or more images corresponding to the entered entry point may be extracted, included in the notification information, and transmitted to the registrant terminal or administrator terminal.

또한, 상기 출입 관리 서버(100)는, 상기 제 2 보조 카메라부(30)로부터 수신된 영상(제 3 영상)을 기초로 제 3 인식 정보를 생성하고, 상기 제 3 인식 정보를 기초로 상기 등록자 DB를 검색하여 상기 제 3 인식 정보에 대응하는 인증 정보가 식별(확인)되면, 상기 식별된 인증 정보를 기초로 상기 제 2 보조 카메라부(30)의 영상에서 검출된 출입자를 배달원으로 식별할 수 있다.In addition, the access management server 100 generates third recognition information based on the image (third image) received from the second auxiliary camera unit 30, and identifies the registrant based on the third recognition information. When the DB is searched and the authentication information corresponding to the third recognition information is identified (confirmed), the person detected in the video of the second auxiliary camera unit 30 can be identified as a delivery person based on the identified authentication information. there is.

이때, 상기 식별된 인증 정보는, 상기 제 3 인식 정보와 일치하거나 미리 설정된 기준치 이상 유사한 제 2 인식 정보가 포함된 정보일 수 있다.At this time, the identified authentication information may be information that includes second recognition information that matches the third recognition information or is similar to the third recognition information by more than a preset standard value.

또한, 상기 출입 관리 서버(100)는, 상기 제 2 보조 카메라부(30)로부터 수신된 영상을 기초로 상기 식별된 배달원에 대한 진출 정보 생성시 상기 식별된 배달원에 대해 일시적으로 상기 등록자 DB에 저장된(등록된) 인증 정보를 상기 등록자 DB에서 삭제할 수 있다.In addition, the access management server 100, when generating advance information for the identified delivery person based on the image received from the second auxiliary camera unit 30, temporarily stores the information for the identified delivery person in the registrant DB. (Registered) authentication information can be deleted from the registrant DB.

또한, 상기 출입 관리 서버(100)는, 상기 식별된 배달원에 대한 출입 기록을 남기기 위해 상기 식별된 배달원에 대한 진출 정보 생성시 상기 식별된 배달원에 대응하는 인증 정보와 해당 인증 정보에 매칭되는 진입 정보를 상기 등록자 DB로부터 추출하고, 상기 추출된 인증 정보와 진입 정보 및 상기 생성된 진출 정보를 상호 매칭하여 상기 출입 내역 DB에 저장할 수 있으며, 상기 식별된 배달원에 대응하는 인증 정보를 태그 정보와 동일한 종류의 정보로 처리할 수 있다.In addition, the access management server 100 generates entry information for the identified delivery person in order to leave an access record for the identified delivery person, and uses authentication information corresponding to the identified delivery person and entry information matching the authentication information. can be extracted from the registrant DB, the extracted authentication information, entry information, and the generated exit information are matched with each other and stored in the access history DB, and the authentication information corresponding to the identified delivery person is the same type as the tag information. It can be processed with information.

상술한 구성을 통해, 본 발명은, 건물 내 출입 권한이 있는 등록자나 관리자의 요청에 따라 방문자에 대한 출입 권한을 일시적 또는 영구적으로 부여하여 관리할 수 있으며, 보안 기능이 필요한 건물에 대해 출입 권한이 있는 방문자를 출입 권한이 없는 출입자와 구분하여 용이하게 관리할 수 있도록 지원하며 출입 권한이 있는 방문자를 비정상 출입자로 오인하는 경우를 방지할 수 있도록 지원할 수 있다.Through the above-described configuration, the present invention can be managed by temporarily or permanently granting access rights to visitors at the request of a registrant or manager with access rights to the building, and access rights can be granted to buildings requiring security functions. It supports easy management by distinguishing visitors who have access rights from those who do not have access rights, and can help prevent cases where visitors with access rights are mistaken for abnormal visitors.

한편, 본 발명의 실시예에 따른 출입 관리 시스템은, 출입 권한이 있는 등록자의 건물 내 진입시 출입문이 일시적으로 개방된 상태를 이용하여 등록자에 근접하여 따라 들어가는 출입 권한이 없는 무단 출입자를 검출하여 경고를 제공할 수 있도록 지원할 수 있는데, 이를 도 6의 순서도를 참고하여 상세히 설명한다.Meanwhile, the access control system according to an embodiment of the present invention detects unauthorized entrants without access authority who follow the registrant by taking advantage of the temporarily open state of the door when a registrant with access authority enters the building and issues a warning. Support can be provided, which will be described in detail with reference to the flow chart in FIG. 6.

우선, 상기 출입 관리 서버(100)는, 상기 제 1 보조 카메라부(20)로부터 수신된 제 2 영상에서 복수의 얼굴이 검출된 경우 상기 복수의 얼굴과 각각 대응하는 복수의 제 2 인식 정보를 생성할 수 있다(S21).First, when a plurality of faces are detected in the second image received from the first auxiliary camera unit 20, the access management server 100 generates a plurality of second recognition information corresponding to the plurality of faces. You can do it (S21).

즉, 상기 출입 관리 서버(100)는, 상기 제 1 보조 카메라부(20)로부터 수신된 제 2 영상에서 복수의 출입자를 검출할 수 있다.That is, the access management server 100 can detect a plurality of visitors in the second image received from the first auxiliary camera unit 20.

또한, 상기 출입 관리 서버(100)는, 상기 복수의 제 2 인식 정보 중 인증 정보가 검색되지 않는 제 2 인식 정보가 존재하는지 판단하고, 이에 따라 상기 인증 정보가 검색되지 않는 제 2 인식 정보에 대응하는 추적 대상자가 존재하는지 여부를 확인할 수 있다(S22).In addition, the access management server 100 determines whether there is second recognition information for which authentication information is not searched among the plurality of second recognition information, and accordingly corresponds to the second recognition information for which the authentication information is not searched. It is possible to check whether the person to be tracked exists (S22).

또한, 상기 출입 관리 서버(100)는, 상기 인증 정보가 검색되지 않는 제 2 인식 정보의 존재가 확인되면(S23), 상기 추적 대상자를 상기 제 2 영상에서 식별(검출)할 수 있고, 상기 제 2 영상을 기초로 생성한 복수의 제 2 인식 정보에 따라 검색된 하나 이상의 인증 정보를 기초로 상기 추적 대상자와 함께 진입 중인 상태의 하나 이상의 등록자를 식별한 후(S24) 상기 식별된 하나 이상의 등록자별 등록자 단말에 무단 출입자의 존재 또는 무단 출입자와의 동반 출입을 알리기 위한 이상 발생 정보를 전송할 수 있다(S25).In addition, when the access control server 100 confirms the existence of second recognition information for which the authentication information is not searched (S23), the access control server 100 can identify (detect) the person to be tracked in the second image, and 2 After identifying one or more registrants in the state being entered together with the person to be tracked based on one or more authentication information retrieved according to a plurality of second recognition information generated based on the image (S24), a registrant for each of the identified one or more registrants Anomaly information can be transmitted to the terminal to notify the presence of an unauthorized person or a companion entry with an unauthorized person (S25).

또한, 상기 출입 관리 서버(100)는, 미리 설정된 관리자 단말로 상기 이상 발생 정보를 전송할 수도 있다.Additionally, the access management server 100 may transmit the abnormality occurrence information to a preset administrator terminal.

이때, 상기 출입 관리 서버(100)는, 상기 추적 대상자의 식별 시점에 대응하는 상기 제 2 영상을 상기 이상 발생 정보에 포함시킬 수도 있으며, 영상 분석 알고리즘을 통해 상기 추적 대상자의 식별 시점에 대응하는 상기 제 2 영상에 포함된(나타난) 상기 추적 대상자의 얼굴 영역에 마커(marker)나 바운딩 박스(bounding box)를 설정하여 마커나 바운딩 박스가 설정된 제 2 영상을 상기 이상 발생 정보에 포함시킬 수 있다.At this time, the access management server 100 may include the second image corresponding to the identification time of the tracking person in the abnormality occurrence information, and the access control server 100 may include the second image corresponding to the identification time of the tracking person through a video analysis algorithm. A marker or a bounding box may be set on the face area of the person to be tracked included (appeared) in the second image, and the second image with the marker or bounding box set may be included in the abnormality occurrence information.

또한, 상기 이상 발생 정보를 수신하는 등록자 단말은, 등록자가 소지하는 휴대 단말(또는 이동 단말)일 수 있다.Additionally, the registrant terminal that receives the abnormality occurrence information may be a portable terminal (or mobile terminal) owned by the registrant.

또한, 상기 이상 발생 정보 또는 상기 알림 정보를 수신하는 등록자 단말은, 상기 등록자 단말에 구성된 표시부를 통해 상기 이상 발생 정보 또는 알림 정보를 표시할 수 있다.Additionally, the registrant terminal that receives the abnormality occurrence information or the notification information may display the abnormality occurrence information or notification information through a display unit configured in the registrant terminal.

이를 위해, 상기 출입 관리 서버(100)는, 상기 제 2 영상에서 검출된 복수의 얼굴과 각각 대응하는 복수의 제 2 인식 정보 중 인증 정보(대응하는 인증 정보)가 검색되지 않는 제 2 인식 정보가 식별되면, 상기 식별된 제 2 인식 정보에 대응하는 추적 대상자에 대해 상기 제 2 영상에서 고유 식별자를 추적 대상자에 태깅하고 상기 제 2 영상을 통해 고유 식별자가 태깅된 추적 대상자의 움직임을 상기 영상 분석 알고리즘을 통해 추적할 수 있다.To this end, the access management server 100 selects second recognition information for which authentication information (corresponding authentication information) is not searched among the plurality of second recognition information corresponding to the plurality of faces detected in the second image. Once identified, the tracking subject corresponding to the identified second recognition information is tagged with a unique identifier in the second image, and the movement of the tracking subject tagged with the unique identifier through the second image is performed by the image analysis algorithm. You can track it through .

또한, 상기 출입 관리 서버(100)는, 상기 복수의 제 2 인식 정보 중 인증 정보가 검색된 하나 이상의 등록자 각각에 대해 상기 제 2 영상에서 인증 정보에 따른 등록자 식별 정보를 등록자에 태깅하고, 하나 이상의 등록자 각각의 움직임을 추적할 수도 있다.In addition, the access management server 100 tags the registrant with registrant identification information according to the authentication information in the second video for each of the one or more registrants whose authentication information is searched among the plurality of second recognition information, and tags the registrant with the registrant identification information according to the authentication information in the second video, and tags the one or more registrants Each movement can also be tracked.

이때, 상기 출입 관리 서버(100)는, 미리 설정된 영상 분석 알고리즘을 통해 상기 추적 대상자 또는 등록자를 추적할 수 있다.At this time, the access management server 100 may track the person to be tracked or the registrant through a preset image analysis algorithm.

이를 통해, 상기 출입 관리 서버(100)는, 상기 제 2 영상을 통해 영상에서 검출된 얼굴의 수와 상기 등록자 또는 출입자의 움직임 추적을 통해 출입문을 통과하는 인원수를 산출할 수 있다.Through this, the access management server 100 can calculate the number of faces detected in the image through the second image and the number of people passing through the door by tracking the movements of the registrant or visitor.

또한, 상기 출입 관리 서버(100)는, 상기 얼굴의 수와 인원수가 불일치하면 상기 이상 발생 정보를 생성할 수 있다.Additionally, the access management server 100 may generate the abnormality information if the number of faces and the number of people do not match.

또한, 상기 출입 관리 서버(100)는, 상기 이상 발생 정보 생성시 상기 출입문을 개폐하는 개폐 장치(40)로 상기 이상 발생 정보를 전송하여 상기 개폐 장치(40)에서 상기 개폐 장치(40)에 구성된 스피커(speaker)부(또는 음향 출력부)를 통해 상기 무단 출입자 발생에 대한 미리 설정된 경고 음향이 출력되도록 할 수 있다.In addition, the access management server 100 transmits the abnormality occurrence information to the opening and closing device 40 that opens and closes the door when the abnormality occurrence information is generated, and the access management server 100 transmits the abnormality occurrence information to the opening and closing device 40 configured in the opening and closing device 40. A preset warning sound regarding the occurrence of unauthorized persons may be output through a speaker unit (or sound output unit).

상술한 바와 같이, 본 발명은 출입 권한이 있는 등록자의 건물 내 진입시 출입문이 일시적으로 개방된 상태를 이용하여 등록자에 근접하여 따라 들어가는 출입 권한이 없는 무단 출입자를 검출하여 경고를 제공함으로써, 건물에 대한 보안 효과를 높일 수 있다.As described above, the present invention provides a warning to the building by detecting unauthorized entrants who follow the registrant in close proximity to the registrant using the temporarily open state of the door when a registrant with access authority enters the building. Security effectiveness can be improved.

본 발명의 실시예들에서 설명된 구성요소는, 예를 들어, 메모리, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(programmable logic unit), 마이크로프로세서 등의 하드웨어, 명령어 세트를 포함하는 소프트웨어 내지 이들의 조합 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.Components described in embodiments of the present invention include, for example, a memory, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), One or more general-purpose or special-purpose computers, such as hardware such as a programmable logic unit (PLU), a microprocessor, software containing an instruction set, or a combination thereof, or any other device capable of executing and responding to instructions. It can be implemented using

본 명세서에 기술된 다양한 장치 및 구성부는 하드웨어 회로(예를 들어, CMOS 기반 로직 회로), 펌웨어, 소프트웨어 또는 이들의 조합에 의해 구현될 수 있다. 예를 들어, 다양한 전기적 구조의 형태로 트랜지스터, 로직게이트 및 전자회로를 활용하여 구현될 수 있다.The various devices and components described herein may be implemented by hardware circuitry (e.g., CMOS-based logic circuitry), firmware, software, or a combination thereof. For example, it can be implemented using transistors, logic gates, and electronic circuits in the form of various electrical structures.

전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Anyone skilled in the art to which the present invention pertains can make modifications and changes to the above-described content without departing from the essential characteristics of the present invention. Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but are for illustrative purposes, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted in accordance with the claims below, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of rights of the present invention.

10: 정면 카메라부 20: 제 1 보조 카메라부
30: 제 2 보조 카메라부 40: 개폐 장치
100: 출입 관리 서버 110: 통신부
120: 저장부 130: 제어부10: Front camera unit 20: First auxiliary camera unit
30: second auxiliary camera unit 40: opening and closing device
100: Access control server 110: Communication department
120: storage unit 130: control unit

Claims (10)

건물 내 출입문의 일측에 인접에 구성되어 출입자의 정면 얼굴을 촬영하는 정면 카메라부;
상기 출입문의 상단에 구성되어 건물 내로 진입하는 출입자를 사선 방향으로 촬영하는 제 1 보조 카메라부;
상기 출입문의 상단에 구성되어 건물 내부로부터 건물 외부로 진출하는 출입자를 사선 방향으로 촬영하는 제 2 보조 카메라부; 및
상기 정면 카메라부로부터 수신된 영상에서 상기 건물에 대한 출입 권한이 있는 등록자의 얼굴을 인식하여 생성한 제 1 등록 정보와 상기 제 1 보조 카메라부로부터 수신된 영상에서 상기 등록자의 얼굴을 인식하여 생성한 제 2 등록 정보가 상호 매칭된 상태로 포함된 하나 이상의 등록자별 인증 정보를 저장하고, 상기 정면 카메라부로부터 수신된 영상을 기초로 상기 출입자의 얼굴을 인식하여 제 1 인식 정보를 생성하거나 상기 제 1 보조 카메라부로부터 수신된 영상을 기초로 상기 출입자의 얼굴을 인식하여 제 2 인식 정보를 생성하며, 상기 제 2 인식 정보에 대응하는 제 2 등록 정보가 포함된 인증 정보가 존재하지 않는 경우 상기 제 2 인식 정보에 대응하는 출입자를 추적 대상자로 확인하고, 상기 제 1 보조 카메라부의 영상을 기초로 상기 추적 대상자에 대한 진입 정보를 기록하며, 상기 제 2 보조 카메라부로부터 수신된 영상을 기초로 상기 추적 대상자에 대해 건물 내부로부터 건물 외부로의 진출 여부를 판단하여 상기 진입 정보에 따른 진입 시점을 기준으로 미리 설정된 시간 동안 상기 추적 대상자가 건물 외부로 진출하지 않는 경우 상기 하나 이상의 등록자와 각각 대응하는 하나 이상의 등록자 단말로 알림 정보를 전송하는 출입 관리 서버
를 포함하며,
상기 출입 관리 서버는,
상기 추적 대상자에 대해 상기 제 2 인식 정보를 포함하는 태그 정보를 생성한 후 저장하면서 상기 태그 정보와 매칭하여 상기 진입 정보를 기록하고, 상기 제 2 보조 카메라부로부터 수신된 영상에서 얼굴을 인식하여 제 3 인식 정보를 생성하며, 상기 제 3 인식 정보와 동일하거나 미리 설정된 기준치 이상 유사한 제 2 인식 정보가 포함된 특정 태그 정보가 존재하면, 상기 제 3 인식 정보에 대응하는 출입자를 상기 특정 태그 정보에 대응하는 추적 대상자로 확인하고, 상기 제 2 보조 카메라부의 영상을 기초로 상기 추적 대상자 확인시 상기 추적 대상자에 대한 진출 정보를 생성한 후 상기 특정 태그 정보와 매칭하여 저장하는 것을 특징으로 하는 안면 인식 기반 출입 관리 시스템.A front camera unit configured adjacent to one side of the entrance door in the building to capture the front face of the person entering the building;
a first auxiliary camera unit configured at the top of the entrance door to take diagonal images of people entering the building;
a second auxiliary camera unit configured at the top of the entrance door to take diagonal images of people entering the building from inside the building to outside the building; and
First registration information generated by recognizing the face of a registrant with access to the building in the image received from the front camera unit, and generated by recognizing the face of the registrant in the image received from the first auxiliary camera unit Stores authentication information for one or more registrants in which second registration information is matched with each other, and recognizes the face of the visitor based on the image received from the front camera unit to generate first recognition information or generate the first recognition information. The face of the visitor is recognized based on the image received from the auxiliary camera unit to generate second recognition information, and if there is no authentication information including second registration information corresponding to the second recognition information, the second recognition information is generated. Confirms the person corresponding to the recognition information as the person to be tracked, records entry information about the person to be tracked based on the image from the first auxiliary camera unit, and records the person to be tracked based on the image received from the second auxiliary camera unit. It is determined whether the person to be tracked enters the outside of the building from inside the building, and if the person to be tracked does not advance outside the building for a preset time based on the entry point according to the entry information, one or more registrants corresponding to the one or more registrants Access control server that transmits notification information to the terminal
Includes,
The access control server is,
After generating and storing tag information including the second recognition information for the person to be tracked, the entry information is recorded by matching the tag information, and the face is recognized in the image received from the second auxiliary camera unit. 3. Generates recognition information, and if there is specific tag information containing second recognition information that is the same as the third recognition information or is similar to the third recognition information by more than a preset standard, the visitor corresponding to the third recognition information is matched to the specific tag information. Facial recognition-based access, characterized in that the tracking target is identified, and when the tracking target is confirmed based on the image of the second auxiliary camera unit, entry information for the tracking target is generated and then matched with the specific tag information and stored. Management system. 청구항 1에 있어서,
상기 제 1 인식 정보 또는 제 1 등록 정보는, 상기 정면 카메라부로부터 수신된 영상에서 얼굴의 특징점을 추출하여 생성한 특징점 정보를 포함하고,
상기 제 2 인식 정보 또는 제 2 등록 정보는, 상기 제 1 보조 카메라부로부터 수신된 영상에서 얼굴의 특징점을 추출하여 생성한 특징점 정보를 포함하는 것을 특징으로 하는 안면 인식 기반 출입 관리 시스템.In claim 1,
The first recognition information or first registration information includes feature point information generated by extracting feature points of the face from the image received from the front camera unit,
The second recognition information or the second registration information includes feature point information generated by extracting feature points of the face from the image received from the first auxiliary camera unit. 삭제delete 청구항 1에 있어서,
상기 출입 관리 서버는,
상기 제 1 보조 카메라부로부터 수신된 영상 또는 상기 제 2 보조 카메라부로부터 수신된 영상 및 상기 태그 정보를 기초로 상기 추적 대상자와 동일한 출입자가 검출될 때마다 상기 동일한 출입자의 진입 정보 또는 진출 정보를 생성하여 상기 태그 정보와 매칭 저장하며, 상기 태그 정보와 매칭되는 진입 정보가 미리 설정된 기준 횟수 이상 확인된 경우 상기 복수의 등록자 단말 또는 미리 설정된 관리자 단말에 경고 정보를 전송하는 것을 특징으로 하는 안면 인식 기반 출입 관리 시스템.In claim 1,
The access control server,
Based on the image received from the first auxiliary camera unit or the image received from the second auxiliary camera unit and the tag information, whenever the same entrant as the person to be tracked is detected, entry information or exit information of the same entrant is generated. Facial recognition-based access, characterized in that it matches and stores the tag information, and transmits warning information to the plurality of registrant terminals or a preset administrator terminal when entry information matching the tag information is confirmed more than a preset standard number of times. Management system. 청구항 1에 있어서,
상기 출입문을 개폐하는 개폐 장치를 더 포함하고,
상기 출입 관리 서버는,
상기 출입자에 대해 생성한 상기 제 1 인식 정보 또는 제 2 인식 정보에 대응하는 인증 정보가 존재하면 상기 개폐 장치로 상기 출입문을 개방시키기 위한 제어 정보를 전송하는 것을 특징으로 하는 안면 인식 기반 출입 관리 시스템.In claim 1,
Further comprising an opening and closing device that opens and closes the door,
The access control server,
A facial recognition-based access control system, characterized in that when there is authentication information corresponding to the first recognition information or the second recognition information generated for the visitor, control information for opening the door is transmitted to the opening and closing device. 청구항 5에 있어서,
상기 출입 관리 서버는,
상기 출입자에 대해 생성한 상기 제 1 인식 정보 또는 제 2 인식 정보에 대응하는 인증 정보가 존재하는지 여부에 대한 1차 인증 수행 후 상기 1차 인증에 성공한 상태에서 상기 정면 카메라부 또는 제 1 보조 카메라부로부터 수신된 영상을 기초로 미리 설정된 제스처가 인식되면 상기 출입문 개방을 위한 제어 정보를 상기 개폐 장치로 전송하는 것을 특징으로 하는 안면 인식 기반 출입 관리 시스템.In claim 5,
The access control server,
After performing primary authentication on whether authentication information corresponding to the first or second recognition information generated for the visitor exists, the front camera unit or the first auxiliary camera unit in a state in which the primary authentication is successful A facial recognition-based access management system, characterized in that when a preset gesture is recognized based on an image received from, control information for opening the door is transmitted to the opening and closing device. 청구항 1에 있어서,
상기 출입 관리 서버는,
상기 등록자 단말로부터 출입 권한이 있는 방문자를 등록하기 위한 등록 요청 정보 수신시 상기 등록 요청 정보의 수신 시점에 상기 정면 카메라부를 통해 수신된 영상을 기초로 상기 방문자에 대한 제 1 인식 정보 및 상기 제 2 보조 카메라부를 통해 수신되는 영상을 기초로 상기 방문자에 대한 제 2 인식 정보를 생성한 후 상기 제 1 인식 정보 및 제 2 인식 정보를 상호 매칭된 상태로 포함하는 방문자 정보를 생성하고, 상기 방문자 정보 및 상기 등록 요청 정보를 전송한 등록자 단말에 대응하는 등록자 식별 정보를 포함하는 상기 인증 정보를 생성하여 저장하는 것을 특징으로 하는 안면 인식 기반 출입 관리 시스템.In claim 1,
The access control server,
When receiving registration request information for registering a visitor with access authority from the registrant terminal, first recognition information about the visitor and the second assistant are provided based on the image received through the front camera unit at the time of receiving the registration request information. After generating second recognition information about the visitor based on the image received through the camera unit, visitor information is generated including the first recognition information and the second recognition information in a mutually matched state, and the visitor information and the A facial recognition-based access management system characterized by generating and storing the authentication information including registrant identification information corresponding to the registrant terminal that transmitted registration request information. 청구항 7에 있어서,
상기 방문자 정보는 방문자 종류를 포함하고,
상기 출입 관리 서버는, 상기 출입자에 대해 생성한 제 1 인식 정보 또는 제 2 인식 정보에 대응하는 인증 정보가 존재하는 것으로 검색되고, 상기 검색된 인증 정보에 배달원에 대응하는 방문자 종류가 설정된 경우 상기 출입자를 배달원으로 식별하며, 상기 배달원으로 식별된 출입자에 대한 진입 정보를 생성한 후 상기 진입 정보에 따른 진입 시점부터 상기 배달원에 대응하는 방문자 종류에 대해 미리 설정된 출입 가능 시간 내에 상기 배달원으로 식별된 출입자에 대한 진출 정보가 생성되지 않는 경우 상기 배달원으로 식별된 출입자에 대응하는 인증 정보에 포함된 등록자 식별 정보를 확인하고, 상기 확인된 등록자 식별 정보에 대응하는 등록자 단말 또는 미리 설정된 관리자 단말로 알림 정보를 전송하는 것을 특징으로 하는 안면 인식 기반 출입 관리 시스템.In claim 7,
The visitor information includes the type of visitor,
The access management server searches for the existence of authentication information corresponding to the first recognition information or second recognition information generated for the visitor, and if a visitor type corresponding to a delivery person is set in the searched authentication information, the access management server detects the visitor. Identification as a delivery person, and after generating entry information for the person identified as the delivery person, from the point of entry according to the entry information, within the preset access time for the type of visitor corresponding to the delivery person, the entry information for the person identified as the delivery person is entered. If entry information is not generated, check the registrant identification information included in the authentication information corresponding to the person identified as the delivery person, and send notification information to the registrant terminal or preset administrator terminal corresponding to the confirmed registrant identification information. A facial recognition-based access management system characterized by: 청구항 1에 있어서,
상기 출입 관리 서버는, 상기 제 1 보조 카메라부로부터 수신된 영상에서 복수의 얼굴이 검출된 경우 상기 복수의 얼굴과 각각 대응하는 복수의 제 2 인식 정보를 생성하고, 상기 복수의 제 2 인식 정보 중 인증 정보가 검색되지 않는 제 2 인식 정보에 대응하는 추적 대상자를 상기 제 1 보조 카메라부의 영상에서 식별하고, 상기 제 1 보조 카메라부로부터 수신된 영상을 기초로 생성한 복수의 제 2 인식 정보에 따라 검색된 하나 이상의 인증 정보를 기초로 상기 추적 대상자와 함께 진입 중인 상태의 하나 이상의 등록자를 식별한 후 상기 식별된 등록자별 등록자 단말로 무단 출입자의 존재를 알리기 위한 이상 발생 정보를 전송하는 것을 특징으로 하는 안면 인식 기반 출입 관리 시스템.In claim 1,
The access control server generates a plurality of second recognition information corresponding to the plurality of faces when a plurality of faces are detected in the image received from the first auxiliary camera unit, and among the plurality of second recognition information A tracking subject corresponding to second recognition information for which authentication information is not searched is identified from the image of the first auxiliary camera unit, and according to a plurality of second recognition information generated based on the image received from the first auxiliary camera unit. Identifying one or more registrants who are entering a state together with the person to be tracked based on one or more retrieved authentication information, and then transmitting abnormality information to notify the presence of an unauthorized person to the registrant terminal for each identified registrant. Awareness-based access control system. 청구항 9에 있어서,
상기 출입 관리 서버는, 상기 제 1 보조 카메라부로부터 수신된 영상을 통해 영상에서 검출된 얼굴의 수와 상기 출입문을 통과하는 인원수를 산출하고, 상기 얼굴의 수와 인원수가 불일치하면 상기 이상 발생 정보를 생성하며, 상기 이상 발생 정보 생성시 상기 출입문을 개폐하는 개폐 장치로 상기 이상 발생 정보를 전송하여 상기 개폐 장치에서 상기 개폐 장치에 구성된 스피커부를 통해 상기 무단 출입자 발생에 대한 경고 음향이 출력되도록 하는 것을 특징으로 하는 안면 인식 기반 출입 관리 시스템.In claim 9,
The access control server calculates the number of faces detected in the image and the number of people passing through the door through the image received from the first auxiliary camera unit, and if the number of faces and the number of people do not match, sends the abnormality information. Generating the abnormal occurrence information, when generating the abnormal occurrence information, transmitting the abnormal occurrence information to an opening and closing device that opens and closes the door, so that the opening and closing device outputs a warning sound in response to the occurrence of an unauthorized person through a speaker unit configured in the opening and closing device. A facial recognition-based access control system.

Images