KR102355779B1 - Face Image Registration Method For Face Recognition, Face Recognition Method and Server - Google Patents
Face Image Registration Method For Face Recognition, Face Recognition Method and Server Download PDFInfo
- Publication number
- KR102355779B1 KR102355779B1 KR1020190002207A KR20190002207A KR102355779B1 KR 102355779 B1 KR102355779 B1 KR 102355779B1 KR 1020190002207 A KR1020190002207 A KR 1020190002207A KR 20190002207 A KR20190002207 A KR 20190002207A KR 102355779 B1 KR102355779 B1 KR 102355779B1
- Authority
- KR
- South Korea
- Prior art keywords
- photos
- photo
- representative
- face
- cluster
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Collating Specific Patterns (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
본 발명은, 이용자들의 얼굴 사진들을 클러스터링하여 이용자 별로 제1 클러스터를 생성하는 단계와, 제1 클러스터에 포함된 얼굴 사진들 중 제1 클러스터 간 경계 영역에 위치한 경계 사진들을 선정하는 단계와, 경계 사진들을 클러스터링하여 이용자 별로 제2 클러스터를 생성하는 단계와, 제2 클러스터에 포함된 경계 사진들 중 중심 좌표에 해당하는 제1 대표 사진을 선정하는 단계와, 제1 대표 사진을 이용자들의 얼굴 인식을 위한 사진으로 등록하는 단계를 포함하는 얼굴 인식을 위한 얼굴 사진 등록 방법, 얼굴 인식 방법 및 서버를 제공한다.The present invention comprises the steps of clustering face photos of users to create a first cluster for each user, selecting border photos located in a border region between first clusters from among face photos included in the first cluster, Creating a second cluster for each user by clustering them, selecting a first representative photo corresponding to central coordinates from among the boundary photos included in the second cluster, and using the first representative photo for face recognition of users Provided are a face photo registration method for face recognition, a face recognition method, and a server including registering as a photo.
Description
본 발명은 얼굴 인식을 위한 얼굴 사진 등록 방법, 얼굴 인식 방법 및 서버에 관한 것이다.The present invention relates to a face photo registration method for face recognition, a face recognition method, and a server.
현재 얼굴 인식 방법을 출입 통제 분야에 적용하는 연구가 활발히 진행되고 있으며, 현재까지 대부분 출입문에 설치된 카메라 바로 앞에 서서 이용자의 얼굴을 인식하는 방법이 일반적이었다. Currently, research to apply the face recognition method to the access control field is being actively conducted, and until now, most of the methods to recognize the user's face by standing right in front of the camera installed on the door have been common.
그러나, 최근 들어 이용자가 카메라 앞에서 멈추지 않고 그대로 걸어서 통과하고 통과하는 과정에서 카메라가 이용자의 얼굴을 인식하는 Walk Thru형 얼굴 인식 출입 통제 기술이 개발되고 있다.However, recently, a walk-thru type face recognition access control technology has been developed in which the camera recognizes the user's face while the user walks through and passes through without stopping in front of the camera.
이와 같은 Walk Thru형 얼굴 인식 출입 통제 기술은, 카메라 앞에 서서 이용자의 얼굴을 인식하는 방법과 달리, 한번에 선명한 정면 얼굴을 촬영하기 어렵다. 따라서, 이용자 얼굴을 촬영한 촬영 사진과 비교하기 위한 얼굴 등록 사진의 분포도가 크고 필요한 얼굴 등록 사진 수도 늘어날 수 밖에 없었다.Unlike the method of recognizing a user's face while standing in front of a camera, it is difficult to photograph a clear frontal face at once with the walk-thru type face recognition access control technology. Therefore, the distribution of face registration photos for comparison with the photographed photos of the user's face is large, and the number of required face registration photos has to be increased.
그리고, 얼굴 인식 출입 통제 시장이 성장하면서 이용자 수가 증가하고, 카메라가 설치되는 장소가 다양화되고 있다. 이와 같이, 다양한 카메라의 촬영 환경 및 다양한 이용자의 동선으로 인해 이용자의 얼굴 사진의 분포도는 더욱더 커질 수 밖에 없다.And, as the face recognition access control market grows, the number of users increases, and the places where cameras are installed are diversifying. As such, the distribution of user's face photos is inevitably increased due to the shooting environment of various cameras and the movement of various users.
이를 해결하기 위해서는 각 이용자에 대해 보다 다양한 얼굴 등록 사진이 요구되지만, 얼굴 등록 사진 수가 많아질수록 해당 이용자에 대한 인식 정확도는 향상되지만, 다른 이용자를 해당 이용자로 오인식하는 횟수도 크게 늘어난다. 또한, 얼굴이 인식될 때까지 얼굴 촬영과 인식 시도를 여러 번 반복할 수 밖에 없다.In order to solve this problem, more diverse face registration photos are required for each user. However, as the number of face registration photos increases, the recognition accuracy for the corresponding user improves, but the number of times that other users are mistakenly recognized as the corresponding user also increases significantly. In addition, until a face is recognized, it is inevitable to repeat face shooting and recognition attempts several times.
또한, 얼굴 등록 사진 수가 많아질수록 비교 분석 대상 사진 수가 늘어나 얼굴 인식 속도를 크게 저하시킨다. In addition, as the number of face registration photos increases, the number of photos to be compared and analyzed increases, which greatly reduces the face recognition speed.
본 발명은 서로 다른 이용자로 오인식하는 것을 방지할 수 있는 얼굴 인식을 위한 얼굴 사진 등록 방법, 얼굴 인식 방법 및 서버를 제공하는 것을 목적으로 한다.An object of the present invention is to provide a face photo registration method for face recognition, a face recognition method, and a server capable of preventing misrecognition as different users.
또한, 본 발명은 이용자들의 얼굴 인식 정확성을 향상시키고, 얼굴 인식 속도를 향상시킬 수 있는 얼굴 인식을 위한 얼굴 사진 등록 방법, 얼굴 인식 방법 및 서버를 제공하는 것을 목적으로 한다.Another object of the present invention is to provide a face photo registration method, a face recognition method, and a server for face recognition that can improve the accuracy of face recognition of users and improve face recognition speed.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved in the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned above can be clearly understood by those of ordinary skill in the art to which the present invention belongs from the description below. There will be.
상술한 바와 같은 과제를 해결하기 위하여 본 발명은, 이용자들의 얼굴 사진들을 클러스터링하여 이용자 별로 제1 클러스터를 생성하는 단계와, 제1 클러스터에 포함된 얼굴 사진들 중 제1 클러스터 간 경계 영역에 위치한 경계 사진들을 선정하는 단계와, 경계 사진들을 클러스터링하여 이용자 별로 제2 클러스터를 생성하는 단계와, 제2 클러스터에 포함된 경계 사진들 중 중심 좌표에 해당하는 제1 대표 사진을 선정하는 단계와, 제1 대표 사진을 이용자들의 얼굴 인식을 위한 사진으로 등록하는 단계를 포함하는 얼굴 인식을 위한 얼굴 사진 등록 방법을 제공한다.In order to solve the above problems, the present invention includes the steps of clustering face photos of users to create a first cluster for each user, and a boundary located in a boundary region between first clusters among face photos included in the first cluster. The steps of selecting photos, clustering the border photos to create a second cluster for each user, selecting a first representative photo corresponding to the central coordinates from among the border photos included in the second cluster, and the first It provides a face photo registration method for face recognition, comprising registering a representative photo as a photo for face recognition of users.
본 발명의 실시예에 따른 얼굴 인식을 위한 얼굴 사진 등록 방법은, 제1 클러스터에 포함된 얼굴 사진들 중 제1 클러스터의 중심 영역에 위치한 중심 사진들을 선정하는 단계와, 중심 사진들을 클러스터링하여 제3 클러스터를 생성하는 단계와, 제3 클러스터에 포함된 중심 사진들 중 중심 좌표에 해당하는 제2 대표 사진을 선정하는 단계와, 제2 대표 사진을 이용자들의 얼굴 인식을 위한 사진으로 등록하는 단계를 더 포함할 수 있다.A face photo registration method for face recognition according to an embodiment of the present invention includes the steps of selecting central photos located in a central region of a first cluster from among face photos included in a first cluster, and clustering the central photos to obtain a third The steps of creating a cluster, selecting a second representative photo corresponding to central coordinates from among the central photos included in the third cluster, and registering the second representative photo as a photo for face recognition of users are further performed. may include
여기서, 제1 내지 제3 클러스터는 얼굴 사진들의 분포도 및 밀도를 기반으로 생성될 수 있다.Here, the first to third clusters may be generated based on the distribution and density of the face photos.
또한, 제1 대표 사진의 개수는 상기 제2 클러스터의 개수에 따라 결정되고, 제2 대표 사진의 개수는 제3 클러스터의 개수에 따라 결정될 수 있다.Also, the number of first representative photos may be determined according to the number of second clusters, and the number of second representative photos may be determined according to the number of third clusters.
또한, 중심 사진들을 선정하는 단계는, 얼굴 사진들을 제1 클러스터에 포함된 중심 사진들 및 가장 자리 사진들과, 제1 클러스터에 포함되지 않는아웃 라이어 사진들로 분류하는 단계와, 아웃 라이어 사진들을 제거하는 단계를 더 포함할 수 있다.In addition, the step of selecting the center photos includes the steps of classifying the face photos into center photos and edge photos included in the first cluster, and outlier photos not included in the first cluster, and the outlier photos It may further include the step of removing.
또한, 이용자들의 얼굴 사진들을 클러스터링하여 이용자 별로 제1 클러스터를 생성하는 단계와, 제1 클러스터에 포함된 얼굴 사진들 중 제1 클러스터 간 경계 영역에 위치한 경계 사진들을 선정하는 단계와, 경계 사진들을 클러스터링하여 이용자 별로 제2 클러스터를 생성하는 단계와, 제2 클러스터에 포함된 경계 사진들 중 중심 좌표에 해당하는 제1 대표 사진을 선정하는 단계와, 제1 대표 사진을 이용자들의 얼굴 인식을 위한 사진으로 등록하는 단계와, 제1 대표 사진을 기초로 이용자들의 얼굴을 인식하는 단계를 포함하는 얼굴 인식 방법을 제공한다.In addition, the steps of clustering the face photos of users to create a first cluster for each user, selecting boundary photos located in a boundary region between the first clusters from among the facial photos included in the first cluster, and clustering the boundary photos to create a second cluster for each user, selecting a first representative photo corresponding to the center coordinates from among the boundary photos included in the second cluster, and using the first representative photo as a photo for face recognition of users There is provided a face recognition method comprising the steps of registering and recognizing faces of users based on a first representative photo.
또한, 본 발명의 실시예에 따른 얼굴 인식 방법은 제1 클러스터에 포함된 얼굴 사진들 중 제1 클러스터의 중심 영역에 위치한 중심 사진들을 선정하는 단계와, 중심 사진들을 클러스터링하여 제3 클러스터를 생성하는 단계와, 제3 클러스터에 포함된 중심 사진들 중 중심 좌표에 해당하는 제2 대표 사진을 선정하는 단계와, 제2 대표 사진을 이용자들의 얼굴 인식을 위한 사진으로 등록하는 단계와, 제2 대표 사진을 기초로 이용자들의 얼굴을 인식하는 단계를 더 포함할 수 있다.In addition, the face recognition method according to an embodiment of the present invention includes the steps of selecting central photos located in the central region of the first cluster from among the face photos included in the first cluster, and generating a third cluster by clustering the central photos. The steps of selecting a second representative photo corresponding to central coordinates from among the central photos included in the third cluster, registering the second representative photo as a photo for face recognition of users, and the second representative photo The method may further include recognizing faces of users based on the .
또한, 본 발명의 실시예에 따른 얼굴 인식 방법은 제1 및 제2 대표 사진이 이용자들의 얼굴 인식에 활용된 횟수를 카운팅하는 단계와, 카운팅 횟수를 기초로 제1 및 제2 대표 사진의 영향력 지수를 산출하는 단계와, 영향력 지수를 기초로 제1 및 제2 대표 사진에 대해 얼굴 인식을 위한 사진 등록을 유지 또는 해지하는 단계를 더 포함할 수 있다.In addition, the face recognition method according to an embodiment of the present invention includes the steps of counting the number of times the first and second representative photos are used for face recognition of users, and the influence index of the first and second representative photos based on the counting times The method may further include calculating , and maintaining or canceling photo registration for face recognition for the first and second representative photos based on the influence index.
여기서, 얼굴 인식을 위한 사진 등록을 유지 또는 해지하는 단계는 영향력 지수가 기준값 미만인 제1 및 제2 대표 사진에 대해 얼굴 인식을 위한 사진 등록을 해지하는 단계일 수 있다.Here, the step of maintaining or canceling photo registration for face recognition may be a step of canceling photo registration for face recognition with respect to the first and second representative photos having an influence index less than a reference value.
또한, 얼굴 인식을 위한 사진 등록을 유지 또는 해지하는 단계는 제1 및 제2 대표 사진에 대해 얼굴 인식을 위한 사진 등록 개수를 설정하는 단계와, 영향력 지수가 낮은 순서대로 제1 및 제2 대표 사진에 대해 얼굴 인식을 위한 사진 등록을 해지하여 사진 등록 개수를 유지하는 단계일 수 있다.In addition, the step of maintaining or canceling photo registration for face recognition includes setting the number of photo registrations for face recognition for the first and second representative photos, and the first and second representative photos in the order of low influence index. It may be a step of maintaining the number of photo registrations by canceling photo registration for face recognition.
여기서, 제1 및 2 대표 사진을 기초로 이용자들의 얼굴을 인식하는 단계는, 이용자들이 카메라의 통신 반경 범위 내로 진입하면 카메라가 카메라 식별 정보를 이용자들이 휴대한 이용자 단말로 전송하는 단계와, 카메라 식별 정보를 전송 받은 이용자 단말이 활성화되어 단말 식별 정보를 얼굴 인식 서버로 전송하는 단계와, 카메라가 이용자들의 얼굴을 촬영한 촬영 사진을 얼굴 인식 서버로 전송하는 단계와, 얼굴 인식 서버가 단말 식별 정보를 기초로 이용자의 제1 및 제2대표 사진을 호출하고, 촬영 사진과 제1 및 제2 대표 사진의 유사도를 비교하여 이용자들의 얼굴을 인식하는 단계를 포함할 수 있다.Here, the step of recognizing the faces of users based on the first and second representative photos includes: when the users enter within a communication radius of the camera, the camera transmits camera identification information to the user terminal carried by the users; The user terminal receiving the information is activated and transmitting the terminal identification information to the face recognition server, the camera transmitting the photographed photos of the users' faces to the face recognition server, and the face recognition server receiving the terminal identification information It may include calling the first and second representative photos of the user based on the basis, and recognizing the faces of the users by comparing the degree of similarity between the photographed photo and the first and second representative photos.
또한, 이용자들의 얼굴 사진들을 클러스터링하여 이용자 별로 제1 클러스터를 생성하고, 제1 클러스터에 포함된 얼굴 사진들 중 제1 클러스터 간 경계 영역에 위치한 경계 사진들을 선정하는 경계 사진 선정부와, 경계 사진들을 클러스터링하여 이용자 별로 제2 클러스터를 생성하고, 제2 클러스터에 포함된 경계 사진들 중 중심 좌표에 해당하는 제1 대표 사진을 선정하는 제1 대표 사진 선정부와, 데이터 베이스에 제1 대표 사진을 이용자들의 얼굴 인식을 위한 사진으로 등록하는 대표 사진 등록부를 포함하는 얼굴 인식 서버를 제공한다.In addition, a first cluster is created for each user by clustering the face photos of users, and a boundary photo selector that selects boundary photos located in the boundary region between the first clusters from among the facial photos included in the first cluster; A second cluster is generated for each user by clustering, and a first representative photo selector that selects a first representative photo corresponding to the central coordinates among the boundary photos included in the second cluster, and the first representative photo in the database It provides a face recognition server including a representative photo register for registering as a photo for their face recognition.
또한, 본 발명의 실시예에 따른 얼굴 인식 서버는, 제1 클러스터에 포함된 얼굴 사진들 중 제1 클러스터의 중심 영역에 위치한 중심 사진들을 선정하는 중심 사진 선정부와, 중심 사진들을 클러스터링하여 제3 클러스터를 생성하고, 제3 클러스터에 포함된 중심 사진들 중 중심 좌표에 해당하는 제2 대표 사진을 선정하는 제2 대표 사진 선정부를 더 포함하고, 대표 사진 등록부는 데이터 베이스에 제2 대표 사진을 이용자들의 얼굴 인식을 위한 사진으로 등록할 수 있다.In addition, the face recognition server according to an embodiment of the present invention includes a central photo selector for selecting central photos located in the central region of the first cluster from among the face photos included in the first cluster, and a third by clustering the central photos. It generates a cluster, and further includes a second representative photo selector for selecting a second representative photo corresponding to central coordinates from among the central photos included in the third cluster, and the representative photo registration unit stores the second representative photo in the database. It can be registered as a photo for face recognition.
또한, 본 발명의 실시예에 따른 얼굴 인식 서버는, 데이터 베이스에서 제1 및 제2대표 사진을 호출하고, 이용자들의 얼굴을 촬영한 촬영 사진과 제1 및 제2 대표 사진의 유사도를 비교하여 이용자들의 얼굴을 인식하는 얼굴 인식부를 더 포함할 수 있다.In addition, the face recognition server according to an embodiment of the present invention calls the first and second representative photos from the database and compares the similarity between the first and second representative photos with the first and second representative photos of the users. It may further include a face recognition unit for recognizing their faces.
본 발명에 따르면, 서로 다른 이용자의 경계 사진을 대표 사진으로 선정하여 이를 촬영 사진과 비교하기 때문에 서로 다른 이용자로 오인식하는 것을 방지할 수 있는 효과가 있다.According to the present invention, since boundary photos of different users are selected as representative photos and compared with the photographed photos, there is an effect that can prevent misidentification as different users.
또한, 본 발명에 따르면, 이용자들의 중심 사진을 대표 사진으로 선정하여 이를 촬영 사진과 비교하기 때문에 이용자들의 얼굴 인식 정확성을 향상시킬 수 있는 효과가 있다.In addition, according to the present invention, since the user's central photo is selected as a representative photo and compared with the photographed photo, there is an effect of improving the user's facial recognition accuracy.
또한, 본 발명에 따르면, 대표 사진이 이용자들의 얼굴 인식에 필요한 최소한의 개수로 선정되기 때문에 얼굴 인식 속도를 향상시킬 수 있는 효과가 있다.In addition, according to the present invention, since the minimum number of representative photos required for face recognition of users is selected, there is an effect of improving the face recognition speed.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtainable in the present invention are not limited to the above-mentioned effects, and other effects not mentioned may be clearly understood by those of ordinary skill in the art to which the present invention belongs from the following description. will be.
도 1은 본 발명의 제1 실시예에 따른 얼굴 사진 등록 및 얼굴 인식 방법의 흐름도이다.
도 2는 본 발명의 제1 실시예에 따른 얼굴 사진 등록 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 제2 실시예에 따른 얼굴 사진 등록 및 얼굴 인식 방법의 흐름도이다.
도 4는 본 발명의 제2 실시예에 따른 얼굴 사진 등록 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 얼굴 인식을 위한 사진 등록을 유지 또는 해지하는 방법의 흐름도이다.
도 6은 본 발명의 실시예에 따른 얼굴 인식 시스템의 블록도이다.
도 7은 본 발명의 실시예에 따른 얼굴 인식 서버의 블록도이다.
도 8은 본 발명의 실시예에 따른 얼굴 인식 방법의 구체적인 흐름도이다.1 is a flowchart of a face photo registration and face recognition method according to a first embodiment of the present invention.
2 is a view for explaining a face photo registration method according to the first embodiment of the present invention.
3 is a flowchart of a face photo registration and face recognition method according to a second embodiment of the present invention.
4 is a view for explaining a face photo registration method according to a second embodiment of the present invention.
5 is a flowchart of a method of maintaining or canceling photo registration for face recognition according to an embodiment of the present invention.
6 is a block diagram of a face recognition system according to an embodiment of the present invention.
7 is a block diagram of a face recognition server according to an embodiment of the present invention.
8 is a detailed flowchart of a face recognition method according to an embodiment of the present invention.
이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략할 수 있고, 명세서 전체를 통하여 동일 또는 유사한 구성 요소에 대해서는 동일한 참조 부호를 사용할 수 있다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings. DETAILED DESCRIPTION The detailed description set forth below in conjunction with the appended drawings is intended to describe exemplary embodiments of the present invention and is not intended to represent the only embodiments in which the present invention may be practiced. In order to clearly explain the present invention in the drawings, parts not related to the description may be omitted, and the same reference numerals may be used for the same or similar components throughout the specification.
본 발명의 일 실시 예에서, “또는”, “적어도 하나” 등의 표현은 함께 나열된 단어들 중 하나를 나타내거나, 또는 둘 이상의 조합을 나타낼 수 있다. 예를 들어, “A 또는 B”, “A 및 B 중 적어도 하나”는 A 또는 B 중 하나만을 포함할 수 있고, A와 B를 모두 포함할 수도 있다.In an embodiment of the present invention, expressions such as “or” and “at least one” may indicate one of the words listed together, or a combination of two or more. For example, “A or B” or “at least one of A and B” may include only one of A or B, or both A and B.
본 발명의 실시예에 따른 얼굴 인식을 위한 얼굴 사진 등록 방법, 얼굴 인식 방법 및 서버는 이용자가 카메라 앞에서 멈추지 않고 그대로 걸어서 통과하고 통과하는 과정에서 카메라가 이용자의 얼굴을 인식하는 Walk Thru형 얼굴 인식 출입 통제 기술에 적용될 수 있을 뿐만 아니라, 출입문에 설치된 카메라 바로 앞에 서서 이용자의 얼굴을 인식하는 방법에도 적용될 수 있다.In the face photo registration method, face recognition method and server for face recognition according to an embodiment of the present invention, the user does not stop in front of the camera, but walks through it without stopping and the camera recognizes the user's face in the process of passing through the walk-thru type face recognition entry and exit Not only can it be applied to control technology, but it can also be applied to a method of recognizing a user's face while standing right in front of a camera installed on a door.
이하에서 설명하는 본 발명의 실시예들은 단독으로 구현될 수도 있고, 이들 실시예들이 결합되어 구현될 수도 있다.Embodiments of the present invention described below may be implemented alone or may be implemented in combination with these embodiments.
도 1은 본 발명의 제1 실시예에 따른 얼굴 사진 등록 및 얼굴 인식 방법의 흐름도이고, 도 2는 본 발명의 제1 실시예에 따른 얼굴 사진 등록 방법을 설명하기 위한 도면이다.1 is a flowchart of a face photo registration and face recognition method according to a first embodiment of the present invention, and FIG. 2 is a view for explaining a face photo registration method according to the first embodiment of the present invention.
도 1에 도시한 바와 같이, 본 발명의 제1 실시예에 따른 얼굴 사진 등록 및 얼굴 인식 방법은, 이용자 별로 제1 클러스터(Cluster)를 생성하는 단계(S10)와, 제1 클러스터 간 경계 영역에 위치한 경계 사진들을 선정하는 단계(S20)와, 경계 사진들을 클러스터링(Clustering)하여 이용자 별로 제2 클러스터를 생성하는 단계(S30)와, 제2 클러스터에 포함된 경계 사진들 중 중심 좌표에 해당하는 제1 대표 사진을 선정하는 단계(S40)와, 제1 대표 사진을 이용자들의 얼굴 인식을 위한 사진으로 등록하는 단계(S50)와, 제1 대표 사진을 기초로 이용자들의 얼굴을 인식하는 단계(S60)를 포함하여 구성될 수 있다.As shown in FIG. 1 , in the face photo registration and face recognition method according to the first embodiment of the present invention, a first cluster is created for each user (S10), and the first cluster is located in a boundary area between the first clusters. A step of selecting located boundary photos (S20), a step of clustering the boundary photos to generate a second cluster for each user (S30), and a step corresponding to the center coordinate among the boundary photos included in the second cluster 1 Selecting a representative photo (S40), registering a first representative photo as a photo for face recognition of users (S50), and recognizing users' faces based on the first representative photo (S60) It may be composed of
구체적으로, 도 2에 도시한 바와 같이, 먼저, 이용자들(A, B)의 얼굴 사진들을 클러스터링하여 이용자 별로 제1 클러스터를 생성한다(S10). 한편, 도면에는 A와 B 이용자의 얼굴 사진들을 클러스터링하였지만, 이에 한정되는 것은 아니며 복수의 이용자들의 얼굴 사진들을 클러스터링하여 복수의 제1 클러스터를 생성할 수 있다.Specifically, as shown in FIG. 2 , first, face photos of users A and B are clustered to generate a first cluster for each user ( S10 ). Meanwhile, although face photos of users A and B are clustered in the drawing, the present invention is not limited thereto, and a plurality of first clusters may be generated by clustering face photos of a plurality of users.
여기서, 제1 클러스터는 얼굴 사진들의 분포도 및 밀도를 기반으로 생성될 수 있다. 한편, A 이용자의 얼굴 사진들과 B 이용자의 얼굴 사진들을 각각 클러스터링하여 각각 하나의 제1 클러스터를 생성하였지만 이에 한정되는 것은 아니며 동일한 이용자에 대해 복수의 제1 클러스터가 생성될 수 있다.Here, the first cluster may be generated based on the distribution and density of the face photos. Meanwhile, one first cluster is generated by clustering the face photos of user A and face photos of user B, respectively, but the present invention is not limited thereto, and a plurality of first clusters may be generated for the same user.
예를 들어, 얼굴 표정 변화가 비교적 적은 이용자는 얼굴 사진들의 분포도가 작기 때문에 적은 수의 제1 클러스터가 생성되고, 얼굴 표정 변화가 많은 이용자는 얼굴 사진들의 분포도가 크기 때문에 비교적 많은 제1 클러스터가 생성될 수 있다.For example, a user with a relatively small change in facial expression generates a small number of first clusters because the distribution of facial photos is small, and a user with a large change in facial expression generates a relatively large number of first clusters because the distribution of facial photos is large for a user with a large change in facial expression. can be
또한, 서로 다른 이용자임에도 불구하고 카메라의 위치, 얼굴 사진을 촬영할 때의 조명 및 이용자의 동선 등으로 인해 유사한 얼굴 사진들이 생성될 수 있어, 서로 다른 이용자의 제1 클러스터들이 인접하거나 제1 클러스터 간 중첩될 수 있다. 즉, 서로 다른 이용자의 제1 클러스터 간 경계 영역이 형성될 수 있다.In addition, despite the different users, similar face photos may be generated due to the location of the camera, the lighting when taking a face photo, and the user's movement, so that the first clusters of different users are adjacent to each other or overlap between the first clusters. can be That is, a boundary area between the first clusters of different users may be formed.
여기서, 제1 클러스터에 포함된 얼굴 사진들 중 제1 클러스터 간 경계 영역에 위치한 경계 사진들을 선정한다(S20). Here, from among the face photos included in the first cluster, boundary photos located in the boundary region between the first clusters are selected ( S20 ).
즉, A 이용자의 제1 클러스터에 포함된 얼굴 사진들과 B 이용자의 제1 클러스터에 포함된 얼굴 사진들 중 A 이용자 및 B 이용자의 제1 클러스터 간 경계 영역 위치한 경계 사진들을 선정한다.That is, from among the face photos included in the first cluster of user A and the face photos included in the first cluster of user B, boundary photos located in the boundary area between the first clusters of user A and user B are selected.
다음, 경계 사진들을 클러스터링하여 이용자 별로 제2 클러스터를 생성한다(S30). 즉, A 이용자의 경계 사진들과 B 이용자의 경계 사진들을 각각 클러스터링 하여 A 이용자의 제2 클러스터와 B 이용자의 제2 클러스터를 각각 생성할 수 있다.Next, a second cluster is generated for each user by clustering the boundary photos (S30). That is, by clustering user A's boundary photos and user B's boundary photos, respectively, a second cluster of user A and a second cluster of user B can be generated, respectively.
여기서, 제2 클러스터는 경계 사진들의 분포도 및 밀도를 기반으로 생성될 수 있다. 한편, A 이용자의 경계 사진들과 B 이용자의 경계 사진들을 각각 클러스터링하여 각각 두 개와 하나의 클러스터를 각각 생성하였지만 이에 한정되는 것은 아니다.Here, the second cluster may be generated based on the distribution and density of the boundary photos. On the other hand, the boundary photos of the user A and the boundary photos of the user B are respectively clustered to generate two and one cluster, respectively, but the present invention is not limited thereto.
다음, GMM(Gaussian Mixture Model)을 이용하여 제2 클러스터에 포함된 경계 사진들 중 중심 좌표에 해당하는 제1 대표 사진을 선정한다(S40). 즉, A 이용자의 두 개의 제2 클러스터에 포함된 경계 사진들 중 중심 좌표에 해당하는 사진을 각각 A 이용자의 제1 대표 사진으로 선정하고, B 이용자의 하나의 제2 클러스터에 포함된 경계 사진들 중 중심 좌표에 해당하는 사진을 B 이용자의 제1 대표 사진으로 선정할 수 있다.Next, the first representative photo corresponding to the center coordinates among the boundary photos included in the second cluster is selected using a Gaussian Mixture Model (GMM) ( S40 ). That is, each of the photos corresponding to the center coordinates among the border photos included in the two second clusters of user A is selected as the first representative photo of user A, and boundary photos included in one second cluster of user B A photo corresponding to the central coordinates may be selected as the first representative photo of user B.
여기서, 제2 클러스터 마다 하나의 제1 대표 사진이 선정될 수 있다. 이에 따라, 제1 대표 사진의 개수는 제2 클러스터의 개수에 따라 결정되며, 제1 대표 사진은 이용자들의 얼굴 인식에 필요한 최소한의 개수로 선정되기 때문에 얼굴 인식 속도를 향상시킬 수 있다.Here, one first representative photo may be selected for each second cluster. Accordingly, the number of first representative photos is determined according to the number of second clusters, and since the first representative photos are selected as the minimum number required for face recognition of users, face recognition speed can be improved.
다음, 제1 대표 사진을 이용자들의 얼굴 인식을 위한 사진으로 등록하고(S50), 제1 대표 사진을 기초로 이용자들의 얼굴을 인식한다(S60). 즉, A 이용자의 두 개의 제1 대표 사진을 A 이용자의 얼굴 인식을 위한 사진으로 등록하고, B 이용자의 하나의 제1 대표 사진을 B 이용자의 얼굴 인식을 위한 사진으로 등록한다. 그리고, A 이용자를 촬영한 촬영 사진을 등록된 A 이용자의 두 개의 제1 대표 사진과 비교하여 A 이용자의 얼굴을 인식하고, B 이용자를 촬영한 촬영 사진을 등록된 B 이용자의 하나의 제1 대표 사진과 비교하여 B 이용자의 얼굴을 인식한다. 여기서, 제1 대표 사진을 선정하고 등록하는 일련의 과정은 일정 주기 마다 업데이트될 수 있다.Next, the first representative photo is registered as a photo for face recognition of users (S50), and the faces of users are recognized based on the first representative photo (S60). That is, two first representative photos of user A are registered as photos for face recognition of user A, and one first representative photo of user B is registered as photos for face recognition of user B. Then, the face of user A is recognized by comparing the photograph taken of user A with the two first representative photos of registered user A, and the photographed photograph taken of user B is compared with one first representative of registered user B The face of user B is recognized by comparing it with the photo. Here, a series of processes for selecting and registering the first representative photo may be updated at regular intervals.
이와 같이, 서로 다른 이용자의 경계 사진을 제1 대표 사진으로 선정하여 이를 촬영 사진과 비교하기 때문에 서로 다른 이용자로 오인식하는 것을 방지할 수 있다.In this way, since the boundary photos of different users are selected as the first representative photos and compared with the photographed photos, it is possible to prevent misidentification as different users.
즉, A 이용자 및 B 이용자의 클러스터의 경계 영역에 위치한 A 이용자의 얼굴 사진을 A 이용자를 촬영한 촬영 사진과 비교하기 때문에 A 이용자를 B 이용자로 오인식하는 것을 방지할 수 있다. 마찬가지로, A 이용자 및 B 이용자의 클러스터의 경계 영역에 위치한 B 이용자의 얼굴 사진을 B 이용자를 촬영한 촬영 사진과 비교하기 때문에 B 이용자를 A 이용자로 오인식하는 것을 방지할 수 있다.That is, since the face photo of user A located in the boundary region of the cluster of user A and user B is compared with a photograph taken of user A, it is possible to prevent misrecognition of user A as user B. Similarly, since the face photo of user B located in the boundary region of the cluster of user A and user B is compared with a photograph taken by user B, it is possible to prevent misrecognition of user B as user A.
도 3은 본 발명의 제2 실시예에 따른 얼굴 사진 등록 및 얼굴 인식 방법의 흐름도이고, 도 4는 본 발명의 제2 실시예에 따른 얼굴 사진 등록 방법을 설명하기 위한 도면이다.3 is a flowchart of a face photo registration and face recognition method according to a second embodiment of the present invention, and FIG. 4 is a view for explaining a face photo registration method according to the second embodiment of the present invention.
도 3에 도시한 바와 같이, 본 발명의 제2 실시예에 따른 얼굴 사진 등록 및 얼굴 인식 방법은, 제1 클러스터의 중심 영역에 위치한 중심 사진들을 선정하는 단계(S70)와, 중심 사진들을 클러스터링하여 제3 클러스터를 생성하는 단계(S80)와, 제3 클러스터에 포함된 중심 사진들 중 중심 좌표에 해당하는 제2 대표 사진을 선정하는 단계(S90)와, 제2 대표 사진을 이용자들의 얼굴 인식을 위한 사진으로 등록하는 단계(S100)와, 제2 대표 사진을 기초로 이용자들의 얼굴을 인식하는 단계(S70)를 포함하여 구성될 수 있다.As shown in FIG. 3 , the face photo registration and face recognition method according to the second embodiment of the present invention includes the steps of selecting central photos located in the central region of the first cluster (S70), and clustering the central photos. Creating a third cluster (S80), selecting a second representative photo corresponding to central coordinates from among the central photos included in the third cluster (S90), and using the second representative photo to recognize users' faces It may be configured to include a step (S100) of registering as a photo for the purpose and a step (S70) of recognizing the faces of users based on the second representative photo.
구체적으로, 도 4에 도시한 바와 같이, 먼저, 이용자들의 얼굴 사진들 중 블랙 리스트로 등록된 사진을 제거한다. 여기서, 블랙리스트에 등록된 블랙리스트 사진은 관리자가 등록을 승인하지 않거나 삭제한 사진을 의미한다.Specifically, as shown in FIG. 4 , first, a picture registered as a blacklist among users' face pictures is removed. Here, the blacklist photo registered in the blacklist means a photo that the administrator has not approved for registration or has been deleted.
다음, DBSCAN(Density-Based Spatial Clustering of Applications with Noise)을 이용하여 제1 클러스터를 생성하고 이 제1 클러스터를 기준으로 이용자들의 얼굴 사진들을 제1 클러스터에 포함된 중심 사진들 및 가장 자리 사진들과, 제1 클러스터에 포함되지 않는 아웃 라이어 사진들로 분류하고, 아웃 라이어 사진들을 제거한다.Next, a first cluster is created using DBSCAN (Density-Based Spatial Clustering of Applications with Noise), and based on the first cluster, face photos of users are combined with central photos and edge photos included in the first cluster. , classify outlier photos not included in the first cluster, and remove outlier photos.
다음, 제1 클러스터에 포함된 얼굴 사진들 중 제1 클러스터의 중심 영역에 위치한 중심 사진들을 선정하고(S70), 중심 사진들을 클러스터링하여 제3 클러스터를 생성한다(S80).Next, from among the face photos included in the first cluster, central photos located in the central region of the first cluster are selected ( S70 ), and a third cluster is generated by clustering the central photos ( S80 ).
여기서, 제3 클러스터는 중심 사진들의 분포도 및 밀도를 기반으로 생성될 수 있다. 한편, 도면에는 A 이용자의 중심 사진들을 클러스터링하여 두 개의 제3 클러스터를 생성하였지만 이에 한정되는 것은 아니며 복수의 제3 클러스터가 생성될 수 있다.Here, the third cluster may be generated based on the distribution and density of the central photos. Meanwhile, in the drawing, two third clusters are generated by clustering the central photos of user A, but the present invention is not limited thereto, and a plurality of third clusters may be generated.
다음, GMM(Gaussian Mixture Model)을 이용하여 제3 클러스터에 포함된 중심 사진들 중 중심 좌표에 해당하는 제2 대표 사진을 선정한다(S90).Next, a second representative photo corresponding to the center coordinates is selected from among the center photos included in the third cluster by using a Gaussian Mixture Model (GMM) (S90).
즉, A 이용자의 두 개의 제3 클러스터 중 어느 하나에 포함된 중심 사진들 중 중심 좌표에 해당하는 사진을 A 이용자의 제2 대표 사진으로 선정하고, 나머지 다른 하나에 포함된 중심 사진들 중 중심 좌표에 해당하는 사진을 A 이용자의 제2 대표 사진으로 선정할 수 있다.That is, the photo corresponding to the central coordinates among the central photos included in any one of the two third clusters of user A is selected as the second representative photo of user A, and the central coordinates among the central photos included in the other one. A photo corresponding to A can be selected as the second representative photo of user A.
여기서, 제3 클러스터 마다 하나의 제2 대표 사진이 선정될 수 있다. 이에 따라, 제2 대표 사진의 개수는 제3 클러스터의 개수에 따라 결정되며, 제2 대표 사진은 이용자들의 얼굴 인식에 필요한 최소한의 개수로 선정되기 때문에 얼굴 인식 속도를 향상시킬 수 있다.Here, one second representative photo may be selected for each third cluster. Accordingly, the number of second representative photos is determined according to the number of third clusters, and since the second representative photos are selected as the minimum number required for face recognition of users, the face recognition speed can be improved.
다음, 제2 대표 사진을 이용자들의 얼굴 인식을 위한 사진으로 등록하고(S100), 제2 대표 사진을 기초로 이용자들의 얼굴을 인식한다(S110). 즉, A 이용자의 두 개의 제2 대표 사진을 A 이용자의 얼굴 인식을 위한 사진으로 등록하고, A 이용자를 촬영한 촬영 사진을 등록된 A 이용자의 두 개의 제2 대표 사진과 비교하여 A 이용자의 얼굴을 인식한다. 여기서, 제2 대표 사진을 선정하고 등록하는 일련의 과정은 일정 주기 마다 업데이트될 수 있다.Next, the second representative photo is registered as a photo for face recognition of users (S100), and faces of users are recognized based on the second representative photo (S110). That is, two second representative photos of user A are registered as photos for user A's face recognition, and a photograph taken of user A is compared with the two second representative photos of user A registered with user A's face recognize Here, a series of processes for selecting and registering the second representative photo may be updated at regular intervals.
이와 같이, 이용자들의 중심 사진을 제2 대표 사진으로 선정하여 이를 촬영 사진과 비교하기 때문에 이용자들의 얼굴 인식 정확성을 향상시킬 수 있다.In this way, since the user's central photo is selected as the second representative photo and compared with the photographed photo, it is possible to improve the user's face recognition accuracy.
즉, A 이용자의 클러스터의 중심 영역에 위치한 A 이용자의 얼굴 사진을 A 이용자를 촬영한 촬영 사진과 비교하기 때문에 얼굴 인식 정확성을 향상시킬 수 있다.That is, since the face photo of user A located in the central region of user A's cluster is compared with the photograph taken by user A, the accuracy of face recognition can be improved.
도 5는 본 발명의 실시예에 따른 얼굴 인식을 위한 사진 등록을 유지 또는해지하는 방법의 흐름도이다.5 is a flowchart of a method for maintaining or canceling photo registration for face recognition according to an embodiment of the present invention.
도 5에 도시한 바와 같이, 먼저, 제1 및 제2 대표 사진이 이용자들의 얼굴 인식에 활용된 횟수를 카운팅한다(S120).As shown in FIG. 5 , first, the number of times the first and second representative photos are used for face recognition of users is counted ( S120 ).
다음, 카운팅 횟수를 기초로 제1 및 제2 대표 사진의 영향력 지수를 산출한다(S130). 여기서, 영향력 지수는 어느 한 이용자의 제1 및 제2 대표 사진의 총 카운팅 횟수에 대한 각 대표 사진의 개별 카운팅 횟수의 비율로 산출될 수 있다. 예를 들어, A, B, C 및 D 대표 사진의 카운팅 횟수가 각각 45회, 35회, 15회 및 5회라면 A, B, C 및 D 대표 사진의 영향력 지수는 0.45, 0.35, 0.15 및 0.05로 각각 산출될 수 있다.Next, an influence index of the first and second representative photos is calculated based on the counting number (S130). Here, the influence index may be calculated as a ratio of the individual counting times of each representative photo to the total counting times of the first and second representative photos of any one user. For example, if the representative photos of A, B, C, and D are counted 45 times, 35 times, 15 times, and 5 times, respectively, the influence indices of the representative photos A, B, C, and D are 0.45, 0.35, 0.15, and 0.05 can be calculated respectively.
다음, 영향력 지수를 기초로 제1 및 제2 대표 사진에 대해 얼굴 인식을 위한 사진 등록을 유지 또는 해지한다(S140).Next, the photo registration for face recognition is maintained or canceled for the first and second representative photos based on the influence index ( S140 ).
구체적으로, 영향력 지수가 기준값 미만인 제1 및 제2 대표 사진에 대해 얼굴 인식을 위한 사진 등록을 해지할 수 있다. 예를 들어, 기준값을 0.3로 설정한 경우 전술한 예에서 C 및 D 대표 사진의 등록을 해지할 수 있다. 이 경우, 전술한 방법으로 새롭게 선정된 대표 사진으로 교체 등록할 수 있다.Specifically, the photo registration for face recognition may be canceled for the first and second representative photos having the influence index less than the reference value. For example, when the reference value is set to 0.3, the registration of representative photos C and D in the above-described example may be cancelled. In this case, it is possible to replace and register the representative photo newly selected by the above-described method.
또한, 제1 및 제2 대표 사진에 대한 얼굴 인식을 위한 사진 등록 개수는 미리 설정될 수 있다. 이 경우, 영향력 지수가 낮은 순서대로 제1 및 제2 대표 사진에 대해 얼굴 인식을 위한 사진 등록을 해지하여 미리 설정된 사진 등록 개수를 유지할 수도 있다.Also, the number of photo registrations for face recognition for the first and second representative photos may be preset. In this case, a preset number of photo registrations may be maintained by canceling the photo registration for face recognition for the first and second representative photos in the order of decreasing the influence index.
한편, 사진 등록이 해지된 대표 사진들은 제거되기 전에 블랙 리스트에 기록될 수 있다.Meanwhile, representative photos whose photo registration is canceled may be recorded in the black list before being removed.
이와 같이, 본 발명에 따르면, 얼굴 인식 활용도가 높은 대표 사진은 등록을 유지시키고 얼굴 인식 활용도가 낮은 대표 사진은 새롭게 선정된 대표 사진으로 교체함으로써, 얼굴 인식에 필요한 대표 사진의 개수를 최소화하여 얼굴 인식 속도 및 얼굴 인식 정확도를 향상시킬 수 있다.As described above, according to the present invention, the representative photo with high face recognition utility maintains registration and the representative photo with low face recognition utility is replaced with a newly selected representative photo, thereby minimizing the number of representative photos required for face recognition. It can improve speed and face recognition accuracy.
도 6은 본 발명의 실시예에 따른 얼굴 인식 시스템의 블록도이고, 도 7은 본 발명의 실시예에 따른 얼굴 인식 서버의 블록도이고, 도 8은 본 발명의 실시예에 따른 얼굴 인식 방법의 구체적인 흐름도이다.6 is a block diagram of a face recognition system according to an embodiment of the present invention, FIG. 7 is a block diagram of a face recognition server according to an embodiment of the present invention, and FIG. 8 is a face recognition method according to an embodiment of the present invention. This is a specific flow chart.
도 6에 도시한 바와 같이, 본 발명의 실시예에 따른 얼굴 인식 시스템은 얼굴 인식 서버(100), 카메라(200) 및 이용자 단말(300)을 포함하여 구성될 수 있다. 그리고, 도 6에 도시한 바와 같이, 본 발명의 실시예에 따른 얼굴 인식 서버(100)는 데이터 베이스(110), 경계 사진 선정부(121), 중심 사진 선정부(122), 제1 대표 사진 선정부(131), 제2 대표 사진 선정부(132) 및 얼굴 인식부(150)를 포함하여 구성될 수 있다.As shown in FIG. 6 , the face recognition system according to an embodiment of the present invention may include a
여기서, 경계 사진 선정부(121)는 데이터 베이스(110)에 저장된 이용자들의 얼굴 사진들을 클러스터링하여 이용자 별로 제1 클러스터를 생성하고, 제1 클러스터에 포함된 얼굴 사진들 중 제1 클러스터 간 경계 영역에 위치한 경계 사진들을 선정한다.Here, the
제1 대표 사진 선정부(131)는 경계 사진들을 클러스터링하여 이용자 별로 제2 클러스터를 생성하고, 제2 클러스터에 포함된 경계 사진들 중 중심 좌표에 해당하는 제1 대표 사진을 선정한다.The first
대표 사진 등록부(140)는 데이터 베이스(110)에 제1 대표 사진을 이용자들의 얼굴 인식을 위한 사진으로 등록한다. 중심 사진 선정부(122)는, 데이터 베이스(110)에 저장된 이용자들의 얼굴 사진들을 클러스터링하여 이용자 별로 제1 클러스터를 생성하고, 제1 클러스터에 포함된 얼굴 사진들 중 제1 클러스터의 중심 영역에 위치한 중심 사진들을 선정한다.The representative
제2 대표 사진 선정부(132)는 중심 사진들을 클러스터링하여 제3 클러스터를 생성하고, 제3 클러스터에 포함된 중심 사진들 중 중심 좌표에 해당하는 제2 대표 사진을 선정한다.The second
대표 사진 등록부(140)는 데이터 베이스(110)에 제2 대표 사진을 이용자들의 얼굴 인식을 위한 사진으로 등록한다.The representative
한편, 제1 및 제2 대표 사진을 선정하고 등록하는 일련의 과정은 일정 주기 마다 업데이트될 수 있다.Meanwhile, a series of processes for selecting and registering the first and second representative photos may be updated at regular intervals.
얼굴 인식부(150)는 데이터 베이스에서 제1 및 제2대표 사진을 호출하고, 이용자들의 얼굴을 촬영한 촬영 사진과 제1 및 제2 대표 사진의 유사도를 비교하여 이용자들의 얼굴을 인식한다.The
이와 같이, 서로 다른 이용자의 경계 사진을 제1 대표 사진으로 선정하여 이를 촬영 사진과 비교하기 때문에 서로 다른 이용자로 오인식하는 것을 방지할 수 있다.In this way, since the boundary photos of different users are selected as the first representative photos and compared with the photographed photos, it is possible to prevent misidentification as different users.
또한, 이용자들의 중심 사진을 제2 대표 사진으로 선정하여 이를 촬영 사진과 비교하기 때문에 이용자들의 얼굴 인식 정확성을 향상시킬 수 있다.In addition, since the user's central photo is selected as the second representative photo and compared with the photographed photo, it is possible to improve the user's face recognition accuracy.
이하, 도 6 및 도 8을 참조하여 본 발명의 실시예에 따른 얼굴 인식 방법을 설명하도록 하겠다. 한편, 전술한 제1 및 제2 실시예에 따른 얼굴 인식을 위한 얼굴 사진 등록 방법과 동일한 내용에 대한 설명은 생략하겠다.Hereinafter, a face recognition method according to an embodiment of the present invention will be described with reference to FIGS. 6 and 8 . Meanwhile, a description of the same content as the method for registering a face photo for face recognition according to the first and second embodiments described above will be omitted.
한편, 얼굴 인식 서버(100)는 카메라(200) 및 이용자 단말(300)과 유선 또는 무선으로 통신하여 정보를 주고 받을 수 있으며, 카메라(200) 및 이용자 단말(300)은 근거리 통신(예컨대, 블루투스(Bluetooth) 통신)을 통해 정보를 주고 받을 수 있다.On the other hand, the
또한, 이용자 단말(300)에는 카메라(200) 및 얼굴 인식 서버(100)와 정보를 주고 받기 위한 어플리케이션(Application)이 설치될 수 있다.In addition, an application for exchanging information with the
먼저, 이용자들이 카메라(200)의 통신 반경 범위 내로 진입하면 카메라(200)가 카메라 식별 정보를 이용자들이 휴대한 이용자 단말(300)로 전송한다(S111).First, when users enter within the communication radius of the
다음, 카메라 식별 정보를 전송받은 이용자 단말(300)이 활성화되어 단말 식별 정보를 얼굴 인식 서버(100)로 전송한다(S112).Next, the
다음, 카메라(200)가 이용자들의 얼굴을 촬영한 촬영 사진을 얼굴 인식 서버(100)로 전송한다(S113).Next, the
다음, 얼굴 인식 서버(300)가 단말 식별 정보를 기초로 이용자의 제1 대표 사진 및 제2대표 사진을 호출하고, 촬영 사진과 제1 대표 사진 및 제2 대표 사진의 유사도를 비교하여 이용자들의 얼굴을 인식한다.Next, the
이와 같이, 본 발명의 실시예에 따른 얼굴 인식 방법은 카메라(200) 근처에 있는 이용자들의 얼굴 사진들의 유사도를 판단하기 때문에 데이터 베이스(110)에 이용자들의 얼굴 사진들이 다수 등록되어 있더라도 얼굴 인식 속도 및 정확성을 향상시킬 수 있다.As such, since the face recognition method according to the embodiment of the present invention determines the similarity of the face photos of users near the
본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The embodiments of the present invention disclosed in the present specification and drawings are merely provided for specific examples to easily explain the technical content of the present invention and help the understanding of the present invention, and are not intended to limit the scope of the present invention. Therefore, the scope of the present invention should be construed as including all changes or modifications derived based on the technical idea of the present invention in addition to the embodiments disclosed herein are included in the scope of the present invention.
100: 얼굴 인식 서버
110: 데이터 베이스
121: 경계 사진 선정부
122: 중심 사진 선정부
131: 제1 대표 사진 선정부
132: 제2 대표 사진 선정부
140: 대표 사진 등록부
150: 얼굴 인식부
200: 카메라
300: 이용자 단말100: face recognition server
110: database
121: boundary photo selection unit
122: central photo selection unit
131: first representative photo selection unit
132: 2nd representative photo selection unit
140: representative photo register
150: face recognition unit
200: camera
300: user terminal
Claims (14)
상기 제1 클러스터에 포함된 상기 얼굴 사진들 중 서로 다른 이용자의 상기 제1 클러스터들이 인접하거나 중첩되는 상기 제1 클러스터 간 경계 영역에 위치한 경계 사진들을 선정하는 단계;
상기 경계 사진들을 클러스터링하여 이용자 별로 제2 클러스터를 생성하는 단계;
상기 제2 클러스터에 포함된 상기 경계 사진들 중 중심 좌표에 해당하는 제1 대표 사진을 선정하는 단계; 및
상기 제1 대표 사진을 이용자들의 얼굴 인식을 위한 사진으로 등록하는 단계를 포함하고,
상기 제1 및 제2 클러스터는
상기 얼굴 사진들의 분포도 및 밀도를 기반으로 생성되는
얼굴 인식을 위한 얼굴 사진 등록 방법.
creating a first cluster for each user by clustering face photos of users;
selecting boundary pictures located in a boundary region between the first clusters in which the first clusters of different users are adjacent to or overlapping each other from among the face pictures included in the first cluster;
creating a second cluster for each user by clustering the boundary photos;
selecting a first representative photo corresponding to a center coordinate from among the boundary photos included in the second cluster; and
and registering the first representative photo as a photo for face recognition of users,
The first and second clusters are
generated based on the distribution and density of the face photos
How to register a face photo for face recognition.
상기 제1 클러스터에 포함된 상기 얼굴 사진들 중 상기 제1 클러스터의 중심 영역에 위치한 중심 사진들을 선정하는 단계;
상기 중심 사진들을 클러스터링하여 제3 클러스터를 생성하는 단계;
상기 제3 클러스터에 포함된 상기 중심 사진들 중 중심 좌표에 해당하는 제2 대표 사진을 선정하는 단계; 및
상기 제2 대표 사진을 이용자들의 얼굴 인식을 위한 사진으로 등록하는 단계
를 더 포함하는 얼굴 인식을 위한 얼굴 사진 등록 방법.
The method of claim 1,
selecting central photos located in a central region of the first cluster from among the face photos included in the first cluster;
generating a third cluster by clustering the central photos;
selecting a second representative photo corresponding to center coordinates from among the center photos included in the third cluster; and
Registering the second representative photo as a photo for face recognition of users
A face photo registration method for face recognition further comprising a.
상기 제3 클러스터는
상기 얼굴 사진들의 분포도 및 밀도를 기반으로 생성되는
얼굴 인식을 위한 얼굴 사진 등록 방법.
3. The method of claim 2,
The third cluster is
generated based on the distribution and density of the face photos
How to register a face photo for face recognition.
상기 제1 대표 사진의 개수는 상기 제2 클러스터의 개수에 따라 결정되고,
상기 제2 대표 사진의 개수는 상기 제3 클러스터의 개수에 따라 결정되는
얼굴 인식을 위한 얼굴 사진 등록 방법.
3. The method of claim 2,
The number of the first representative photo is determined according to the number of the second cluster,
The number of the second representative photos is determined according to the number of the third clusters.
How to register a face photo for face recognition.
상기 중심 사진들을 선정하는 단계는
상기 얼굴 사진들을 상기 제1 클러스터에 포함된 중심 사진들 및 가장 자리 사진들과, 상기 제1 클러스터에 포함되지 않는 아웃 라이어 사진들로 분류하는 단계; 및
상기 아웃 라이어 사진들을 제거하는 단계
를 더 포함하는 얼굴 인식을 위한 얼굴 사진 등록 방법.
3. The method of claim 2,
The step of selecting the central photos is
classifying the face photos into center photos and edge photos included in the first cluster and outlier photos not included in the first cluster; and
removing the outlier photos
A face photo registration method for face recognition further comprising a.
상기 제1 클러스터에 포함된 상기 얼굴 사진들 중 서로 다른 이용자의 상기 제1 클러스터들이 인접하거나 중첩되는 상기 제1 클러스터 간 경계 영역에 위치한 경계 사진들을 선정하는 단계;
상기 경계 사진들을 클러스터링하여 이용자 별로 제2 클러스터를 생성하는 단계;
상기 제2 클러스터에 포함된 상기 경계 사진들 중 중심 좌표에 해당하는 제1 대표 사진을 선정하는 단계;
상기 제1 대표 사진을 이용자들의 얼굴 인식을 위한 사진으로 등록하는 단계; 및
상기 제1 대표 사진을 기초로 이용자들의 얼굴을 인식하는 단계를 포함하고,
상기 제1 및 제2 클러스터는
상기 얼굴 사진들의 분포도 및 밀도를 기반으로 생성되는
얼굴 인식 방법.
creating a first cluster for each user by clustering face photos of users;
selecting boundary pictures located in a boundary region between the first clusters in which the first clusters of different users are adjacent to or overlapping each other from among the face pictures included in the first cluster;
creating a second cluster for each user by clustering the boundary photos;
selecting a first representative photo corresponding to a center coordinate from among the boundary photos included in the second cluster;
registering the first representative photo as a photo for face recognition of users; and
Recognizing the faces of users based on the first representative photo,
The first and second clusters are
generated based on the distribution and density of the face photos
How to recognize faces.
상기 제1 클러스터에 포함된 상기 얼굴 사진들 중 상기 제1 클러스터의 중심 영역에 위치한 중심 사진들을 선정하는 단계;
상기 중심 사진들을 클러스터링하여 제3 클러스터를 생성하는 단계;
상기 제3 클러스터에 포함된 상기 중심 사진들 중 중심 좌표에 해당하는 제2 대표 사진을 선정하는 단계;
상기 제2 대표 사진을 이용자들의 얼굴 인식을 위한 사진으로 등록하는 단계; 및
상기 제2 대표 사진을 기초로 이용자들의 얼굴을 인식하는 단계
를 더 포함하는 얼굴 인식 방법.
7. The method of claim 6,
selecting central photos located in a central region of the first cluster from among the face photos included in the first cluster;
generating a third cluster by clustering the central photos;
selecting a second representative photo corresponding to center coordinates from among the center photos included in the third cluster;
registering the second representative photo as a photo for face recognition of users; and
Recognizing faces of users based on the second representative photo
A face recognition method further comprising a.
상기 제1 및 제2 대표 사진이 이용자들의 얼굴 인식에 활용된 횟수를 카운팅하는 단계;
상기 카운팅 횟수를 기초로 상기 제1 및 제2 대표 사진의 영향력 지수를 산출하는 단계; 및
상기 영향력 지수를 기초로 상기 제1 및 제2 대표 사진에 대해 상기 얼굴 인식을 위한 사진 등록을 유지 또는 해지하는 단계
를 더 포함하는 얼굴 인식 방법.
8. The method of claim 7,
counting the number of times the first and second representative photos are used for face recognition of users;
calculating an influence index of the first and second representative photos based on the counting number; and
maintaining or canceling photo registration for face recognition for the first and second representative photos based on the influence index
A face recognition method further comprising a.
상기 얼굴 인식을 위한 사진 등록을 유지 또는 해지하는 단계는
상기 영향력 지수가 기준값 미만인 상기 제1 및 제2 대표 사진에 대해 상기 얼굴 인식을 위한 사진 등록을 해지하는 단계인
얼굴 인식 방법.
9. The method of claim 8,
The step of maintaining or canceling the photo registration for face recognition is
The step of canceling the photo registration for the face recognition for the first and second representative photos for which the influence index is less than a reference value
How to recognize faces.
상기 얼굴 인식을 위한 사진 등록을 유지 또는 해지하는 단계는
상기 제1 및 제2 대표 사진에 대해 상기 얼굴 인식을 위한 사진 등록 개수를 설정하는 단계; 및
상기 영향력 지수가 낮은 순서대로 상기 제1 및 제2 대표 사진에 대해 상기 얼굴 인식을 위한 사진 등록을 해지하여 상기 사진 등록 개수를 유지하는 단계
를 포함하는 얼굴 인식 방법.
9. The method of claim 8,
The step of maintaining or canceling the photo registration for face recognition is
setting the number of photos registered for face recognition with respect to the first and second representative photos; and
maintaining the number of photo registrations by canceling photo registration for face recognition for the first and second representative photos in the order of decreasing the influence index
A face recognition method comprising
상기 제1 및 2 대표 사진을 기초로 이용자들의 얼굴을 인식하는 단계는,
이용자들이 카메라의 통신 반경 범위 내로 진입하면 카메라가 카메라 식별 정보를 이용자들이 휴대한 이용자 단말로 전송하는 단계;
상기 카메라 식별 정보를 전송 받은 상기 이용자 단말이 활성화 되어 단말 식별 정보를 얼굴 인식 서버로 전송하는 단계;
상기 카메라가 이용자들의 얼굴을 촬영한 촬영 사진을 상기 얼굴 인식 서버로 전송하는 단계; 및
상기 얼굴 인식 서버가 상기 단말 식별 정보를 기초로 이용자의 제1 및 제2대표 사진을 호출하고, 상기 촬영 사진과 상기 제1 및 제2 대표 사진의 유사도를 비교하여 이용자들의 얼굴을 인식하는 단계
를 포함하는 얼굴 인식 방법.
8. The method of claim 7,
The step of recognizing the faces of users based on the first and second representative photos,
transmitting, by the camera, camera identification information to the user terminal carried by the users when the users enter the range of the communication radius of the camera;
activating the user terminal receiving the camera identification information and transmitting terminal identification information to a face recognition server;
transmitting, by the camera, pictures taken of users' faces to the face recognition server; and
Recognizing the faces of users by calling, by the face recognition server, the first and second representative photos of the user based on the terminal identification information, and comparing the similarity between the photographed photos and the first and second representative photos
A face recognition method comprising
상기 경계 사진들을 클러스터링하여 이용자 별로 제2 클러스터를 생성하고, 상기 제2 클러스터에 포함된 상기 경계 사진들 중 중심 좌표에 해당하는 제1 대표 사진을 선정하는 제1 대표 사진 선정부; 및
데이터 베이스에 상기 제1 대표 사진을 이용자들의 얼굴 인식을 위한 사진으로 등록하는 대표 사진 등록부를 포함하고,
상기 제1 및 제2 클러스터는
상기 얼굴 사진들의 분포도 및 밀도를 기반으로 생성되는
얼굴 인식 서버.
A first cluster is generated for each user by clustering the face photos of users, and the first clusters of different users among the face photos included in the first cluster are located in a boundary area between the first clusters adjacent to or overlapping each other. a border photo selection unit for selecting border photos;
a first representative photo selector for generating a second cluster for each user by clustering the border photos, and selecting a first representative photo corresponding to a central coordinate from among the border photos included in the second cluster; and
and a representative photo registration unit for registering the first representative photo as a photo for face recognition of users in a database,
The first and second clusters are
generated based on the distribution and density of the face photos
face recognition server.
상기 제1 클러스터에 포함된 상기 얼굴 사진들 중 상기 제1 클러스터의 중심 영역에 위치한 중심 사진들을 선정하는 중심 사진 선정부; 및
상기 중심 사진들을 클러스터링하여 제3 클러스터를 생성하고, 상기 제3 클러스터에 포함된 상기 중심 사진들 중 중심 좌표에 해당하는 제2 대표 사진을 선정하는 제2 대표 사진 선정부를 더 포함하고,
상기 대표 사진 등록부는 상기 데이터 베이스에 상기 제2 대표 사진을 이용자들의 얼굴 인식을 위한 사진으로 등록하는
얼굴 인식 서버.
13. The method of claim 12,
a central photo selector for selecting central photos located in a central region of the first cluster from among the face photos included in the first cluster; and
A second representative photo selector for generating a third cluster by clustering the central photos, and selecting a second representative photo corresponding to central coordinates from among the central photos included in the third cluster,
The representative photo registration unit registers the second representative photo as a photo for face recognition of users in the database.
face recognition server.
상기 데이터 베이스에서 상기 제1 및 제2대표 사진을 호출하고, 이용자들의 얼굴을 촬영한 촬영 사진과 상기 제1 및 제2 대표 사진의 유사도를 비교하여 이용자들의 얼굴을 인식하는 얼굴 인식부
를 더 포함하는 얼굴 인식 서버.14. The method of claim 13,
A face recognition unit that calls the first and second representative photos from the database and recognizes the faces of users by comparing the similarity between the first and second representative photos with the captured photos of the users’ faces
A face recognition server further comprising a.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190002207A KR102355779B1 (en) | 2019-01-08 | 2019-01-08 | Face Image Registration Method For Face Recognition, Face Recognition Method and Server |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190002207A KR102355779B1 (en) | 2019-01-08 | 2019-01-08 | Face Image Registration Method For Face Recognition, Face Recognition Method and Server |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200086056A KR20200086056A (en) | 2020-07-16 |
| KR102355779B1 true KR102355779B1 (en) | 2022-01-25 |
Family
ID=71839611
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190002207A KR102355779B1 (en) | 2019-01-08 | 2019-01-08 | Face Image Registration Method For Face Recognition, Face Recognition Method and Server |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102355779B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014041477A (en) * | 2012-08-22 | 2014-03-06 | Canon Inc | Image recognition device and image recognition method |
| JP2017059060A (en) * | 2015-09-17 | 2017-03-23 | ソフトバンク株式会社 | Biological collation system, biological collation method, biological collation device and control program |
| JP2018128736A (en) * | 2017-02-06 | 2018-08-16 | グローリー株式会社 | Face authentication system, face authentication method and face authentication program |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102427853B1 (en) * | 2015-11-11 | 2022-08-02 | 삼성전자주식회사 | Method and apparatus for adaptively updating registration database for user authentication |
-
2019
- 2019-01-08 KR KR1020190002207A patent/KR102355779B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014041477A (en) * | 2012-08-22 | 2014-03-06 | Canon Inc | Image recognition device and image recognition method |
| JP2017059060A (en) * | 2015-09-17 | 2017-03-23 | ソフトバンク株式会社 | Biological collation system, biological collation method, biological collation device and control program |
| JP2018128736A (en) * | 2017-02-06 | 2018-08-16 | グローリー株式会社 | Face authentication system, face authentication method and face authentication program |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200086056A (en) | 2020-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9928435B2 (en) | System and method for providing an on-chip context aware contact list | |
| JP6471934B2 (en) | Image recognition method, camera system | |
| WO2019218824A1 (en) | Method for acquiring motion track and device thereof, storage medium, and terminal | |
| US9779316B2 (en) | Scalable and distributed biometric processing | |
| WO2020056677A1 (en) | Violation detection method, system, and device for building construction site | |
| US20170032182A1 (en) | System for adaptive real-time facial recognition using fixed video and still cameras | |
| US20150205995A1 (en) | Personal recognition apparatus that performs personal recognition using face detecting function, personal recognition method, and storage medium | |
| JP2019057815A (en) | Monitoring system | |
| CN110889314B (en) | Image processing method, device, electronic equipment, server and system | |
| Xing et al. | DE‐SLAM: SLAM for highly dynamic environment | |
| CN103209303A (en) | Camera Device, Communication System, And Camera System | |
| WO2022227761A1 (en) | Target tracking method and apparatus, electronic device, and storage medium | |
| CN113935358A (en) | Pedestrian tracking method, equipment and storage medium | |
| WO2020183732A1 (en) | Information processing device, information processing system, information processing method, and recording medium | |
| CN113837006B (en) | Face recognition method and device, storage medium and electronic equipment | |
| JP2022105553A (en) | Information processing device, information processing method, and program | |
| KR102355779B1 (en) | Face Image Registration Method For Face Recognition, Face Recognition Method and Server | |
| JP2005084824A (en) | Face image collation apparatus and face image collation method and passage controller | |
| US11157728B1 (en) | Person detection and identification using overhead depth images | |
| Wang et al. | Distributed wide-area multi-object tracking with non-overlapping camera views | |
| JP6495691B2 (en) | Moving object detection device, moving object detection method, and computer program | |
| Leotta et al. | PLaTHEA: a marker‐less people localization and tracking system for home automation | |
| US20230076241A1 (en) | Object detection systems and methods including an object detection model using a tailored training dataset | |
| US11763613B2 (en) | Automatic creation and management of digital identity profiles for access control | |
| CN114155593A (en) | Face recognition method, face recognition device, recognition terminal and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |