KR102577276B1 - Palm information-based multi dimensional biometric authentification apparatus, and control, method thereof - Google Patents

Palm information-based multi dimensional biometric authentification apparatus, and control, method thereof Download PDF

Info

Publication number
KR102577276B1
KR102577276B1 KR1020220032427A KR20220032427A KR102577276B1 KR 102577276 B1 KR102577276 B1 KR 102577276B1 KR 1020220032427 A KR1020220032427 A KR 1020220032427A KR 20220032427 A KR20220032427 A KR 20220032427A KR 102577276 B1 KR102577276 B1 KR 102577276B1
Authority
KR
South Korea
Prior art keywords
image
index
palm
interest
area
Prior art date
Application number
KR1020220032427A
Other languages
Korean (ko)
Inventor
곽정환
우성희
김인기
김범준
Original Assignee
한국교통대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국교통대학교산학협력단 filed Critical 한국교통대학교산학협력단
Priority to KR1020220032427A priority Critical patent/KR102577276B1/en
Application granted granted Critical
Publication of KR102577276B1 publication Critical patent/KR102577276B1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Collating Specific Patterns (AREA)

Abstract

본 발명은 손바닥을 촬영한 촬영 이미지로부터 사용자 신원을 효과적으로 분류(인식)하기 위한 다차원 생체인증장치 및 그 동작 방법에 관한 것이다.The present invention relates to a multidimensional biometric authentication device and its operating method for effectively classifying (recognizing) a user's identity from a photographed image of the palm.

Description

손바닥 정보 기반 다차원 생체인증장치 및 그 동작 방법{PALM INFORMATION-BASED MULTI DIMENSIONAL BIOMETRIC AUTHENTIFICATION APPARATUS, AND CONTROL, METHOD THEREOF}Multidimensional biometric authentication device based on palm information and its operation method {PALM INFORMATION-BASED MULTI DIMENSIONAL BIOMETRIC AUTHENTIFICATION APPARATUS, AND CONTROL, METHOD THEREOF}

본 발명은 손바닥을 촬영한 촬영 이미지로부터 사용자 신원을 효과적으로 분류(인식)하기 위한 방안에 관한 것이다.The present invention relates to a method for effectively classifying (recognizing) a user's identity from a photographed image of the palm.

현대 사회에서는 모바일 기기, 데스크탑, 보안 시설 및 보안 관리 시스템 등 보안 시스템의 적용이 필요한 경우에 다양한 사용자 인식 방법을 사용해 사용자에게 맞는 적절한 권한을 부여하는 방법을 사용하고 있다.In modern society, when it is necessary to apply security systems such as mobile devices, desktops, security facilities, and security management systems, various user recognition methods are used to grant appropriate permissions to users.

하지만 패스워드, 주민등록번호는 유출의 위험이 크며 보안성 또한 확보되지 않아 이중 인증을 사용하는 경우가 많다.However, passwords and resident registration numbers are at high risk of being leaked and security is not guaranteed, so two-factor authentication is often used.

이중 인식의 경우 2차 비밀번호를 입력하거나, 특별히 제작된 USB를 인식시키는 등 다양한 대안이 나타났다.In the case of double recognition, various alternatives emerged, such as entering a secondary password or recognizing a specially designed USB.

하지만 이 또한 분실과 복제에 대한 위험이 존재하며, 유출될 수 있다는 단점이 존재한다.However, this also carries the risk of loss and duplication, and has the disadvantage of being leakable.

이에 대한 대안으로 생체정보를 활용한 사용자 인식 방법이 사용된다.As an alternative to this, a user recognition method using biometric information is used.

바이오메트릭(Biometrics), 즉 생체 인식은 사람마다 가지고 있는 고유한 생체정보를 이용해 개인을 식별하거나 인증하는 정보 보안 기술로서, 분실 및 위/변조의 위험이 낮고, 높은 신뢰성 및 편의성을 제공한다는 점에서 주목받고 있다.Biometrics, or biometrics, is an information security technology that identifies or authenticates individuals using the unique biometric information each person has. It has a low risk of loss and forgery/falsification, and provides high reliability and convenience. It's attracting attention.

생체 인식에는 신체적 생체 인식이 존재하는데, 이러한 신체적 생체 인식으로는 손바닥 정보 기반의 신원 인식 방식을 대표적인 예로 들 수 있다.There is physical biometric recognition in biometrics, and a representative example of such physical biometric recognition is an identity recognition method based on palm information.

손바닥 정보 기반의 신원 인식의 경우 상처에 민감하거나 오염도에 따라 정확도가 크게 변하는 지문 인식 방식과는 달리, 손바닥 전체의 영역을 이용하여 생체 인식이 이루어짐에 따라, 상처나 오염도가 성능을 영향을 미치지 않는 장점을 가진다.In the case of identity recognition based on palm information, unlike the fingerprint recognition method, which is sensitive to wounds or whose accuracy varies greatly depending on the degree of contamination, biometric recognition is performed using the entire palm area, so wounds or contamination do not affect performance. It has advantages.

그러나, 손바닥 정보 기반의 신원 인식에는 주로 정맥 인식 방식이 적용되고 있는데, 이러한 정맥 인식 방식은, 가격이 비싸고 시스템 설치 과정이 복잡할 뿐만 아니라, 신원 인식에 반영되는 근거 정보로서 정맥 하나만이 이용되는 관계로 핵심정보가 부족하다는 한계점이 있다.However, the vein recognition method is mainly applied to identity recognition based on palm information. This vein recognition method is not only expensive and complicated in the system installation process, but also uses only one vein as the basis information reflected in identity recognition. There is a limitation in that it lacks key information.

이에 본 발명에서는 위 정맥 인식 방식의 대안으로 저렴한 카메라 센서, 혹은 휴대폰 만으로도 사용자의 신원을 인식할 수 있는 새로운 방안을 제안하고자 한다.Accordingly, the present invention would like to propose a new method that can recognize the user's identity using only an inexpensive camera sensor or a mobile phone as an alternative to the gastric vein recognition method.

본 발명은 상기한 사정을 감안하여 창출된 것으로서, 본 발명에서 도달하고자 하는 목적은, 손바닥을 촬영한 촬영 이미지로부터 사용자 신원을 효과적으로 분류(인식)하는데 있다.The present invention was created in consideration of the above-mentioned circumstances, and the goal to be achieved by the present invention is to effectively classify (recognize) user identity from a photographed image of the palm.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 다차원 생체인증장치는, 손바닥을 촬영한 촬영 이미지로부터 서로 다른 범위로 예측되는 각각의 관심 영역 이미지를 가공하여 인덱스로 구성한 멀티 채널 이미지를 생성하는 생성부; 및 상기 멀티 채널 이미지로부터 추출되는 특징점을 근거로 상기 촬영 이미지와 매칭되는 사용자의 신원을 분류하는 분류부를 포함하는 것을 특징으로 한다.In order to achieve the above object, a multi-dimensional biometric authentication device according to an embodiment of the present invention generates a multi-channel image composed of an index by processing each region of interest image predicted in different ranges from a photographed image of the palm. generation unit; and a classification unit that classifies the identity of the user matching the captured image based on feature points extracted from the multi-channel image.

구체적으로, 상기 멀티 채널 이미지는, 손가락을 포함하는 손바닥 영역을 관심 영역으로 설정한 이미지로 구성되는 제1 인덱스, 손가락을 제외한 손바닥 영역을 관심 영역으로 설정한 이미지로 구성되는 제2 인덱스, 및 손금 영역을 관심 영역으로 설정한 이미지로 구성되는 제3 인덱스를 포함할 수 있다.Specifically, the multi-channel image includes a first index consisting of an image in which the palm area including the fingers is set as the area of interest, a second index consisting of an image in which the palm area excluding the fingers is set as the area of interest, and the palm. It may include a third index composed of an image with the region set as the region of interest.

구체적으로, 상기 생성부는, 상기 촬영 이미지로부터 상기 제1 인덱스의 이미지를 예측하며, 상기 제1 인덱스의 이미지와 상기 촬영 이미지를 비트 곱(Bitwise AND) 연산한 이미지로부터 상기 제2 인덱스의 이미지를 예측하며, 상기 제2 인덱스의 이미지 내에서 굴곡 부분을 강조한 이미지로부터 상기 제3 인덱스의 이미지를 예측할 수 있다.Specifically, the generator predicts the image of the first index from the captured image, and predicts the image of the second index from an image obtained by bitwise ANDing the image of the first index and the captured image. And, the image of the third index can be predicted from the image that emphasizes the curved part in the image of the second index.

구체적으로, 상기 생성부는, 기 학습된 인덱스 별 세그먼테이션(Segmentation) 모델을 통해서 상기 멀티 채널 이미지 내 각 인덱스의 이미지를 순차적으로 예측할 수 있다.Specifically, the generator may sequentially predict the image of each index in the multi-channel image through a previously learned segmentation model for each index.

구체적으로, 상기 인덱스 별 세그먼테이션 모델은, 상기 관심 영역을 제외한 나머지 영역의 가중치를 하향 조정하는 방식으로 상기 관심 영역을 강조하며, 상기 가중치는, Skip connections, 및 Upsampling 중 적어도 하나의 과정에서 어텐션 게이트(Attention gate) 구조의 채택에 따라, Skip connections을 통해 특정 레이어로 전달되는 제1 특징점과, 상기 특정 레이어와 이웃한 이전 레이어로부터 전달되는 제2 특징점에 근거하여 결정될 수 있다.Specifically, the index-specific segmentation model emphasizes the region of interest by lowering the weight of the remaining regions excluding the region of interest, and the weight is determined through an attention gate (at least one of skip connections and upsampling). Depending on the adoption of the attention gate structure, it may be determined based on the first feature point transmitted to a specific layer through skip connections and the second feature point transmitted from the previous layer neighboring the specific layer.

구체적으로, 상기 분류부는, 기 학습된 분류 모델을 통해 상기 멀티 채널 이미지를 입력받고, 상기 분류 모델에서의 특징점 추출 결과를 앙상블(Ensemble)하는 앙상블 분류기를 통해서 상기 촬영 이미지와 매칭되는 사용자의 신원을 분류할 수 있다.Specifically, the classification unit receives the multi-channel image through a pre-learned classification model and determines the identity of the user matching the captured image through an ensemble classifier that ensembles the feature point extraction results from the classification model. Can be classified.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 다차원 생체인증장치의 동작 방법은, 손바닥을 촬영한 촬영 이미지로부터 서로 다른 범위로 예측되는 각각의 관심 영역 이미지를 가공하여 인덱스로 구성한 멀티 채널 이미지를 생성하는 생성단계; 및 상기 멀티 채널 이미지로부터 추출되는 특징점을 근거로 상기 촬영 이미지와 매칭되는 사용자의 신원을 분류하는 분류단계를 포함하는 것을 특징으로 한다.A method of operating a multidimensional biometric authentication device according to an embodiment of the present invention to achieve the above object is a multi-channel image composed of an index by processing each region of interest image predicted in different ranges from a photographed image of the palm. A generation step of generating; And a classification step of classifying the identity of the user matching the captured image based on the feature points extracted from the multi-channel image.

구체적으로, 상기 멀티 채널 이미지는, 손가락을 포함하는 손바닥 영역을 관심 영역으로 설정한 이미지로 구성되는 제1 인덱스, 손가락을 제외한 손바닥 영역을 관심 영역으로 설정한 이미지로 구성되는 제2 인덱스, 및 손금 영역을 관심 영역으로 설정한 이미지로 구성되는 제3 인덱스를 포함할 수 있다.Specifically, the multi-channel image includes a first index consisting of an image in which the palm area including the fingers is set as the area of interest, a second index consisting of an image in which the palm area excluding the fingers is set as the area of interest, and the palm. It may include a third index composed of an image with the region set as the region of interest.

구체적으로, 상기 생성단계는, 상기 촬영 이미지로부터 상기 제1 인덱스의 이미지를 예측하며, 상기 제1 인덱스의 이미지와 상기 촬영 이미지를 비트 곱(Bitwise AND) 연산한 이미지로부터 상기 제2 인덱스의 이미지를 예측하며, 상기 제2 인덱스의 이미지 내에서 굴곡 부분을 강조한 이미지로부터 상기 제3 인덱스의 이미지를 예측할 수 있다.Specifically, the generation step predicts the image of the first index from the captured image, and predicts the image of the second index from the image obtained by bitwise ANDing the image of the first index and the captured image. In addition, the image of the third index can be predicted from an image that emphasizes the curved portion in the image of the second index.

구체적으로, 상기 생성단계는, 기 학습된 인덱스 별 세그먼테이션(Segmentation) 모델을 통해서 상기 멀티 채널 이미지 내 각 인덱스의 이미지를 순차적으로 예측할 수 있다.Specifically, in the generation step, the image of each index in the multi-channel image can be sequentially predicted through a pre-learned segmentation model for each index.

구체적으로, 상기 인덱스 별 세그먼테이션 모델은, 상기 관심 영역을 제외한 나머지 영역의 가중치를 하향 조정하는 방식으로 상기 관심 영역을 강조하며, 상기 가중치는, Skip connections, 및 Upsampling 중 적어도 하나의 과정에서 어텐션 게이트(Attention gate) 구조의 채택에 따라, Skip connections을 통해 특정 레이어로 전달되는 제1 특징점과, 상기 특정 레이어와 이웃한 이전 레이어로부터 전달되는 제2 특징점에 근거하여 결정될 수 있다.Specifically, the index-specific segmentation model emphasizes the region of interest by lowering the weight of the remaining regions excluding the region of interest, and the weight is determined through an attention gate (at least one of skip connections and upsampling). Depending on the adoption of the attention gate structure, it may be determined based on the first feature point transmitted to a specific layer through skip connections and the second feature point transmitted from the previous layer neighboring the specific layer.

구체적으로, 상기 분류단계는, 기 학습된 분류 모델을 통해 상기 멀티 채널 이미지를 입력받고, 상기 분류 모델에서의 특징점 추출 결과를 앙상블(Ensemble)하는 앙상블 분류기를 통해서 상기 촬영 이미지와 매칭되는 사용자의 신원을 분류할 수 있다.Specifically, in the classification step, the multi-channel image is input through a pre-learned classification model, and the user's identity is matched with the captured image through an ensemble classifier that ensembles the feature point extraction results from the classification model. can be classified.

이에, 본 발명의 손바닥 정보 기반 다차원 생체인증장치 및 그 동작 방법에서는, 손바닥을 촬영한 촬영 이미지의 데이터 증강(Data Augmentation) 과정에서 배경 등 불필요한 픽셀을 제거한 멀티 채널 이미지를 생성하고, 멀티 채널 이미지 내 차원 별 이미지로부터 추출한 인덱스 별 특징점을 서로 앙상블(Ensemble)한 결과를 기반으로 사용자의 신원을 분류함으로써, 신원 분류(인식) 결과의 정확도를 크게 제고할 수 있다.Accordingly, in the palm information-based multidimensional biometric authentication device and its operating method of the present invention, a multi-channel image is generated in which unnecessary pixels such as the background are removed in the data augmentation process of a photographed image of the palm, and a multi-channel image is generated within the multi-channel image. By classifying the user's identity based on the ensemble result of feature points for each index extracted from each dimension image, the accuracy of the identity classification (recognition) result can be greatly improved.

도 1은 본 발명의 일 실시예에 따른 손바닥 정보 기반 신원 분류(인식) 환경을 설명하기 위한 예시도.
도 2는 본 발명의 일 실시예에 따른 다차원 생체인증장치의 개략적인 구성도.
도 3은 본 발명의 일 실시예에 따른 멀티 채널 이미지 생성 구조를 설명하기 위한 예시도.
도 4는 본 발명의 일 실시예에 따른 사용자 신원 분류 구조를 설명하기 위한 예시도.
도 5 및 도 6은 본 발명의 일 실시예에 따른 세그먼테이션 모델을 설명하기 위한 예시도.
도 7은 본 발명의 일 실시예에 따른 다차원 생체인증장치의 동작 방법을 설명하기 위한 순서도.1 is an exemplary diagram illustrating an identity classification (recognition) environment based on palm information according to an embodiment of the present invention.
Figure 2 is a schematic configuration diagram of a multidimensional biometric authentication device according to an embodiment of the present invention.
Figure 3 is an example diagram for explaining a multi-channel image generation structure according to an embodiment of the present invention.
Figure 4 is an example diagram illustrating a user identity classification structure according to an embodiment of the present invention.
Figures 5 and 6 are exemplary diagrams for explaining a segmentation model according to an embodiment of the present invention.
Figure 7 is a flowchart illustrating a method of operating a multidimensional biometric authentication device according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 설명한다.Hereinafter, preferred embodiments of the present invention will be described with reference to the attached drawings.

본 발명의 일 실시예에서는, 손바닥 정보 기반의 생체 인식에 관한 기술을 다룬다.In one embodiment of the present invention, technology related to biometric recognition based on palm information is addressed.

현대 사회에서는 모바일 기기, 데스크탑, 보안 시설 및 보안 관리 시스템 등 보안 시스템의 적용이 필요한 경우에 다양한 사용자 인식 방법을 사용해 사용자에게 맞는 적절한 권한을 부여하는 방법을 사용하고 있다.In modern society, when it is necessary to apply security systems such as mobile devices, desktops, security facilities, and security management systems, various user recognition methods are used to grant appropriate permissions to users.

하지만 패스워드, 주민등록번호는 유출의 위험이 크며 보안성 또한 확보되지 않아 이중 인증을 사용하는 경우가 많다.However, passwords and resident registration numbers are at high risk of being leaked and security is not guaranteed, so two-factor authentication is often used.

이중 인식의 경우 2차 비밀번호를 입력하거나, 특별히 제작된 USB를 인식시키는 등 다양한 대안이 나타났다.In the case of double recognition, various alternatives emerged, such as entering a secondary password or recognizing a specially designed USB.

하지만 이 또한 분실과 복제에 대한 위험이 존재하며, 유출될 수 있다는 단점이 존재한다.However, this also carries the risk of loss and duplication, and has the disadvantage of being leakable.

이에 대한 대안으로 생체정보를 활용한 사용자 인식 방법이 사용된다.As an alternative to this, a user recognition method using biometric information is used.

바이오메트릭(Biometrics), 즉 생체 인식은 사람마다 가지고 있는 고유한 생체정보를 이용해 개인을 식별하거나 인증하는 정보 보안 기술로서, 분실 및 위/변조의 위험이 낮고, 높은 신뢰성 및 편의성을 제공할 수 있다는 점에서 주목받고 있다.Biometrics, or biometrics, is an information security technology that identifies or authenticates individuals using the unique biometric information each person has. It has a low risk of loss and forgery/falsification, and can provide high reliability and convenience. It is attracting attention in this regard.

생체 인식에는 신체적 생체 인식이 존재하는데, 이러한 신체적 생체 인식으로는 손바닥 정보 기반의 신원 인식 방식을 대표적인 예로 들 수 있다.There is physical biometric recognition in biometrics, and a representative example of such physical biometric recognition is an identity recognition method based on palm information.

손바닥 정보 기반의 신원 인식의 경우 상처에 민감하거나 오염도에 따라 정확도가 크게 변하는 지문 인식 방식과는 달리, 손바닥 전체의 영역을 이용하여 생체 인식이 이루어짐에 따라, 상처나 오염도가 성능을 영향을 미치지 않는 장점을 가진다.In the case of identity recognition based on palm information, unlike the fingerprint recognition method, which is sensitive to wounds or whose accuracy varies greatly depending on the degree of contamination, biometric recognition is performed using the entire palm area, so wounds or contamination do not affect performance. It has advantages.

그러나, 손바닥 정보 기반의 신원 인식에는 주로 정맥 인식 방식이 적용되고 있는데, 이러한 정맥 인식 방식의 경우, 가격이 비싸고 시스템 설치 과정이 복잡할 뿐만 아니라, 신원 인식에 반영되는 근거 정보로서 정맥 하나만이 이용되는 관계로 핵심정보가 부족하다는 한계점이 있다.However, the vein recognition method is mainly applied to identity recognition based on palm information. In the case of this vein recognition method, not only is the price expensive and the system installation process complicated, but only one vein is used as the basis information reflected in identity recognition. Due to this, there is a limitation that key information is lacking.

이에 본 발명의 일 실시예에서는, 위 정맥 인식 방식의 대안으로 저렴한 카메라 센서, 혹은 휴대폰만으로도 사용자의 신원을 인식할 수 있는 새로운 방안을 제안하고자 한다.Accordingly, in one embodiment of the present invention, as an alternative to the gastric vein recognition method, we would like to propose a new method that can recognize the user's identity using only an inexpensive camera sensor or a mobile phone.

이와 관련하여, 도 1에는 본 발명의 일 실시예에 따른 손바닥 정보 기반 신원 분류(인식) 환경을 예시적으로 보여주고 있다.In this regard, Figure 1 exemplarily shows an identity classification (recognition) environment based on palm information according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 다른 손바닥 정보 기반 신원 분류(인식) 환경에는, 손바닥을 촬영한 촬영 이미지로부터 사용자 신원을 분류(인식)하는 생체인식장치(100)를 포함하는 구성을 가질 수 있다.As shown in FIG. 1, the palm information-based identity classification (recognition) environment according to an embodiment of the present invention includes a biometric recognition device 100 that classifies (recognizes) the user's identity from a photographed image of the palm. It can have a configuration that does.

생체인식장치(100)는 손바닥을 촬영한 촬영 이미지의 데이터 증강(Data Augmentation) 과정에서 배경 등 불필요한 픽셀을 제거한 멀티 채널 이미지를 생성하고, 멀티 채널 이미지 내 차원 별 이미지로부터 추출한 인덱스 별 특징점을 서로 앙상블(Ensemble)한 결과를 기반으로 사용자의 신원을 분류하게 된다.The biometric recognition device 100 generates a multi-channel image from which unnecessary pixels such as the background are removed during the data augmentation process of the captured image of the palm, and ensembles feature points for each index extracted from images for each dimension in the multi-channel image. The user's identity is classified based on the ensemble results.

이러한, 생체인식장치(100)는 예컨대, 소프트웨어(예: 애플리케이션)를 탑재한 컴퓨팅장치(예: 휴대폰), 또는 유무선 통신망을 통해 접속 가능한 서버의 형태로 구현될 수 있다.The biometric recognition device 100 may be implemented, for example, in the form of a computing device (e.g., a mobile phone) equipped with software (e.g., an application), or a server that can be accessed through a wired or wireless communication network.

참고로, 다차원 생체인증장치(100)가 컴퓨팅장치(예: 휴대폰)으로 구현되는 경우, 손바닥에 대한 이미지 촬영과, 이러한 촬영 이미지로부터 사용자의 신원을 분류하는 동작 모두가 하나의 다차원 생체인증장치(100)에서 자체적으로 이루어질 수 있다.For reference, when the multidimensional biometric authentication device 100 is implemented as a computing device (e.g., a mobile phone), both capturing images of the palm and classifying the user's identity from these captured images are performed as one multidimensional biometric authentication device ( 100) can be done on its own.

반면, 다차원 생체인증장치(100)가 서버의 형태로 구현되는 경우에는, 촬영 이미지로부터 사용자의 신원을 분류하는 동작은 다차원 생체인증장치(100)에서 이루어지며, 손바닥에 대한 이미지 촬영은, 다차원 생체인증장치(100)와는 별도의 카메라 센서, 혹은 휴대폰에서 이루어질 수 있다.On the other hand, when the multidimensional biometric authentication device 100 is implemented in the form of a server, the operation of classifying the user's identity from the captured image is performed in the multidimensional biometric authentication device 100, and the image capture of the palm is performed by the multidimensional biometric authentication device 100. This can be done using a camera sensor separate from the authentication device 100 or a mobile phone.

한편, 다차원 생체인증장치(100)가 서버의 형태로 구현되는 경우에는, 예컨대, 웹 서버, 데이터베이스 서버, 프록시 서버 등의 형태로 구현될 수 있으며, 네트워크 부하 분산 메커니즘, 내지 서비스 장치가 인터넷 또는 다른 네트워크 상에서 동작할 수 있도록 하는 다양한 소프트웨어 중 하나 이상이 설치될 수 있으며, 이를 통해 컴퓨터화된 시스템으로도 구현될 수 있다.Meanwhile, when the multidimensional biometric authentication device 100 is implemented in the form of a server, for example, it may be implemented in the form of a web server, database server, proxy server, etc., and a network load balancing mechanism or service device may be implemented through the Internet or other One or more of a variety of software that allows operation on a network may be installed, and thus may be implemented as a computerized system.

이상, 본 발명의 일 실시예에 따른 손바닥 정보 기반 신원 분류(인식) 환경에서는, 전술한 구성을 통해서 손바닥을 촬영한 촬영 이미지로부터 사용자 신원을 효과적으로 분류(인식)할 수 있는데, 이하에서는 이를 실현하기 위한 다차원 생체인증장치(100)의 구성을 보다 구체적으로 설명하기로 한다.As above, in the palm information-based identity classification (recognition) environment according to an embodiment of the present invention, user identity can be effectively classified (recognized) from a photographed image of the palm through the above-described configuration. Hereinafter, this will be realized. The configuration of the multidimensional biometric authentication device 100 for this purpose will be described in more detail.

도 2는 본 발명의 일 실시예에 따른 다차원 생체인증장치(100)의 개략적인 구성을 보여주고 있다.Figure 2 shows a schematic configuration of a multidimensional biometric authentication device 100 according to an embodiment of the present invention.

도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 다차원 생체인증장치(100)는 멀티 채널 이미지(Multi-channel image)를 생성하는 생성부(110), 및 멀티 채널 이미지로부터 추출되는 특징점을 근거로 사용자의 신원을 분류(인식)하는 분류부(120)를 포함하는 구성을 가질 수 있다.As shown in FIG. 2, the multidimensional biometric authentication device 100 according to an embodiment of the present invention includes a generator 110 that generates a multi-channel image, and feature points extracted from the multi-channel image. It may have a configuration including a classification unit 120 that classifies (recognizes) the user's identity based on.

이상의 생성부(110), 및 분류부(120)를 포함하는 다차원 생체인증장치(100)의 전체 구성 내지는 적어도 일부는 하드웨어 모듈 형태 또는 소프트웨어 모듈 형태로 구현되거나, 하드웨어 모듈과 소프트웨어 모듈이 조합된 형태로 구현될 수 있다.The entire structure or at least part of the multidimensional biometric authentication device 100, including the above generation unit 110 and classification unit 120, is implemented in the form of a hardware module or a software module, or a combination of a hardware module and a software module. It can be implemented as:

여기서, 소프트웨어 모듈이란, 예컨대, 다차원 생체인증장치(100) 내에서 연산을 제어하는 프로세서에 의해 실행되는 명령어로 이해될 수 있으며, 이러한 명령어는 다차원 생체인증장치(100) 내 메모리에 탑재된 형태를 가질 수 있다.Here, the software module can be understood as, for example, an instruction executed by a processor that controls operations within the multidimensional biometric authentication device 100, and these instructions are stored in the memory of the multidimensional biometric authentication device 100. You can have it.

이상 본 발명의 일 실시예에 따른 다차원 생체인증장치(100)는 전술한 구성을 통해서 손바닥을 촬영한 촬영 이미지로부터 사용자 신원을 효과적으로 분류(인식)할 수 있는데, 이하에서는 이를 실현하기 위한 다차원 생체인증장치(100) 내 각 구성에 대해서 보다 구체적인 설명을 이어 가기로 한다.The multidimensional biometric authentication device 100 according to an embodiment of the present invention can effectively classify (recognize) the user's identity from a photographed image of the palm through the above-described configuration. Hereinafter, multidimensional biometric authentication to realize this will be described. We will continue with a more detailed description of each component within the device 100.

생성부(110)는 촬영 이미지로부터 멀티 채널 이미지를 생성하는 기능을 수행한다.The generator 110 performs a function of generating a multi-channel image from a captured image.

구체적으로, 생성부(110)는 손바닥을 촬영한 촬영 이미지로부터 서로 다른 범위로 예측되는 각각의 관심 영역 이미지를 가공하여 인덱스로 구성한 멀티 채널 이미지를 생성하게 된다.Specifically, the generator 110 processes each region of interest image predicted in different ranges from a photographed image of the palm to generate a multi-channel image composed of an index.

이때, 생성부(110)는 기 학습된 인덱스 별 세그먼테이션(Segmentation) 모델을 통해서 촬영 이미지로부터 제1 인덱스의 이미지를 예측하며, 제1 인덱스의 이미지부터 상기 제2 인덱스의 이미지를 예측하며, 제2 인덱스의 이미지 내에서 굴곡 부분을 강조한 이미지로부터 상기 제3 인덱스의 이미지를 예측할 수 있다.At this time, the generator 110 predicts the image of the first index from the captured image through a pre-learned segmentation model for each index, predicts the image of the second index from the image of the first index, and predicts the image of the second index from the image of the first index. The image of the third index can be predicted from an image that emphasizes the curved portion in the index image.

여기서, 2 차원 이미지 내에서 굴곡 부분에 대한 강조는 예컨대, 계산 전에 히스토그램 높이에 제한을 둬서 특정 높이 이상에 있는 픽셀 값들을 재분배하는 CLAHE(Contrast Limited Adaptive Histogram Equalization)을 통해서 이루어질 수 있다.Here, emphasis on the curved part within the two-dimensional image can be achieved, for example, through CLAHE (Contrast Limited Adaptive Histogram Equalization), which redistributes pixel values above a certain height by limiting the histogram height before calculation.

다시 말해, 생성부(110)는 예컨대, 도 3에서와 같이, 인덱스 별 세그먼테이션 모델(Attention U-Net #1~#3)을 통해서 손가락을 포함하는 손바닥 영역을 관심 영역으로 설정한 이미지, 손가락을 제외한 손바닥 영역을 관심 영역으로 설정한 이미지, 및 손금 영역을 관심 영역으로 설정한 이미지를 예측하고, 상기 손가락을 포함하는 손바닥 영역을 관심 영역으로 설정한 이미지를 제1 인덱스, 상기 손가락을 제외한 손바닥 영역을 관심 영역으로 설정한 이미지를 제2 인덱스, 그리고 상기 손금 영역을 관심 영역으로 설정한 이미지를 제3 인덱스로 구성하는 방식으로 멀티 채널 이미지를 생성할 수 있는 것이다.In other words, the generator 110 generates an image in which the palm area including the finger is set as the region of interest through a segmentation model for each index (Attention U-Net #1 to #3), for example, as shown in FIG. 3, and the finger. Predict an image in which the palm area excluded is set as the area of interest, and an image in which the palm area is set as the area of interest, and an image in which the palm area including the fingers is set as the area of interest is set as the first index, and the palm area excluding the fingers is predicted. A multi-channel image can be generated by configuring the image with the area of interest set as the second index, and the image with the palm line area set as the area of interest as the third index.

이를 기반으로, 본 발명의 일 실시예에서는 손가락이 포함된 손바닥 영역, 손가락이 제외된 손바닥 영역, 손금 영역으로 구성된 멀티 채널 이미지를 통해 손가락이 포함된 손바닥의 영역부터 차례대로 어텐션(Attention)을 강조할 수 있다.Based on this, in one embodiment of the present invention, attention is sequentially emphasized starting from the area of the palm containing the fingers through a multi-channel image consisting of the palm area including the fingers, the palm area excluding the fingers, and the palm area. can do.

즉, 멀티 채널 이미지 내 제1 인덱스의 이미지(손가락이 포함된 손바닥 영역)에서는, 가장 크게 두드러지는 손가락의 길이, 손바닥의 크기 등 전체적인 윤곽선이나 길이의 특징을 강조하고, 제2 인덱스의 이미지(손가락을 제외한 손바닥 영역)에서는 손바닥의 특징과 손금의 영역을 강조하며, 마지막 구성요소인 손금 영역의 제3 인덱스의 이미지(손금 영역)에서는 손금의 영역을 강조시키는 역할이 이루어질 수 있는 것이다.That is, in the image of the first index (palm area containing fingers) in the multi-channel image, the overall outline or length characteristics such as the length of the fingers and the size of the palm that are most prominent are emphasized, and the image of the second index (the palm area containing the fingers) is emphasized. Excluding the palm area), the features of the palm and the palm area are emphasized, and the last component, the image of the third index of the palm area (palm area), can play a role in emphasizing the palm area.

이를 통해, 본 발명의 일 실시예에서는 단순히 인공지능 모델이 손금만을 추출하였을 때, 손금의 추출이 성공적으로 되지 않았다고 하더라도 손가락이 제외된 손바닥의 영역, 손가락이 포함된 손바닥의 영역에서 개인이 가지고 있는 손바닥의 고유한 특징을 통해 신원인식을 도와줄 수 있는 장점을 가질 수 있음을 예상할 수 있다.Through this, in one embodiment of the present invention, when the artificial intelligence model simply extracts only the palm lines, even if the extraction of the palm lines is not successful, the information that the individual has in the area of the palm excluding the fingers and the area of the palm including the fingers It can be expected that the unique characteristics of the palm may have the advantage of helping with identity recognition.

한편, 이와 관련하여, 기 학습된 인덱스 별 세그먼테이션 모델은 위 장점을 지원하기 위해서 예컨대, 도 4에서와 같이 저차원의 특징점을 고차원의 특징점으로 변환하는 Skip connections, 및 Upsampling 중 적어도 하나의 과정에서 어텐션 게이트(Attention gate) 구조를 채택하여 관심 영역을 제외한 나머지 영역의 가중치를 하향 조정하는 방식으로 관심 영역을 강조할 수 있다.Meanwhile, in relation to this, in order to support the above advantages, the previously learned index-specific segmentation model uses attention in at least one of Upsampling and Skip connections, which convert low-dimensional feature points into high-dimensional feature points, as shown in FIG. 4. By adopting an attention gate structure, the area of interest can be emphasized by lowering the weight of the remaining areas excluding the area of interest.

이와 관련하여, 가중치는 예컨대, 도 5에서와 같이, Skip connections을 통해 특정 레이어로 전달되는 제1 특징점(x)과, 상기 특정 레이어와 이웃한 이전 레이어로부터 전달되는 제2 특징점(g)에 근거하여 결정될 수 있다.In this regard, the weight is based on the first feature point (x) transmitted to a specific layer through skip connections, and the second feature point (g) transmitted from the previous layer neighboring the specific layer, as shown in FIG. 5, for example. This can be decided.

여기서, Skip connections을 통해 전달되는 제1 특징점(x)의 경우, 이웃한 이전 레이어로부터 전달되는 제2 특징점(g)보다 특징점 묘사 능력은 떨어지지만, 더 많은 공간 정보를 포함할 수 있다.Here, the first feature point (x) transmitted through skip connections has a lower feature point depiction ability than the second feature point (g) transmitted from the previous neighboring layer, but may include more spatial information.

분류부(120)는 멀티 채널 이미지로부터 사용자의 신원을 분류(인식)하는 기능을 수행한다.The classification unit 120 performs the function of classifying (recognizing) the user's identity from multi-channel images.

보다 구체적으로, 분류부(120)는 손바닥을 촬영한 촬영 이미지로부터 멀티 채널 이미지가 생성되면, 멀티 채널 이미지로부터 추출되는 인덱스 별 특징점을 근거로 촬영 이미지와 매칭되는 사용자의 신원을 분류하게 된다.More specifically, when a multi-channel image is generated from a captured image of the palm, the classification unit 120 classifies the identity of the user matching the captured image based on feature points for each index extracted from the multi-channel image.

이때, 분류부(120)는 기 학습된 분류 모델을 통해 상기 멀티 채널 이미지를 입력받고, 상기 분류 모델에서의 특징점 추출 결과를 앙상블(Ensemble)하는 앙상블 분류기를 통해서 촬영 이미지와 매칭되는 사용자의 신원을 분류할 수 있다.At this time, the classification unit 120 receives the multi-channel image through a previously learned classification model, and determines the identity of the user matching the captured image through an ensemble classifier that ensembles the feature point extraction results from the classification model. Can be classified.

여기서, 사용자의 신원을 분류한다는 것은, 사용자를 클래스에 따라 예측하고, 실제 클래스에 속할 확률을 도출하는 과정으로 이해될 수 있다.Here, classifying a user's identity can be understood as a process of predicting the user according to class and deriving the probability of belonging to the actual class.

다시 말해, 분류부(120)는 예컨대, 도 6에서와 같이, 멀티 채널 이미지 내 각 차원 별 이미지를 기 학습된 분류 모델(Pre-trained CNN Model #1~#3)에 각각 입력하고, 각 차원 별 이미지의 입력에 따라 분류 모델(Pre-trained CNN Model #1~#3)로부터 도출되는 특징점들을 앙상블하며, 분류기(Classification)을 통해 앙상블된 특징점들로부터 촬영 이미지와 매칭되는 사용자의 신원을 분류할 수 있는 것이다.In other words, for example, as shown in FIG. 6, the classification unit 120 inputs images for each dimension in the multi-channel image into pre-trained classification models (Pre-trained CNN Model #1 to #3), and According to the input of the star image, the feature points derived from the classification model (Pre-trained CNN Model #1~#3) are ensembled, and the identity of the user matching the captured image is classified from the ensembled feature points through a classifier. It is possible.

여기서, 앙상블 방식으로는 보팅(Voting), 배깅(Bagging), 및 부스팅(Boosting) 중 적어도 하나가 적용될 수 있다.Here, at least one of voting, bagging, and boosting may be applied as the ensemble method.

이상에서 살펴본 바와 같이, 본 발명의 일 실시예에 따른 다차원 생체인증장치(100)의 구성에 따르면, 손바닥을 촬영한 촬영 이미지와 관련하여, 세그먼테이션(Segmentation)을 통한 관심 영역(ROI: Region Of Interest) 설정, 관심 영역을 이용한 특징점 추출, 복합 비교를 위한 멀티 채널 이미지(Multi-channel image) 생성과 컴퓨터 비전 알고리즘을 이용하여 복잡한 배경(Background)에서도 정확하게 손바닥만을 관심 영역을 설정하고 손금 등의 특징점을 추출하여 신원 인식을 위한 데이터 재구성/생성을 통해 보안성과 정확도 또한 높이고, 시스템 설치 비용을 최소화할 수 있음을 알 수 있다.As discussed above, according to the configuration of the multidimensional biometric authentication device 100 according to an embodiment of the present invention, a region of interest (ROI) is obtained through segmentation in relation to a photographed image of the palm. ) setting, extracting feature points using the region of interest, creating a multi-channel image for complex comparison, and using computer vision algorithms to accurately set the region of interest for only the palm and identify feature points such as palm lines even in a complex background. It can be seen that security and accuracy can also be improved and system installation costs can be minimized by extracting and reconstructing/generating data for identity recognition.

이하에서는, 도 7을 참조하여 본 발명의 일 실시예에 따른 다차원 생체인증장치(100)의 동작 방법을 설명하기로 한다.Hereinafter, a method of operating the multidimensional biometric authentication device 100 according to an embodiment of the present invention will be described with reference to FIG. 7.

먼저, 생성부(110)는 손바닥을 촬영한 촬영 이미지로부터 서로 다른 범위로 예측되는 각각의 관심 영역 이미지를 가공하여 인덱스로 구성한 멀티 채널 이미지를 생성한다(S110-S120).First, the generator 110 processes each region of interest image predicted in different ranges from a photographed image of the palm to generate a multi-channel image composed of an index (S110-S120).

이때, 생성부(110)는 기 학습된 인덱스 별 세그먼테이션(Segmentation) 모델을 통해서 촬영 이미지로부터 제1 인덱스의 이미지를 예측하며, 제1 인덱스의 이미지부터 상기 제2 인덱스의 이미지를 예측하며, 제2 인덱스의 이미지 내에서 굴곡 부분을 강조한 이미지로부터 상기 제3 인덱스의 이미지를 예측할 수 있다.At this time, the generator 110 predicts the image of the first index from the captured image through a pre-learned segmentation model for each index, predicts the image of the second index from the image of the first index, and predicts the image of the second index from the image of the first index. The image of the third index can be predicted from an image that emphasizes the curved portion in the index image.

여기서, 2 차원 이미지 내에서 굴곡 부분에 대한 강조는 예컨대, 계산 전에 히스토그램 높이에 제한을 둬서 특정 높이 이상에 있는 픽셀 값들을 재분배하는 CLAHE(Contrast Limited Adaptive Histogram Equalization)을 통해서 이루어질 수 있다.Here, emphasis on the curved part within the two-dimensional image can be achieved, for example, through CLAHE (Contrast Limited Adaptive Histogram Equalization), which redistributes pixel values above a certain height by limiting the histogram height before calculation.

다시 말해, 생성부(110)는 예컨대, 도 3에서와 같이, 인덱스 별 세그먼테이션 모델(Attention U-Net #1~#3)을 통해서 손가락을 포함하는 손바닥 영역을 관심 영역으로 설정한 이미지, 손가락을 제외한 손바닥 영역을 관심 영역으로 설정한 이미지, 및 손금 영역을 관심 영역으로 설정한 이미지를 예측하고, 상기 손가락을 포함하는 손바닥 영역을 관심 영역으로 설정한 이미지를 제1 인덱스, 상기 손가락을 제외한 손바닥 영역을 관심 영역으로 설정한 이미지를 제2 인덱스, 그리고 상기 손금 영역을 관심 영역으로 설정한 이미지를 제3 인덱스로 구성하는 방식으로 멀티 채널 이미지를 생성할 수 있는 것이다.In other words, the generator 110 generates an image in which the palm area including the finger is set as the region of interest through a segmentation model for each index (Attention U-Net #1 to #3), for example, as shown in FIG. 3, and the finger. Predict an image in which the palm area excluded is set as the area of interest, and an image in which the palm area is set as the area of interest, and an image in which the palm area including the fingers is set as the area of interest is set as the first index, and the palm area excluding the fingers is predicted. A multi-channel image can be generated by configuring the image with the area of interest set as the second index, and the image with the palm line area set as the area of interest as the third index.

이를 기반으로, 본 발명의 일 실시예에서는 손가락이 포함된 손바닥 영역, 손가락이 제외된 손바닥 영역, 손금 영역으로 구성된 멀티 채널 이미지를 통해 손가락이 포함된 손바닥의 영역부터 차례대로 어텐션(Attention)을 강조할 수 있다.Based on this, in one embodiment of the present invention, attention is sequentially emphasized starting from the area of the palm containing the fingers through a multi-channel image consisting of the palm area including the fingers, the palm area excluding the fingers, and the palm area. can do.

즉, 멀티 채널 이미지 내 제1 인덱스의 이미지(손가락이 포함된 손바닥 영역)에서는, 가장 크게 두드러지는 손가락의 길이, 손바닥의 크기 등 전체적인 윤곽선이나 길이의 특징을 강조하고, 제2 인덱스의 이미지(손가락을 제외한 손바닥 영역)에서는 손바닥의 특징과 손금의 영역을 강조하며, 마지막 구성요소인 손금 영역의 제3 인덱스의 이미지(손금 영역)에서는 손금의 영역을 강조시키는 역할이 이루어질 수 있는 것이다.That is, in the image of the first index (palm area containing fingers) in the multi-channel image, the overall outline or length characteristics such as the length of the fingers and the size of the palm that are most prominent are emphasized, and the image of the second index (the palm area containing the fingers) is emphasized. Excluding the palm area), the features of the palm and the palm area are emphasized, and the last component, the image of the third index of the palm area (palm area), can play a role in emphasizing the palm area.

이를 통해, 본 발명의 일 실시예에서는 단순히 인공지능 모델이 손금만을 추출하였을 때, 손금의 추출이 성공적으로 되지 않았다고 하더라도 손가락이 제외된 손바닥의 영역, 손가락이 포함된 손바닥의 영역에서 개인이 가지고 있는 손바닥의 고유한 특징을 통해 신원인식을 도와줄 수 있는 장점을 가질 수 있음을 예상할 수 있다.Through this, in one embodiment of the present invention, when the artificial intelligence model simply extracts only the palm lines, even if the extraction of the palm lines is not successful, the information that the individual has in the area of the palm excluding the fingers and the area of the palm including the fingers It can be expected that the unique characteristics of the palm may have the advantage of helping with identity recognition.

한편, 이와 관련하여, 기 학습된 인덱스 별 세그먼테이션 모델은 위 장점을 지원하기 위해서 앞서 예시한, 도 4에서와 같이 저차원의 특징점을 고차원의 특징점으로 변환하는 Skip connections, 및 Upsampling 중 적어도 하나의 과정에서 어텐션 게이트(Attention gate) 구조를 채택하여 관심 영역을 제외한 나머지 영역의 가중치를 하향 조정하는 방식으로 관심 영역을 강조할 수 있다.Meanwhile, in relation to this, in order to support the above advantages, the previously learned segmentation model for each index includes at least one process of Upsampling and Skip connections for converting low-dimensional feature points into high-dimensional feature points as shown in FIG. 4. By adopting the attention gate structure, the area of interest can be emphasized by lowering the weight of the remaining areas excluding the area of interest.

이와 관련하여, 가중치는 앞서 예시한, 도 5에서와 같이, Skip connections을 통해 특정 레이어로 전달되는 제1 특징점(x)과, 상기 특정 레이어와 이웃한 이전 레이어로부터 전달되는 제2 특징점(g)에 근거하여 결정될 수 있다.In this regard, the weight is a first feature point (x) transmitted to a specific layer through skip connections, as shown in FIG. 5, and a second feature point (g) transmitted from a previous layer neighboring the specific layer. It can be decided based on.

여기서, Skip connections을 통해 전달되는 제1 특징점(x)의 경우, 이웃한 이전 레이어로부터 전달되는 제2 특징점(g)보다 특징점 묘사 능력은 떨어지지만, 더 많은 공간 정보를 포함할 수 있다.Here, the first feature point (x) transmitted through skip connections has a lower feature point depiction ability than the second feature point (g) transmitted from the previous neighboring layer, but may include more spatial information.

이후, 분류부(120)는 손바닥을 촬영한 촬영 이미지로부터 멀티 채널 이미지가 생성되면, 멀티 채널 이미지로부터 추출되는 인덱스 별 특징점을 근거로 촬영 이미지와 매칭되는 사용자의 신원을 분류한다(S130-S150).Afterwards, when a multi-channel image is generated from a photographed image of the palm, the classification unit 120 classifies the identity of the user matching the photographed image based on feature points for each index extracted from the multi-channel image (S130-S150). .

이때, 분류부(120)는 기 학습된 분류 모델을 통해 상기 멀티 채널 이미지를 입력받고, 상기 분류 모델에서의 특징점 추출 결과를 앙상블(Ensemble)하는 앙상블 분류기를 통해서 촬영 이미지와 매칭되는 사용자의 신원을 분류할 수 있다.At this time, the classification unit 120 receives the multi-channel image through a previously learned classification model, and determines the identity of the user matching the captured image through an ensemble classifier that ensembles the feature point extraction results from the classification model. Can be classified.

여기서, 사용자의 신원을 분류한다는 것은, 사용자를 클래스에 따라 예측하고, 실제 클래스에 속할 확률을 도출하는 과정으로 이해될 수 있다.Here, classifying a user's identity can be understood as a process of predicting the user according to class and deriving the probability of belonging to the actual class.

다시 말해, 분류부(120)는 예컨대, 도 6에서와 같이, 멀티 채널 이미지 내 각 차원 별 이미지를 기 학습된 분류 모델(Pre-trained CNN Model #1~#3)에 각각 입력하고, 각 차원 별 이미지의 입력에 따라 분류 모델(Pre-trained CNN Model #1~#3)로부터 도출되는 특징점들을 앙상블하며, 분류기(Classification)을 통해 앙상블된 특징점들로부터 촬영 이미지와 매칭되는 사용자의 신원을 분류할 수 있는 것이다.In other words, for example, as shown in FIG. 6, the classification unit 120 inputs images for each dimension in the multi-channel image into pre-trained classification models (Pre-trained CNN Model #1 to #3), and According to the input of the star image, the feature points derived from the classification model (Pre-trained CNN Model #1~#3) are ensembled, and the identity of the user matching the captured image is classified from the ensembled feature points through a classifier. It is possible.

여기서, 앙상블 방식으로는 보팅(Voting), 배깅(Bagging), 및 부스팅(Boosting) 중 적어도 하나가 적용될 수 있다.Here, at least one of voting, bagging, and boosting may be applied as the ensemble method.

이상에서 살펴본 바와 같이, 본 발명의 일 실시예에 따른 다차원 생체인증장치(100)의 동작 방법에 따르면, 손바닥을 촬영한 촬영 이미지와 관련하여, 세그먼테이션(Segmentation)을 통한 관심 영역(ROI: Region Of Interest) 설정, 관심 영역을 이용한 특징점 추출, 복합 비교를 위한 멀티 채널 이미지(Multi-channel image) 생성과 컴퓨터 비전 알고리즘을 이용하여 복잡한 배경(Background)에서도 정확하게 손바닥만을 관심 영역을 설정하고 손금 등의 특징점을 추출하여 신원 인식을 위한 데이터 재구성/생성을 통해 보안성과 정확도 또한 높이고, 시스템 설치 비용을 최소화할 수 있음을 알 수 있다.As discussed above, according to the operating method of the multidimensional biometric authentication device 100 according to an embodiment of the present invention, a region of interest (ROI: Region Of Interest) is generated through segmentation in relation to a photographed image of the palm. Interest) setting, extracting feature points using the region of interest, creating a multi-channel image for complex comparison, and using a computer vision algorithm to accurately set the region of interest for only the palm and feature points such as palm lines even in a complex background. It can be seen that security and accuracy can also be improved and system installation costs can be minimized by extracting and reconstructing/generating data for identity recognition.

한편, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 처리 시스템의 동작을 처리하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다.Meanwhile, implementations of the functional operations and subjects described in this specification are implemented as digital electronic circuits, computer software, firmware, or hardware including the structure disclosed in this specification and its structural equivalents, or one or more of these. It can be implemented by combining. Implementations of the subject matter described herein may comprise one or more computer program products, that is, one or more modules of computer program instructions encoded on a tangible program storage medium for processing or execution by the operation of a processing system. It can be implemented.

컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 혹은 이들 중 하나 이상의 조합일 수 있다.The computer-readable medium may be a machine-readable storage device, a machine-readable storage substrate, a memory device, or a combination of one or more of these.

본 명세서에서 "시스템"이나 "장치"라 함은 예컨대 프로그래머블 프로세서, 컴퓨터 혹은 다중 프로세서나 컴퓨터를 포함하여 데이터를 처리하기 위한 모든 기구, 장치 및 기계를 포괄한다. 처리 시스템은, 하드웨어에 부가하여, 예컨대 프로세서 펌웨어를 구성하는 코드, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제 혹은 이들 중 하나 이상의 조합 등 요청 시 컴퓨터 프로그램에 대한 실행 환경을 형성하는 코드를 포함할 수 있다.In this specification, “system” or “device” includes all instruments, devices, and machines for processing data, including, for example, programmable processors, computers, or multiple processors or computers. In addition to the hardware, the processing system may include code that forms an execution environment for computer programs on demand, such as code making up processor firmware, a protocol stack, a database management system, an operating system, or a combination of one or more of these. .

컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 스크립트 혹은 코드로도 알려져 있음)은 컴파일되거나 해석된 언어나 선험적 혹은 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 혹은 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 반드시 대응하는 것은 아니다. 프로그램은 요청된 프로그램에 제공되는 단일 파일 내에, 혹은 다중의 상호 작용하는 파일(예컨대, 하나 이상의 모듈, 하위 프로그램 혹은 코드의 일부를 저장하는 파일) 내에, 혹은 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상의 스크립트) 내에 저장될 수 있다. 컴퓨터 프로그램은 하나의 사이트에 위치하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터나 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다.A computer program (also known as a program, software, software application, script, or code) may be written in any form of a programming language, including compiled, interpreted, a priori, or procedural languages; as a stand-alone program or module; It can be deployed in any form, including components, subroutines, or other units suitable for use in a computer environment. Computer programs do not necessarily correspond to files in a file system. A program may be stored within a single file that serves the requested program, or within multiple interacting files (e.g., files storing one or more modules, subprograms, or portions of code), or as part of a file that holds other programs or data. (e.g., one or more scripts stored within a markup language document). The computer program may be deployed to run on a single computer or multiple computers located at one site or distributed across multiple sites and interconnected by a communications network.

한편, 컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체는, 예컨대 EPROM, EEPROM 및 플래시메모리 장치와 같은 반도체 메모리 장치, 예컨대 내부 하드디스크나 외장형 디스크와 같은 자기 디스크, 자기광학 디스크 및 CD-ROM과 DVD-ROM 디스크를 포함하여 모든 형태의 비휘발성 메모리, 매체 및 메모리 장치를 포함할 수 있다. 프로세서와 메모리는 특수 목적의 논리 회로에 의해 보충되거나, 그것에 통합될 수 있다.Meanwhile, computer-readable media suitable for storing computer program instructions and data include semiconductor memory devices such as EPROM, EEPROM, and flash memory devices, magnetic disks such as internal hard disks and external disks, magneto-optical disks, and CDs. -Can include all forms of non-volatile memory, media, and memory devices, including ROM and DVD-ROM disks. The processor and memory may be supplemented by, or integrated into, special-purpose logic circuitry.

본 명세서에서 설명한 주제의 구현물은 예컨대 데이터 서버와 같은 백엔드 컴포넌트를 포함하거나, 예컨대 애플리케이션 서버와 같은 미들웨어 컴포넌트를 포함하거나, 예컨대 사용자가 본 명세서에서 설명한 주제의 구현물과 상호 작용할 수 있는 웹 브라우저나 그래픽 유저 인터페이스를 갖는 클라이언트 컴퓨터와 같은 프론트엔드 컴포넌트 혹은 그러한 백엔드, 미들웨어 혹은 프론트엔드 컴포넌트의 하나 이상의 모든 조합을 포함하는 연산 시스템에서 구현될 수도 있다. 시스템의 컴포넌트는 예컨대 통신 네트워크와 같은 디지털 데이터 통신의 어떠한 형태나 매체에 의해서도 상호 접속 가능하다.Implementations of the subject matter described herein may include backend components, such as a data server, middleware components, such as an application server, or, such as a web browser or graphical user, through which a user may interact with an implementation of the subject matter described herein. It may be implemented in a front-end component, such as a client computer with an interface, or in a computing system that includes any combination of one or more of such back-end, middleware, or front-end components. The components of the system may be interconnected by any form or medium of digital data communication, such as a telecommunications network.

본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 마찬가지로, 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.Although this specification contains details of numerous specific implementations, these should not be construed as limitations on the scope of any invention or what may be claimed, but rather as descriptions of features that may be unique to particular embodiments of particular inventions. It must be understood. Likewise, certain features described herein in the context of individual embodiments may also be implemented in combination in a single embodiment. Conversely, various features described in the context of a single embodiment can also be implemented in multiple embodiments individually or in any suitable sub-combination. Furthermore, although features may be described as operating in a particular combination and initially claimed as such, one or more features from a claimed combination may in some cases be excluded from that combination, and the claimed combination may be a sub-combination. It can be changed to a variant of a sub-combination.

또한, 본 명세서에서는 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다Additionally, although operations are depicted in the drawings in a specific order herein, this should not be understood to mean that such operations must be performed in the specific order or sequential order shown or that all illustrated operations must be performed to obtain desirable results. Can not be done. In certain cases, multitasking and parallel processing may be advantageous. Additionally, the separation of various system components in the above-described embodiments should not be construed as requiring such separation in all embodiments, and the described program components and systems may generally be integrated together into a single software product or packaged into multiple software products. You must understand that you can

이와 같이, 본 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하려는 의도가 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.As such, this specification is not intended to limit the invention to the specific terms presented. Accordingly, although the present invention has been described in detail with reference to the above-described examples, those skilled in the art may make modifications, changes, and variations to the examples without departing from the scope of the present invention. The scope of the present invention is indicated by the claims described below rather than the detailed description above, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts should be interpreted as being included in the scope of the present invention. do.

본 발명에 따른 손바닥 정보 기반 다차원 생체인증장치 및 그 동작 방법에 따르면, 손바닥을 촬영한 촬영 이미지로부터 사용자 신원을 효과적으로 분류(인식)할 수 있다는 점에서, 기존 기술의 한계를 뛰어 넘음에 따라 관련 기술에 대한 이용만이 아닌 적용되는 장치의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.According to the palm information-based multidimensional biometric authentication device and its operating method according to the present invention, user identity can be effectively classified (recognized) from a photographed image of the palm, thereby overcoming the limitations of existing technologies and related technologies. It is an invention that has industrial applicability because it not only has sufficient potential for commercialization or sales of the applied device, but also can be clearly implemented in reality.

100: 다차원 생체인증장치
110: 생성부 120: 분류부100: Multidimensional biometric authentication device
110: generation unit 120: classification unit

Claims (12)

손바닥을 촬영한 촬영 이미지로부터 서로 다른 범위로 예측되는 각각의 관심 영역 이미지를 가공하여 인덱스로 구성한 멀티 채널 이미지를 생성하는 생성부; 및
상기 멀티 채널 이미지로부터 추출되는 특징점을 근거로 상기 촬영 이미지와 매칭되는 사용자의 신원을 분류하는 분류부를 포함하며,
상기 생성부는,
기 학습된 인덱스 별 세그먼테이션(Segmentation) 모델을 통해서 상기 멀티 채널 이미지 내 각 인덱스의 이미지를 순차적으로 예측하는 것을 특징으로 하는 다차원 생체인증장치.a generating unit that processes each region of interest image predicted in different ranges from a photographed image of the palm to generate a multi-channel image composed of an index; and
A classification unit that classifies the identity of the user matching the captured image based on feature points extracted from the multi-channel image,
The generating unit,
A multidimensional biometric authentication device characterized by sequentially predicting the image of each index in the multi-channel image through a previously learned segmentation model for each index. 제 1 항에 있어서,
상기 멀티 채널 이미지는,
손가락을 포함하는 손바닥 영역을 관심 영역으로 설정한 이미지로 구성되는 제1 인덱스,
손가락을 제외한 손바닥 영역을 관심 영역으로 설정한 이미지로 구성되는 제2 인덱스, 및
손금 영역을 관심 영역으로 설정한 이미지로 구성되는 제3 인덱스를 포함하는 것을 특징으로 하는 다차원 생체인증장치.According to claim 1,
The multi-channel image is,
A first index consisting of an image in which the palm area including the fingers is set as a region of interest,
A second index consisting of an image in which the palm area excluding the fingers is set as the area of interest, and
A multidimensional biometric authentication device comprising a third index consisting of an image with the palm area set as the area of interest. 제 2 항에 있어서,
상기 생성부는,
상기 촬영 이미지로부터 상기 제1 인덱스의 이미지를 예측하며,
상기 제1 인덱스의 이미지와 상기 촬영 이미지를 비트 곱(Bitwise AND) 연산한 이미지로부터 상기 제2 인덱스의 이미지를 예측하며,
상기 제2 인덱스의 이미지 내에서 굴곡 부분을 강조한 이미지로부터 상기 제3 인덱스의 이미지를 예측하는 것을 특징으로 하는 다차원 생체인증장치.According to claim 2,
The generating unit,
Predicting the image of the first index from the captured image,
Predicting the image of the second index from an image obtained by bitwise ANDing the image of the first index and the captured image,
A multi-dimensional biometric authentication device characterized in that the image of the third index is predicted from an image that emphasizes curved portions in the image of the second index. 삭제delete 제 1 항에 있어서,
상기 인덱스 별 세그먼테이션 모델은,
상기 관심 영역을 제외한 나머지 영역의 가중치를 하향 조정하는 방식으로 상기 관심 영역을 강조하며,
상기 가중치는,
Skip connections, 및 Upsampling 중 적어도 하나의 과정에서 어텐션 게이트(Attention gate) 구조의 채택에 따라, Skip connections을 통해 특정 레이어로 전달되는 제1 특징점과, 상기 특정 레이어와 이웃한 이전 레이어로부터 전달되는 제2 특징점에 근거하여 결정되는 것을 특징으로 하는 다차원 생체인증장치.According to claim 1,
The segmentation model for each index is,
The area of interest is emphasized by lowering the weight of the remaining areas excluding the area of interest,
The weight is,
According to the adoption of an attention gate structure in at least one of skip connections and upsampling, a first feature point is transmitted to a specific layer through skip connections, and a second feature point is transmitted from a previous layer neighboring the specific layer. A multidimensional biometric authentication device characterized in that it is determined based on characteristic points. 제 1 항에 있어서,
상기 분류부는,
기 학습된 분류 모델을 통해 상기 멀티 채널 이미지를 입력받고, 상기 분류 모델에서의 특징점 추출 결과를 앙상블(Ensemble)하는 앙상블 분류기를 통해서 상기 촬영 이미지와 매칭되는 사용자의 신원을 분류하는 것을 특징으로 하는 다차원 생체인증장치.According to claim 1,
The classification department,
A multi-dimensional method characterized by receiving the multi-channel image through a pre-learned classification model and classifying the identity of the user matching the captured image through an ensemble classifier that ensembles the feature point extraction results from the classification model. Biometric authentication device. 손바닥을 촬영한 촬영 이미지로부터 서로 다른 범위로 예측되는 각각의 관심 영역 이미지를 가공하여 인덱스로 구성한 멀티 채널 이미지를 생성하는 생성단계; 및
상기 멀티 채널 이미지로부터 추출되는 특징점을 근거로 상기 촬영 이미지와 매칭되는 사용자의 신원을 분류하는 분류단계를 포함하며,
상기 생성단계는,
기 학습된 인덱스 별 세그먼테이션(Segmentation) 모델을 통해서 상기 멀티 채널 이미지 내 각 인덱스의 이미지를 순차적으로 예측하는 것을 특징으로 하는 다차원 생체인증장치의 동작 방법.A generation step of generating a multi-channel image composed of an index by processing each region of interest image predicted in different ranges from a photographed image of the palm; and
It includes a classification step of classifying the identity of the user matching the captured image based on the feature points extracted from the multi-channel image,
The creation step is,
A method of operating a multidimensional biometric authentication device, characterized in that sequentially predicting the image of each index in the multi-channel image through a previously learned segmentation model for each index. 제 7 항에 있어서,
상기 멀티 채널 이미지는,
손가락을 포함하는 손바닥 영역을 관심 영역으로 설정한 이미지로 구성되는 제1 인덱스,
손가락을 제외한 손바닥 영역을 관심 영역으로 설정한 이미지로 구성되는 제2 인덱스, 및
손금 영역을 관심 영역으로 설정한 이미지로 구성되는 제3 인덱스를 포함하는 것을 특징으로 하는 다차원 생체인증장치의 동작 방법.According to claim 7,
The multi-channel image is,
A first index consisting of an image in which the palm area including the fingers is set as a region of interest,
A second index consisting of an image in which the palm area excluding the fingers is set as the area of interest, and
A method of operating a multidimensional biometric authentication device, comprising a third index consisting of an image with the palm area set as the area of interest. 제 8 항에 있어서,
상기 생성단계는,
상기 촬영 이미지로부터 상기 제1 인덱스의 이미지를 예측하며,
상기 제1 인덱스의 이미지와 상기 촬영 이미지를 비트 곱(Bitwise AND) 연산한 이미지로부터 상기 제2 인덱스의 이미지를 예측하며,
상기 제2 인덱스의 이미지 내에서 굴곡 부분을 강조한 이미지로부터 상기 제3 인덱스의 이미지를 예측하는 것을 특징으로 하는 다차원 생체인증장치의 동작 방법.According to claim 8,
The creation step is,
Predicting the image of the first index from the captured image,
Predicting the image of the second index from an image obtained by bitwise ANDing the image of the first index and the captured image,
A method of operating a multidimensional biometric authentication device, characterized in that predicting the image of the third index from an image that emphasizes a curved part in the image of the second index. 삭제delete 제 7 항에 있어서,
상기 인덱스 별 세그먼테이션 모델은,
상기 관심 영역을 제외한 나머지 영역의 가중치를 하향 조정하는 방식으로 상기 관심 영역을 강조하며,
상기 가중치는,
Skip connections, 및 Upsampling 중 적어도 하나의 과정에서 어텐션 게이트(Attention gate) 구조의 채택에 따라, Skip connections을 통해 특정 레이어로 전달되는 제1 특징점과, 상기 특정 레이어와 이웃한 이전 레이어로부터 전달되는 제2 특징점에 근거하여 결정되는 것을 특징으로 하는 다차원 생체인증장치의 동작 방법.According to claim 7,
The segmentation model for each index is,
The area of interest is emphasized by lowering the weight of the remaining areas excluding the area of interest,
The weight is,
According to the adoption of an attention gate structure in at least one of skip connections and upsampling, a first feature point is transmitted to a specific layer through skip connections, and a second feature point is transmitted from a previous layer neighboring the specific layer. A method of operating a multidimensional biometric authentication device, characterized in that it is determined based on characteristic points. 제 7 항에 있어서,
상기 분류단계는,
기 학습된 분류 모델을 통해 상기 멀티 채널 이미지를 입력받고, 상기 분류 모델에서의 특징점 추출 결과를 앙상블(Ensemble)하는 앙상블 분류기를 통해서 상기 촬영 이미지와 매칭되는 사용자의 신원을 분류하는 것을 특징으로 하는 다차원 생체인증장치의 동작 방법.According to claim 7,
The classification step is,
A multi-dimensional method characterized by receiving the multi-channel image through a pre-learned classification model and classifying the identity of the user matching the captured image through an ensemble classifier that ensembles the feature point extraction results from the classification model. How a biometric authentication device operates.
KR1020220032427A 2022-03-16 2022-03-16 Palm information-based multi dimensional biometric authentification apparatus, and control, method thereof KR102577276B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220032427A KR102577276B1 (en) 2022-03-16 2022-03-16 Palm information-based multi dimensional biometric authentification apparatus, and control, method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220032427A KR102577276B1 (en) 2022-03-16 2022-03-16 Palm information-based multi dimensional biometric authentification apparatus, and control, method thereof

Publications (1)

Publication Number Publication Date
KR102577276B1 true KR102577276B1 (en) 2023-09-08

Family

ID=88018381

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220032427A KR102577276B1 (en) 2022-03-16 2022-03-16 Palm information-based multi dimensional biometric authentification apparatus, and control, method thereof

Country Status (1)

Country Link
KR (1) KR102577276B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101601187B1 (en) * 2014-11-19 2016-03-08 경북대학교 산학협력단 Device Control Unit and Method Using User Recognition Information Based on Palm Print Image
US20180082107A1 (en) * 2015-03-27 2018-03-22 Intel Corporation Low-cost face recognition using gaussian receptive field features
KR102039146B1 (en) * 2019-03-21 2019-10-31 주식회사 루닛 Method for performing multi-domain ensemble learning and apparatus thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101601187B1 (en) * 2014-11-19 2016-03-08 경북대학교 산학협력단 Device Control Unit and Method Using User Recognition Information Based on Palm Print Image
US20180082107A1 (en) * 2015-03-27 2018-03-22 Intel Corporation Low-cost face recognition using gaussian receptive field features
KR102039146B1 (en) * 2019-03-21 2019-10-31 주식회사 루닛 Method for performing multi-domain ensemble learning and apparatus thereof

Similar Documents

Publication Publication Date Title
CN111191539B (en) Certificate authenticity verification method and device, computer equipment and storage medium
EP3698272B1 (en) Differentiating between live and spoof fingers in fingerprint analysis by machine learning
US20220327189A1 (en) Personalized biometric anti-spoofing protection using machine learning and enrollment data
WO2021128846A1 (en) Electronic file control method and apparatus, and computer device and storage medium
KR102558736B1 (en) Method and apparatus for recognizing finger print
Ilankumaran et al. Multi-biometric authentication system using finger vein and iris in cloud computing
Shah et al. An offline signature verification technique using pixels intensity levels
JP6910236B2 (en) Personal information registration system and personal information registration method
Elisha Raju et al. A two-level security system based on multimodal biometrics and modified fusion technique
Hegde et al. Facial Expression Classifier Using Better Technique: FisherFace Algorithm
Pilania et al. Exploring face detection and recognition in steganography
KR102577276B1 (en) Palm information-based multi dimensional biometric authentification apparatus, and control, method thereof
Kumar et al. Convolutional Neural Network Approach for Multimodal Biometric Recognition System for Banking Sector on Fusion of Face and Finger
JP7360217B2 (en) Method for obtaining data from an image of an object of a user having biometric characteristics of the user
Dar et al. Real time face authentication system using stacked deep auto encoder for facial reconstruction
Mohammed et al. Iris recognition system based on lifting wavelet
Guha et al. Implementation of Face Recognition Algorithm on a Mobile Single Board Computer for IoT Applications
Bhavani et al. A multi-dimensional review on handwritten signature verification: strengths and gaps
Dhiman et al. An introduction to deep learning applications in biometric recognition
Szczepanik et al. Security lock system for mobile devices based on fingerprint recognition algorithm
US11941911B2 (en) System and method for detecting liveness of biometric information
US11721132B1 (en) System and method for generating region of interests for palm liveness detection
US11688204B1 (en) System and method for robust palm liveness detection using variations of images
Fatihia et al. CNN with Batch Normalization Adjustment for Offline Hand-written Signature Genuine Verification
Bashir et al. Biometric image enhancement, feature extraction and recognition comprising FFT and Gabor filtering

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant