KR102430304B1 - Apparatus for recognizing non-contacting fingerprint and method thereof - Google Patents

Apparatus for recognizing non-contacting fingerprint and method thereof Download PDF

Info

Publication number
KR102430304B1
KR102430304B1 KR1020200061434A KR20200061434A KR102430304B1 KR 102430304 B1 KR102430304 B1 KR 102430304B1 KR 1020200061434 A KR1020200061434 A KR 1020200061434A KR 20200061434 A KR20200061434 A KR 20200061434A KR 102430304 B1 KR102430304 B1 KR 102430304B1
Authority
KR
South Korea
Prior art keywords
fingerprint
image
processing unit
microlens
convex lens
Prior art date
Application number
KR1020200061434A
Other languages
Korean (ko)
Other versions
KR20210144292A (en
Inventor
박민철
김대연
고결
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020200061434A priority Critical patent/KR102430304B1/en
Publication of KR20210144292A publication Critical patent/KR20210144292A/en
Application granted granted Critical
Publication of KR102430304B1 publication Critical patent/KR102430304B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06T3/0037—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/067—Reshaping or unfolding 3D tree structures onto 2D planes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H04N5/22541—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Image Input (AREA)

Abstract

본 명세서는 비접촉식으로 사용자의 지문을 인식할 수 있는 장치 및 방법을 개시한다. 본 명세서에 따른 비접촉 지문 인식 장치는, 지문으로부터 반사된 빛을 수용하는 메인볼록렌즈; 상기 메인볼록렌즈를 통과한 빛을 수용하도록 복수의 마이크로렌즈가 MxN으로 어레이된 플렌옵틱렌즈; 상기 플렌옵틱렌즈를 통과한 빛을 전기적 신호로 출력하는 이미지 센서; 및 상기 이미지센서에서 출력된 상기 지문에 대한 다시점 이미지를 이용하여 깊이맵을 추출하고, 다시점 이미지의 깊이맵을 이용하여 3차원 지문 형상을 생성하고, 상기 3차원 지문 형상으로부터 2차원 지문 펼침 영상을 생성하는 영상 처리부;를 포함할 수 있다.The present specification discloses an apparatus and method capable of recognizing a user's fingerprint in a contactless manner. A non-contact fingerprint recognition apparatus according to the present specification includes a main convex lens for receiving light reflected from a fingerprint; a plenoptic lens in which a plurality of microlenses are arrayed in MxN to receive light passing through the main convex lens; an image sensor that outputs the light passing through the plenoptic lens as an electrical signal; and extracting a depth map using the multi-viewpoint image of the fingerprint output from the image sensor, generating a 3D fingerprint shape using the depth map of the multi-viewpoint image, and unfolding the 2D fingerprint from the 3D fingerprint shape It may include; an image processing unit for generating an image.

Description

비접촉 지문 인식 장치 및 방법{APPARATUS FOR RECOGNIZING NON-CONTACTING FINGERPRINT AND METHOD THEREOF}Non-contact fingerprint recognition device and method

본 발명은 생체인식 장치 및 방법에 관한 것이며, 보다 상세하게는 비접촉 지문 인식 장치 및 방법에 관한 것이다. The present invention relates to a biometric device and method, and more particularly, to a non-contact fingerprint recognition device and method.

바이오정보를 인증수단으로 활용하는 움직임이 활발해짐에 따라 최근 지문이나 홍채와 같은 수단을 이용하여 출입통제나 결제인증을 수행하는 시스템이 증가하고 있다. 특히 지문을 이용하는 시스템은 그 이용방식이 간편하 고 사용자 입장에서도 별다른 거부감이 없어서 종래부터 비교적 널리 이용되고 있는 추세이다.As the movement to use bio-information as an authentication method has become more active, the number of systems that perform access control or payment authentication using a method such as a fingerprint or iris is increasing recently. In particular, a system using a fingerprint is relatively widely used since the use method is simple and there is no objection from the user's point of view.

통상적인 지문인증 시스템에 있어서 가장 보편적으로 이용되고 있는 것은 광학식 시스템으로, 사용자가 단말기 의 광처리 지점에 손가락을 접촉하면 지문의 이미지를 필터링하거나 선명하게 가공하여 지문의 고유값인 특징점 을 추출하고 이를 인증에 이용하는 것인데, 손가락을 접촉할 때마다 손가락이 접촉되는 방향이나 각도에 따라 획득되는 지문의 이미지가 조금씩 달라져서 인증이 매끄럽게 수행되지 못하거나 손가락이 광처리부에 접촉될 때 표면에 손가락으로 인한 습기나 유분이 껴서 인증에 실패하는 경우가 발생하기 때문에 이를 보정하기 위한 다양 한 알고리즘들이 개발되어왔다.The most commonly used fingerprint authentication system is the optical system. When the user touches the light processing point of the terminal, the fingerprint image is filtered or processed clearly to extract the unique value of the fingerprint and authenticate it. Each time a finger is touched, the image of the fingerprint obtained varies slightly depending on the direction or angle of the finger contact, so authentication is not performed smoothly, or when the finger touches the light processing unit, moisture or oil from the finger on the surface Various algorithms have been developed to correct this because authentication fails due to this.

한편, 최근에는 광학식 지문인증 방식의 단점을 탈피하고자 손가락을 접촉하지 않고 지문의 특징점을 추출하는 이른바 비접촉식 지문인증 방법이 점차 증가되고 있다. 한국 등록특허 제10-1596298(스마트폰을 활용한 비접촉식 지문인식방법)을 참조하면 스마트폰에 내장된 카메라를 이용하여 비접촉 방식으로 지문의 특정 점을 추출하여 인증을 수행하는 기술을 개시하고 있다. 그러나 촬영시 손가락을 가이드라인에 맞추어야만 인증에 필요로 하는 최적의 이미지를 획득할 수 있기 때문에 손가락을 촬영하는데 다소 제한이 있어서 사용자 친화적이지 못하다는 문제점이 있다.Meanwhile, in recent years, so-called contactless fingerprint authentication methods that extract feature points of a fingerprint without touching a finger are gradually increasing in order to avoid the disadvantages of the optical fingerprint authentication method. Referring to Korean Patent Registration No. 10-1596298 (non-contact fingerprint recognition method using a smartphone), a technology for performing authentication by extracting specific points of a fingerprint in a non-contact manner using a camera built in a smartphone is disclosed. However, since the optimal image required for authentication can be obtained only when the finger is aligned with the guideline during photographing, there is a problem in that it is not user-friendly because there is some limitation in photographing the finger.

대한민국 등록특허공보 제10-1596298호Republic of Korea Patent Publication No. 10-1596298

본 명세서는 비접촉식으로 사용자의 지문을 인식할 수 있는 장치 및 방법을 제공하는 것을 목적으로 한다.An object of the present specification is to provide an apparatus and method for recognizing a user's fingerprint in a contactless manner.

본 명세서는 상기 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The present specification is not limited to the above-mentioned problems, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.

상술한 과제를 해결하기 위한 본 명세서에 따른 비접촉 지문 인식 장치는, 지문으로부터 반사된 빛을 수용하는 메인볼록렌즈; 상기 메인볼록렌즈를 통과한 빛을 수용하도록 복수의 마이크로렌즈가 MxN으로 어레이된 플렌옵틱렌즈; 상기 플렌옵틱렌즈를 통과한 빛을 전기적 신호로 출력하는 이미지 센서; 및 상기 이미지센서에서 출력된 상기 지문에 대한 다시점 이미지를 이용하여 깊이맵을 추출하고, 다시점 이미지의 깊이맵을 이용하여 3차원 지문 형상을 생성하고, 상기 3차원 지문 형상으로부터 2차원 지문 펼침 영상을 생성하는 영상 처리부;를 포함할 수 있다.A non-contact fingerprint recognition apparatus according to the present specification for solving the above-described problems includes: a main convex lens for accommodating light reflected from a fingerprint; a plenoptic lens in which a plurality of microlenses are arrayed in MxN to receive light passing through the main convex lens; an image sensor that outputs the light passing through the plenoptic lens as an electrical signal; and extracting a depth map using the multi-viewpoint image of the fingerprint output from the image sensor, generating a 3D fingerprint shape using the depth map of the multi-viewpoint image, and unfolding the 2D fingerprint from the 3D fingerprint shape It may include; an image processing unit for generating an image.

본 명세서의 일 실시예에 따르면, 상기 영상 처리부는, 상기 플렌옵틱렌즈에 포함된 마이크로렌즈의 중심점을 기준으로 동일하게 이격된 화소별 데이터를 이용하여 깊이맵을 추출할 수 있다.According to an embodiment of the present specification, the image processing unit may extract a depth map using data for each pixel equally spaced apart from the center point of the microlens included in the plenoptic lens.

본 명세서의 일 실시예에 따르면, 상기 영상 처리부는, 상기 다시점 이미지의 깊이맵을 이용하여 다양한 초점에서의 영상 집합인 초점스택(focal stack)을 생성하고, 각 초점 스택 영상 내에서 초점이 맞는 부분을 잘라서 초점거리 별 정렬시키고, 정렬된 초점거리 별 영상을 하나로 정합하여 깊이에 따른 3차원 지문 정보를 생성할 수 있다.According to an embodiment of the present specification, the image processing unit generates a focal stack, which is a set of images at various focal points, using the depth map of the multi-viewpoint image, and focuses within each focal stack image. It is possible to generate 3D fingerprint information according to depth by cutting out parts and aligning them by focal length, and matching the aligned images by focal length into one.

본 명세서의 일 실시예에 따르면, 상기 영상 처리부는, 상기 3차원 지문 형상을 원통투영법을 이용하여 2차원 지문 펼침 영상을 생성할 수 있다.According to an embodiment of the present specification, the image processing unit may generate a 2D fingerprint unfolded image by using a cylindrical projection method on the 3D fingerprint shape.

본 명세서에 따른 비접촉 지문 인식 장치는, 사용자 인증 시스템의 일 구성 요소가 될 수 있다.The non-contact fingerprint recognition apparatus according to the present specification may be a component of a user authentication system.

상술한 과제를 해결하기 위한 본 명세서에 따른 비접촉 지문 인식 방법은, 메인볼록렌즈 및 복수의 마이크로렌즈가 MxN으로 어레이된 플렌옵틱렌즈를 통과한 빛을 전기적 신호로 출력하는 이미지 센서; 및 영상 처리부를 포함하는 장치를 이용한 비접촉 지문 인식 방법으로서, (a) 상기 영상 처리부가 상기 이미지센서에서 출력된 상기 지문에 대한 다시점 이미지를 이용하여 깊이맵을 추출하는 단계; (b) 상기 영상 처리부가 다시점 이미지의 깊이맵을 이용하여 3차원 지문 형상을 생성하는 단계; 및 (c) 상기 영상 처리부가 상기 3차원 지문 형상으로부터 2차원 지문 펼침 영상을 생성하는 단계;를 포함할 수 있다.A non-contact fingerprint recognition method according to the present specification for solving the above problems includes: an image sensor that outputs light passing through a plenoptic lens in which a main convex lens and a plurality of microlenses are arrayed in MxN as an electrical signal; and an image processing unit, comprising the steps of: (a) extracting, by the image processing unit, a depth map using a multi-viewpoint image of the fingerprint output from the image sensor; (b) generating, by the image processing unit, a three-dimensional fingerprint shape using a depth map of a multi-viewpoint image; and (c) generating, by the image processing unit, a 2D fingerprint unfolded image from the 3D fingerprint shape.

본 명세서의 일 실시예에 따르면, 상기 (a) 단계는, 상기 영상 처리부가 상기 플렌옵틱렌즈에 포함된 마이크로렌즈의 중심점을 기준으로 동일하게 이격된 화소별 데이터를 이용하여 깊이맵을 추출하는 단계일 수 있다.According to an exemplary embodiment of the present specification, the step (a) includes extracting, by the image processing unit, a depth map using data for each pixel equally spaced apart from the center point of the microlens included in the plenoptic lens. can be

본 명세서의 일 실시예에 따르면, 상기 (b) 단계는, 상기 영상 처리부가 상기 다시점 이미지의 깊이맵을 이용하여 다양한 초점에서의 영상 집합인 초점스택(focal stack)을 생성하고, 각 초점 스택 영상 내에서 초점이 맞는 부분을 잘라서 초점거리 별 정렬시키고, 정렬된 초점거리 별 영상을 하나로 정합하여 깊이에 따른 3차원 지문 정보를 생성하는 단계일 수 있다.According to an embodiment of the present specification, in step (b), the image processing unit generates a focal stack that is an image set at various focal points using the depth map of the multi-viewpoint image, and each focal stack It may be a step of generating 3D fingerprint information according to depth by cutting out a focused part in the image, aligning it by focal length, and matching the aligned images by focal length into one.

본 명세서의 일 실시예에 따르면, 상기 (c) 단계는, 상기 영상 처리부가 상기 3차원 지문 형상을 원통투영법을 이용하여 2차원 지문 펼침 영상을 생성하는 단계일 수 있다.According to an embodiment of the present specification, the step (c) may be a step in which the image processing unit generates a 2D fingerprint unfolded image by using the cylindrical projection method of the 3D fingerprint shape.

본 명세서에 따른 비접촉 지문 인식 방법은 컴퓨터에서 각 단계들을 수행하도록 작성되어 컴퓨터로 독출 가능한 기록 매체에 기록된 컴퓨터프로그램일 수 있다.The non-contact fingerprint recognition method according to the present specification may be a computer program written to perform each step in a computer and recorded in a computer-readable recording medium.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific details of the invention are included in the detailed description and drawings.

본 명세서의 일 측면에 따르면, 촬영 방향에 영향을 최소화하여 사용자의 지문을 인식할 수 있어서, 사용자의 편의성이 향상될 수 있다. According to one aspect of the present specification, the user's fingerprint can be recognized by minimizing the influence on the photographing direction, so that the user's convenience can be improved.

본 명세서의 다른 측면에 따르면, 비접촉식으로 운영되기 때문에 다수의 사용자가 사용하는 환경에서 감염의 우려를 낮출 수 있다.According to another aspect of the present specification, since it is operated in a contactless manner, it is possible to lower the risk of infection in an environment used by a large number of users.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 본 명세서에 따른 비접촉 지문 인식 장치의 구성을 개략적으로 도시한 블럭도이다.
도 2는 플렌옵틱렌즈의 예시도이다.
도 3은 일반 2D 영상과 플렌옵틱렌즈를 통한 3D 영상의 차이점에 대한 참고도이다.
도 4는 영상 재초점에 대한 참고도이다.
도 5는 깊이맵을 추출하는 수식에 대한 참고도이다.
도 6은 3차원 지문 형상을 생성하는 참고도이다.
도 7은 3차원 지문 형상으로부터 2차원 지문 펼침 영상을 생성하는 참고도이다.
도 8은 본 명세서의 일 실시예에 따른 비접촉 지문 인식 방법의 흐름도이다.1 is a block diagram schematically illustrating the configuration of a non-contact fingerprint recognition apparatus according to the present specification.
2 is an exemplary view of a plenoptic lens.
3 is a reference diagram for the difference between a normal 2D image and a 3D image through a plenoptic lens.
4 is a reference diagram for image refocusing.
5 is a reference diagram for a formula for extracting a depth map.
6 is a reference diagram for generating a three-dimensional fingerprint shape.
7 is a reference diagram for generating a 2D fingerprint unfolded image from a 3D fingerprint shape.
8 is a flowchart of a non-contact fingerprint recognition method according to an embodiment of the present specification.

본 명세서에 개시된 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 명세서가 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 명세서의 개시가 완전하도록 하고, 본 명세서가 속하는 기술 분야의 통상의 기술자(이하 '당업자')에게 본 명세서의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 명세서의 권리 범위는 청구항의 범주에 의해 정의될 뿐이다. Advantages and features of the invention disclosed herein, and methods of achieving them, will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present specification is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only the present embodiments allow the disclosure of the present specification to be complete, and those of ordinary skill in the art to which this specification belongs. It is provided to fully inform those skilled in the art (hereinafter 'those skilled in the art') the scope of the present specification, and the scope of the present specification is only defined by the scope of the claims.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 명세서의 권리 범위를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.The terminology used herein is for the purpose of describing the embodiments and is not intended to limit the scope of the present specification. In this specification, the singular also includes the plural, unless specifically stated otherwise in the phrase. As used herein, “comprises” and/or “comprising” does not exclude the presence or addition of one or more other components in addition to the stated components.

명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.Like reference numerals refer to like elements throughout, and "and/or" includes each and every combination of one or more of the recited elements. Although "first", "second", etc. are used to describe various elements, these elements are not limited by these terms, of course. These terms are only used to distinguish one component from another. Therefore, it goes without saying that the first component mentioned below may be the second component within the spirit of the present invention.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 명세서가 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used herein will have the meaning commonly understood by those of ordinary skill in the art to which this specification belongs. In addition, terms defined in a commonly used dictionary are not to be interpreted ideally or excessively unless clearly specifically defined.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 명세서에 따른 비접촉 지문 인식 장치의 구성을 개략적으로 도시한 블럭도이다.1 is a block diagram schematically illustrating the configuration of a non-contact fingerprint recognition apparatus according to the present specification.

도 1을 참조하면, 본 명세서에 따른 비접촉 지문 인식 장치(100)는 메인볼록렌즈(110), 플렌옵틱렌즈(120), 이미지센서(130) 및 영상처리부(140)를 포함할 수 있다.Referring to FIG. 1 , the non-contact fingerprint recognition apparatus 100 according to the present specification may include a main convex lens 110 , a plenoptic lens 120 , an image sensor 130 , and an image processing unit 140 .

상기 메인볼록렌즈(110)는 지문으로부터 반사된 빛을 수용할 수 있다. 상기 메인볼록렌즈(110)의 크기 및 초점 등 렌즈의 특성값은 장치의 크기 또는/및 플렌옵틱렌즈(120)와의 거리에 따라 다양하게 설정될 수 있다.The main convex lens 110 may receive light reflected from a fingerprint. The characteristic values of the lens such as the size and focus of the main convex lens 110 may be variously set according to the size of the device and/or the distance from the plenoptic lens 120 .

상기 플렌옵틱렌즈(120)는 상기 메인볼록렌즈(110)를 통과한 빛을 수용하도록 복수의 마이크로렌즈가 MxN으로 어레이될 수 있다. 플렌옵틱렌즈는 당업자에게 공지의 광학 소자이므로, 상세한 설명을 생략한다. 또한, 상기 플렌옵틱렌즈를 구성하는 마이크로렌즈의 개수 및 배치 역시 다양할 수 있다. 도 2는 플렌옵틱렌즈의 예시도이다.In the plenoptic lens 120 , a plurality of microlenses may be arrayed MxN to receive light passing through the main convex lens 110 . Since the plenoptic lens is an optical element known to those skilled in the art, a detailed description thereof will be omitted. In addition, the number and arrangement of microlenses constituting the plenoptic lens may also vary. 2 is an exemplary view of a plenoptic lens.

상기 이미지센서(130)는 상기 플렌옵틱렌즈(120)를 통과한 빛을 전기적 신호로 출력하는 것으로서, CCD 또는 CMOS가 될 수 있다. 따라서, 사용자의 지문은 메인볼록렌즈(110) 및 플렌옵틱렌즈(120)을 거쳐서 상기 이미지센서(130)를 통해 영상 데이터로 출력될 수 있다. 이때, 상기 사용자의 지문 영상은 상기 플렌옵틱렌즈(120)로 인하여 여러 방향에서 촬영한 것과 같은 다수의 지문 영상이 생성될 수 있다.The image sensor 130 outputs the light passing through the plenoptic lens 120 as an electrical signal, and may be CCD or CMOS. Accordingly, the user's fingerprint may be output as image data through the image sensor 130 through the main convex lens 110 and the plenoptic lens 120 . In this case, as for the user's fingerprint image, a plurality of fingerprint images such as those taken from various directions may be generated due to the plenoptic lens 120 .

도 3은 일반 2D 영상과 플렌옵틱렌즈를 통한 3D 영상의 차이점에 대한 참고도이다.3 is a reference diagram for the difference between a normal 2D image and a 3D image through a plenoptic lens.

도 3을 참조하면, 일반 2D 영상은 메인볼록렌즈의 포커스가 일치하는 곳에 이미지센서가 위치해 빛들이 영상 센서 한점에 모이게 된다. 따라서, 상기 이미지센서는 각각의 빛들의 세기에 대한 누적 합만 남고 방향에 대한 정보를 잃게 된다. 반면, 플렌옵틱렌즈를 지난 빛이 이미지센서에 도달하게 된 경우, 피사체로부터의 모든 방향의 빛의 경로와 세기를 저장할 수 있다. 따라서, 영상 획득 후 이미지센서에 들어온 정보를 재가공하여 시점전환, 초점재조정, 3차원 깊이 정보 추출이 가능하다.Referring to FIG. 3 , in the general 2D image, the image sensor is located where the focus of the main convex lens coincides, and the light is collected at one point of the image sensor. Accordingly, the image sensor loses information about the direction while only the cumulative sum of the intensity of each light remains. On the other hand, when the light passing through the plenoptic lens reaches the image sensor, the path and intensity of light in all directions from the subject can be stored. Therefore, it is possible to change the viewpoint, refocus, and extract 3D depth information by reprocessing the information entered into the image sensor after image acquisition.

상기 영상처리부(140)는 상기 이미지센서(130)에서 출력된 상기 지문에 대한 다시점 이미지를 이용하여 깊이맵을 추출하고, 다시점 이미지의 깊이맵을 이용하여 3차원 지문 형상을 생성하고, 상기 3차원 지문 형상으로부터 2차원 지문 펼침 영상을 생성할 수 있다. 상기 영상처리부(140)의 알고리즘에 대해서는 이하에서 보다 자세히 설명하겠다.The image processing unit 140 extracts a depth map using the multi-viewpoint image for the fingerprint output from the image sensor 130, and generates a three-dimensional fingerprint shape using the depth map of the multi-viewpoint image, and A two-dimensional fingerprint unfolding image may be generated from the three-dimensional fingerprint shape. The algorithm of the image processing unit 140 will be described in more detail below.

도 4는 영상 재초점에 대한 참고도이다.4 is a reference diagram for image refocusing.

도 4의 (a)를 참조하면, 본 명세서에 따른 비접촉 지문 인식 장치(100)에서 이미지센서(130)에 영상이 형성되는 위치를 확인할 수 있다. 상기 영상처리부(140)는 상기 이미지센서(130)에 출력된 데이터를 이용하여 빛의 경로를 역추적(Ray tracing)하고, 영상 재초점(refocusing)이 가능하다. 보다 구체적으로 도 4의 (b)를 참조하면, 제 1피사체면에 위치한 각 점으로부터 나온 빛은 정확히 포커스가 맞는 위치이므로 제 1초점면인 마이크로 렌즈의 중심에 모이게 된다. 이 때, 마이크로 렌즈의 중심에 대응하는 빛들의 센서 값을 모으면 제 1피사체면에서의 영상 획득할 수 있다. 그리고 제 2피사체면에 위치한 A점에서 나온 빛은 제 2초점면의 A’에 상이 맺혀야 하지만 그 전에 이미지 센서에 수집된다. 이 때 A’위치에서의 빛의 경로를 추적해서 센서의 값을 모으면 제 2피사면체에서의 영상을 획득할 수 있다. 즉, 상기 플렌옵틱렌즈에 포함된 마이크로렌즈의 중심점을 기준으로 동일하게 이격된 화소별 데이터에 대해 계산하면 제 2피사체면에서의 초점된 영상을 얻을 수 있다. 이와 같은 원리로, 상기 영상처리부(140)는 임의의 초점면에서의 초점 영상 획득이 가능하다. 즉, 상기 영상처리부(140)는 상기 이미지센서(130)에서 출력된 상기 지문에 대한 다시점 이미지를 이용하여 깊이맵을 추출할 수 있다.Referring to FIG. 4A , in the non-contact fingerprint recognition apparatus 100 according to the present specification, a position where an image is formed on the image sensor 130 may be checked. The image processing unit 140 ray-tracing the light path using the data output to the image sensor 130 and refocusing the image is possible. More specifically, referring to (b) of FIG. 4 , light emitted from each point located on the first subject surface is precisely focused, and thus is concentrated at the center of the microlens, which is the first focal plane. In this case, by collecting sensor values of lights corresponding to the center of the microlens, an image from the first subject surface may be acquired. And the light from point A located on the second subject plane should be imaged on A’ of the second focal plane, but before that, it is collected by the image sensor. At this time, by tracing the path of light at position A' and collecting the sensor values, an image from the second tetrahedron can be acquired. That is, if data for each pixel equally spaced apart from the center point of the microlens included in the plenoptic lens is calculated, a focused image on the second subject plane can be obtained. According to this principle, the image processing unit 140 may acquire a focused image on an arbitrary focal plane. That is, the image processing unit 140 may extract a depth map using the multi-viewpoint image of the fingerprint output from the image sensor 130 .

도 5는 깊이맵을 추출하는 수식에 대한 참고도이다.5 is a reference diagram for a formula for extracting a depth map.

본 명세서의 일 실시예에 따른 플렌옵틱렌즈(120)는 100x100 마이크로렌즈 어레이(10000개)로서, 각각의 마이크로 렌즈는 조리개값(f-number) f/26를 가질 수 있다. 참고로, 지문을 측정시 측정 대상인 지문이 렌즈 가까이 있을 수 있으므로, f값이 클 수록 좋다. 상기 메인볼록렌즈(110)의 초점 길이(focal length)는 100mm이며, 이 역시 지문이라는 생체의 특정 부위만 측정하므로 초점 길이 값이 길 수록 좋다. 상기 이미지센서(130)의 해상도는 4000x4000(16 Megapixels)이며, 라이트필드 센서가 저장 할 수 있는 광원 개수는 25 Megarays이다. 그외 동작 거리는 하드웨어 스펙에 따라 조절될 수 있으며, 본 명세서에 따른 비접촉 지문 인식 장치(100)가 상기 설정값에 제한되는 것은 아니다.The plenoptic lens 120 according to an embodiment of the present specification is a 100x100 microlens array (10000 pieces), and each microlens may have an aperture value (f-number) f/26. For reference, the larger the f-value, the better because the fingerprint to be measured may be close to the lens when measuring the fingerprint. The focal length of the main convex lens 110 is 100 mm, and since this also measures only a specific part of the body called a fingerprint, the longer the focal length value is, the better. The resolution of the image sensor 130 is 4000x4000 (16 Megapixels), and the number of light sources that the light field sensor can store is 25 Megarays. Other operating distances may be adjusted according to hardware specifications, and the non-contact fingerprint recognition apparatus 100 according to the present specification is not limited to the set value.

상기 관계에서 아래 수식관계가 성립할 수 있다.In the above relationship, the following formula can be established.

[수식][Equation]

Figure 112020051741116-pat00001
Figure 112020051741116-pat00001

Figure 112020051741116-pat00002
Figure 112020051741116-pat00002

Figure 112020051741116-pat00003
Figure 112020051741116-pat00003

M: 1축 상에 위치하는 마이크로렌즈 어레이의 개수M: the number of microlens arrays positioned on one axis

wp : 픽셀 폭w p : pixel width

N : 1축 상에 위치하는 이미지센서 내 픽셀의 개수N: the number of pixels in the image sensor located on one axis

ym : 하나의 마이크로렌즈에 의해 포함되는 픽셀의 폭y m : width of pixels covered by one microlens

Si_m : 마이크로렌즈와 이미지센서 사이의 거리S i_m : Distance between microlens and image sensor

Si_L : 메인볼록렌즈와 마이크로렌즈 사이의 거리S i_L : Distance between the main convex lens and the microlens

So_L : 메인볼록렌즈와 피사체(지문) 사이의 거리S o_L : Distance between the main convex lens and the subject (fingerprint)

EPDL : 메인볼록렌즈의 지름EPD L : Diameter of main convex lens

fL : 메인볼록렌즈의 초점거리f L : focal length of the main convex lens

fm : 마이크로렌즈의 초점거리f m : focal length of the microlens

다음으로 상기 영상처리부(140)는 다시점 이미지의 깊이맵을 이용하여 3차원 지문 형상을 생성할 수 있다.Next, the image processing unit 140 may generate a 3D fingerprint shape using the depth map of the multi-viewpoint image.

도 6은 3차원 지문 형상을 생성하는 참고도이다.6 is a reference diagram for generating a three-dimensional fingerprint shape.

도 6을 참조하여, 상기 영상처리부(140)는 다시점 이미지의 깊이맵을 이용하여 즉, 상술한 영상 재초점 기술을 이용하여 다양한 초점에서의 영상 집합인 초점스택(focal stack)을 생성할 수 있다. 그리고 상기 영상처리부(140)는 각 초점 스택 영상 내에서 초점이 맞는 부분을 잘라서 초점거리 별 정렬시키고, 정렬된 초점거리 별 영상을 하나로 정합하여 깊이에 따른 3차원 지문 정보를 생성할 수 있다. 이때, 상기 3차원 지문 정보는 점구름(Point cloud)으로 변환되고, 변환된 3차원 점구름을 표면삼각화(Triangle simplification)를 이용하여 3차원 폴리곤으로 변환될 수 있다.Referring to FIG. 6 , the image processing unit 140 may generate a focal stack, which is a set of images at various focal points, using the depth map of the multi-viewpoint image, that is, using the above-described image refocusing technique. have. In addition, the image processing unit 140 may generate 3D fingerprint information according to depth by cutting out a focused portion in each focal stack image, aligning it by focal length, and matching the aligned images by focal length into one. In this case, the 3D fingerprint information may be converted into a point cloud, and the converted 3D point cloud may be converted into a 3D polygon using triangle simplification.

다음으로 상기 영상처리부(140)는 상기 3차원 지문 형상으로부터 2차원 지문 펼침 영상을 생성할 수 있다.Next, the image processing unit 140 may generate a 2D fingerprint unfolded image from the 3D fingerprint shape.

도 7은 3차원 지문 형상으로부터 2차원 지문 펼침 영상을 생성하는 참고도이다.7 is a reference diagram for generating a 2D fingerprint unfolded image from a 3D fingerprint shape.

도 7을 참조하면, 상기 영상처리부(140)는 상기 3차원 지문 형상을 원통투영법(Cylindrical projection)을 이용하여 2차원 지문 펼침 영상을 생성할 수 있다.Referring to FIG. 7 , the image processing unit 140 may generate a 2D fingerprint unfolded image by using a cylindrical projection method on the 3D fingerprint shape.

상술한 과정을 거치면 2차원 지문 영상을 확보할 수 있다. 이후 확보된 지문 영상에서 지문 특징점을 추출하고, 추출된 데이터와 저장된 지문 데이터를 비교하여 사용자 인증을 진행할 수 있다. 따라서, 본 명세서에 따른 비접촉 지문 인식 장치(100)는 사용자 인증 시스템의 일 구성요소가 될 수 있다.Through the above-described process, a two-dimensional fingerprint image can be obtained. Thereafter, fingerprint feature points may be extracted from the obtained fingerprint image, and user authentication may be performed by comparing the extracted data and stored fingerprint data. Accordingly, the non-contact fingerprint recognition apparatus 100 according to the present specification may be a component of a user authentication system.

도 8은 본 명세서의 일 실시예에 따른 비접촉 지문 인식 방법의 흐름도이다.8 is a flowchart of a non-contact fingerprint recognition method according to an embodiment of the present specification.

도 8을 참조하면, 먼저 단계 S110에서 사용자는 비접촉식 지문인식 시스템 동작거리에 지문을 접근(비접촉)시킬 수 있다. 다음 단계 S120에서 플렌옵틱렌즈로 지문 영상 획득할 수 있다. 다음 단계 S130에서 재조첨 기능을 통하여 초점거리별 지문 초점스택을 획득할 수 있다. 다음 단계 S140에서 초점스택 기반 깊이에 따른 3차원 지문 정보를 획득하고 점구름 데이터로 변환할 수 있다. 다음 단계 S150에서 표면 삼각화를 이용하여 3차원 점구름에서 3차원 폴리곤을 획득할 수 있다. 다음 단계 S160에서 3차원 폴리곤을 원통투영법을 이용하여 2차원 펼침 지문 영상을 획득할 수 있다. 그리고 다음 단계 S170에서 2차원 펼침 지문 영상을 이용하여 지문인식을 수행할 수 있다.Referring to FIG. 8 , in step S110, the user may approach (non-contact) the fingerprint to the operating distance of the non-contact fingerprint recognition system. In the next step S120, a fingerprint image may be acquired with the plenoptic lens. In the next step S130, a fingerprint focus stack for each focal length may be acquired through the rematch function. In the next step S140, 3D fingerprint information according to the focal stack-based depth may be obtained and converted into point cloud data. In the next step S150, a three-dimensional polygon may be obtained from a three-dimensional point cloud using surface triangulation. In the next step S160, a two-dimensional unfolded fingerprint image may be obtained by using a cylindrical projection method of a three-dimensional polygon. And in the next step S170, fingerprint recognition may be performed using the two-dimensional expanded fingerprint image.

상기 영상처리부(140)는, 산출 및 다양한 제어 로직을 실행하기 위해 본 발명이 속한 기술분야에 알려진 프로세서, ASIC(application-specific integrated circuit), 다른 칩셋, 논리 회로, 레지스터, 통신 모뎀, 데이터 처리 장치 등을 포함할 수 있다. 또한, 상술한 제어 로직이 소프트웨어로 구현될 때, 상기 영상처리부(140)는 프로그램 모듈의 집합으로 구현될 수 있다. 이 때, 프로그램 모듈은 상기 메모리에 저장되고, 프로세서에 의해 실행될 수 있다.The image processing unit 140 includes a processor, an application-specific integrated circuit (ASIC), another chipset, a logic circuit, a register, a communication modem, and a data processing device known in the art to execute calculations and various control logic. and the like. Also, when the above-described control logic is implemented in software, the image processing unit 140 may be implemented as a set of program modules. In this case, the program module may be stored in the memory and executed by the processor.

상기 컴퓨터프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C/C++, C#, JAVA, Python, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.The computer program is C/C++, C#, JAVA, Python that a processor (CPU) of the computer can read through a device interface of the computer in order for the computer to read the program and execute the methods implemented as a program , may include code coded in a computer language such as machine language. Such code may include functional code related to functions defining functions necessary for executing the methods, etc. can do. In addition, this code may further include additional information necessary for the processor of the computer to execute the functions or code related to memory reference for which location (address address) in the internal or external memory of the computer should be referenced. have. In addition, when the processor of the computer needs to communicate with any other computer or server located remotely in order to execute the functions, the code uses the communication module of the computer to determine how to communicate with any other computer or server remotely. It may further include a communication-related code for whether to communicate and what information or media to transmit and receive during communication.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.The storage medium is not a medium that stores data for a short moment, such as a register, a cache, a memory, etc., but a medium that stores data semi-permanently and can be read by a device. Specifically, examples of the storage medium include, but are not limited to, ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage device. That is, the program may be stored in various recording media on various servers accessible by the computer or in various recording media on the computer of the user. In addition, the medium may be distributed in a computer system connected by a network, and computer-readable codes may be stored in a distributed manner.

이상, 첨부된 도면을 참조로 하여 본 명세서의 실시예를 설명하였지만, 본 명세서가 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다. Above, the embodiments of the present specification have been described with reference to the accompanying drawings, but those of ordinary skill in the art to which this specification belongs can realize that the present invention may be embodied in other specific forms without changing the technical spirit or essential features thereof. you will be able to understand Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.

100 : 비접촉 지문 인식 장치
110 : 메인볼록렌즈
120 : 플렌옵틱렌즈
130 : 이미지센서
140 : 영상처리부100: non-contact fingerprint recognition device
110: main convex lens
120: plenoptic lens
130: image sensor
140: image processing unit

Claims (10)

지문으로부터 반사된 빛을 수용하는 메인볼록렌즈;
상기 메인볼록렌즈를 통과한 빛을 수용하도록 복수의 마이크로렌즈가 MxN으로 어레이된 플렌옵틱렌즈;
상기 플렌옵틱렌즈를 통과한 빛을 전기적 신호로 출력하는 이미지 센서; 및
상기 이미지센서에서 출력된 상기 지문에 대한 다시점 이미지에서
상기 플렌옵틱렌즈에 포함된 마이크로렌즈의 중심점을 기준으로 동일하게 이격된 화소별 데이터를 이용하여 깊이맵을 추출하고, 다시점 이미지의 깊이맵을 이용하여 3차원 지문 형상을 생성하고, 상기 3차원 지문 형상으로부터 2차원 지문 펼침 영상을 생성하는 영상 처리부;를 포함하되,
상기 영상 처리부는 아래 수식을 이용하여 깊이맵을 추출하는 비접촉 지문 인식 장치.
[수식]
Figure 112022047252457-pat00012

Figure 112022047252457-pat00013

Figure 112022047252457-pat00014

M: 1축 상에 위치하는 마이크로렌즈 어레이의 개수
wp : 픽셀 폭
N : 1축 상에 위치하는 이미지센서 내 픽셀의 개수
ym : 하나의 마이크로렌즈에 의해 포함되는 픽셀의 폭
Si_m : 마이크로렌즈와 이미지센서 사이의 거리
Si_L : 메인볼록렌즈와 마이크로렌즈 사이의 거리
So_L : 메인볼록렌즈와 피사체(지문) 사이의 거리
EPDL : 메인볼록렌즈의 지름
fL : 메인볼록렌즈의 초점거리
fm : 마이크로렌즈의 초점거리Main convex lens for receiving light reflected from the fingerprint;
a plenoptic lens in which a plurality of microlenses are arrayed in MxN to receive light passing through the main convex lens;
an image sensor that outputs the light passing through the plenoptic lens as an electrical signal; and
In the multi-viewpoint image for the fingerprint output from the image sensor,
A depth map is extracted using data for each pixel equally spaced from the center point of the microlens included in the plenoptic lens, and a three-dimensional fingerprint shape is generated using the depth map of the multi-viewpoint image, and the three-dimensional Including; an image processing unit for generating a two-dimensional fingerprint unfolded image from the fingerprint shape;
The image processing unit is a non-contact fingerprint recognition device for extracting a depth map using the following equation.
[Equation]
Figure 112022047252457-pat00012

Figure 112022047252457-pat00013

Figure 112022047252457-pat00014

M: the number of microlens arrays positioned on one axis
w p : pixel width
N: the number of pixels in the image sensor located on one axis
y m : width of pixels covered by one microlens
S i_m : Distance between microlens and image sensor
S i_L : Distance between the main convex lens and the microlens
S o_L : Distance between the main convex lens and the subject (fingerprint)
EPD L : Diameter of main convex lens
f L : focal length of the main convex lens
f m : focal length of the microlens 삭제delete 청구항 1에 있어서,
상기 영상 처리부는, 상기 다시점 이미지의 깊이맵을 이용하여 다양한 초점에서의 영상 집합인 초점스택(focal stack)을 생성하고, 각 초점 스택 영상 내에서 초점이 맞는 부분을 잘라서 초점거리 별 정렬시키고, 정렬된 초점거리 별 영상을 하나로 정합하여 깊이에 따른 3차원 지문 정보를 생성하는 것을 특징으로 하는 비접촉 지문 인식 장치.The method according to claim 1,
The image processing unit generates a focal stack, which is an image set at various focal points, using the depth map of the multi-viewpoint image, cuts a focused portion in each focal stack image, and aligns it by focal length, A non-contact fingerprint recognition device, characterized in that by matching aligned images for each focal length into one, three-dimensional fingerprint information according to depth is generated. 청구항 1에 있어서,
상기 영상 처리부는,
상기 3차원 지문 형상을 원통투영법을 이용하여 2차원 지문 펼침 영상을 생성하는 것을 특징으로 하는 비접촉 지문 인식 장치.The method according to claim 1,
The image processing unit,
A non-contact fingerprint recognition device, characterized in that the three-dimensional fingerprint shape is generated by using a cylindrical projection method to generate a two-dimensional fingerprint unfolded image. 청구항 1, 3 및 4 중 어느 한 청구항에 따른 비접촉 지문 인식 장치를 포함하는 사용자 인증 시스템.A user authentication system comprising a contactless fingerprint recognition device according to any one of claims 1, 3 and 4. 메인볼록렌즈 및 복수의 마이크로렌즈가 MxN으로 어레이된 플렌옵틱렌즈를 통과한 빛을 전기적 신호로 출력하는 이미지 센서; 및 영상 처리부를 포함하는 장치를 이용하여 비접촉 지문 인식 방법으로서,
(a) 상기 영상 처리부가 상기 이미지센서에서 출력된 상기 지문에 대한 다시점 이미지에서 상기 플렌옵틱렌즈에 포함된 마이크로렌즈의 중심점을 기준으로 동일하게 이격된 화소별 데이터를 이용하여 깊이맵을 추출하는 단계;
(b) 상기 영상 처리부가 다시점 이미지의 깊이맵을 이용하여 3차원 지문 형상을 생성하는 단계; 및
(c) 상기 영상 처리부가 상기 3차원 지문 형상으로부터 2차원 지문 펼침 영상을 생성하는 단계;를 포함하되,
상기 (a) 단계는, 상기 영상 처리부가 아래 수식을 이용하여 깊이맵을 추출하는 단계인 비접촉 지문 인식 방법.
[수식]
Figure 112022047252457-pat00015

Figure 112022047252457-pat00016

Figure 112022047252457-pat00017

M: 1축 상에 위치하는 마이크로렌즈 어레이의 개수
wp : 픽셀 폭
N : 1축 상에 위치하는 이미지센서 내 픽셀의 개수
ym : 하나의 마이크로렌즈에 의해 포함되는 픽셀의 폭
Si_m : 마이크로렌즈와 이미지센서 사이의 거리
Si_L : 메인볼록렌즈와 마이크로렌즈 사이의 거리
So_L : 메인볼록렌즈와 피사체(지문) 사이의 거리
EPDL : 메인볼록렌즈의 지름
fL : 메인볼록렌즈의 초점거리
fm : 마이크로렌즈의 초점거리an image sensor for outputting light passing through a plenoptic lens in which a main convex lens and a plurality of microlenses are arrayed in MxN as an electrical signal; and an image processing unit as a non-contact fingerprint recognition method using a device comprising:
(a) the image processing unit extracts a depth map from the multi-viewpoint image for the fingerprint output from the image sensor using data for each pixel equally spaced from the center point of the microlens included in the plenoptic lens step;
(b) generating, by the image processing unit, a three-dimensional fingerprint shape using a depth map of a multi-viewpoint image; and
(c) generating, by the image processing unit, a two-dimensional fingerprint unfolded image from the three-dimensional fingerprint shape;
The step (a) is a non-contact fingerprint recognition method in which the image processing unit extracts a depth map using the following equation.
[Equation]
Figure 112022047252457-pat00015

Figure 112022047252457-pat00016

Figure 112022047252457-pat00017

M: the number of microlens arrays positioned on one axis
w p : pixel width
N: the number of pixels in the image sensor located on one axis
y m : width of pixels covered by one microlens
S i_m : Distance between microlens and image sensor
S i_L : Distance between the main convex lens and the microlens
S o_L : Distance between the main convex lens and the subject (fingerprint)
EPD L : Diameter of main convex lens
f L : focal length of the main convex lens
f m : focal length of the microlens 삭제delete 청구항 6에 있어서,
상기 (b) 단계는, 상기 영상 처리부가 상기 다시점 이미지의 깊이맵을 이용하여 다양한 초점에서의 영상 집합인 초점스택(focal stack)을 생성하고, 각 초점 스택 영상 내에서 초점이 맞는 부분을 잘라서 초점거리 별 정렬시키고, 정렬된 초점거리 별 영상을 하나로 정합하여 깊이에 따른 3차원 지문 정보를 생성하는 단계인 비접촉 지문 인식 방법.7. The method of claim 6,
In step (b), the image processing unit generates a focal stack, which is a set of images at various focal points, using the depth map of the multi-viewpoint image, and cuts the focused portion within each focal stack image. A non-contact fingerprint recognition method, which is a step of generating 3D fingerprint information according to depth by aligning by focal length and matching the aligned images by focal length into one. 청구항 6에 있어서,
상기 (c) 단계는, 상기 영상 처리부가 상기 3차원 지문 형상을 원통투영법을 이용하여 2차원 지문 펼침 영상을 생성하는 단계인 비접촉 지문 인식 방법.7. The method of claim 6,
The step (c) is a non-contact fingerprint recognition method wherein the image processing unit generates a two-dimensional fingerprint unfolded image by using a cylindrical projection method of the three-dimensional fingerprint shape. 컴퓨터에서 청구항 6, 8 및 9 중 어느 한 청구항에 따른 비접촉 지문 인식 방법의 각 단계들을 수행하도록 작성되어 컴퓨터로 독출 가능한 기록 매체에 기록된 컴퓨터프로그램.A computer program recorded on a computer-readable recording medium and written to perform each step of the non-contact fingerprint recognition method according to any one of claims 6, 8, and 9 on a computer.
KR1020200061434A 2020-05-22 2020-05-22 Apparatus for recognizing non-contacting fingerprint and method thereof KR102430304B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200061434A KR102430304B1 (en) 2020-05-22 2020-05-22 Apparatus for recognizing non-contacting fingerprint and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200061434A KR102430304B1 (en) 2020-05-22 2020-05-22 Apparatus for recognizing non-contacting fingerprint and method thereof

Publications (2)

Publication Number Publication Date
KR20210144292A KR20210144292A (en) 2021-11-30
KR102430304B1 true KR102430304B1 (en) 2022-08-09

Family

ID=78722439

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200061434A KR102430304B1 (en) 2020-05-22 2020-05-22 Apparatus for recognizing non-contacting fingerprint and method thereof

Country Status (1)

Country Link
KR (1) KR102430304B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008217190A (en) * 2007-03-01 2008-09-18 Sony Corp Biological authentication device
US20120076369A1 (en) * 2010-09-24 2012-03-29 Gil Abramovich System and method for contactless multi-fingerprint collection

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102283423B1 (en) * 2014-12-18 2021-07-30 엘지이노텍 주식회사 Image pick-up apparatus, portable terminal including the same and image pick-up method using the apparatus
KR101596298B1 (en) 2015-03-20 2016-02-24 이상훈 Contactless fingerprint image acquistion method using smartphone

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008217190A (en) * 2007-03-01 2008-09-18 Sony Corp Biological authentication device
US20120076369A1 (en) * 2010-09-24 2012-03-29 Gil Abramovich System and method for contactless multi-fingerprint collection

Also Published As

Publication number Publication date
KR20210144292A (en) 2021-11-30

Similar Documents

Publication Publication Date Title
KR102305263B1 (en) Multiple mode image acquisition for iris imaging
US9672406B2 (en) Touchless fingerprinting acquisition and processing application for mobile devices
US8224069B2 (en) Image processing apparatus, image matching method, and computer-readable recording medium
JP6369078B2 (en) Image correction apparatus, image correction method, and computer program for image correction
KR102472156B1 (en) Electronic Device and the Method for Generating Depth Information thereof
US9727585B2 (en) Image processing apparatus and method for controlling the same
JP4807986B2 (en) Image input device
US7760916B2 (en) Registration apparatus, collation apparatus, image correction method and program
US10430644B2 (en) Blended iris and facial biometric system
US11232284B2 (en) Techniques for robust anti-spoofing in biometrics using polarization cues for NIR and visible wavelength band
KR101724971B1 (en) System for recognizing face using wide angle camera and method for recognizing face thereof
KR20180134280A (en) Apparatus and method of face recognition verifying liveness based on 3d depth information and ir information
US9282237B2 (en) Multifocal iris recognition device
JP5857712B2 (en) Stereo image generation apparatus, stereo image generation method, and computer program for stereo image generation
TWI731036B (en) Optoelectronic systems
CN111345025A (en) Camera device and focusing method
KR101919138B1 (en) Method and apparatus for remote multi biometric
KR102430304B1 (en) Apparatus for recognizing non-contacting fingerprint and method thereof
JP5791361B2 (en) PATTERN IDENTIFICATION DEVICE, PATTERN IDENTIFICATION METHOD, AND PROGRAM
KR20090115738A (en) Information extracting method, registering device, collating device and program
CN108875472B (en) Image acquisition device and face identity verification method based on image acquisition device
CN112750157B (en) Depth image generation method and device
EP3721619B1 (en) Anti-spoofing face id sensing using two cameras
KR101718244B1 (en) Apparatus and method of processing wide angle image for recognizing face
US11544961B2 (en) Passive three-dimensional face imaging based on macro-structure and micro-structure image sizing

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant