KR100789608B1 - Apparatus and method of fingerprint recognition - Google Patents

Apparatus and method of fingerprint recognition Download PDF

Info

Publication number
KR100789608B1
KR100789608B1 KR1020050054426A KR20050054426A KR100789608B1 KR 100789608 B1 KR100789608 B1 KR 100789608B1 KR 1020050054426 A KR1020050054426 A KR 1020050054426A KR 20050054426 A KR20050054426 A KR 20050054426A KR 100789608 B1 KR100789608 B1 KR 100789608B1
Authority
KR
South Korea
Prior art keywords
fingerprint
partial fingerprint
image
partial
images
Prior art date
Application number
KR1020050054426A
Other languages
Korean (ko)
Other versions
KR20060134614A (en
Inventor
강효섭
김호원
김택수
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020050054426A priority Critical patent/KR100789608B1/en
Priority to PCT/KR2006/002296 priority patent/WO2006135203A1/en
Priority to US11/424,477 priority patent/US20060285729A1/en
Publication of KR20060134614A publication Critical patent/KR20060134614A/en
Application granted granted Critical
Publication of KR100789608B1 publication Critical patent/KR100789608B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1335Combining adjacent partial images (e.g. slices) to create a composite input or reference pattern; Tracking a sweeping finger movement

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Input (AREA)
  • Collating Specific Patterns (AREA)

Abstract

본 발명은 지문 인식 장치와 그 방법에 관한 것이다.The present invention relates to a fingerprint recognition device and a method thereof.

본 발명은 슬라이딩에 따른 부분 지문 영상을 취득하는 수단; 상기 취득된 부분 지문 영상들 간의 중첩 영역의 밝기값 비교를 비교를 토대로 슬라이딩 방향 및 속도를 검출하는 수단; 상기 구해진 부분 지문 영상들 및 그 슬라이딩 정보를 저장하는 수단; 상기 부분 지문 영상들 간의 중첩 영역 부재로 인한 오정합 여부를 판별하여 해당 부분 지문 영상의 속도 정보를 보정하는 수단; 상기 보정된 슬라이딩 정보를 토대로 부분 지문 영상을 하나의 완성된 지문 영상으로 정합하는 수단; 을 포함하여 이루어지는 것을 특징으로 한다.The present invention provides means for acquiring a partial fingerprint image according to sliding; Means for detecting a sliding direction and a speed based on a comparison of brightness values of overlapping regions between the obtained partial fingerprint images; Means for storing the obtained partial fingerprint images and sliding information thereof; Means for determining a mismatch due to an overlapping region member between the partial fingerprint images and correcting speed information of the partial fingerprint image; Means for matching a partial fingerprint image to one completed fingerprint image based on the corrected sliding information; Characterized in that comprises a.

지문, 지문 센서, 지문 인식, 슬라이드 타입 지문 센서 Fingerprint, fingerprint sensor, fingerprint recognition, slide type fingerprint sensor

Description

지문 인식 장치 및 방법{APPARATUS AND METHOD OF FINGERPRINT RECOGNITION}Fingerprint recognition device and method {APPARATUS AND METHOD OF FINGERPRINT RECOGNITION}

도1은 슬라이드 방식의 지문 센서 외관 구조의 예를 나타탠 도면1 is a view showing an example of a slide type fingerprint sensor exterior structure;

도2a는 슬라이드 방식의 지문 센서에 의해서 구해지는 국부적인 지문 영상의 예를 나타낸 도면Fig. 2A is a diagram showing an example of a local fingerprint image obtained by the slide type fingerprint sensor.

도2b는 슬라이드 방식의 지문 센서에서 샘플링 속도와 슬라이딩 속도 간의 상대적인 관계에 따른 지문의 예를 나타낸 도면Figure 2b is a view showing an example of the fingerprint according to the relative relationship between the sampling rate and the sliding speed in the slide type fingerprint sensor

도3은 본 발명에 따른 지문 인식 장치의 블럭 구성도Figure 3 is a block diagram of a fingerprint recognition device according to the present invention

도4a는 본 발명에 따른 국부 지문 영상의 예를 나타낸 도면4A illustrates an example of a local fingerprint image in accordance with the present invention.

도4b는 본 발명에서 지문 융선 연속성 검사의 예를 나타낸 도면Figure 4b is a view showing an example of the fingerprint ridge continuity test in the present invention

도5는 본 발명에 따른 지문 인식 방법의 플로우차트5 is a flowchart of a fingerprint recognition method according to the present invention.

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>

10: 지문 센서 20: 지문 영상 처리부10: fingerprint sensor 20: fingerprint image processing unit

30: 슬라이딩 정보 추출부 40: 메모리부30: sliding information extraction unit 40: memory unit

50: 보정부 60: 정합부50: correction unit 60: matching unit

70: 지문 인식부70: fingerprint recognition unit

본 발명은 지문 인식 시스템에 관한 것이다.The present invention relates to a fingerprint recognition system.

보안 및 방범 시스템 기술에서 건조물의 출입자나 특정 기기의 사용자 등에 대한 정당성을 인증하기 위한 수단으로 생체 정보를 이용하는 방법이 사용된다. 인증을 위한 생체 정보로 홍채정보나 지문정보가 사용되며, 홍채 인식에 기반한 인증방법을 비롯하여 지문 인식에 기반한 인증방법에 이르기까지 다양한 생체인식 기반의 인증방법이 활용되고 있다. 이러한 생체 정보 기반의 인증 시스템은 건조물의 출입자에 대한 인증뿐만 아니라, 정보의 보호나 개인의 신분 증명을 위한 방법으로서, 기존의 패스워드 방식이나 ID 카드 방식 대신 사용된다.In the security and security system technology, a method of using biometric information is used as a means for authenticating legitimacy of a person entering a building or a user of a specific device. Iris information or fingerprint information is used as biometric information for authentication, and various biometric authentication methods are used, ranging from authentication methods based on iris recognition to authentication methods based on fingerprint recognition. The biometric information-based authentication system is a method for not only authentication of the user of the building but also information protection or personal identification, and is used instead of the existing password method or ID card method.

지문 인식에 기반한 인증을 위한 시스템에서는 지문 정보를 획득하기 위한 수단과, 획득한 지문 정보에서 특징을 추출하는 수단, 그리고 추출된 특징을 분석하여 기 등록된 지문정보와의 비교를 통해 정당성을 인증하는 수단을 포함한다.In a system for authentication based on fingerprint recognition, a means for acquiring fingerprint information, a means for extracting a feature from the acquired fingerprint information, and a feature for analyzing the extracted feature and comparing the registered fingerprint information with the pre-registered fingerprint information are authenticated. Means;

이와 같은 지문 인식 시스템은 인증을 위한 센서의 기구적 간결성과 인증 알고리즘의 인식 정밀도가 높다는 등의 장점이 있기 때문에 PDA나 휴대폰 등과 같은 이동 단말기에도 적용되어 사용되고 있다.Such a fingerprint recognition system is applied to a mobile terminal such as a PDA or a mobile phone because it has advantages such as mechanical simplicity of a sensor for authentication and high recognition accuracy of an authentication algorithm.

지문 정보의 획득을 위한 수단으로 지문 인식 센서가 사용된다. 지문 인식 센서는 광학식, 열감지식, 반도체식으로 분류되며, 이동 단말기의 경우에는 공간적 제약 때문에 주로 반도체식 센서가 장착되고 있다. 반도체식 센서는 공간형(area type)과 슬라이드형(slide type)으로 분류될 수 있다. 그렇지만 공간형 지문 인식 센서는 이 센서가 탑재되는 이동 단말기에서 차지하는 공간이 크기 때문에, 상대적 으로 차지하는 공간이 작은 슬라이드형 지문 인식 센서가 주로 이동 단말기에 장착되어 효과를 발휘하게 된다.A fingerprint recognition sensor is used as a means for obtaining fingerprint information. Fingerprint sensors are classified into optical, thermal and semiconductor types, and mobile terminals are mainly equipped with semiconductor sensors due to space constraints. Semiconductor sensors can be classified into area type and slide type. However, since the spatial fingerprint sensor occupies a large amount of space in the mobile terminal on which the sensor is mounted, a slide fingerprint sensor having a relatively small occupied space is mainly mounted in the mobile terminal to achieve an effect.

슬라이드 방식의 지문 센서는 손가락을 슬라이딩(sliding)하는 방식으로 국부적인 지문 영상들을 읽어들인 후, 이 국부 지문 영상을 하나의 영상으로 정합(composition)하여 온전한 지문 영상을 구한 것을 바탕으로 지문 인식을 수행한다.The slide-type fingerprint sensor reads local fingerprint images by sliding a finger and then performs a fingerprint recognition based on obtaining an intact fingerprint image by composing the local fingerprint images into one image. do.

종래의 부분 지문 영상 정합 방법들은 지문 센서로부터 입력되는 부분 지문 영상을 기 정합된 지문 영상에 중첩(overlap)시켜 중첩된 영역의 상대적인 밝기값 매칭을 통해 기 정합된 지문 영상을 갱신(update)하는 순차적 정합(sequential composition) 방식을 택하고 있다.Conventional partial fingerprint image matching methods sequentially superimpose the partial fingerprint image input from the fingerprint sensor onto the matched fingerprint image and update the matched fingerprint image by matching relative brightness values of the overlapped regions. We are taking a sequential composition.

이러한 순차적 정합 방식의 경우, 슬라이드 방식 센서의 샘플링 속도가 슬라이딩 속도보다 충분히 빠르고, 센서의 이득 제어가 이상적이어서 실제 중첩되는 지문 영역의 일대일 대응하는 각 픽셀의 밝기값이 같고, 슬라이딩 시 실제 센서와 접하는 지문의 기하학적 왜곡이 무시할 수 있는 범위에 있다면 정확한 지문 영상을 정합해 낼 수 있다.In this sequential matching method, the sampling rate of the slide type sensor is faster than the sliding speed, and the gain control of the sensor is ideal, so that the brightness values of the pixels corresponding to one-to-one corresponding to the overlapping fingerprint area are the same, If the geometric distortion of the fingerprint is in a negligible range, accurate fingerprint images can be matched.

그렇지만, 실제 슬라이드 센서에 대한 상대적인 슬라이딩 동작은 사용자의 습관에 따라 다양한 형태를 가지게 된다. 예를 들어, 지문 센서에 손가락을 대고 슬라이딩 동작을 수행할 때 대부분의 경우 슬라이딩 속도는 균일하지 않고 가변적이며, 슬라이딩이 끝나는 마지막 단계에서의 슬라이딩 속도가 시작 단계의 슬라이딩 속도보다 상당히 빨라지는 경향을 나타내게 된다.However, the sliding operation relative to the actual slide sensor may have various forms according to a user's habit. For example, when performing a sliding action with a finger on the fingerprint sensor, in most cases the sliding speed is not uniform and variable, so that the sliding speed at the end of the sliding step tends to be considerably faster than the sliding speed at the start step. do.

극단적으로는, 슬라이딩 속도가 부분적으로 센서의 샘플링 속도보다 빠를 수 있으며, 이러한 경우에는 새로 입력된 부분 지문 영상과 기 정합된 지문 영상 간에는 중첩되는 부분이 존재하지 않게 되므로 근본적으로 밝기값 매칭을 할 수 없게 된다.Extremely, the sliding speed may be partially faster than the sampling rate of the sensor, and in this case, there is no overlap between the newly input partial fingerprint image and the matched fingerprint image, so that brightness value matching is fundamentally possible. There will be no.

그렇지만, 지문 센서에서는 이러한 중첩 영역의 존재 유무를 판독할 수 없기 때문에 잘못된 매칭 결과를 초래하며, 이는 정합된 지문 영상에서 불연속적인 지문 융선의 흐름으로 나타나게 되어 결국 지문 인식률을 떨어뜨리게 된다.However, the fingerprint sensor cannot read the presence or absence of such an overlapping region, which results in an incorrect matching result, which results in a discontinuous flow of fingerprint ridges in the matched fingerprint image, resulting in a decrease in fingerprint recognition rate.

결국, 순차적 정합 방법은 샘플링 속도가 슬라이딩 속도보다 상당히 빠르지 않을 경우 영상 정합에서 근본적인 문제점을 가질 수 밖에 없다. 하지만 예외적으로 중첩 영역이 존재하지 않더라도 슬라이딩 속도와 샘플링 속도가 같거나 유사할 경우는 자체적으로 정합이 된 것처럼 보이기 때문에 유효한 지문 영상이 될 수 있다.After all, the sequential matching method has a fundamental problem in image matching when the sampling rate is not significantly faster than the sliding speed. However, even if there is no overlapping region, if the sliding speed and the sampling rate are the same or similar, they can be valid fingerprint images because they appear to be self-aligned.

현재 상용화된 슬라이딩 센서들 중에는 낮은 샘플링 속도를 제공하는 센서들에 있어서, 앞서 설명한 바와 같이 슬라이딩 속도와 샘플링 속도가 같거나 유사할 경우와 같은 상황들이 실제 지문 영상 획득 과정에서 빈번하게 발생하고 있다. 낮은 샘플링 속도를 제공하는 지문 센서들에서 슬라이딩 속도와 샘플링 속도가 같거나 유사할 경우에 대한 감지를 할 수 있다면 낮은 샘플링 속도를 가진 슬라이딩 기반 센서의 부분 지문 정합 성공률을 향상시킬 수 있을 것이다.Among the currently available sliding sensors, in the case of sensors that provide a low sampling rate, as described above, situations such as when the sliding speed and the sampling rate are the same or similar frequently occur during the actual fingerprint image acquisition process. If fingerprint sensors that provide low sampling rates can detect when the sliding speed is the same or similar, the partial fingerprint matching success rate of sliding-based sensors with low sampling rates will be improved.

본 발명의 목적은 부분 지문 영상의 정합(composition)을 기반으로 하여 지문을 인식하는 시스템에서, 지문 인식을 위한 슬라이딩 시 슬라이딩 속도와 센서의 샘플링 속도 간의 차에도 불구하고 정확한 지문 인식을 수행할 수 있도록 한 지문 인식장치 및 그 방법을 제공하는데 있다.An object of the present invention is to enable accurate fingerprint recognition in spite of the difference between the sliding speed and the sampling rate of the sensor during sliding for fingerprint recognition in a system for recognizing a fingerprint based on the composition of a partial fingerprint image. A fingerprint recognition device and a method thereof are provided.

본 발명의 다른 목적은 부분 지문 영상의 정합(composition)을 기반으로 하여 지문을 인식하는 시스템에서, 순차적 정합방법에서 사용자의 슬라이딩 습관에 의해 좌우되는 지문 센서의 샘플링 속도보다 빠른 과속 슬라이딩에 의한 정합 오류에 의한 오정합 문제를 해결하고, 낮은 샘플링 속도를 제공하는 슬라이딩 센서에서의 다양한 사용자 슬라이딩 습관에 대처하여 정확한 지문 인식을 수행할 수 있도록 한 지문 인식장치 및 그 방법을 제공하는데 있다.Another object of the present invention is a registration error in a system for recognizing a fingerprint based on the composition of a partial fingerprint image, by a speeding sliding faster than a sampling rate of a fingerprint sensor that is influenced by a user's sliding habit in a sequential matching method. The present invention provides a fingerprint recognition device and a method for solving a problem of misalignment caused by a fingerprint sensor and performing accurate fingerprint recognition by coping with various user sliding habits in a sliding sensor that provides a low sampling rate.

본 발명의 또 다른 목적은 부분 지문 영상의 정합(composition)을 기반으로 하여 지문을 인식하는 시스템에서, 지문 인식을 위한 슬라이딩 시 인접하는 이웃 부분 지문 영상들 간의 상대적인 슬라이딩 속도를 먼저 계산하고, 이들의 통계적 특성을 이용하여 과속구간을 검출하고, 과속구간에 해당하는 두 부분 지문 영상 간의 지문 융선의 연속성 여부를 이용하여 과속 구간의 슬라이딩 속도 보정을 수행한 후, 보정된 전체 슬라이딩 정보를 이용하여 부분 지문 영상들을 하나의 완성된 지문 영상으로 정합함으로써, 정확한 지문 인식을 수행할 수 있도록 한 지문 인식장치 및 그 방법을 제공하는데 있다.It is still another object of the present invention to first calculate a relative sliding speed between adjacent neighboring partial fingerprint images when sliding for fingerprint recognition in a system for recognizing a fingerprint based on a composition of partial fingerprint images. Detecting the speeding section using statistical characteristics, correcting the sliding speed of the speeding section using the continuity of the fingerprint ridge between two partial fingerprint images corresponding to the speeding section, and then using the corrected sliding information. The present invention provides a fingerprint recognition device and a method for performing accurate fingerprint recognition by matching images into one completed fingerprint image.

본 발명의 지문 인식장치는, 지문 영상 취득수단, 지문 영상 취득수단으로부터 입력되는 부분 지문 영상들 간의 슬라이딩 정보를 계산하는 수단, 상기 부분 지문 영상들과 그 슬라이딩 정보를 저장하는 수단, 상기 저장된 부분 지문 영상 및 그 슬라이딩 정보를 이용하여 각 부분 지문 영상의 슬라이딩 정보를 보정하는 수단, 상기 보정된 슬라이딩 정보를 이용하여 저장수단에 저장된 부분 지문 영상들을 하나의 지문 영상으로 정합하는 수단 및, 정합된 지문 영상을 토대로 지문 인식을 수행하는 수단을 포함하여 이루어지는 것을 특징으로 한다.The fingerprint recognition apparatus of the present invention includes a fingerprint image obtaining means, means for calculating sliding information between partial fingerprint images input from a fingerprint image obtaining means, means for storing the partial fingerprint images and sliding information, and the stored partial fingerprint. Means for correcting sliding information of each partial fingerprint image by using the image and its sliding information, means for matching partial fingerprint images stored in a storage means using the corrected sliding information into a single fingerprint image, and a matched fingerprint image It comprises a means for performing a fingerprint recognition based on the.

본 발명의 지문 인식방법은, 부분 지문 영상을 취득하는 단계, 상기 취득된 부분 지문 영상들 간의 상대적인 슬라이딩 정보를 구하는 단계, 상기 부분 지문 영상들 간의 상대적인 슬라이딩 정보를 보정하는 단계, 상기 보정된 슬라이딩 정보를 반영하여 부분 지문 영상들을 정합하는 단계를 포함하여 이루어지는 것을 특징으로 한다.The fingerprint recognition method of the present invention may include obtaining a partial fingerprint image, obtaining relative sliding information between the obtained partial fingerprint images, correcting relative sliding information between the partial fingerprint images, and correcting the sliding information. And matching the partial fingerprint images to reflect the reflection.

[실시예]EXAMPLE

도1은 슬라이드 방식의 지문 센서 외관 구조의 예를 보여준다. 여기서는 이동 단말기(101)에 슬라이드 방식의 지문 센서(102)를 탑재한 구조를 보여주고 있다. 지문 센서(102)는 사용자가 손가락을 접촉시켜 슬라이딩시킴으로써 부분적이며 연속하는 부분 지문 영상을 취득한다.Figure 1 shows an example of the slide structure of the fingerprint sensor appearance. Here, the structure in which the fingerprint sensor 102 of the slide type is mounted on the mobile terminal 101 is shown. The fingerprint sensor 102 acquires a partial and continuous partial fingerprint image by sliding a user's finger.

도2a는 슬라이드 방식의 지문 센서에 의해서 구해지는 국부적인 지문 영상의 예를 보여준다. 사용자가 엄지 손가락(103)을 지문 센서(102)에 대고 소정의 속도로 슬라이딩시켜 줌으로써 부분적이며 연속하는 지문 영상들(104~107)이 구해진다.2A shows an example of a local fingerprint image obtained by a slide type fingerprint sensor. When the user slides the thumb 103 against the fingerprint sensor 102 at a predetermined speed, partial and continuous fingerprint images 104 to 107 are obtained.

도2a에서 보여지는 바와 같이, 사용자의 지문 영상은 부분적이며 인접하고 서로 연속하는 형태로 슬라이스되어 순차적으로 구해진다. 지문 센서(102)에서 읽어들인 부분 지문 영상들은 하나의 지문 영상으로 정합되며, 하나의 지문 영상으로 정합된 온전한 지문 영상이 기 등록된 지문 영상(데이터 베이스일 수도 있다)과 비교되어 해당 사용자의 정당성을 입증하는 수단으로 사용될 것이다.As shown in FIG. 2A, a fingerprint image of a user is obtained by being sliced into partial, adjacent, and continuous forms sequentially. The partial fingerprint images read from the fingerprint sensor 102 are matched with one fingerprint image, and the intact fingerprint image matched with one fingerprint image is compared with a pre-registered fingerprint image (may be a database), thereby validating the user. It will be used as a means of demonstrating this.

본 발명에서는 이와 같이 순차 정합 방식을 기반으로 하는 슬라이딩 부분 지문 영상들을 슬라이딩 속도의 변화와 관계없이 정확하게 정합하고 인식하는 수단을 제공할 것이다. 특히, 지문 센서의 샘플링 속도보다 슬라이딩 속도가 빠른 과속구간에 대하여 정확한 정합을 수행할 수 있는 수단을 제공할 것이다.The present invention will provide a means for accurately matching and recognizing sliding partial fingerprint images based on the sequential matching scheme irrespective of the change in sliding speed. In particular, the present invention will provide a means for performing accurate matching for an overspeed section whose sliding speed is faster than the sampling rate of the fingerprint sensor.

도2b는 지문 센서의 샘플링 속도와 슬라이딩 속도의 차이에 따라 구해지는 부분 인접 지문 영상들 간의 관계를 예시하고 있다. (A) 지문 영상은 슬라이딩 속도가 샘플링 속도보다 늦을 때의 인접하는 부분 지문 영상(104a,105a)을 보여주고 있으며, (B) 지문 영상은 슬라이딩 속도와 샘플링 속도가 같을 때의 인접하는 부분 지문 영상(104b,105b)을 보여주고 있으며, (C) 지문 영상은 슬라이딩 속도가 샘플링 속도보다 빠를 때의 지문 영상(104c,105c)을 보여주고 있다.2B illustrates a relationship between partially adjacent fingerprint images obtained according to a difference between a sampling rate and a sliding speed of a fingerprint sensor. (A) The fingerprint image shows the adjacent partial fingerprint images 104a and 105a when the sliding speed is lower than the sampling rate. (B) The fingerprint image shows the adjacent partial fingerprint image when the sliding speed and the sampling rate are the same. And (C) the fingerprint image shows the fingerprint images 104c and 105c when the sliding speed is faster than the sampling rate.

도2b에서 보여지듯이, 슬라이딩 속도가 부분적으로 센서의 샘플링 속도와 같거나 빠를 경우에는 새로 입력된 부분 지문 영상(104b,104c)과 기 지문 영상(105b,105c) 간에는 중첩되는 영역이 존재하지 않게 된다. 이러한 경우 밝기값 매칭을 할 수 없게 되고, 정합된 지문 영상에서는 불연속적인 지문 융선 흐름으로 나타나게 되어 인식률을 떨어뜨리게 될 것이다.As shown in FIG. 2B, when the sliding speed is partially equal to or faster than the sampling rate of the sensor, there is no overlapping area between the newly input partial fingerprint images 104b and 104c and the existing fingerprint images 105b and 105c. . In this case, the brightness value cannot be matched, and the matched fingerprint image will appear as a discontinuous fingerprint ridge flow, thereby reducing the recognition rate.

그렇지만 본 발명에서는 이와 같은 과속구간을 검출하고 이를 보정함으로써, 슬라이딩 속도와 샘플링 속도의 차이, 특히 과속구간에서 일어날 수 있는 오정합 문제를 근본적으로 해결할 것이다.However, the present invention will fundamentally solve the problem of misalignment that may occur in the difference between the sliding speed and the sampling rate, in particular in the speeding section, by detecting and correcting the speeding section.

도3은 본 발명에 따른 지문 인식 장치의 구성을 보여준다. 도3에 나타낸 지문 인식장치는 이동 단말기에 탑재될 수 있다. 본 발명에 따른 지문 인식장치는 지문 영상을 취득하기 위한 지문 센서(10), 상기 지문 센서(10)로 읽어들인 사용자의 부분 지문 영상들을 처리하기 위한 지문 영상 처리부(20), 상기 지문 영상 처리부(20)로부터의 부분 지문 영상들 간의 상대적인 슬라이딩 정보를 추출하기 위한 슬라이딩 정보 추출부(30), 상기 부분 지문 영상들과 각각의 슬라이딩 정보를 저장하는 메모리부(40), 상기 메모리부(40)에 저장된 부분 지문 영상들과 슬라이딩 정보를 이용하여 지문 영상 정합을 위한 보정을 수행하는 보정부(50), 상기 보정된 지문 영상들을 이용하여 하나의 지문 영상을 구성하는 정합부(60), 그리고 정합된 지문 영상을 이용해서 해당 지문 영상의 인식을 수행하는 지문 인식부(70)를 포함하여 구성된다.3 shows a configuration of a fingerprint recognition device according to the present invention. The fingerprint recognition device shown in Fig. 3 can be mounted in the mobile terminal. The fingerprint recognition apparatus according to the present invention includes a fingerprint sensor 10 for acquiring a fingerprint image, a fingerprint image processor 20 for processing partial fingerprint images of a user read by the fingerprint sensor 10, and the fingerprint image processor ( A sliding information extracting unit 30 for extracting relative sliding information between partial fingerprint images from 20, a memory unit 40 storing the partial fingerprint images and respective sliding information, and the memory unit 40. A corrector 50 for correcting a fingerprint image using the stored partial fingerprint images and sliding information, a matching unit 60 constituting a single fingerprint image using the corrected fingerprint images, and a match The fingerprint recognition unit 70 performs recognition of the fingerprint image using the fingerprint image.

지문 센서(10)는 슬라이드 타입의 반도체식 지문 센서가 사용된다. 슬라이드 타입의 반도체식 지문 센서는 사용자가 센서의 인식창에 손가락을 대고 소정의 속도로 슬라이딩시켜 줄 때 지문을 스캔하여 부분 지문 영상의 형태로 지문을 읽어들이게 된다.The fingerprint sensor 10 is a slide type semiconductor fingerprint sensor. The slide type semiconductor fingerprint sensor scans a fingerprint and reads the fingerprint in the form of a partial fingerprint image when the user slides the finger on the recognition window of the sensor at a predetermined speed.

지문 센서(10)에서 읽어들인 부분 지문 영상은 지문 영상 처리부(20)에 입력된다. 지문 영상 처리부(20)는 지문 센서(10)의 샘플링 구동을 수행함과 함께, 읽어들인 부분 지문 영상들을 디지털 신호로 변환하여 화소(pixel) 기반의 지문 인식 수행의 기반을 제공하게 된다. 또한, 지문 영상 처리부(20)는 후에 설명하겠지만 기준 영상과 목표 영상에 대하여 슬라이딩 속도와 방향에 대한 탐색 이전에 평균 밝기값이 같아지도록 영상의 전 영역에 대해서 동일한 이득(gain)을 적용하여 밝기값을 조정하는 처리도 수행한다.The partial fingerprint image read from the fingerprint sensor 10 is input to the fingerprint image processor 20. The fingerprint image processing unit 20 performs sampling driving of the fingerprint sensor 10, and converts the partial fingerprint images read into digital signals to provide a basis for performing pixel-based fingerprint recognition. In addition, as will be described later, the fingerprint image processing unit 20 applies the same gain to all areas of the image so that the average brightness is the same before the search for the sliding speed and the direction of the reference image and the target image. The process of adjusting this is also performed.

슬라이딩 정보 추출부(30)는 부분 지문 영상들의 슬라이딩 정보로서 그 속도와 방향을 추출한다. 즉, 인접하며 연속되는 두 부분 지문 영상들 간의 상대적인 속도정보와 방향정보를 추출하게 된다.The sliding information extractor 30 extracts the speed and the direction as sliding information of the partial fingerprint images. That is, relative speed information and direction information between two adjacent partial fingerprint images are extracted.

메모리부(40)는 순차적으로 입력되는 부분 지문 영상들과 각각의 부분 지문 영상들에 대한 슬라이딩 정보를 저장한다.The memory unit 40 stores sliding fingerprints for partial fingerprint images and respective partial fingerprint images that are sequentially input.

보정부(50)는 상기 메모리부(40)에 저장된 부분 지문 영상들 간의 상대적인 슬라이딩 정보를 보정하여 슬라이딩 속도가 불균일하거나, 혹은 슬라이딩 속도와 지문 센서 샘플링 속도 간의 문제로 인한 정합 오류 발생의 문제를 극복해 준다.The correction unit 50 corrects the relative sliding information between the partial fingerprint images stored in the memory unit 40 to overcome the problem of occurrence of a matching error due to an uneven sliding speed or a problem between the sliding speed and the fingerprint sensor sampling speed. Do it.

정합부(60)는 상대적인 슬라이딩 정보의 보정이 이루어진 각각의 부분 지문 영상들을 하나의 지문 영상으로 정합하며, 지문 인식부(70)는 정합된 최종 지문 영상을 이용해서 해당 사용자 지문에 대한 인식 및 인증 처리를 수행하게 된다.The matching unit 60 matches each partial fingerprint image in which relative sliding information is corrected into one fingerprint image, and the fingerprint recognition unit 70 recognizes and authenticates the corresponding user fingerprint using the matched final fingerprint image. Processing will be performed.

도4a는 본 발명에 따른 국부 지문 영상의 예를 보여준다. 도4a에는 두 개의 부분 지문 영상이 표현되고 있는데, 이들은 서로 인접하며 연속하는 부분 지문 영상들이다. 제 1 부분 지문 영상(110)은 지문 센서(10)로부터 입력되는 현재의 부분 지문 영상이고, 제 2 부분 지문 영상(120)은 지문 센서(10)로부터 입력되었던 이전의 부분 지문 영상이다. 여기서, 현재의 부분 지문 영상과 이전의 부분 지문 영상이라 함은 다음의 두 가지 경우 중의 하나를 의미한다.4A shows an example of a local fingerprint image according to the present invention. Two partial fingerprint images are represented in FIG. 4A, which are adjacent and consecutive partial fingerprint images. The first partial fingerprint image 110 is a current partial fingerprint image input from the fingerprint sensor 10, and the second partial fingerprint image 120 is a previous partial fingerprint image input from the fingerprint sensor 10. Here, the current partial fingerprint image and the previous partial fingerprint image mean one of the following two cases.

첫째는 실시간 보정 및 정합이 이루어지는 경우에서는 현재 입력되는 부분 지문 영상이 현재의 부분 지문 영상이고, 이전 시점에서 이미 입력되어 있던 부분 지문 영상이 이전의 부분 지문 영상에 해당한다.First, when real-time correction and registration is performed, the partial fingerprint image currently input is the current partial fingerprint image, and the partial fingerprint image already input at the previous time point corresponds to the previous partial fingerprint image.

둘째는 보정 및 정합이 모든 부분 지문 영상의 입력 완료 후에 일괄적으로 수행되는 경우, 여러 개의 부분 지문 영상들 중에서 선택된 하나의 부분 지문 영상을 현재의 부분 지문 영상으로 한다면, 그 선택된 부분 지문 영상 입력 직전의 시점에서 입력된 부분 지문 영상을 이전의 부분 지문 영상으로 하는 경우이다.Second, when correction and registration are performed collectively after completion of the input of all partial fingerprint images, if one partial fingerprint image selected from several partial fingerprint images is the current partial fingerprint image, immediately before the selected partial fingerprint image input This is a case where the partial fingerprint image inputted at the point of time is a previous partial fingerprint image.

어느 경우나, 이후 설명될 부분 지문 영상의 상대적인 슬라이딩 정보 보정 기반의 정합 및 인식 방법이 동일하게 적용될 것이다.In either case, the matching and recognition method based on the relative sliding information correction of the partial fingerprint image, which will be described later, will be applied in the same manner.

제 1 부분 지문 영상(110)을 기준 영상으로 하면 제2 부분 지문 영상(120)은 목표 영상이 된다. 반대로, 제 2 부분 지문 영상(120)을 기준 영상으로 하면 제 1 부분 지문 영상(110)은 목표 영상이 된다. 본 발명에서는 부분 지문 영상들 간의 상대적인 슬라이딩 정보의 추출 및 보정을 위하여, 목표 영상(120) 내의 일부 영역을 목표-탐색 슬라이스(121)로, 기준 영상(110) 내의 일부 영역을 기준 슬라이스(111)로 각각 설정한다. 상기, 목표 영상-탐색 슬라이스, 기준 영상-기준 슬라이스를 이용하는 상세한 방법은 후에 설명될 것이다.When the first partial fingerprint image 110 is used as a reference image, the second partial fingerprint image 120 becomes a target image. In contrast, when the second partial fingerprint image 120 is used as the reference image, the first partial fingerprint image 110 becomes a target image. In the present invention, in order to extract and correct relative sliding information between partial fingerprint images, a portion of the target image 120 is a target-search slice 121 and a portion of the region of the reference image 110 is a reference slice 111. Set each to. The detailed method using the target image-search slice, the reference image-reference slice will be described later.

도4b는 슬라이딩 속도가 샘플링 속도와 같거나 빠른 과속구간에서 중첩 영역 부재에 따른 오정합 부분의 처리방법을 도식적으로 보여준다. 이 경우에는 T(N) 지문 영상과 T(N-1) 지문 영상을 임의로 연속된 영상으로 보고 두 부분 지문 영상간의 경계선에서 발생하는 지문 융선 흐름의 연속성 검사를 수행해서 지문 융선 흐름의 불연속 구간이 허용 기준치 이내일 경우에는 슬라이딩 속도가 센서의 샘플링 속 도와 같다고 판단하고 센서의 샘플링 속도를 해당 부분 지문 영상의 슬라이딩 속도로 등록한다.Fig. 4B schematically shows a method of processing a misalignment part according to the overlapping region member in an overspeed section whose sliding speed is equal to or faster than the sampling rate. In this case, the T (N) fingerprint image and the T (N-1) fingerprint image are randomly contiguous images, and the continuity check of the fingerprint ridge flow occurring at the boundary between the two partial fingerprint images is performed to generate a discontinuous section of the fingerprint ridge flow. If it is within the threshold, it is determined that the sliding speed is the same as the sampling speed of the sensor, and the sampling speed of the sensor is registered as the sliding speed of the partial fingerprint image.

도5는 본 발명에 따른 지문 인식 방법의 플로우차트이다. 제 1 단계(S10)는 부분 지문 영상을 취득하는 단계이며, 제 2 단계(S20)는 입력된 부분 지문 영상이 최초 입력인가를 판단하는 단계이다. 제 3 단계(S30)는 입력된 부분 지문 영상이 두번째 이후의 부분 지문 영상일 경우 앞서 입력된 부분 지문 영상과의 상대적인 슬라이딩 정보를 추출하는 단계이다. 제 4 단계(S40)는 추출된 부분 지문 영상과 슬라이딩 정보를 메모리부에 저장하는 단계이다. 제 5 단계(S50)는 계속하여 지문 센서 입력이 있는가를 판단하는 단계이며, 이 단계에서 더 이상의 지문 센서 입력이 없는 경우 제 6 단계(S60)로 이행하여, 상기 부분 지문 영상들간의 슬라이딩 정보의 보정을 수행한다. 제 7 단계(S70)는 보정된 슬라이딩 정보를 반영하여, 각가그이 부분 지문 영상들을 하나의 온전한 지문 영상으로 구성하는 지문 영상 정합 및 그 인식 단계이다.5 is a flowchart of a fingerprint recognition method according to the present invention. A first step S10 is a step of acquiring a partial fingerprint image, and a second step S20 is a step of determining whether an input partial fingerprint image is an initial input. The third step S30 is a step of extracting sliding information relative to the previously inputted partial fingerprint image when the inputted partial fingerprint image is the second and subsequent partial fingerprint images. The fourth step S40 is to store the extracted partial fingerprint image and sliding information in the memory unit. The fifth step S50 is to continuously determine whether there is a fingerprint sensor input. If there is no further fingerprint sensor input in this step, the process moves to the sixth step S60 to correct sliding information between the partial fingerprint images. Do this. The seventh step S70 is a fingerprint image registration and recognition step in which each gag configures partial fingerprint images into one intact fingerprint image by reflecting the corrected sliding information.

상기 도5에서 표현된 지문 인식방법을 첨부된 도면을 참조하여 더욱 상세하게 살펴보면 다음과 같다.The fingerprint recognition method represented in FIG. 5 will be described in more detail with reference to the accompanying drawings.

사용자의 슬라이딩 동작이 시작되고, 지문 센서(10)로부터 최초의 부분 지문 영상 입력이 감지됨에 따라 본 발명에 따른 지문 인식 시스템이 동작한다.As the sliding operation of the user starts and the first partial fingerprint image input is detected from the fingerprint sensor 10, the fingerprint recognition system according to the present invention operates.

부분 지문 영상의 획득은 지문 센서(10)로부터 입력을 감지하여 센서에서 슬라이딩이 감지될 경우 지문 센서(10)로부터 입력된 부분 지문 영상을 미리 지정된 메모리부(40)의 소정 영역에 저장함으로써 이루어진다.The partial fingerprint image is acquired by sensing an input from the fingerprint sensor 10 and storing the partial fingerprint image input from the fingerprint sensor 10 in a predetermined region of the predetermined memory unit 40 when sliding is detected in the sensor.

최초의 부분 지문 영상이 입력될 경우에는 슬라이딩 정보를 추출할 수 없으므로 다음 부분 지문 영상 입력이 들어오기를 기다린다.Since the sliding information cannot be extracted when the first partial fingerprint image is input, it waits for the next partial fingerprint image input.

입력된 부분 지문 영상이 둘 이상일 경우 슬라이딩 정보 추출을 수행한다.If there is more than one input partial fingerprint image, sliding information extraction is performed.

즉, 현재 입력된 부분 지문 영상 T(N)과 메모리에 저장된 바로 이전 단계에서 입력된 부분 지문 영상 T(N-1)을 읽어 들여 두 부분 지문 영상간의 상대적인 슬라이딩 방향과 속도 정보를 추출한다. 슬라이딩 방향과 속도는 인접하는 두 부분 지문 영상들 간의 중첩 영상의 밝기값의 비교를 통해서 추출한다.That is, the partial fingerprint image T (N) currently input and the partial fingerprint image T (N-1) input in the previous step stored in the memory are read to extract relative sliding directions and speed information between the two partial fingerprint images. The sliding direction and the speed are extracted by comparing brightness values of overlapping images between two adjacent partial fingerprint images.

이를 위하여, 하나의 영상을 기준 영상으로 하고, 다른 하나의 영상을 목표 영상으로 하여, 기준 영상과 목표 영상간의 중첩 픽셀들의 밝기값의 차이가 최소가되는 지점을 찾는다. 여기서, 기준 영상과 목표 영상은 지문 센서(10)로부터 입력되는 연속적인 부분 지문 영상이며, 같은 영상 크기를 갖는다. 이러한 인접 부분 지문 영상들 간의 밝기값의 최소 지점 탐색을 효율적으로 수행하기 위하여, 목표 영상의 일부 특정 영역을 탐색 슬라이스로 설정하고, 기준 영상의 일부 특정 영역을 기준 슬라이스로 설정한다. To this end, one image is used as a reference image and the other image is used as a target image, and a point at which the difference in brightness values of overlapping pixels between the reference image and the target image is minimized is found. Here, the reference image and the target image are continuous partial fingerprint images input from the fingerprint sensor 10 and have the same image size. In order to efficiently perform the minimum point search of the brightness values between the adjacent partial fingerprint images, some specific regions of the target image are set as the search slices, and some specific regions of the reference image are set as the reference slices.

예를 들면, 도4a에서 제 1 부분 지문 영상(110)의 특정 영상 영역을 기준 슬라이스(111)로 잡고, 제 2 부분 지문 영상(120)의 특정 영상 영역을 탐색 슬라이스(121)로 잡고, 제 2 부분 지문 영상(120)을 지문 센서(10)의 장축(X) 및 단축(Y) 방향으로 움직여 가면서, 기준 슬라이스(111)과 중첩되는 각 픽셀들의 밝기값을 구하고, 그 차이가 최소가 되는 지점을 탐색한다.For example, in FIG. 4A, the specific image region of the first partial fingerprint image 110 is designated as the reference slice 111, the specific image region of the second partial fingerprint image 120 is designated as the search slice 121, and While moving the two-part fingerprint image 120 in the long axis (X) and short axis (Y) directions of the fingerprint sensor 10, the brightness value of each pixel overlapping with the reference slice 111 is obtained, and the difference is minimized. Search for a point.

도5에 표현된 메모리부(40) 상의 부분 지문 영상을 예로 들어 설명하면, T(N-1)과 T(N)을 읽어들이고, T(N)을 장축(X) 및 단축(Y) 방향으로 움직여 가면서 T(N-1)의 기준 슬라이스와 중첩되는 각 픽셀들의 밝기값 차이가 최소가 되는 지점을 탐색하는 것이다. 즉, 목표 영상을 기준 영상에 중첩시켰을 때 기준 슬라이스 영상에 일대일 중첩된 목표 영상의 각 픽셀들과 기순 슬라이스 영상의 각 픽셀들 간의 밝기값 차이가 최소가 되는 지점을 탐색하는 것이다.Taking a partial fingerprint image on the memory unit 40 shown in FIG. 5 as an example, T (N-1) and T (N) are read, and T (N) is in the long axis (X) and short axis (Y) directions. Moving toward, it searches for a point where the difference in brightness value of each pixel overlapping the reference slice of T (N-1) becomes the minimum. That is, when the target image is superimposed on the reference image, the point at which the difference in brightness between the pixels of the target image superimposed on the reference slice image and each pixel of the base slice image is minimized is searched for.

다음으로, 중첩 영역의 밝기값 차이가 최소가 될 때 기준 슬라이스 좌표계와 목표 슬라이스 좌표계 간의 상대적인 픽셀 이동 정도를 계산하여 슬라이딩의 속도와 방향을 계산한다. 즉, 기준 슬라이스 영상을 기준으로 중첩 영역의 밝기값 차이가 최소가 될 때의 목표 영상의 상대적인 장축(X) 및 단축(Y) 방향으로의 이동 정도를 픽셀 단위로 계산함으로써, 두 부분 지문 영상들 간의 상대적인 속도 및 방향을 구할 수 있는 것이다.Next, when the difference between the brightness values of the overlapped areas becomes minimum, the speed and direction of sliding are calculated by calculating the relative degree of pixel movement between the reference slice coordinate system and the target slice coordinate system. That is, the two partial fingerprint images are calculated by calculating the relative degree of movement in the long axis (X) and short axis (Y) directions of the target image when the difference between the brightness values of the overlap regions is minimum based on the reference slice image. The relative speed and direction of the liver can be obtained.

이와 같이 인접하는 두 부분 지문 영상은 공통된 중첩 영역을 가질 수도 있고, 사용자의 슬라이딩 속도가 지문 센서의 샘플링 속도보다 빠를 경우 중첩 영역을 가지지 않을 수도 있다[도2b 참조].As such, the two adjacent partial fingerprint images may have a common overlapping area, or may not have an overlapping area when the sliding speed of the user is faster than the sampling rate of the fingerprint sensor (see FIG. 2B).

그리고, 상기 기준 슬라이스 영상(111)의 위치와 크기는 가변적이거나 고정적일 수 있는데, 슬라이딩 방향과 속도를 구하는 도중에는 기준 영상(110)에서 위치와 크기가 고정되며, 이전 단계에서 얻은 부분 지문 영상의 슬라이딩 속도와 방향 정보에 따라 새로운 부분 지문 영상이 지문 센서(10)로부터 입력되었을 때는 그 위치와 크기를 가변적으로 조정한다. 이는, 새로운 부분 지문 영상에 대하여 더욱 적응적인 탐색과 슬라이딩 정보 추출을 효율적으로 하기 위함이다. 또한, 이와 같 은 슬라이딩 속도와 방향에 대한 탐색 이전에, 기준 영상과 목표 영상의 평균 밝기값이 같아지도록 영상의 전 영역에 걸쳐서 동일한 이득(gain)을 적용하여 밝기값의 조정을 선행함으로써, 상기 영상 탐색의 효율과 정확도를 높여준다.In addition, the position and size of the reference slice image 111 may be variable or fixed. The position and size of the reference slice image 111 are fixed while the sliding direction and the speed are obtained, and the sliding of the partial fingerprint image obtained in the previous step is performed. When the new partial fingerprint image is input from the fingerprint sensor 10 according to the speed and the direction information, its position and size are variably adjusted. This is to more efficiently search for new partial fingerprint images and extract sliding information efficiently. In addition, prior to the search for the sliding speed and direction, by adjusting the brightness value by applying the same gain over the entire area of the image so that the average brightness value of the reference image and the target image are the same, It increases the efficiency and accuracy of image search.

다음에는, 상기 계산된 슬라이딩 속도와 방향정보, 그리고 그 때의 밝기값 차이 정보를 입력된 부분 지문 영상과 동기화하여 메모리부(40)에 저장한다.Next, the calculated sliding speed, the direction information, and the brightness difference information at that time are stored in the memory unit 40 in synchronization with the input partial fingerprint image.

위와 같은 일련의 과정을 마지막 부분 지문 영상이 입력될 때까지 반복하여, 모든 부분 지문 영상들 T(1), T(2),...,T(N-1),T(N)과 그 부분 지문 영상들과 인접하는 지문 영상들 간의 상대적인 슬라이딩 정보인 속도와 방향을 추출하고, 이를 메모리부(40)에 저장한다.Repeat the above process until the last partial fingerprint image is inputted, and all partial fingerprint images T (1), T (2), ..., T (N-1), T (N) and their The speed and direction, which are relative sliding information between the partial fingerprint images and the adjacent fingerprint images, are extracted and stored in the memory unit 40.

사용자의 슬라이딩 동작이 마무리 되면, 슬라이딩 정보 보정부(50)에서 메모리부(40)에 보관된 지문 영상들의 슬라이딩 정보를 이용하여 각 부분 지문 영상의 중첩 영역 부재에 의한 오정합 여부를 검사한다.When the sliding operation of the user is finished, the sliding information correcting unit 50 checks whether misalignment is caused by the overlapping region member of each partial fingerprint image by using the sliding information of the fingerprint images stored in the memory unit 40.

본 발명에서는 인접하는 두 부분 지문 영상들이 상대적인 슬라이딩 방향과 속도가 계산된 후에 바로 정합되지 않고, 연속되는 모든 인접 부분 지문 영상들 간의 슬라이딩 방향과 속도정보를 계산한 후에 오정합된 슬라이딩 방향과 속도정보에 대한 수정을 수행하고, 그 이후에 상기 보정된 슬라이딩 방향과 속도정보를 이용하여 일괄적으로 정합된다. 여기서, 상기 연속되는 모든 인접 부분 지문 영상들 간의 슬라이딩 방향과 속도 정보는 사용자의 슬라이딩 시작 시점에서 지문 센서(10)로부터 입력되는 부분 지문 영상에서 시작하여, 사용자의 슬라이딩 종료 시점에 지문 센서(10)로부터 입력되는 부분 지문 영상까지 순차적으로 발생하는 부분 지문 영상 들의 조합에서 각각 구해지는 상대적인 슬라이딩 방향과 속도이다.In the present invention, two adjacent partial fingerprint images are not matched immediately after the relative sliding direction and speed are calculated, and the sliding direction and velocity information misaligned after calculating the sliding direction and speed information between all adjacent partial fingerprint images. The correction is then performed, and after that, it is matched collectively using the corrected sliding direction and speed information. Here, the sliding direction and speed information between all consecutive adjacent partial fingerprint images starts from the partial fingerprint image input from the fingerprint sensor 10 at the start of sliding of the user, and the fingerprint sensor 10 at the end of sliding of the user. Relative sliding directions and speeds obtained from a combination of partial fingerprint images sequentially generated from a partial fingerprint image to a partial fingerprint image.

상기 오정합의 판단은, 인접하는 부분 지문 영상의 상대적인 슬라이딩 속도 차이가 지문 센서(10)가 허용하는 기준치 보다 크고 이에 해당하는 부분 지문 영상들에 인접하는 부분 지문 영상들의 슬라이딩 속도가 센서의 샘플링 속도에 근접할 경우 중첩 영역의 부재에 의한 오정합으로 판단한다.The mismatch is determined that the difference in the relative sliding speeds of adjacent partial fingerprint images is larger than a reference value allowed by the fingerprint sensor 10, and that the sliding speeds of the partial fingerprint images adjacent to the corresponding partial fingerprint images are equal to the sampling rate of the sensor. If it is close, it is determined to be misalignment due to the absence of overlapping regions.

즉, 앞서 설명한 방법으로 구한 인접 부분 지문 영상의 상대적인 슬라이딩 속도의 차이를 구하고 이 차이를 지문 센서가 허용하는 기준치-미리 정해지는 값이다-와 비교하여, 그 차이값이 기준치 보다 크고, 또한 이에 해당하는 부분 지문 영상들에 인접하는 부분 지문 영상들의 슬라이딩 속도를 지문 센서의 샘플링 속도-미리 정해지는 값이다-와 비교하여 그 슬라이딩 속도가 샘플링 속도에 근접하는지를 판단하여, 슬라이딩 속도가 샘플링 속도에 근접하는 경우를 중첩 영역의 부재에 의한 오정합으로 판단하는 것이다. 다시 말하면, 부분 지문 영상들과 그 부분 지문 영상들에 대해서 구한 상대적인 슬라이딩 속도 정보를 이용해서 센서의 샘플링 속도와의 비교를 통해 중첩 영역 부재에 의한 오정합인지의 여부를 판단하는 것이다.In other words, the difference in the relative sliding speed of the adjacent partial fingerprint image obtained by the above-described method is obtained, and the difference is larger than the reference value, and the difference value is larger than the reference value. The sliding speed of the partial fingerprint images adjacent to the partial fingerprint images is compared with the sampling rate of the fingerprint sensor, which is a predetermined value, to determine whether the sliding speed is close to the sampling rate, and the sliding speed is close to the sampling rate. The case is judged as misalignment due to the absence of the overlapping region. In other words, it is determined whether there is a mismatch by the overlapping region member by comparing the sampling speed of the sensor using the partial fingerprint images and the relative sliding speed information obtained for the partial fingerprint images.

또한 인접 부분 지문 영상들의 슬라이딩 속도가 센서의 샘플링 속도에 근접하고, 인접 부분 지문 영상들의 정합 밝기값 차이가 점진적으로 증가하며 그 차이가 허용 기준치를 넘어설 경우 중첩 영역 부재에 의한 오정합으로 판단한다. 즉, 상기 구해진 부분 지문 영상들의 슬라이딩 속도를 센서의 샘플링 속도와 비교하여 슬라이딩 속도가 샘플링 속도에 근접함과 함께, 상기 구해진 부분 지문 영상들의 정합 밝기값의 차이가 점진적으로 증가하는 동시에 그 차이값이 허용 기준치-미리 설정해 주는 값이다-를 넘어설 경우를 중첩 영역 부재에 의한 오정합으로 판단하는 것이다.In addition, when the sliding speed of adjacent partial fingerprint images approaches the sampling rate of the sensor, and the difference in registration brightness values of adjacent partial fingerprint images gradually increases, and the difference exceeds the allowable reference value, it is determined that there is a mismatch due to the overlapping region member. . That is, the sliding speed is closer to the sampling rate by comparing the sliding speed of the obtained partial fingerprint images with the sampling rate of the sensor, and the difference in the matching brightness values of the obtained partial fingerprint images is gradually increased and the difference value is increased. The case of exceeding the allowable reference value, which is a value set in advance, is determined as a mismatch by the overlapping region member.

이와 같이 중첩 영역 부재에 따른 오정합으로 판단된 부분 지문 영상들에 대해서는 다음과 같은 처리를 수행하여 과속구간에 대한 슬라이딩 정보의 보정을 수행하게 된다.As described above, the partial fingerprint images determined to be mismatched due to the overlapping region member are processed as follows to correct sliding information of the speeding section.

중첩 영역 부재에 따른 오정합으로 판단된 부분 지문 영상을 선택한다. 선택된 부분 지문 영상과 바로 인접하여 입력된 부분 지문 영상을 임의로 도4b에 나타낸 바와 같이 연속된 영상으로 간주한다. 그리고, 연속된 영상으로 간주한 두 부분 지문 영상간의 경계선에서 발생하는 지문 융선 흐름의 연속성을 검사한다.The partial fingerprint image determined as a mismatch due to the overlapping region is selected. The partial fingerprint image input immediately adjacent to the selected partial fingerprint image is arbitrarily regarded as a continuous image as shown in FIG. 4B. Then, the continuity of the fingerprint ridge flow occurring at the boundary between two partial fingerprint images regarded as continuous images is examined.

두 부분 지문 영상간의 경계선에서 발생하는 지문 융선 흐름의 불연속 구간을 검출하고, 이 불연속 구간을 허용 기준치-미리 설정해 둔 값이다-와 비교한다. 상기 비교 결과, 지문 융선 흐름의 불연속 구간이 허용 기준치 이내일 경우에는 슬라이딩 속도가 지문 센서의 샘플링 속도와 같다고 판단하고 지문 센서의 샘플링 속도를 해당 부분 지문 영상의 슬라이딩 속도로 등록(메모리에 보정하여 수정 저장)한다. 이 경우 두 부분 지문 영상간에는 실제 중첩 영역이 존재하지 않지만 지문 센서로의 입력 단계에서 두 부분 지문 영상은 정합이 이루어진 것과 같은 상태로 입력되므로 해당 부분 지문 영상은 유효한 슬라이딩으로 판단하는 것이다.The discontinuous section of the fingerprint ridge flow occurring at the boundary between the two partial fingerprint images is detected, and the discontinuous section is compared with an allowable reference value, which is a preset value. As a result of the comparison, when the discontinuous section of the fingerprint ridge flow is within the allowable reference value, it is determined that the sliding speed is the same as the sampling speed of the fingerprint sensor, and the sampling speed of the fingerprint sensor is registered as the sliding speed of the partial fingerprint image (corrected by correcting it in the memory). Save). In this case, there is no actual overlap region between the two partial fingerprint images, but since the two partial fingerprint images are input in the same state as the matching is performed at the input step to the fingerprint sensor, the partial fingerprint image is determined to be a valid sliding.

오정합에 대한 보정이 끝나면, 지문 영상 정합부(60)에서는 상기 보정된 슬라이딩 속도와 방향 정보를 이용하여 메모리부(40)에 저장된 부분 지문 영상들을 하나의 지문 영상으로 일괄 정합한다. 이 때, 인접하는 부분 지문 영상의 슬라이딩 속도와 방향 정보를 이용하여, 이후에 정합될 부분 지문 영상과의 중첩되는 영역을 제외한 지문 영상 영역에 한하여 정합함으로써 불필요한 계산 시간을 줄이고 전체 정합 영상을 구성할 수 있다.After the correction for the mismatch, the fingerprint image matching unit 60 collectively matches the partial fingerprint images stored in the memory unit 40 into one fingerprint image using the corrected sliding speed and direction information. In this case, by using the sliding speed and the direction information of the adjacent partial fingerprint image, matching is limited to the fingerprint image region except for the region overlapping with the partial fingerprint image to be subsequently matched, thereby reducing unnecessary calculation time and forming the entire matched image. Can be.

정합이 완료되면 지문 인식부(70)로 상기 정합된 영상이 전송이 되며, 지문 인식부(70)는 하나의 온전한 지문 영상의 특징정보를 추출하고, 이 특징정보를 토대로 하여 해당 사용자의 진정성을 확인, 인증하게 된다.When the matching is completed, the matched image is transmitted to the fingerprint recognition unit 70, and the fingerprint recognition unit 70 extracts the characteristic information of one intact fingerprint image, and based on the characteristic information, the authenticity of the user. Confirm and authenticate.

본 발명은 슬라이드 방식의 지문 센서를 이용한 지문 인식에서, 사용자의 슬라이딩 정보를 입력된 부분 지문 영상 정보만을 이용하여 하나의 완성된 지문 영상으로 생성하며, 이 때 오정합이 발생할 수 있는 부분 지문 영상을 효과적으로 보정함으로써 기존의 순차적 정합 방식을 이용한 방법들의 오정합에 대한 단점을 계산 시간의 증가없이 효과적으로 해결하여 부분 지문 영상 정합 성능의 향상을 가능하게 하였다.According to the present invention, in the fingerprint recognition using the slide-type fingerprint sensor, the user's sliding information is generated as one completed fingerprint image using only the input partial fingerprint image information, and at this time, a partial fingerprint image that may cause misalignment is generated. By effectively correcting, the shortcomings of the mismatching methods using the conventional sequential matching method are effectively solved without increasing the computation time, thereby improving the partial fingerprint image matching performance.

본 발명은 컴퓨팅 리소스가 제한된 이동 단말 환경에서 슬라이드 방식의 지문 센서로부터 입력되는 부분 지문 영상들을 정합 오류를 최소화하면서 인식할 수 있고, 슬라이딩 방식의 지문 센서를 탑재하였을 때 사용자의 슬라이딩 습관에 따른 슬라이딩 속도 불균일에도 불구하고 정확한 지문 정합 및 인식을 가능하게 한다.The present invention can recognize partial fingerprint images input from a slide type fingerprint sensor with a minimum of matching error in a mobile terminal environment in which computing resources are limited, and a sliding speed according to a user's sliding habit when a sliding fingerprint sensor is mounted. Enables accurate fingerprint matching and recognition despite nonuniformity.

특히, 낮은 샘플링 속도를 갖는 지문 센서에서 센서의 샘플링 속도에 근접하거나 센서의 샘플링 속도보다 빠른 슬라이딩에 대한 지문 이미지 정합 성공률을 향상시킬 수 있는 기반을 제공한다.In particular, a fingerprint sensor having a low sampling rate provides a basis for improving the success rate of fingerprint image registration for sliding closer to or faster than the sampling rate of the sensor.

Claims (12)

부분 지문 영상들 간의 이동 속도, 위치의 변화량을 이용하여 부분 지문 영상들을 보정하고 하나의 지문 영상으로 정합하여 인식하는 장치에 있어서,An apparatus for correcting partial fingerprint images by using a movement speed and a change amount of a position between partial fingerprint images, and matching and recognizing one fingerprint image, 슬라이딩에 따른 부분 지문 영상을 취득하는 수단;Means for obtaining a partial fingerprint image according to sliding; 상기 취득된 부분 지문 영상들 간의 중첩 영역의 밝기값 비교를 토대로 슬라이딩 방향 및 속도를 검출하는 수단;Means for detecting a sliding direction and a speed based on a comparison of brightness values of overlapping regions between the obtained partial fingerprint images; 취득된 부분 지문 영상, 검출된 슬라이딩 속도와 방향을 저장하는 수단;Means for storing the acquired partial fingerprint image, the detected sliding speed and the direction; 인접하는 부분 지문 영상들의 슬라이딩 속도 차이와 지문 센서가 허용하는 기준치의 비교, 인접하는 부분 지문 영상들의 슬라이딩 속도와 지문 센서의 샘플링 속도 비교, 인접하는 부분 지문 영상들의 정합 밝기값 차이와 허용 기준치의 비교를 토대로 하여 부분 지문 영상들 간의 오정합 여부를 판단하고, 오정합으로 판단된 부분 지문 영상 간의 경계선에서 발생하는 지문 융선 흐름의 연속성을 검사하여 해당 부분 지문 영상의 슬라이딩 속도를 보정하는 수단;Comparison of sliding speed difference between adjacent partial fingerprint images and reference value allowed by fingerprint sensor, comparison of sliding speed between adjacent partial fingerprint images and sampling rate of fingerprint sensor, comparison of matching brightness value between adjacent partial fingerprint images and acceptance reference value Means for determining a misalignment between partial fingerprint images, and checking the continuity of the fingerprint ridge flow occurring at the boundary between the partial fingerprint images determined as mismatch to correct sliding speed of the partial fingerprint image; 상기 보정된 슬라이딩 속도를 반영하여 부분 지문 영상을 하나의 완성된 지문 영상으로 정합하는 수단;Means for matching the partial fingerprint image to one completed fingerprint image reflecting the corrected sliding speed; 을 포함하여 이루어지는 것을 특징으로 하는 지문 인식장치.Fingerprint recognition device comprising a. 제 1 항에 있어서, 인접하는 부분 지문 영상 간의 슬라이딩 속도 차이가 지문 센서가 허용하는 기준치 보다 크고, 이에 해당하는 인접 부분 지문 영상의 슬라이딩 속도가 센서의 샘플링 속도에 근접할 경우, 중첩 영역의 부재에 의한 오정합으로 판단하는 것을 특징으로 하는 지문 인식장치.The method of claim 1, wherein the sliding speed difference between adjacent partial fingerprint images is larger than a reference value allowed by the fingerprint sensor, and the sliding speed of the corresponding partial fingerprint image is close to the sampling rate of the sensor. Fingerprint recognition device, characterized in that determined by the mismatch. 제 1 항에 있어서, 인접하는 부분 지문 영상들의 슬라이딩 속도가 지문 센서의 샘플링 속도에 근접하고, 인접 부분 지문 영상들의 정합 밝기값 차이가 점진적으로 증가하며, 그 차이가 허용 기준치를 넘어선 경우, 중첩 영역의 부재에 의한 오정합으로 판단하는 것을 특징으로 하는 지문 인식장치.The overlapping region of claim 1, wherein the sliding speed of adjacent partial fingerprint images approaches a sampling rate of a fingerprint sensor, and a difference in registration brightness values of adjacent partial fingerprint images gradually increases, and the difference exceeds an allowable reference value. Fingerprint recognition device, characterized in that determined by the mismatch by the absence of. 제 1 항에 있어서, 오정합으로 판단된 부분 지문 영상 간의 경계선에서 발생하는 지문 융선 흐름의 불연속 구간을 검출하고, 불연속 구간이 허용 기준치 이내이면 슬라이딩 속도가 지문 센서의 샘플링 속도와 같다고 판단하여 지문 센서의 샘플링 속도를 해당 부분 지문 영상의 슬라이딩 속도로 보정하는 것을 특징으로 하는 지문 인식장치.The fingerprint sensor of claim 1, further comprising detecting a discontinuous section of the fingerprint ridge flow occurring at a boundary between partial fingerprint images determined as mismatch, and determining that the sliding speed is equal to the sampling rate of the fingerprint sensor when the discontinuous section is within an allowable reference value. Fingerprint recognition device characterized in that for correcting the sampling rate of the partial fingerprint image by the sliding speed. 부분 지문 영상들 간의 이동 속도, 위치의 변화량을 이용하여 부분 지문 영상들을 보정하고 하나의 지문 영상으로 정합하여 인식하는 방법에 있어서,In the method of correcting the partial fingerprint images by using the movement speed, the change amount of the position between the partial fingerprint images and matching and recognition as a single fingerprint image, 부분 지문 영상을 취득하는 단계;Obtaining a partial fingerprint image; 상기 취득된 부분 지문 영상들 간의 상대적인 슬라이딩 속도를 구하는 단계;Obtaining relative sliding speeds between the acquired partial fingerprint images; 인접하는 부분 지문 영상들의 슬라이딩 속도 차이와 지문 센서가 허용하는 기준치의 비교, 인접하는 부분 지문 영상들의 슬라이딩 속도와 지문 센서의 샘플링 속도 비교, 인접하는 부분 지문 영상들의 정합 밝기값 차이와 허용 기준치의 비교를 토대로 하여 부분 지문 영상들 간의 상대적인 슬라이딩 속도에 대하여 과속 구간을 검출하는 단계;Comparison of sliding speed difference between adjacent partial fingerprint images and reference value allowed by fingerprint sensor, comparison of sliding speed between adjacent partial fingerprint images and sampling rate of fingerprint sensor, comparison of matching brightness value between adjacent partial fingerprint images and acceptance reference value Detecting an overspeed section with respect to a relative sliding speed between the partial fingerprint images based on the? 상기 과속 구간에 해당하는 부분 지문 영상을 오정합으로 판단하고, 오정합으로 판단된 부분 지문 영상 간의 경계선에서 발생하는 지문 융선 흐름의 연속성을 검사하여 해당 부분 지문 영상의 슬라이딩 속도를 보정하는 단계;Determining a partial fingerprint image corresponding to the speeding section as a mismatch, and correcting a sliding speed of the partial fingerprint image by checking the continuity of the fingerprint ridge flow occurring at the boundary between the partial fingerprint images determined as the mismatch; 상기 보정된 슬라이딩 속도를 반영하여 부분 지문 영상들을 정합하는 단계;Registering partial fingerprint images by reflecting the corrected sliding speed; 를 포함하여 이루어지는 것을 특징으로 하는 지문 인식방법.Fingerprint recognition method comprising a. 삭제delete 제 5 항에 있어서, 상기 부분 지문 영상들 간의 상대적인 슬라이딩 속도는 현재의 부분 지문 영상과 직전의 부분 지문 영상 중의 어느 하나를 목표 영상으로 하고, 다른 하나를 기준 영상으로 하여 목표 영상과 기준 영상간의 비교를 통해서 구하는 것을 특징으로 하는 지문 인식방법.The method of claim 5, wherein the relative sliding speed between the partial fingerprint images is a comparison between the target image and the reference image using any one of a current partial fingerprint image and a previous partial fingerprint image as a target image and the other as a reference image. Fingerprint recognition method characterized in that obtained through. 제 5 항에 있어서, 상기 부분 지문 영상들 간의 상대적인 슬라이딩 속도는 현재의 부분 지문 영상과 직전의 부분 지문 영상 중의 어느 하나에 탐색 슬라이스를 설정하고, 다른 하나에 기준 슬라이스를 설정하여 상기 기준 슬라이스와 탐색 슬라이스 간의 비교를 통해서 구하는 것을 특징으로 하는 지문 인식방법.6. The method of claim 5, wherein the relative sliding speed between the partial fingerprint images is determined by setting a search slice in one of a current partial fingerprint image and a previous partial fingerprint image, and setting a reference slice in another one. Fingerprint recognition method characterized in that obtained through the comparison between slices. 삭제delete 제 5 항에 있어서, 인접하는 부분 지문 영상 간의 슬라이딩 속도 차이가 지문 센서가 허용하는 기준치 보다 크고, 이에 해당하는 인접 부분 지문 영상의 슬라이딩 속도가 센서의 샘플링 속도에 근접할 경우, 과속 구간에 의한 오정합으로 판단하는 것을 특징으로 하는 지문 인식방법.The method of claim 5, wherein the sliding speed difference between adjacent partial fingerprint images is greater than a reference value allowed by the fingerprint sensor, and when the sliding speed of the corresponding partial fingerprint image is close to the sampling rate of the sensor, an error caused by the speeding interval is determined. Fingerprint recognition method characterized in that it determines by matching. 제 5 항에 있어서, 인접하는 부분 지문 영상들의 슬라이딩 속도가 지문 센서의 샘플링 속도에 근접하고, 인접 부분 지문 영상들의 정합 밝기값 차이가 점진적으로 증가하며, 그 차이가 허용 기준치를 넘어선 경우, 과속 구간에 의한 오정합으로 판단하는 것을 특징으로 하는 지문 인식방법.The speeding interval of claim 5, wherein the sliding speed of adjacent partial fingerprint images approaches a sampling rate of a fingerprint sensor, and the difference in registration brightness values of adjacent partial fingerprint images gradually increases, and the difference exceeds an allowable reference value. Fingerprint recognition method characterized in that judging by mismatch. 제 5 항에 있어서, 부분 지문 영상의 슬라이딩 속도 보정은, 오정합으로 판단된 부분 지문 영상과 인접한 부분 지문 영상간의 경계에서 발생하는 지문 융선 흐름의 연속성이 보장될 경우에 한하여 지문 센서의 샘플링 속도를 슬라이딩 속도로 보정하는 것을 특징으로 하는 지문 인식방법.6. The method of claim 5, wherein the sliding speed correction of the partial fingerprint image is configured to adjust the sampling rate of the fingerprint sensor only when the continuity of the fingerprint ridge flow occurring at the boundary between the partial fingerprint image and the adjacent partial fingerprint image determined as mismatch is ensured. Fingerprint recognition method characterized in that the correction at the sliding speed.
KR1020050054426A 2005-06-15 2005-06-23 Apparatus and method of fingerprint recognition KR100789608B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020050054426A KR100789608B1 (en) 2005-06-23 2005-06-23 Apparatus and method of fingerprint recognition
PCT/KR2006/002296 WO2006135203A1 (en) 2005-06-15 2006-06-15 Fingerprint recognition system and method
US11/424,477 US20060285729A1 (en) 2005-06-15 2006-06-15 Fingerprint recognition system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050054426A KR100789608B1 (en) 2005-06-23 2005-06-23 Apparatus and method of fingerprint recognition

Publications (2)

Publication Number Publication Date
KR20060134614A KR20060134614A (en) 2006-12-28
KR100789608B1 true KR100789608B1 (en) 2007-12-27

Family

ID=37812964

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050054426A KR100789608B1 (en) 2005-06-15 2005-06-23 Apparatus and method of fingerprint recognition

Country Status (1)

Country Link
KR (1) KR100789608B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101021134B1 (en) * 2009-08-18 2011-03-14 성균관대학교산학협력단 Apparatus and methode for extracting the direction of fingerprint
US8594393B2 (en) 2011-01-26 2013-11-26 Validity Sensors System for and method of image reconstruction with dual line scanner using line counts

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002216116A (en) 2001-01-16 2002-08-02 Nec Soft Ltd Input method of fingerprint image, input device of fingerprint image, program and portable information terminal
KR20050010102A (en) * 2003-07-18 2005-01-27 학교법인연세대학교 Method for Acquire of Fingerprint Image by Sliding and Rolling

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002216116A (en) 2001-01-16 2002-08-02 Nec Soft Ltd Input method of fingerprint image, input device of fingerprint image, program and portable information terminal
KR20050010102A (en) * 2003-07-18 2005-01-27 학교법인연세대학교 Method for Acquire of Fingerprint Image by Sliding and Rolling

Also Published As

Publication number Publication date
KR20060134614A (en) 2006-12-28

Similar Documents

Publication Publication Date Title
US20060285729A1 (en) Fingerprint recognition system and method
US8699763B2 (en) Biometric information processing device, biometric information processing method and computer-readable storage medium storing a biometric information processing program
CN104298909B (en) Electronic device, authentication system and method
US7844084B2 (en) Rotation compensated iris comparison
US20160078271A1 (en) Touchless fingerprinting acquisition and processing application for mobile devices
US10586089B2 (en) Method and fingerprint sensing system for forming a fingerprint image
WO2017030770A1 (en) Electronic device access control using biometric technologies
EP2551791A1 (en) Biometric information processing device and biometric-information processing method
KR101632912B1 (en) Method for User Authentication using Fingerprint Recognition
KR101066323B1 (en) Biometric information reading device and biometric information reading method
US9805247B2 (en) Pattern registration
KR20180012882A (en) Method and apparatus for fingerprint recognition
WO2012141287A1 (en) Portable terminal, and grip characteristic learning method
KR102476017B1 (en) Method and apparatus for authentication using biometric information
US20070292005A1 (en) Method and apparatus for adaptive hierarchical processing of print images
KR100789608B1 (en) Apparatus and method of fingerprint recognition
KR100789607B1 (en) Apparatus and method of fingerprint recognition
KR100397916B1 (en) Fingerprint registration and authentication method
KR100745338B1 (en) Apparatus and method of fingerprint recognition
KR20080085353A (en) Mobile communication terminal with user authentication function and method of user authentication the same
US10528805B2 (en) Biometric authentication apparatus, biometric authentication method, and computer-readable storage medium
EP3107034B1 (en) Biometric identification method
KR101441106B1 (en) Method for extracting and verifying face and apparatus thereof
US20090274346A1 (en) Fast Navigation Technique
KR100572410B1 (en) Pupil Area Estimation Method for Iris Recognition

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Publication of correction
FPAY Annual fee payment

Payment date: 20100929

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee