KR20010019372A - Fingerprint recognition device - Google Patents
Fingerprint recognition device Download PDFInfo
- Publication number
- KR20010019372A KR20010019372A KR1019990035729A KR19990035729A KR20010019372A KR 20010019372 A KR20010019372 A KR 20010019372A KR 1019990035729 A KR1019990035729 A KR 1019990035729A KR 19990035729 A KR19990035729 A KR 19990035729A KR 20010019372 A KR20010019372 A KR 20010019372A
- Authority
- KR
- South Korea
- Prior art keywords
- fingerprint
- image
- prism
- lens
- light emitting
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/13—Sensors therefor
- G06V40/1324—Sensors therefor by using geometrical optics, e.g. using prisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Lenses (AREA)
- Image Input (AREA)
Abstract
Description
본 발명은 지문 인식 장치에 관한 것으로서, 특히 컴팩트하고 조립이 용이한 지문 인식 장치에 관한 것이다.The present invention relates to a fingerprint recognition device, and more particularly, to a fingerprint recognition device that is compact and easy to assemble.
지문 인식 분야에서는 지문의 각 마루(ridges) 및 골(valleys)에 있어서, 선끝(line endings) 및 선 분기(line bifurcations)의 패턴들이 소위 "minutia"로 불리는 것의 독특한 집합을 제공하는 것으로 알려져 있다. 상기 minutia의 형태, 위치 및 각도 오리엔테이션은 개개의 손가락에 있어 독특한 특징이 된다. 지문은 평탄면 상에 재현될 수 있으며, 즉, 지문은 각 minutia를 인식하기 위해 스캐닝될 수 있다. 이러한 스캐닝을 위한 전자적 기술은 복잡하고 비용이 많이 소모된다. 지문은 스캐닝되고 전자적으로 처리되어 각 minutia의 형태, 위치 및 각도 오리엔테이션의 인식을 위해 제공된다. 실제적으로, 상기와 같은 인식 과정은 비용이 많이 소모되어 그 채용이 극히 제한적이다.In the field of fingerprint recognition, at each ridges and valleys of fingerprints, patterns of line endings and line bifurcations are known to provide a unique set of so-called "minutia". The shape, position and angle orientation of the minutia is a unique feature for each finger. The fingerprint can be reproduced on a flat surface, i.e., the fingerprint can be scanned to recognize each minutia. Electronic techniques for such scanning are complex and expensive. Fingerprints are scanned and electronically processed to provide recognition of the shape, position and angular orientation of each minutia. In practice, such a recognition process is expensive and its adoption is extremely limited.
도 1에는 종래 기술에 따른 지문 인식 장치(100)가 도시되어 있다. 도 1을 참조하면, 지문 인식 장치(100)는 그 상면에 지문 영역(110)이 제공되는 케이싱(102)을 포함한다. 지문 영역(110)에는 인식될 지문이 찍힌다. 지문 영역(110)을 향해 지문 영역(110)의 너비에 상응하는 면광(surface light)을 조사하기 위해 제1피씨비(120) 및 제1피씨비(120) 상에 설치되어 면광을 조사하는 면발광 다이오드(125)가 설치된다. 면발광 다이오드(125)로부터 발광된 면광은 지문 영역(110) 저부에 반사되어 집광 대물렌즈(130)를 통과하며 미러(140)에 집광된다. 미러(140)에 집광된 광은 핀홀(150) 및 센서 렌즈(160)를 통해 제2피씨비(180)에 설치된 이미지 센서(170)에 결상된다.1 shows a fingerprint recognition device 100 according to the prior art. Referring to FIG. 1, the fingerprint recognition apparatus 100 includes a casing 102 on which a fingerprint region 110 is provided. The fingerprint to be recognized is imprinted on the fingerprint area 110. Surface light emitting diodes disposed on the first PC 120 and the first PC 120 to irradiate surface light corresponding to the width of the fingerprint area 110 toward the fingerprint area 110. 125 is installed. The surface light emitted from the surface emitting diode 125 is reflected at the bottom of the fingerprint area 110 and passes through the condensing objective lens 130 and is condensed on the mirror 140. The light focused on the mirror 140 is imaged on the image sensor 170 installed in the second PC 180 through the pinhole 150 and the sensor lens 160.
이미지 센서(170)에 결상된 이미지는 데스크탑 컴퓨터의 데이터 어퀴지션 보드(data acquisition board; 190)에서 디지틀 신호로 변환된 후, 모니터(198)를 통해 디스플레이된다.An image formed by the image sensor 170 is converted into a digital signal by a data acquisition board 190 of the desktop computer, and then displayed through the monitor 198.
도 2a 및 2b에는 종래 기술에 따른 지문 영역(110)의 평면도 및 단면도가 도시되어 있다. 도 2a 및 2b를 참조하면, 지문 영역(110)의 상부에는 지문이 최대한 명료하게 찍힐 수 있도록 실리콘 면(112)이 제공된다. 실리콘 면(112)의 저부를 둘러싸도록 광투과성 폴리카보네이트(polycarbonate)가 제공되며, 그 저면에는 광의 지향성을 높이기 위한 마이크로 프리즘(116)이 부착된다.2A and 2B show a plan view and a cross sectional view of a fingerprint region 110 according to the prior art. 2A and 2B, a silicon surface 112 is provided on the upper portion of the fingerprint area 110 so that the fingerprint can be taken as clearly as possible. A light transmissive polycarbonate is provided to surround the bottom of the silicon face 112, and a micro prism 116 is attached to the bottom face to increase the directivity of the light.
즉, 종래의 지문 감식을 위한 광학계는 면발광 다이오드(125)에서 발산된 광을 지문 영역(110)에 조명하고, 조명된 지문은 집광 대물렌즈(130)를 지나 미러(140)에서 반사된 후, 센서 렌즈(160)에 의해 이미지 센서, 예를 들면, CMOS 또는 CCD에 결상된다. 상기와 같이, 결상된 지문은 점(point), 갈라진 선(bifurcation), 끊어진 선(line ending), 폐곡선(enclosure), 짧은 선(short ridge) 등의 이미지로 분리 인식된 후, 개인 정보 데이터로 저장된다. 따라서, 어떤 화상 이미지를 인식하는 경우, 개인 정보 데이터와 비교하여 그 진위 여부를 구별한다.That is, the conventional optical system for fingerprint recognition illuminates the light emitted from the surface light emitting diode 125 to the fingerprint area 110, and the illuminated fingerprint is reflected from the mirror 140 after passing through the condensing objective lens 130. The sensor lens 160 forms an image sensor, for example, a CMOS or a CCD. As described above, the formed fingerprint is separated and recognized as an image such as a point, bifurcation, line ending, enclosure, short ridge, etc. Stored. Therefore, in the case of recognizing a certain image image, the authenticity is distinguished from the personal information data.
그러나 상술된 종래의 광학계는, 지문 영역으로부터 이미지 센서까지의 거리가 길어 전체적으로 시스템의 크기가 커진다. 또한, 여러 개의 렌즈 및 미러를 사용하므로 조립이 복잡하며, 조명된 빛이 반사될 수 있도록 케이싱이 필요하고 광의 지향성을 높이기 위해 마이크로 프리즘을 사용함으로 전체 광학계의 구조가 복잡해진다는 추가의 단점을 갖는다. 즉, 부품수가 많아 원가가 상승하고, 조립 공정이 복잡하며, 각 부품의 사이즈가 커 소형으로 제작하기 어렵다.However, the above-described conventional optical system has a long distance from the fingerprint area to the image sensor, and thus the size of the system as a whole becomes large. In addition, the use of several lenses and mirrors is complicated to assemble, and the casing is required to reflect the illuminated light and the additional structure of the entire optical system is complicated by using a micro prism to increase the directivity of the light. . That is, the number of parts increases, the cost increases, the assembly process is complicated, and the size of each part is large, making it difficult to manufacture small.
본 발명의 목적은 이와 같은 종래 기술의 문제점을 해결하기 위한 것으로서, 전체 광학계의 사이즈를 컴팩트하게 줄이고 조립을 용이하게 할 수 있는 지문 인식 장치를 제공하는 데 있다.SUMMARY OF THE INVENTION An object of the present invention is to solve the problems of the prior art, and to provide a fingerprint recognition device which can reduce the size of the entire optical system compactly and facilitate assembly.
도 1은 종래 기술에 따른 지문 인식 장치의 개략도.1 is a schematic diagram of a fingerprint recognition device according to the prior art.
도 2a 및 2b는 각각 지문 영역의 평면도 및 단면도.2A and 2B are plan and cross-sectional views, respectively, of a fingerprint region.
도 3a는 본 발명의 제1실시예에 따른 지문 인식 장치의 개략도.3A is a schematic diagram of a fingerprint recognition device according to a first embodiment of the present invention.
도 3b는 상기 제1실시예에 따른 프리즘에 렌즈면이 형성된 상태를 보여주는 지문 인식 장치의 개략도.3B is a schematic diagram of a fingerprint recognition device showing a state where a lens surface is formed on a prism according to the first embodiment.
도 4는 상기 제1실시예에 따른 내부 전반사 프리즘의 사시도.4 is a perspective view of the total internal reflection prism according to the first embodiment;
도 5 및 6은 각각 면발광 다이오드의 평면도 및 측면도.5 and 6 are plan and side views, respectively, of the surface-emitting diode.
도 7 및 8은 각각 이미지 센서의 평면도 및 측면도.7 and 8 are plan and side views of the image sensor, respectively.
도 9는 본 발명의 제2실시예에 따른 지문 인식 장치의 개략도.9 is a schematic diagram of a fingerprint recognition device according to a second embodiment of the present invention.
도 10은 상기 제2실시예에 따른 두 개의 직각 프리즘의 배치도.10 is a layout view of two rectangular prisms according to the second embodiment;
도 11은 비구면이 형성된 직각 프리즘의 단면도.11 is a cross-sectional view of a rectangular prism with an aspherical surface formed.
도 12는 본 발명의 바람직한 제3실시예에 따른 직각 프리즘이 채용된 지문 인식 장치의 개략도.12 is a schematic diagram of a fingerprint recognition device employing a right angle prism according to a third preferred embodiment of the present invention.
도 13은 본 발명의 바람직한 제4실시예에 따른 삼각 프리즘이 채용된 지문 인식 장치의 개략도.Fig. 13 is a schematic diagram of a fingerprint recognition device employing a triangular prism according to a fourth preferred embodiment of the present invention.
<도면의 주요부분에 대한 부호의 설명＞<Description of the code | symbol about the principal part of drawing>
200: 프리즘 210: 지문 영역(fingerprint area)200: prism 210: fingerprint area
202: 면발광 다이오드 220, 230, 240: 제1, 제2, 및 제3반사면202: surface emitting diodes 220, 230, and 240: first, second, and third reflecting surfaces
260: 센서 렌즈 270: 이미지 센서260: sensor lens 270: image sensor
201, 272: PCB201, 272: PCB
310, 320: 제1 및 제2직각 프리즘310, 320: first and second right angle prism
319, 324, 325, 326: 렌즈면 420: 삼각 프리즘319, 324, 325, 326: lens surface 420: triangular prism
상기한 본 발명의 목적을 달성하기 위하여 본 발명은 소정 면을 그리는 빛을 발광하는 면발광 다이오드, 그 입사면과 이웃하는 소정면에는 상기 면발광 다이오드로부터 발산되는 빛이 입사되는 지문 영역이 제공되고, 그 내부에는 상기 빛에 의해 조명되는 지문 이미지를 연속적으로 반사하는 내부 전반사면인 제1, 제2 및 제3반사면을 포함하는 반사 프리즘, 상기 제3반사면에 의해 반사된 지문 이미지를 시준하는(collimate) 센서 렌즈, 및 상기 센서 렌즈에 의해 시준된 지문 이미지가 결상되는 이미지 센서를 구비하는 것을 특징으로 하는 지문 인식 장치를 제공한다.In order to achieve the above object of the present invention, the present invention provides a surface light emitting diode that emits light drawing a predetermined surface, and a fingerprint region into which light emitted from the surface light emitting diode is incident is provided on a predetermined surface adjacent to the incident surface. Inside is a reflective prism comprising first, second and third reflective surfaces which are internal total reflection surfaces that continuously reflect the fingerprint image illuminated by the light, and collimating the fingerprint images reflected by the third reflection surface. A collimator sensor lens and an image sensor in which an image collimated by the sensor lens are formed are provided.
본 발명의 제1실시예에 따르면, 상기 제1, 제2 및 제3반사면은 상기 반사 프리즘의, 상기 지문 영역이 형성되는 측면으로부터 서로에 대해 순차적으로 소정 각도로 꺾이는 제1, 제2 및 제3측면에 각각 형성되는 내부 전반사 거울이다.According to the first embodiment of the present invention, the first, second and third reflecting surfaces of the reflective prism are bent at predetermined angles sequentially with respect to each other from the side where the fingerprint area is formed. It is the total internal reflection mirror respectively formed in a 3rd side.
상기 결상된 지문 이미지는 상기 이미지 센서에 의해 점, 갈라진 선(bifurcation), 끊어진 선(line ending), 폐곡선, 및 짧은 선으로 분리되어 인식된다.The formed fingerprint image is recognized by the image sensor by being divided into dots, bifurcation, line endings, closed curves, and short lines.
본 발명의 제2실시예에 따르면, 상기 반사 프리즘은 각 빗면이 서로 소정 면적 겹쳐지는 제1 및 제2직각 프리즘을 포함한다. 상기 제1직각 프리즘의 제1빗면은 상기 발광 다이오드로부터의 빛이 입사되는 입사면 및 상기 제2직각 프리즘의 제2빗면과 부분적으로 겹쳐지는 제1부착면으로 구성되며, 상기 제1부착면과 대향하는 제1측면에 지문 영역이 제공되며, 상기 제1반사면은 상기 제1빗면과 상기 제1측면 사이의 제2측면이다.According to a second embodiment of the present invention, the reflective prism includes first and second rectangular prisms in which each oblique surface overlaps a predetermined area. The first oblique surface of the first rectangular prism includes an incident surface to which light from the light emitting diode is incident and a first attachment surface partially overlapping the second oblique surface of the second rectangular prism. A fingerprint area is provided on an opposing first side, the first reflecting surface being a second side between the first inclined surface and the first side.
이때, 상기 제2 및 제3반사면은 각각 상기 제2직각 프리즘의 제3 및 제4측면이다. 상기 제2빗면의, 상기 제1부착면과 대면하는 제2부착면을 제외한 나머지 면은 상기 지문 영역, 상기 제1, 제2, 제3반사면에 의해 반사된 빛이 상기 반사 프리즘 외부로 나가는 출사면이 된다.In this case, the second and third reflecting surfaces are respectively the third and fourth side surfaces of the second rectangular prism. Except for the second attachment surface facing the first attachment surface of the second inclined surface, light reflected by the fingerprint area, the first, second and third reflection surfaces exits the reflection prism. It is an exit surface.
바람직하게는, 상기 제1, 제2반사면, 또는 상기 출사면에 렌즈의 기능을 하는 비구면이 형성될 수 도 있다. 상기 비구면은 대칭 원환체, 비대칭 원환체, 또는 실린더 형상을 갖는다.Preferably, an aspherical surface that functions as a lens may be formed on the first, second reflective surface, or the exit surface. The aspherical surface has a symmetric torus, asymmetric torus, or cylinder shape.
상술한 바와 같이, 한 개 또는 두 개의 사출 프리즘을 결합하여 사용함으로써 그 내부 전반사를 이용, 지문 인식을 할 수 있으므로 다수의 미러를 대체함으로써 전체 광학계의 사이즈가 축소되고 조립이 용이해진다.As described above, fingerprint recognition may be performed by using total internal reflection by combining one or two ejection prisms, thereby reducing the size of the entire optical system and facilitating assembly by replacing a plurality of mirrors.
이하, 첨부한 도면들을 참조하여, 본 발명의 실시예들을 통해 본 발명을 보다 상세하게 설명하고자 한다.Hereinafter, the present invention will be described in more detail with reference to the accompanying drawings.
제1실시예First embodiment
도 3a에는 본 발명의 제1실시예에 따른 지문 인식 장치가 도시되어 있다. 상기 장치는 그 상면에는 지문 영역(210)이 제공되고, 그 내부에는 빛에 의해 조명되는 지문 이미지를 연속적으로 반사하는 내부 전반사면인 제1, 제2 및 제3반사면(220, 230, 240)을 포함하는 반사 프리즘(200)을 포함한다. 반사 프리즘(200)은 도 4에 도시된 바와 같이, 두터운 상부로부터 대략 하방향으로 굴곡되는 형상을 취한다. 본 발명의 제1실시예에 따르면, 제1, 제2 및 제3반사면(220, 230, 240)은 반사 프리즘(200)의, 지문 영역(210)이 형성되는 측면으로부터 서로에 대해 순차적으로 소정 각도로 꺾이는 제1, 제2 및 제3측면에 각각 형성되는 내부 전반사 거울이다. 바람직하게는, 프리즘(200)은 사출 성형된다.3A shows a fingerprint recognition device according to a first embodiment of the present invention. The device is provided with a fingerprint area 210 on its upper surface, and inside, first, second and third reflecting surfaces 220, 230 and 240 which are total internal reflection surfaces that continuously reflect a fingerprint image illuminated by light. It includes a reflecting prism 200, including. As shown in FIG. 4, the reflective prism 200 has a shape that is curved downward from the thick upper portion. According to a first embodiment of the invention, the first, second and third reflecting surfaces 220, 230, 240 are sequentially arranged with respect to each other from the side of the reflective prism 200 in which the fingerprint region 210 is formed. An internal total reflection mirror is formed on each of the first, second and third side surfaces which are bent at a predetermined angle. Preferably, prism 200 is injection molded.
한편, 지문 영역(210)은 종래 기술에서 설명된 기존의 구조를 가질 수 있다.Meanwhile, the fingerprint area 210 may have a conventional structure described in the prior art.
반사 프리즘(200)의 입사면(250) 측에는 소정 면을 그리는 빛을 발광하는 면발광 다이오드(202)가 제공된다. 면발광 다이오드(202)로부터 발산되는 빛은 지문 영역(210)으로 입사된다. 발광 다이오드(202)에 의해 반사 프리즘(200) 내로 입사된 빛은 그 내부의 각 반사면에 굴절률에 따른 소정 임계각 이상으로 입사됨으로써 전반사를 거친다. 도 5 및 도 6에는 본 발명의 일 실시예에 따른 면발광 다이오드(202)의 구조가 개시되어 있다. 도 5 및 6을 참조하면, 면발광 다이오드(202)는 대략 사각 형상의 발광 다이오드로서, PCB(201) 상에 장착되어 발광하게 된다.On the incident surface 250 side of the reflective prism 200 is provided a surface light emitting diode 202 that emits light drawing a predetermined surface. Light emitted from the surface light emitting diode 202 is incident to the fingerprint area 210. The light incident into the reflective prism 200 by the light emitting diode 202 passes through total reflection by being incident on each of the reflective surfaces therein at a predetermined critical angle or more according to the refractive index. 5 and 6 illustrate a structure of a surface light emitting diode 202 according to an embodiment of the present invention. 5 and 6, the surface light emitting diode 202 is a light emitting diode having a substantially rectangular shape, and is mounted on the PCB 201 to emit light.
제3반사면(240)에 의해 반사된 지문 이미지는 반사 프리즘(200)의 출사면(204)을 통과하여 반사 프리즘(200) 외부로 확산된다. 상기 외부로 확산된 빔은 센서 렌즈(260)를 통과하며 시준(collimate)된다. 그 후, 센서 렌즈(260)에 의해 시준된 지문 이미지는 CCD 등의 이미지 센서(270)에 결상된다.The fingerprint image reflected by the third reflection surface 240 passes through the exit surface 204 of the reflection prism 200 and diffuses out of the reflection prism 200. The beam diffused outward is collimated through the sensor lens 260. Thereafter, the fingerprint image collimated by the sensor lens 260 is imaged on an image sensor 270 such as a CCD.
한편, 제1, 제2 및 제3반사면(220, 230, 240), 또는 출사면(204)에는 렌즈의 기능을 갖는 렌즈면이 형성될 수 있다. 상기 렌즈면은 구면, 비구면, 또는 토릭면(toric surface)일 수 있다.Meanwhile, lens surfaces having a function of a lens may be formed on the first, second and third reflection surfaces 220, 230, 240, or the emission surface 204. The lens surface may be a spherical surface, an aspherical surface, or a toric surface.
이미지 센서(270)에 결상된 지문 이미지 신호는 데이터 어퀴지션 보드(data acquisition board; 298)로 입력되어 디지틀 신호로 변화된다. 상기 디지틀 신호로 변환된 지문 신호는 ECU(Electronic control unit; 299)에 의해 점(point), 갈라진 선(bifurcation), 끊어진 선(line ending), 폐곡선(enclosure), 및 짧은 선(short ridge)으로 분리되어 인식된다. 도 7 및 8에는 본 발명의 일 실시예에 따른 이미지 센서(270)가 도시되어 있다. 이미지 센서(270)는 격자상의 센서들을 포함하는 모듈로써 PCB(272) 상에 장착되어 동작된다.The fingerprint image signal formed on the image sensor 270 is input to a data acquisition board 298 and converted into a digital signal. The fingerprint signal converted into the digital signal is converted into a point, a bifurcation, a line ending, an enclosure, and a short ridge by an electronic control unit (ECU) 299. It is recognized separately. 7 and 8 illustrate an image sensor 270 according to one embodiment of the invention. The image sensor 270 is mounted and operated on the PCB 272 as a module including the sensors on the grid.
이하, 본 발명의 제1실시예에 따른 지문 인식 장치의 지문 인식 과정을 기술한다.Hereinafter, a fingerprint recognition process of the fingerprint recognition apparatus according to the first embodiment of the present invention will be described.
발광 다이오드(202)로부터 발산된 빛은 반사 프리즘(200) 상면에 형성되는 지문 영역(210)의 전 폭을 조명할 수 있도록 면발광의 형태로 발산된다. 상기 면발광은 입시면(250)을 통해 지문 영역(210)에 조사된다. 지문 영역(210)에는 소정 지문이 손가락의 기름때에 의해 그대로 복원되어 있으며, 상기 면발광에 의해 조명된다. 상기 조명된 지문 이미지는 반사 프리즘(200)의 외벽을 형성하는 순차적인 제1, 제2 및 제3반사면(220, 230, 240)에 반사되어 출사면(204)을 통해 프리즘(200) 외부로 나아간다. 프리즘(200)을 떠난 지문 이미지는 집광 렌즈인 센서 렌즈(260)에 의해 시준되어 이미지 센서(270) 상에 결상된다. 이미지 센서(270)에 결상된 지문 이미지 신호는 데이터 어퀴지션 보드(298)로 입력되어 디지틀 신호로 변화된다. 상기 디지틀 신호로 변환된 지문 신호는 ECU(299)에 의해 점(point), 갈라진 선(bifurcation), 끊어진 선(line ending), 폐곡선(enclosure), 및 짧은 선(short ridge)으로 분리되어 인식되어 개인별 지문 정보는 ECU(미도시)에 저장된다. 상기와 같이 저장된 정보는 각 개인의 진위 여부를 판단하는 데 사용된다.The light emitted from the light emitting diode 202 is emitted in the form of surface emission so as to illuminate the full width of the fingerprint region 210 formed on the reflective prism 200. The surface light emission is irradiated to the fingerprint area 210 through the entrance surface 250. In the fingerprint area 210, a predetermined fingerprint is restored as it is by the grease of a finger and is illuminated by the surface light emission. The illuminated fingerprint image is reflected on the sequential first, second and third reflecting surfaces 220, 230, and 240 forming the outer wall of the reflecting prism 200 and is outside the prism 200 through the exit surface 204. Go on. The fingerprint image leaving the prism 200 is collimated by the sensor lens 260, which is a condenser lens, and is imaged on the image sensor 270. The fingerprint image signal formed on the image sensor 270 is input to the data acquisition board 298 and converted into a digital signal. The fingerprint signal converted into the digital signal is recognized and separated into a point, a bifurcation, a line ending, an enclosure, and a short ridge by the ECU 299. Personal fingerprint information is stored in the ECU (not shown). The information stored as described above is used to determine the authenticity of each individual.
한편, 각 반사면 및 출사면에 렌즈면이 형성된 경우, 센서 렌즈(260)는 생략될 수 있다.On the other hand, when the lens surface is formed on each reflective surface and the emission surface, the sensor lens 260 can be omitted.
제2실시예Second embodiment
도 9에는 본 발명의 제2실시예에 따른 지문 인식 장치가 도시되어 있다.9 shows a fingerprint recognition device according to a second embodiment of the present invention.
본 발명의 제2실시예에 따르면, 지문 인식 장치는 각 빗면이 서로 소정 면적 겹쳐지는 제1 및 제2직각 프리즘(310, 320)을 포함한다. 제1직각 프리즘(310)의 제1빗면(316)은 발광 다이오드(302)로부터의 빛이 입사되는 입사면(312) 및 제2직각 프리즘(320)의 제2빗면(322)과 부분적으로 겹쳐지는 제1부착면(314)으로 구성된다. 즉, 도 10에 도시된 바와 같이, 제2실시예에 의한 반사 프리즘은 서로의 빗면이 소정 면적 겹쳐지도록 상하로 배열되는 두 개의 직각 프리즘(310, 320)으로 구성된다. 바람직하게는, 직각 프리즘(310, 320)은 사출 성형된다.According to the second embodiment of the present invention, the fingerprint recognition apparatus includes first and second rectangular prisms 310 and 320 in which each oblique surface overlaps a predetermined area. The first bevel 316 of the first right prism 310 partially overlaps the incident face 312 on which light from the light emitting diode 302 is incident and the second bevel 322 of the second right prism 320. The paper is composed of a first attachment surface 314. That is, as shown in Figure 10, the reflective prism according to the second embodiment is composed of two right angle prism (310, 320) arranged up and down so that the oblique surface of each other overlap a predetermined area. Preferably, the rectangular prisms 310 and 320 are injection molded.
발광 다이오드(302)는 제1실시예에 있어서의 발광 다이오드(202)와 동일한 구조를 갖는다.The light emitting diode 302 has the same structure as the light emitting diode 202 in the first embodiment.
지문 영역(330)은 제1직각 프리즘(310)의 제1부착면(314)과 대향하는 제1측면(318)에 제공된다. 한편 지문 영역(210)은 기존의 구조를 가질 수 있다. 제1빗면(316)과 제1측면(318) 사이의 제2측면(319)은 제1반사면이 된다. 제2직각 프리즘(320)의 제3 및 제4측면(324, 325)은 제2 및 제3반사면이 된다. 제2직각 프리즘(320)의 제2빗면(327)의, 제1부착면(314)과 대면하는 제2부착면(322)을 제외한 나머지 부분은 지문 영역(330), 제1, 제2, 제3반사면(319, 324, 325)에 의해 반사된 빛이 반사 프리즘 외부로 나가는 출사면(326)이 된다.The fingerprint region 330 is provided on the first side 318 opposite the first attaching surface 314 of the first right prism 310. The fingerprint region 210 may have a conventional structure. The second side surface 319 between the first bevel 316 and the first side surface 318 becomes a first reflective surface. The third and fourth side surfaces 324, 325 of the second rectangular prism 320 become second and third reflective surfaces. The remaining portions of the second oblique surface 327 of the second rectangular prism 320 except for the second attachment surface 322 facing the first attachment surface 314 may be the fingerprint area 330, the first, second, Light reflected by the third reflecting surfaces 319, 324, and 325 becomes an exit surface 326 that exits the reflection prism.
출사면(326)에 근접하게 집광 렌즈인 센서 렌즈(340)가 얼라인된다. 또한, 센서 렌즈(340)와 얼라인되도록 이미지 센서(350)가 배치된다. 제2실시예에 있어서의 이미지 센서(350)는 제1실시예의 이미지 센서(270)와 동일한 구조를 갖는다.The sensor lens 340, which is a condenser lens, is aligned near the exit surface 326. In addition, the image sensor 350 is disposed to align with the sensor lens 340. The image sensor 350 in the second embodiment has the same structure as the image sensor 270 in the first embodiment.
이미지 센서(350)에 결상된 지문 이미지 신호는 데이터 어퀴지션 보드(data acquisition board; 398)로 입력되어 디지틀 신호로 변화된다. 상기 디지틀 신호로 변환된 지문 신호는 ECU(Electronic control unit; 399)에 의해 점(point), 갈라진 선(bifurcation), 끊어진 선(line ending), 폐곡선(enclosure), 및 짧은 선(short ridge)으로 분별 인식 저장된다.The fingerprint image signal formed on the image sensor 350 is input to a data acquisition board 398 and converted into a digital signal. The fingerprint signal converted into the digital signal is converted into a point, a bifurcation, a line ending, an enclosure, and a short ridge by an electronic control unit (ECU) 399. Fractional recognition is stored.
바람직하게는, 제1, 제2 및 제3반사면(319, 324, 325), 또는 출사면(326)에는, 도 11에 도시된 바와 같이, 렌즈의 기능을 하는 구면, 비구면 또는 토릭면(toric surface)이 형성될 수 있다. 상기 비구면은 대칭 원환체(toric), 비대칭 원환체, 또는 실린더 형상을 가질 수 있다. 이 경우, 센서 렌즈(340)는 지문 인식 시스템에서 생략될 수 있다.Preferably, the first, second and third reflecting surfaces 319, 324, 325, or exit surface 326 have a spherical, aspheric or toric surface that functions as a lens, as shown in FIG. 11. toric surface may be formed. The aspherical surface may have a symmetric toric, asymmetric toric, or cylinder shape. In this case, the sensor lens 340 may be omitted in the fingerprint recognition system.
이하, 제2실시예에 의한 지문 인식 방법을 설명하기로 한다.Hereinafter, the fingerprint recognition method according to the second embodiment will be described.
면발광 다이오드(302)에 의해 발광된 면발광은 제1직각 프리즘(310)의 입사면(312)을 통해 프리즘 내부로 진입되어 지문 영역(330)에 도달한다. 지문 영역에 찍혀 있는 지문은 상기 빛에 의해 조명되어 반사된 후, 제1, 제2 및 제3반사면(319, 324, 325)에 차례로 반사된 후, 제2직각 프리즘(320)의 출사면(326)을 통해 외부로 진입한다.The surface light emitted by the surface light emitting diode 302 enters into the prism through the incident surface 312 of the first rectangular prism 310 and reaches the fingerprint region 330. The fingerprint imprinted on the fingerprint area is illuminated and reflected by the light and then reflected on the first, second, and third reflecting surfaces 319, 324, and 325, and then the exit surface of the second rectangular prism 320. Enter outside through 326.
프리즘을 떠난 지문 이미지는 집광 렌즈인 센서 렌즈(340)에 의해 시준되어 이미지 센서(350) 상에 결상된다. 이미지 센서(350)에 결상된 지문 이미지 신호는 데이터 어퀴지션 보드(398)로 입력되어 디지틀 신호로 변화된다. 상기 디지틀 신호로 변환된 지문 신호는 ECU(399)에 의해 점(point), 갈라진 선(bifurcation), 끊어진 선(line ending), 폐곡선(enclosure), 및 짧은 선(short ridge)으로 분별 인식 저장된다. 따라서, 개인별 지문 정보는 ECU(미도시)에 저장된다. 상기와 같이 저장된 정보는 각 개인의 진위 여부를 판단하는 데 사용된다.The fingerprint image leaving the prism is collimated by the sensor lens 340, which is a condensing lens, to be imaged on the image sensor 350. The fingerprint image signal formed on the image sensor 350 is input to the data acquisition board 398 and converted into a digital signal. The fingerprint signal converted into the digital signal is classified and stored as a point, a bifurcation, a line ending, an enclosure, and a short ridge by the ECU 399. . Therefore, the personal fingerprint information is stored in the ECU (not shown). The information stored as described above is used to determine the authenticity of each individual.
이때, 각 반사면 및 출사면에 렌즈면이 형성된 경우, 센서 렌즈(340)는 생략될 수 있다.In this case, when the lens surface is formed on each of the reflective surface and the emission surface, the sensor lens 340 may be omitted.
제3실시예Third embodiment
도 12에는 본 발명의 제3실시예에 따른 지문 인식 장치(500)가 도시된다. 도 12를 참조하면, 내부 전반사 프리즘으로서, 하나의 직각 프리즘(510)이 제공된다. 본 실시예에 따르면, 직각 프리즘(510)의 빗면(530)은 입사면(532) 및 출사면(534) 모두를 포함한다. 직각 프리즘(510)의 제1측면(520)이 상방향을 향하도록 오리엔트되며, 제1측면(520)에는 지문 영역이 형성된다. 빗면(530)의 제1측면(520)과 인접한 부위, 즉 입사면(532)에는 지문 영역을 조명하기 위한 면발광 다이오드(540)가 배치되며, 빗면(530)의 나머지 부위, 즉 출사면(534)에는 그를 통해 출사된 지문 이미지를 집속시키는 센서 렌즈(550) 및 그와 얼라인되는 이미지 센서(560)가 배치된다.12 illustrates a fingerprint recognition device 500 according to a third embodiment of the present invention. Referring to FIG. 12, as a total internal reflection prism, one rectangular prism 510 is provided. According to the present embodiment, the oblique surface 530 of the right angle prism 510 includes both an entrance surface 532 and an exit surface 534. The first side 520 of the rectangular prism 510 is oriented upward, and the fingerprint side is formed on the first side 520. A surface light emitting diode 540 for illuminating a fingerprint area is disposed at a portion adjacent to the first side surface 520 of the inclined surface 530, that is, the incident surface 532, and the remaining portion of the inclined surface 530, that is, the emission surface ( 534 is disposed with a sensor lens 550 for focusing the fingerprint image emitted through it and an image sensor 560 aligned with it.
제3실시예에 따른 지문 인식 장치(500)는 하나의 직각 프리즘(510)을 사용하고, 그 빗면에 입시면(532) 및 출사면(534)이 모두 형성되기 때문에 더욱 컴팩트한 구조를 가질 수 있다.The fingerprint recognition apparatus 500 according to the third embodiment uses a single right prism 510 and has a more compact structure because both the entrance surface 532 and the exit surface 534 are formed on the inclined surface. have.
발광 다이오드(540)로부터 발산된 빛은 내부 전반사 프리즘(500)의 상면에 형성되는 지문 영역의 전 폭을 조명할 수 있도록 면발광의 형태로 발산된다. 상기 면발광은 입시면(532)을 통해 지문 영역에 조사된다. 지문 영역에는 소정 지문이 손가락의 기름때에 의해 그대로 복원되며, 상기 면발광에 의해 조명된다. 상기 조명된 지문 이미지는 내부 전반사 프리즘(400)의 제1측면(520) 및 제2측면(522)에 반사되어 출사면(534)을 통해 프리즘(500) 외부로 출사된다. 프리즘(500)을 떠난 지문 이미지는 집광 렌즈인 센서 렌즈(550)에 의해 시준되어 이미지 센서(560) 상에 결상된다. 이미지 센서(560)에 결상된 지문 이미지 신호는 데이터 어퀴지션 보드(570)로 입력되어 디지틀 신호로 변화된다. 상기 디지틀 신호로 변환된 지문 신호는 ECU(580)에 의해 점(point), 갈라진 선(bifurcation), 끊어진 선(line ending), 폐곡선(enclosure), 및 짧은 선(short ridge)으로 분리되어 인식되어 개인별 지문 정보는 ECU(미도시)에 저장된다. 상기와 같이 저장된 정보는 각 개인의 진위 여부를 판단하는 데 사용된다.The light emitted from the light emitting diode 540 is emitted in the form of surface emission so as to illuminate the full width of the fingerprint region formed on the upper surface of the total internal reflection prism 500. The surface light emission is irradiated to the fingerprint area through the entrance surface 532. In the fingerprint area, a predetermined fingerprint is restored as it is by the grease of the finger and is illuminated by the surface light emission. The illuminated fingerprint image is reflected by the first side 520 and the second side 522 of the total internal reflection prism 400 and exits the prism 500 through the exit surface 534. The fingerprint image leaving the prism 500 is collimated by the sensor lens 550 which is a condensing lens and imaged on the image sensor 560. The fingerprint image signal formed on the image sensor 560 is input to the data acquisition board 570 and is converted into a digital signal. The fingerprint signal converted into the digital signal is recognized and separated into a point, a bifurcation, a line ending, an enclosure, and a short ridge by the ECU 580. Personal fingerprint information is stored in the ECU (not shown). The information stored as described above is used to determine the authenticity of each individual.
제4실시예Fourth embodiment
도 13에는 본 발명의 제3실시예에 따른 지문 인식 장치(400)가 도시되어 있다. 도 13을 참조하면, 역삼각 형상의 내부 전반사 프리즘(420)이 제공되어 지문 이미지를 전달한다.13 shows a fingerprint recognition device 400 according to a third embodiment of the present invention. Referring to FIG. 13, an inverse triangular internal total reflection prism 420 is provided to transfer a fingerprint image.
지문 영역(410)은 프리즘(420)의 빗면에 제공된다. 상기 빗면에 인접하는 입사면(430) 측에는 면발광 다이오드(440)가 제공되어 지문 영역(410)을 조명한다. 프리즘(420)의 나머지 한 면은 출사면으로서, 조명된 지문 이미지가 프리즘(420) 외부로 출사한다.Fingerprint region 410 is provided on the oblique side of prism 420. A surface light emitting diode 440 is provided on the incident surface 430 adjacent to the inclined surface to illuminate the fingerprint area 410. The other side of the prism 420 is an exit plane, where the illuminated fingerprint image exits out of the prism 420.
발광 다이오드(440)로부터 발산된 빛은 내부 전반사 프리즘(400) 빗면, 즉 상면에 형성되는 지문 영역(410)의 전 폭을 조명할 수 있도록 면발광의 형태로 발산된다. 상기 면발광은 입시면(430)을 통해 지문 영역(410)에 조사된다. 지문 영역(410)에는 소정 지문이 손가락의 기름때에 의해 그대로 복원되며, 상기 면발광에 의해 조명된다. 상기 조명된 지문 이미지는 내부 전반사 프리즘(400)의 상부 빗면에 반사되어 출사면(450)을 통해 프리즘(400) 외부로 출사된다. 프리즘(400)을 떠난 지문 이미지는 집광 렌즈인 센서 렌즈(460)에 의해 시준되어 이미지 센서(470) 상에 결상된다. 이미지 센서(470)에 결상된 지문 이미지 신호는 데이터 어퀴지션 보드(498)로 입력되어 디지틀 신호로 변화된다. 상기 디지틀 신호로 변환된 지문 신호는 ECU(499)에 의해 점(point), 갈라진 선(bifurcation), 끊어진 선(line ending), 폐곡선(enclosure), 및 짧은 선(short ridge)으로 분리되어 인식되어 개인별 지문 정보는 ECU(미도시)에 저장된다. 상기와 같이 저장된 정보는 각 개인의 진위 여부를 판단하는 데 사용된다.The light emitted from the light emitting diode 440 is emitted in the form of surface emission so as to illuminate the full width of the fingerprint region 410 formed on the internal surface of the total internal reflection prism 400. The surface light emission is irradiated to the fingerprint area 410 through the entrance surface 430. In the fingerprint area 410, a predetermined fingerprint is restored as it is by the grease of the finger and is illuminated by the surface light emission. The illuminated fingerprint image is reflected by the upper oblique surface of the total internal reflection prism 400 and exits the prism 400 through the exit surface 450. The fingerprint image leaving the prism 400 is collimated by the sensor lens 460 which is a condensing lens and imaged on the image sensor 470. The fingerprint image signal formed on the image sensor 470 is input to the data acquisition board 498 and converted into a digital signal. The fingerprint signal converted into the digital signal is recognized and separated into a point, a bifurcation, a line ending, an enclosure, and a short ridge by the ECU 499. Personal fingerprint information is stored in the ECU (not shown). The information stored as described above is used to determine the authenticity of each individual.
상기 제3실시예에 따른 지문 인식 장치(400)는 최대한 컴팩트한 사이즈로 구성되어 있다는 것을 알 수 있으며, 제1 및 제2실시예와는 달리 한 번의 내부 전반사에 의해 지문 이미지가 출사되는 메커니즘을 갖는다.It can be seen that the fingerprint recognition device 400 according to the third embodiment is configured to be as compact as possible. Unlike the first and second embodiments, the fingerprint recognition device 400 emits a fingerprint image by one total internal reflection. Have
상술한 바와 같이, 한 개 또는 두 개의 사출 프리즘을 결합 사용하여 그 내부 전반사를 이용하여 지문을 인식함으로써 다수의 미러를 대체하는 효과가 있어 전체 광학계의 사이즈가 컴팩트해지고 조립이 용이해진다.As described above, by combining one or two ejection prisms to recognize fingerprints by using total internal reflection thereof, there is an effect of replacing a plurality of mirrors, making the size of the entire optical system compact and easy to assemble.
상기에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to preferred embodiments of the present invention, those skilled in the art will variously modify and change the present invention without departing from the spirit and scope of the invention as set forth in the claims below. I can understand that you can.
Claims (17)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019990035729A KR100347269B1 (en) | 1999-08-26 | 1999-08-26 | Fingerprint recognition device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019990035729A KR100347269B1 (en) | 1999-08-26 | 1999-08-26 | Fingerprint recognition device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20010019372A true KR20010019372A (en) | 2001-03-15 |
| KR100347269B1 KR100347269B1 (en) | 2002-08-07 |
Family
ID=19608852
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1019990035729A KR100347269B1 (en) | 1999-08-26 | 1999-08-26 | Fingerprint recognition device |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100347269B1 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010089241A (en) * | 2000-03-10 | 2001-09-29 | 타테이시 요시오 | Fingerprint Recognition Device and Fingerprint Reading Window Construction |
| CN109376570A (en) * | 2018-07-09 | 2019-02-22 | 东莞市美光达光学科技有限公司 | It is a kind of for shielding the miniature light filling lighting system of lower fingerprint recognition mould group |
| CN109711393A (en) * | 2019-02-19 | 2019-05-03 | 昆山丘钛微电子科技有限公司 | Fingerprint recognition mould group and electronic product |
| WO2021147012A1 (en) * | 2020-01-22 | 2021-07-29 | 深圳市汇顶科技股份有限公司 | Optical fingerprint recognition device and electronic apparatus |
| CN113227889A (en) * | 2019-09-04 | 2021-08-06 | 京东方科技集团股份有限公司 | Grain recognition device and display device |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0308162A3 (en) * | 1987-09-15 | 1990-06-06 | Identix Incorporated | Optical system for fingerprint imaging |
| KR940007344B1 (en) * | 1992-04-13 | 1994-08-13 | 이종익 | Fingerprint recognition method |
| JP3467052B2 (en) * | 1993-06-17 | 2003-11-17 | ペンタックス株式会社 | Personal identification device |
| JPH0744690A (en) * | 1993-08-04 | 1995-02-14 | Nippondenso Co Ltd | Fingerprint picture input device |
| JPH0991400A (en) * | 1995-09-22 | 1997-04-04 | Sony Corp | Fingeprint read sensor |
-
1999
- 1999-08-26 KR KR1019990035729A patent/KR100347269B1/en not_active IP Right Cessation
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010089241A (en) * | 2000-03-10 | 2001-09-29 | 타테이시 요시오 | Fingerprint Recognition Device and Fingerprint Reading Window Construction |
| CN109376570A (en) * | 2018-07-09 | 2019-02-22 | 东莞市美光达光学科技有限公司 | It is a kind of for shielding the miniature light filling lighting system of lower fingerprint recognition mould group |
| CN109376570B (en) * | 2018-07-09 | 2024-06-04 | 东莞市美光达光学科技有限公司 | Micro light supplementing illumination system for under-screen fingerprint identification module |
| CN109711393A (en) * | 2019-02-19 | 2019-05-03 | 昆山丘钛微电子科技有限公司 | Fingerprint recognition mould group and electronic product |
| CN113227889A (en) * | 2019-09-04 | 2021-08-06 | 京东方科技集团股份有限公司 | Grain recognition device and display device |
| CN113227889B (en) * | 2019-09-04 | 2023-11-03 | 京东方科技集团股份有限公司 | Grain recognition device and display device |
| WO2021147012A1 (en) * | 2020-01-22 | 2021-07-29 | 深圳市汇顶科技股份有限公司 | Optical fingerprint recognition device and electronic apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| KR100347269B1 (en) | 2002-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5146102A (en) | Fingerprint image input apparatus including a cylindrical lens | |
| US6643390B1 (en) | Compact fingerprint identification device | |
| US5963657A (en) | Economical skin-pattern-acquisition and analysis apparatus for access control; systems controlled thereby | |
| US7798405B2 (en) | Optical imaging device for the recognition of finger prints | |
| US10515253B2 (en) | Optical fingerprint sensor | |
| US6429927B1 (en) | Imaging device, especially for optical fingerprinting | |
| US6270013B1 (en) | Hand-holdable optical scanner particularly useful as electronic translator | |
| US4783167A (en) | Finger imaging apparatus using curved platen | |
| US5526436A (en) | Image detecting apparatus for an individual identifying system | |
| JPWO2006077718A1 (en) | Lens array and image sensor having lens array | |
| KR20020033459A (en) | Method and apparatus for reduction of trapezoidal distortion and improvement of image sharpness in an optical image capturing system | |
| US7180643B2 (en) | Live print scanner with holographic imaging a different magnifications | |
| KR100347269B1 (en) | Fingerprint recognition device | |
| US7221489B2 (en) | Live print scanner with holographic platen | |
| JPH08279035A (en) | Fingerprint input device | |
| KR20000063878A (en) | Line scan type fingerprint input device | |
| JPH0721348A (en) | Palm lines input device | |
| KR100760061B1 (en) | Fingerprint identification assembly using total reflection to identify pattern of the fingerprint | |
| KR100355329B1 (en) | Device for reading pattern with projections | |
| JP2018005723A (en) | Biometric authentication device | |
| JPH06282637A (en) | Waveguide type picture transmitter and fingerprint detector | |
| JPS6272081A (en) | Fingerprint information detecting device | |
| JPH056423A (en) | Image reader | |
| JPH11272852A (en) | Image scanner | |
| JP2955059B2 (en) | Fingerprint sensor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20120921 Year of fee payment: 11 |
|
| FPAY | Annual fee payment |
Payment date: 20130708 Year of fee payment: 12 |
|
| FPAY | Annual fee payment |
Payment date: 20140721 Year of fee payment: 13 |
|
| FPAY | Annual fee payment |
Payment date: 20150615 Year of fee payment: 14 |
|
| FPAY | Annual fee payment |
Payment date: 20160614 Year of fee payment: 15 |
|
| FPAY | Annual fee payment |
Payment date: 20170628 Year of fee payment: 16 |
|
| FPAY | Annual fee payment |
Payment date: 20180709 Year of fee payment: 17 |
|
| FPAY | Annual fee payment |
Payment date: 20190529 Year of fee payment: 18 |
|
| EXPY | Expiration of term |