KR20190069028A

KR20190069028A - Device and method for periocular biometric authentication in wearable display device

Info

Publication number: KR20190069028A
Application number: KR1020170169367A
Authority: KR
Inventors: 이의철; 김세희
Original assignee: 상명대학교산학협력단
Priority date: 2017-12-11
Filing date: 2017-12-11
Publication date: 2019-06-19
Also published as: KR102045743B1; WO2019117379A1

Abstract

The present invention relates to an eye image-based biometric authentication technique and, more specifically, to a device for user biometric authentication based on a circumocular image acquired through an eye-capturing camera attached to a wearable display device for virtual or augmented reality, and to a method thereof. The present invention can perform the biometric authentication using an eye image inputted from the eye-capturing camera attached to the wearable display device for virtual or augmented reality by merely being worn by the user without the specific cooperation of the user, thereby solving inconvenience of user. In addition, since a natural user interface (NUI) utilizing the user′s own body is preferred, the present invention can attract the attention of potential users.

Description

착용형 디스플레이 장비에서의 눈 영상 기반 생체 인증 장치 및 방법{DEVICE AND METHOD FOR PERIOCULAR BIOMETRIC AUTHENTICATION IN WEARABLE DISPLAY DEVICE} TECHNICAL FIELD [0001] The present invention relates to an eye image-based biometric authentication device and method in a wearable display device,

본 발명은 눈 영상 기반 생체 인증 기술에 관한 것으로, 더욱 상세하게는 가상 또는 증강 현실을 위한 착용형 디스플레이 장비 내에 부착된 눈 촬영 카메라를 통해 취득한 눈 주위 영상을 기반으로 사용자 생체 인증하는 장치 및 방법에 관한 것이다. The present invention relates to an eye image-based biometric authentication technique, and more particularly, to an apparatus and method for user biometric authentication based on an eye surrounding image acquired through an eye photographing camera attached to a wearable display device for a virtual or augmented reality .

생체인증은 기억해야 할 정보나 토큰과 같은 별도의 장비 없이 사용자 본인 신체의 고유 정보를 이용하기 때문에 편의성이 높은 게 장점이다. 때문에 업계에서는 생체인증이 비대면 금융거래를 위한 인터넷 뱅킹, 스마트 뱅킹 등 핀테크 분야에서 활용도가 높은 기술로 평가하고 있다. 지불결제 분야 외에도 단말기 로그인 등 다양한 분야로의 응용 적용도 기대되고 있다. 단, 사용자 고유의 생체인증 정보가 사업자 서버에 위치할 경우 해킹 등으로 인한 유출 시 그 피해가 더욱 치명적일 수 있다는 점이 지적된다. 물론 대개는 생체인증 정보를 암호화 및 토큰화시켜 저장하기 때문에 유출되더라도 이를 직접 악용하기는 어렵지만, 지문과 같은 정보는 패스워드처럼 언제든 손쉽게 변경할 수 있는 것이 아니기 때문에 큰 불편을 야기할 수 있다.Biometric authentication is advantageous because it uses unique information of the user's body without any equipment such as information to be memorized or a token. In the industry, biometric authentication is evaluated as a technology that is highly utilized in pin-tecs such as Internet banking and smart banking for non-face-to-face financial transactions. In addition to the field of payment, it is expected to be applied to various fields such as terminal login. However, it is pointed out that if the user's own biometric authentication information is located in the provider server, the damage may be more fatal when the user leaks due to hacking or the like. Of course, since biometric authentication information is usually encrypted and stored in a tokenized form, it is difficult to directly exploit it, but information such as a fingerprint can not easily be changed at any time.

본 발명의 배경기술은 대한민국 등록특허공보 제 10-1506155 호(2015.03.20 등록)에 개시되어 있다.The background art of the present invention is disclosed in Korean Patent Registration No. 10-1506155 (Registered on May 20, 2015).

본 발명은 가상 또는 증강 현실을 위한 착용형 디스플레이 장비를 착용하는 서로 다른 사용자들이 별다른 추가 협조 없이 착용만으로도 본인임을 인증할 수 있는 비침범형(Non-intrusive) 인증을 하여 개인 사생활 정보가 요구되는 데이터를 보호하고 이용하는 눈 영상 기반 생체 인증 장치 및 방법을 제공한다.The present invention is a non-intrusive authentication method in which different users wearing a wearable display device for a virtual or augmented reality can authenticate themselves by wearing alone without additional cooperation, Based biometric authentication apparatus and method that protects and uses biometric authentication.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood from the following description.

본 발명의 일 측면에 따르면, 착용형 디스플레이 장비에서의 눈 영상 기반 생체 인증 장치가 제공된다.According to an aspect of the invention, an eye image based biometric authentication device in a wearable display device is provided.

본 발명의 일 실시 예에 따른 착용형 디스플레이 장비에서의 눈 영상 기반 생체 인증 장치는 착용형 디스플레이 장비의 착용자의 눈 이미지를 입력하는 이미지 입력부, 입력한 눈 이미지를 영상 전처리 과정을 거쳐 인증하기에 최적화된 눈 이미지로 변환하고 촬영된 눈의 위치 편차를 고려한 이동 차이 값을 계산하는 이미지 변환부 및 계산된 이동 차이 값에서 최소 차이 값이 통계적으로 지정된 임계 값을 기준으로 착용자가 미리 지정된 사용자인지 인증하는 이미지 인증부를 포함할 수 있다.The eye image-based biometric authentication device in the wearable display device according to an embodiment of the present invention includes an image input unit for inputting an eye image of a wearer of a wearable display device, an image input unit for optimizing An image transforming unit for transforming the eye image into an eye image and calculating a movement difference value in consideration of the position deviation of the taken eye; and an image conversion unit for determining whether the wearer is a predetermined user based on a statistically specified threshold value And an image authentication unit.

본 발명의 다른 일 측면에 따르면, 착용형 디스플레이 장비에서의 눈 영상 기반 생체 인증 방법 및 이를 실행하는 컴퓨터 프로그램이 제공된다.According to another aspect of the present invention, there is provided an eye image-based biometric authentication method in a wearable display device and a computer program for executing the same.

본 발명의 일 실시 예에 따른 필적 인식 방법 및 이를 실행하는 컴퓨터 프로그램은 착용형 디스플레이 장비의 착용자의 눈 이미지를 입력하는 단계, 입력한 눈 이미지를 미리 설정된 인증대상 눈 이미지로 변환하고 촬영된 눈의 위치 편차를 고려한 이동 차이 값을 계산하는 단계 및 계산된 이동 차이 값에서 최소 차이 값을 미리 통계적으로 결정된 임계 값을 기준으로 착용자가 미리 지정된 사용자인지 인증하는 단계를 포함할 수 있다.A handwriting recognition method and a computer program for implementing the same according to an embodiment of the present invention include a step of inputting an image of a wearer's eye of a wearable display device, a step of converting an input eye image into a preset authentication target eye image, Calculating a movement difference value in consideration of the positional deviation, and authenticating the minimum difference value from the calculated movement difference value based on a statistically determined threshold value in advance, whether the wearer is a predetermined user.

본 발명은 가상 또는 증강 현실을 위한 착용형 디스플레이 장비에 부착된 눈 촬영 카메라로부터 입력 받은 눈 영상을 이용하여 사용자의 별다른 협조 없이 착용하는 것만으로도 생체 인증을 하여 사용자의 불편을 해결할 수 있다.The present invention can solve the inconvenience of the user by performing biometric authentication by simply wearing the eye image input from the eye photographing camera attached to the wearable display device for virtual or augmented reality without cooperation of the user.

또한, 본 발명은 자기 신체를 활용하는 자연스러운 사용자 조작 환경(NUI; Natural User Interface)이 선호 됨에 따라 사용자의 관심도를 불러일으킬 수 있다. In addition, the present invention can attract a user's interest due to the preference of a natural user interface (NUI) utilizing a self body.

도 1은 본 발명의 일 실시 예에 따른 착용형 디스플레이 장비에서의 눈 영상 기반 생체 인증 시스템을 설명하기 위한 도면.
도 2 및 도 3은 본 발명의 일 실시 예에 따른 착용형 디스플레이 장비에서의 눈 영상 기반 생체 인증 장치를 설명하기 위한 도면들.
도 4는 본 발명의 일 실시 예에 따른 착용형 디스플레이 장비에서의 눈 영상 기반 생체 인증 방법을 설명하기 위한 도면.
도 5는 본 발명의 일 실시 예에 따른 착용형 디스플레이 장비에서의 눈 주위의 입력 영상을 나타낸 도면.
도 6은 본 발명의 일 실시 예에 따른 눈 영상 기반 생체 인증 방법에서 입력 영상을 히스토그램 평활화한 영상을 나타낸 도면.
도 7은 본 발명의 일 실시 예에 따른 눈 영상 기반 생체 인증 방법에서 입력 영상과 평활화된 영상의 히스토그램을 나타낸 도면.
도 8은 본 발명의 일 실시 예에 따른 눈 영상 기반 생체 인증 방법에서 평활화된 영상의 해상도를 낮춘 영상을 나타낸 도면.
도 9는 본 발명의 일 실시 예에 따른 눈 영상 기반 생체 인증 방법에서 입력 영상에 장비를 착용함으로써 생기는 위치 편차가 존재함을 나타낸 도면.
도 10은 본 발명의 일 실시 예에 따른 눈 영상 기반 생체 인증 방법에서 위치 편차가 존재하는 두 영상의 이동 차이를 계산 하는 방법을 설명하기 위한 도면.
도 11은 본 발명의 일 실시 예에 따른 눈 영상 기반 생체 인증 방법에서 동일인 매칭(Genuine matching)과 타인 매칭(Imposter matching) 결과 오차율을 설명하기 위한 도면.1 is a view for explaining an eye image-based biometric authentication system in a wearable display device according to an embodiment of the present invention;
FIG. 2 and FIG. 3 are views for explaining an eye image-based biometric authentication device in a wearable display device according to an embodiment of the present invention.
4 is a view for explaining an eye image-based biometric authentication method in a wearable display device according to an embodiment of the present invention.
5 is a view illustrating an input image around eyes in a wearable display device according to an embodiment of the present invention;
6 is a view illustrating an image obtained by histogram smoothing an input image in an eye image-based biometric authentication method according to an embodiment of the present invention.
7 is a histogram of an input image and a smoothed image in an eye image-based biometric authentication method according to an exemplary embodiment of the present invention.
FIG. 8 is a view illustrating an image in which a resolution of a smoothed image is lowered in an eye image-based biometric authentication method according to an embodiment of the present invention. FIG.
FIG. 9 is a diagram illustrating a positional deviation caused by wearing an apparatus in an input image in an eye image-based biometric authentication method according to an exemplary embodiment of the present invention. FIG.
10 is a view for explaining a method of calculating a movement difference between two images in which a positional deviation exists in an eye image-based biometric authentication method according to an embodiment of the present invention.
FIG. 11 is a view for explaining error rates of genuine matching and imposter matching in an eye image-based biometric authentication method according to an exemplary embodiment of the present invention; FIG.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. While the present invention has been described in connection with certain exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and similarities. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings, wherein like reference numerals refer to like or corresponding components throughout. .

도 1은 본 발명의 일 실시 예에 따른 착용형 디스플레이 장비에서의 눈 영상 기반 생체 인증 시스템을 설명하기 위한 도면이다.1 is a view for explaining an eye image-based biometric authentication system in a wearable display device according to an embodiment of the present invention.

도 1을 참조하면, 본 발명에 따른 착용형 디스플레이 장비에서 눈 영상 기반 생체 인증 시스템은 눈 영상 기반 생체 인증 장치(100) 및 눈 촬영 카메라(200)를 포함한다.Referring to FIG. 1, an eye image-based biometric authentication system in a wearable display device according to the present invention includes an eye image-based biometric authentication device 100 and an eye photographing camera 200.

눈 영상 기반 생체 인증 장치(100)는 입력된 눈 이미지를 이용하여 디스플레이 장비를 착용한 사용자를 인증한다. 눈 영상 기반 생체 인증 장치(100)는 착용형 디스플레이 장비에 탑재되어 연동되어 작동될 수 있으며, 착용자 인증을 위한 눈 이미지를 미리 저장할 수 있다. 또한, 눈 영상 기반 생체 인증 장치(100)는 유무선을 통하여 외부의 컴퓨터와 연결되어 생체 인증이 수행될 수 있으며, 생체 인증을 이용한 다양한 컨텐츠 서비스를 제공받을 수도 있다. The eye image-based biometric authentication apparatus 100 authenticates a user wearing a display device using an input eye image. The eye image-based biometric authentication apparatus 100 may be mounted on a wearable display device and interlocked with the eye image-based biometric authentication apparatus 100, and may store an eye image for authentication of a wearer in advance. In addition, the eye image-based biometric authentication apparatus 100 may be connected to an external computer through wired / wireless lines to perform biometric authentication, and may be provided with various content services using biometric authentication.

눈 촬영 카메라(200)는 디스플레이 장비 착용자의 눈을 추적하여 촬영한 눈 이미지를 입력한다. 눈 촬영 카메라(200)는 착용형 디스플레이 장비에 탑재되어 착용형 디스플레이 장비와 연동하여 동작될 수 있다.The eye photographing camera 200 tracks the eyes of the wearer of the display equipment and inputs an image of the eye photographed. The eye photographing camera 200 may be mounted on the wearable display device and operated in conjunction with the wearable display device.

도 2 및 도 3은 본 발명의 일 실시 예에 따른 착용형 디스플레이 장비에서의 눈 영상 기반 생체 인증 장치를 설명하기 위한 도면들이다.FIG. 2 and FIG. 3 are views for explaining an eye image-based biometric authentication device in a wearable display device according to an embodiment of the present invention.

도 2를 참조하면, 눈 영상 기반 생체 인증 장치(100)는 이미지 입력부(110), 이미지 변환부(120), 이미지 인증부(130) 및 이미지 저장부(140)를 포함한다.Referring to FIG. 2, the eye image-based biometric authentication apparatus 100 includes an image input unit 110, an image conversion unit 120, an image authentication unit 130, and an image storage unit 140.

이미지 입력부(110)는 가상 또는 증강 현실을 위한 착용형 디스플레이 장비에 부착된 눈 촬영 카메라(200)에서 촬영된 착용자의 눈 이미지를 입력한다.The image input unit 110 inputs an image of a wearer's eye photographed by an eye photographing camera 200 attached to a wearable display device for a virtual or augmented reality.

이미지 변환부(120)는 입력한 눈 이미지를 영상 전처리를 하여 인증하기에 최적화된 눈 이미지로 변환한다. The image converting unit 120 converts the input eye image into an eye image optimized for authentication by performing image preprocessing.

도 3을 참조하면, 이미지 변환부(120)는 인증 이미지 생성부(121), 히스토그램 평활화부(123), 저해상도 변환부(125), 화소 값 조절부(127) 및 위치 편차 보정부(129)를 포함한다.3, the image conversion unit 120 includes an authentication image generation unit 121, a histogram smoothing unit 123, a low resolution conversion unit 125, a pixel value adjustment unit 127, and a positional deviation correction unit 129, .

인증 이미지 생성부(121)는 입력된 RGB 컬러의 눈 이미지에서 그레이 스케일(Gray Scale)의 이미지로 변환하고, 이미지 파일의 크기를 미리 설정한 제1 해상도로 변환한다. 여기서, 제1 해상도는 히스토그램 평활화를 위하여 미리 설정된 해상도로 예를 들면, 320x240 해상도일 수 있다. The authentication image generating unit 121 converts the input RGB color image into an image of a gray scale and converts the size of the image file into a predetermined first resolution. Here, the first resolution may be, for example, 320x240 resolution with a preset resolution for histogram smoothing.

히스토그램 평활화부(123)는 미리 설정한 제1 해상도로 변환한 이미지 파일을 히스토그램 평활화를 수행한다. 이는 인증 이미지의 명암 값이 균일한 분포를 갖게 하기 위함이다. The histogram smoothing unit 123 performs histogram smoothing on the image file converted into the preset first resolution. This is to ensure that the brightness value of the authenticated image has a uniform distribution.

저해상도 변환부(125)는 히스토그램 평활화한 이미지 파일의 크기를 미리 설정한 제2 해상도로 변환한다. 여기서, 제2 해상도는 미리 정의된 저해상도, 예를 들면, 50x38 해상도일 수 있다. 이는 인증 이미지에서 안구의 시선 위치가 착용 시마다 움직이는 것과 눈썹 등 상세한 고주파 성분들이 버리고 눈 영상의 큰 모양 위주의 정보만 취득하기 위함이다.The low resolution conversion unit 125 converts the size of the histogram smoothed image file to a preset second resolution. Here, the second resolution may be a predefined low resolution, e.g., 50x38 resolution. This is to acquire only the information about the big shape of the eye image because the eyeball position of the eyeball moves in the authentication image and the detailed high frequency components such as eyebrows are discarded in the authentication image.

화소 값 조절부(127)는 미리 설정한 제2 해상도로 변환된 이미지 파일의 전체 화소 값을 해당 파일의 평균 화소 값으로 차감한다. 이는 인증 이미지에서 조명에 대한 편차를 줄이기 위함이다. The pixel value adjusting unit 127 subtracts the entire pixel value of the image file converted into the second resolution that has been set in advance with the average pixel value of the file. This is to reduce variations in illumination in the authentication image.

위치 편차 보정부(129)는 이미지 파일의 전체 화소 값을 해당 파일의 평균 화소 값으로 차감한 이미지 파일에서 위치 편차를 고려한 이동 차이 값을 계산한다. 이는 인증 이미지의 눈 영상이 각각 촬영 시 마다 위치 편차가 존재하기 때문에 이를 고려하기 위함이다. The positional deviation correction unit 129 calculates a difference value of movement in consideration of the positional deviation in the image file obtained by subtracting the total pixel value of the image file by the average pixel value of the file. This is because the eye image of the authentication image has a positional deviation at the time of each photographing.

다시 도 2를 참조하면, 이미지 인증부(130)는 계산된 이동 차이 값에서 최소 차이 값을 미리 통계적으로 결정된 임계 값을 기준으로 착용자가 미리 지정된 사용자인지 인증한다. Referring again to FIG. 2, the image authentication unit 130 authenticates the wearer's preliminarily designated user based on a statistically determined threshold value of a minimum difference value from the calculated movement difference value.

이미지 저장부(140)는 미리 지정한 사용자의 눈 이미지를 저장한다. 또한, 이미지 저장부(140)는 생체 인증과 관련된 데이터 및 프로그램을 저장한다. The image storage unit 140 stores a predetermined eye image of the user. In addition, the image storage unit 140 stores data and programs related to biometric authentication.

도 4는 본 발명의 일 실시 예에 따른 착용형 디스플레이 장비에서의 눈 영상 기반 생체 인증 방법을 설명하기 위한 도면이다.FIG. 4 is a view for explaining an eye image-based biometric authentication method in a wearable display device according to an embodiment of the present invention.

도 4를 참조하면, 단계 S410에서 착용형 디스플레이 장비에서의 눈 영상 기반 생체 인증 장치(100)는 가상 또는 증강 현실을 위한 착용형 디스플레이 장비에 부착된 눈 촬영 카메라(200)로 눈 이미지를 입력한다.Referring to FIG. 4, in step S410, the eye image-based biometric authentication device 100 in the wearable display device inputs an eye image into an eye photographing camera 200 attached to a wearable display device for virtual or augmented reality .

단계 S420에서 착용형 디스플레이 장비에서의 눈 영상 기반 생체 인증 장치(100)는 입력된 RGB 컬러의 눈 이미지에서 그레이 스케일(Gray Scale)의 이미지로 변환한다.In step S420, the eye image-based biometric authentication device 100 in the wearable display device converts an eye image of the input RGB color into an image of a gray scale.

단계 S430에서 착용형 디스플레이 장비에서의 눈 영상 기반 생체 인증 장치(100)는 그레이 스케일로 변환된 이미지 파일의 크기를 미리 설정한 제1 해상도 예들 들면, 320x240 해상도로 변환한다.In step S430, the eye-image-based biometric authentication apparatus 100 in the wearable display device converts the size of the image file converted into grayscale into a preset first resolution, for example, 320x240 resolution.

단계 S440에서 착용형 디스플레이 장비에서의 눈 영상 기반 생체 인증 장치(100)는 미리 설정한 해상도로 변환한 이미지 파일을 히스토그램 평활화를 수행한다. 눈 영상 기반 생체 인증 장치(100)는 히스토그램 평활화를 수행하여 명암 값이 균일한 분포를 갖게 한다. In step S440, the eye-image-based biometric authentication apparatus 100 in the wearable display device performs histogram smoothing on the image file converted into a predetermined resolution. The eye image-based biometric authentication apparatus 100 performs histogram smoothing to have a uniform distribution of brightness values.

단계 S450에서 착용형 디스플레이 장비에서의 눈 영상 기반 생체 인증 장치(100)는 히스토그램 평활화한 이미지 파일의 크기를 미리 설정한 제2 해상도, 예를 들면, 50x38 해상도로 변환한다. 눈 영상 기반 생체 인증 장치(100)는 이미지 파일의 크기를 미리 설정한 제2 해상도로 낮추어 눈 영상의 큰 모양 위주의 정보만 취득할 수 있다. 눈 영상 기반 생체 인증 장치(100)는 저해상도의 영상을 사용하면, 안구의 시선 위치가 착용 시마다 움직이는 것과 눈썹 등 상세한 고주파 성분들이 버려지고 눈의 큼직한 모양 위주의 성분만 남게 되어, 인증함에 있어 오차를 줄 수 있는 성분의 영향을 받지 않는다. In step S450, the eye-image-based biometric authentication apparatus 100 in the wearable display device converts the size of the histogram-smoothed image file to a preset second resolution, for example, 50x38 resolution. The eye image-based biometric authentication apparatus 100 can reduce the size of the image file to a second resolution that is set in advance and acquire only large shape-based information of the eye image. When a low-resolution image is used, the eye-image-based biometric authentication device 100 may cause the eyeball position of the eyeball to move each time it is worn, the high-frequency components such as eyebrows are discarded and only the major shape- It is not affected by the ingredients that can be given.

단계 S460에서 착용형 디스플레이 장비에서의 눈 영상 기반 생체 인증 장치(100)는 미리 설정한 제2 해상도로 변환된 이미지 파일의 전체 화소 값을 해당 파일의 평균 화소 값으로 차감한다. 눈 영상 기반 생체 인증 장치(100)는 저해상도의 영상으로 전체 화소 값을 해당 영상의 평균 화소 값으로 빼주어 조명에 대한 편차를 줄일 수 있다. In step S460, the eye-image-based biometric authentication apparatus 100 in the wearable display device subtracts all the pixel values of the image file converted to the preset second resolution by the average pixel value of the corresponding file. The eye image-based biometric authentication apparatus 100 can reduce the deviation of illumination by subtracting the entire pixel value from the average pixel value of the corresponding image using a low-resolution image.

단계 S470에서 착용형 디스플레이 장비에서의 눈 영상 기반 생체 인증 장치(100)는 미리 설정한 제2 해상도로 변환된 이미지 파일의 전체 화소 값을 해당 파일의 평균 화소 값으로 차감한 이미지 파일에서 위치 편차를 고려한 이동 차이 값을 계산한다. 눈 영상 기반 생체 인증 장치(100)는 눈 영상이 각각 촬영 시 마다 위치 편차가 존재하기 때문에 이를 고려한 이동 차이를 계산해주고, 그 차이 값 중에서 최소 차이 값을 이동 차이 값을 산출한다. In step S470, the eye-image-based biometric authentication apparatus 100 in the wearable display device calculates a positional deviation in an image file obtained by subtracting all pixel values of an image file converted to a preset second resolution by an average pixel value of the corresponding file Calculate the considered moving difference value. The eye image-based biometric authentication apparatus 100 calculates the movement difference considering the position deviation of each eye image at the time of each photographing, and calculates the minimum difference value among the difference values.

단계 S480에서 착용형 디스플레이 장비에서의 눈 영상 기반 생체 인증 장치(100)는 계산된 이동 차이 값에서 최소 차이 값을 산출한다.In step S480, the eye image-based biometric authentication device 100 in the wearable display device calculates a minimum difference value from the calculated movement difference value.

단계 S490에서 착용형 디스플레이 장비에서의 눈 영상 기반 생체 인증 장치(100)는 산출한 최소 차이 값을 미리 통계적으로 결정된 임계 값을 기준으로 동일인 매칭(Genuine matching)과 타인 매칭(Imposter matching)를 수행하여 본인 여부를 확인한다.In step S490, the eye-image-based biometric authentication apparatus 100 in the wearable display device performs the same process of performing a genuine matching and an imposter matching on the calculated minimum difference value based on a statistically determined threshold value Confirm your identity.

도 5는 본 발명의 일 실시 예에 따른 착용형 디스플레이 장비에서의 눈 주위의 입력 영상을 나타낸 도면이다.5 is a view showing an input image around eyes in a wearable display device according to an embodiment of the present invention.

도 5를 참조하면, 눈 영상 기반 생체 인증 장치(100)는 착용형 디스플레이 장비에서의 눈 촬영 카메라(200)를 이용하여 눈 주위의 입력 영상을 촬영하여 RGB 컬러의 눈 이미지를 입력할 수 있다. Referring to FIG. 5, the eye image-based biometric authentication apparatus 100 can capture an input image of the RGB color by capturing an input image around the eyes using the eye photographing camera 200 in the wearable display device.

도 6은 본 발명의 일 실시 예에 따른 눈 영상 기반 생체 인증 방법에서 입력 영상을 히스토그램 평활화한 영상을 나타낸 도면이고, 도 7은 본 발명의 일 실시 예에 따른 눈 영상 기반 생체 인증 방법에서 입력 영상과 평활화된 영상의 히스토그램을 나타낸 도면이다.FIG. 6 is a diagram illustrating an image obtained by histogram smoothing an input image in an eye image-based biometric authentication method according to an embodiment of the present invention. FIG. And a histogram of the smoothed image.

도 6 및 도 7을 참조하면, 착용형 디스플레이 장비에서의 눈 영상 기반 생체 인증 장치(100)는 히스토그램 평활화를 하여 영상의 명암 값을 균일화 시킨다.Referring to FIGS. 6 and 7, the eye image-based biometric authentication apparatus 100 in the wearable display device performs histogram smoothing to equalize the brightness level of the image.

이를 더욱 상세히 설명하면, 눈 영상 기반 생체 인증 장치(100)는 전체 화소에 대한 빈도수 누적 합을 구한다. 눈 영상 기반 생체 인증 장치(100)는 아래 수학식 1을 이용하여 이미지 파일의 전체 화소의 빈도수 누적 값을 구할 수 있다.More specifically, the eye image-based biometric authentication apparatus 100 obtains a cumulative sum of frequencies for all the pixels. The eye image-based biometric authentication apparatus 100 can calculate the cumulative value of the frequency of all the pixels of the image file using Equation 1 below.

눈 영상 기반 생체 인증 장치(100)는 전체 화소의 값이 0부터 i까지 있다고 했을 때, 화소 값 0부터 i까지 빈도수 누적 값을 도출한다. The eye image-based biometric authentication apparatus 100 derives a cumulative frequency value from 0 to i when the values of all the pixels are 0 to i.

눈 영상 기반 생체 인증 장치(100)는 아래 수학식 2를 이용하여 상기 수학식 1에서 도출된 누적 값을 정규화시킬 수 있다.The eye image-based biometric authentication apparatus 100 may normalize the cumulative value derived from Equation (1) using Equation (2) below.

눈 영상 기반 생체 인증 장치(100)는 누적 값을 영상의 전체 픽셀수인 N으로 나눠주고 화소의 최댓값인 255를 곱해주어 정규화한다. The eye image-based biometric authentication apparatus 100 normalizes the accumulated value by dividing the accumulated value by N, which is the total number of pixels of the image, and multiplying the maximum value of the pixel by 255.

이후, 눈 영상 기반 생체 인증 장치(100)는 정규화된 값으로 입력 이미지 파일에서 픽셀 값을 변환하여 히스토그램 평활화를 수행한다. Then, the eye image-based biometric authentication apparatus 100 performs histogram smoothing by converting the pixel values in the input image file with the normalized values.

도 8은 본 발명의 일 실시 예에 따른 눈 영상 기반 생체 인증 방법에서 평활화된 영상의 해상도를 낮춘 영상을 나타낸 도면이다.FIG. 8 is a view illustrating an image in which the resolution of the smoothed image is lowered in the eye image-based biometric authentication method according to an embodiment of the present invention.

도 8을 참조하면, 눈 영상 기반 생체 인증 장치(100)는 이미지 파일의 크기를 미리 설정된 제2 해상도 예를 들면, 50*38 해상도로 변환한다. 이는 영상의 해상도를 조절하여 영상의 큰 모양 위주로 남도록 하여 안구의 시선 위치가 착용 시마다 움직이는 것과 눈썹 등 상세한 고주파 성분들이 버려져 인증함에 있어 오차를 줄 수 있는 성분의 영향을 받지 않게 하기 위함이다. 이후, 눈 영상 기반 생체 인증 장치(100)는 변환시킨 이미지에서 조명 성분의 균일화가 더 잘 이루어 질 수 있도록 해당 이미지의 전체 화소에서 그 이미지의 평균 밝기 값으로 차감할 수 있다. Referring to FIG. 8, the eye image-based biometric authentication apparatus 100 converts the size of the image file into a predetermined second resolution, for example, 50 * 38 resolution. This is to control the resolution of the image so as to remain in the large shape of the image so that the eyeball position of the eyeball moves when worn and the detailed high frequency components such as the eyebrows are discarded so that they are not influenced by the components that can give errors in authentication. Then, the eye image-based biometric authentication apparatus 100 may subtract the average brightness value of the image from all the pixels of the image so that the uniformity of the illumination components can be more uniform in the converted image.

도 9는 본 발명의 일 실시 예에 따른 눈 영상 기반 생체 인증 방법에서 입력 영상에 장비를 착용함으로써 생기는 위치 편차가 존재함을 나타낸 도면이다.FIG. 9 is a diagram illustrating a positional deviation caused by wearing the equipment on an input image in the eye image-based biometric authentication method according to an exemplary embodiment of the present invention.

도 9를 참조하면, 눈 영상 기반 생체 인증 장치(100)는 가상 또는 증강 현실을 위한 착용형 디스플레이 장비를 착용 하면서 발생하는 이미지 모양 위치 편차를 고려한다. Referring to FIG. 9, the eye image-based biometric authentication apparatus 100 considers image positional deviations occurring when wearing a wearable display device for a virtual or augmented reality.

도 10은 본 발명의 일 실시 예에 따른 눈 영상 기반 생체 인증 방법에서 위치 편차가 존재하는 두 영상의 이동 차이를 계산 하는 방법을 설명하기 위한 도면이다.10 is a view for explaining a method of calculating a difference of movement between two images in which a positional deviation exists in an eye image-based biometric authentication method according to an embodiment of the present invention.

도 10을 참조하면, 눈 영상 기반 생체 인증 장치(100)는 위치 편차가 존재하는 두 영상의 이동 차이를 계산한다. 여기서, 등록된 이미지(1010)는 사용자가 사전에 등록한 눈 영상이 저장되어 있는 데이터베이스 내의 이미지이고, 입력 이미지(1020)는 가상 또는 증강 현실을 위한 착용형 디스플레이 장비를 착용한 사용자 눈 영상 이미지이다. 눈 영상 기반 생체 인증 장치(100)는 등록된 이미지(1010)와 입력 이미지(1020)를 비교하는 과정에서, 장비를 착용하면서 위치 편차가 상하좌우로 존재하게 되므로 이를 보완한다. 눈 영상 기반 생체 인증 장치(100)는 예를 들면, 상하로 ±7 픽셀씩, 좌우로 ±3 픽셀씩 이동하면서 전체 화소의 차이 값 중 최소 차이가 나는 지점의 값을 산출한다. 눈 영상 기반 생체 인증 장치(100)는 계산된 최소 이동 차이 값을 값을 미리 설정된 임계 값을 기준으로 동일인 매칭(Genuine matching)과 타인 매칭(Imposter matching)을 판단할 수 있다. Referring to FIG. 10, the eye image-based biometric authentication apparatus 100 calculates a difference of movement between two images in which a positional deviation exists. Here, the registered image 1010 is an image in a database storing eye images previously registered by a user, and the input image 1020 is a user's eye image image wearing a wearable display device for a virtual or augmented reality. The eye image-based biometric authentication apparatus 100 complements the positional deviation of the registered image 1010 and the input image 1020 in the process of comparing the registered image 1010 with the input image 1020 because the positional deviation exists vertically and horizontally. For example, the eye image-based biometric authentication apparatus 100 calculates a value at a point where the minimum difference among all the difference values of all the pixels is shifted by ± 3 pixels on the left and right by ± 7 pixels on the upper and lower sides. The eye image-based biometric authentication apparatus 100 can determine whether the calculated minimum movement difference value is equal to the genuine matching and the imposter matching based on a preset threshold value.

도 11은 본 발명의 일 실시 예에 따른 눈 영상 기반 생체 인증 방법에서 동일인 매칭(Genuine matching)과 타인 매칭(Imposter matching) 결과 오차율을 설명하기 위한 도면이다.FIG. 11 is a view for explaining error rates of genuine matching and imposter matching in an eye image-based biometric authentication method according to an exemplary embodiment of the present invention.

도 11을 참조하면, 눈 영상 기반 생체 인증 장치(100)는 동일인 매칭(Genuine matching)과 타인 매칭(Imposter matching)의 분포를 가장 작은 오차율로 나눈 이동 차이 값을 임계 값(1110)으로 하여 그 값을 본인 인증의 척도로 하여 눈 영상 기반 생체 인증을 수행한다. Referring to FIG. 11, the eye image-based biometric authentication apparatus 100 sets a threshold value 1110 as a difference value obtained by dividing the distribution of the genuine matching and the imposter matching by the smallest error rate, Based biometric authentication is performed as a measure of personal authentication.

본 발명은 통상적인 눈이나 홍채 본인 인증이 아닌, 인증이 필요한 시나리오에서 사용자가 별다른 협조, 지문 인증을 하기 위한 행동, 카메라에 홍채를 갖다 대지 않고 장비를 착용함만으로 인증이 가능한 비침범형 시스템으로, 가상 또는 증강 현실을 위한 착용형 디스플레이 장비에 부착된 눈 촬영 카메라로 눈 영상을 취득함으로써 생체 인증을 할 수 있다. The present invention relates to a non-invasive system that allows a user to cooperate in a scenario requiring authentication, to perform fingerprint authentication, and to authenticate by simply wearing the device without touching the iris in the camera, , Biometric authentication can be performed by acquiring eye images with an eye photographing camera attached to a wearable display device for virtual or augmented reality.

본 발명의 실시 예에 따른 착용형 디스플레이 장비에서의 눈 영상 기반 생체 인증 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The eye image-based biometric authentication method in the wearable display device according to the embodiment of the present invention may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer readable medium. The computer readable medium may include program instructions, data files, data structures, and the like, alone or in combination. Program instructions to be recorded on a computer-readable medium may be those specially designed and constructed for the present invention or may be available to those skilled in the computer software arts. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Includes hardware devices specifically configured to store and execute program instructions such as magneto-optical media and ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.The embodiments of the present invention have been described above. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.

100: 눈 영상 기반 생체 인증 장치
110: 이미지 입력부
120: 이미지 변환부
130: 이미지 인증부
140: 이미지 저장부
200: 눈 촬영 카메라100: Eye image based biometric authentication device
110: Image input unit
120: Image conversion unit
130: Image authentication unit
140: Image storage unit
200: Eye shooting camera

Claims

착용형 디스플레이 장비에서의 눈 영상 기반 생체 인증 장치에 있어서,
상기 착용형 디스플레이 장비의 착용자의 눈 이미지를 입력하는 이미지 입력부;
입력한 눈 이미지를 미리 설정된 인증대상 눈 이미지로 변환하고 촬영된 눈의 위치 편차를 고려한 이동 차이 값을 계산하는 이미지 변환부; 및
계산된 이동 차이 값에서 산출한 최소 차이 값을 미리 설정된 임계 값을 기준으로 착용자가 미리 지정된 사용자인지 인증하는 이미지 인증부를 포함하는 착용형 디스플레이 장비에서의 눈 영상 기반 생체 인증 장치.
An eye image based biometric authentication device in a wearable display device,
An image input unit for inputting an image of a wearer's eye of the wearable display device;
An image conversion unit for converting an input eye image into a preset eye image to be authenticated and calculating a movement difference value considering a positional deviation of the eye to be imaged; And
And an image authentication unit for authenticating a minimum difference value calculated from the calculated movement difference value as a predetermined user based on a preset threshold value.

제1항에 있어서,
상기 이미지 입력부는
상기 착용형 디스플레이 장비에 부착된 눈 촬영 카메라에 의해 촬영되는 눈 이미지를 입력하는 착용형 디스플레이 장비에서의 눈 영상 기반 생체 인증 장치.
The method according to claim 1,
The image input unit
And an eye image captured by an eye photographing camera attached to the wearable display device is input.

제1항에 있어서,
상기 이미지 변환부는
입력된 RGB 컬러의 눈 이미지에서 그레이 스케일(Gray Scale)의 이미지로 변환하고, 이미지 파일의 크기를 미리 설정한 제1 해상도로 변환하는 인증 이미지 생성부;
미리 설정한 제1 해상도로 변환한 이미지 파일을 히스토그램 평활화를 수행하는 히스토그램 평활화부; 및
촬영된 눈의 위치 편차를 고려한 이동 차이 값을 계산하는 위치 편차 보정부를 포함하는 착용형 디스플레이 장비에서의 눈 영상 기반 생체 인증 장치.
The method according to claim 1,
The image conversion unit
An authentication image generating unit for converting an input RGB color image into an image of a gray scale and converting the size of the image file into a preset first resolution;
A histogram smoothing unit for performing histogram smoothing on the image file converted into the first resolution set in advance; And
And a positional deviation correcting unit for calculating a movement difference value in consideration of the positional deviation of the photographed eye.

제3항에 있어서,
상기 히스토그램 평활화한 이미지 파일의 크기를 미리 설정한 제2 해상도로 변환하는 저해상도 변환부; 및
미리 설정한 제2 해상도로 변환된 이미지 파일의 전체 화소 값을 해당 파일의 평균 화소 값으로 차감하는 화소 값 조절부를 더 포함하는 착용형 디스플레이 장비에서의 눈 영상 기반 생체 인증 장치.
The method of claim 3,
A low resolution conversion unit for converting the size of the histogram smoothed image file into a preset second resolution; And
And a pixel value adjuster for subtracting the entire pixel values of the image file converted into the preset second resolution by an average pixel value of the corresponding file.

착용형 디스플레이 장비에서의 눈 영상 기반 생체 인증 방법에 있어서,
상기 착용형 디스플레이 장비의 착용자의 눈 이미지를 입력하는 단계;
입력한 눈 이미지를 미리 설정된 인증대상 눈 이미지로 변환하고 촬영된 눈의 위치 편차를 고려한 이동 차이 값을 계산하는 단계; 및
계산된 이동 차이 값에서 산출한 최소 차이 값을 미리 설정된 임계 값을 기준으로 착용자가 미리 지정된 사용자인지 인증하는 단계를 포함하는 착용형 디스플레이 장비에서의 눈 영상 기반 생체 인증 방법.
An eye image based biometric authentication method in a wearable display device,
Inputting a wearer's eye image of the wearable display device;
Converting the inputted eye image into a predetermined eye to be authenticated eye image and calculating a movement difference value considering a positional deviation of the eye to be photographed; And
And a step of authenticating the minimum difference value calculated from the calculated movement difference value as a predetermined user based on a preset threshold value.

제5항에 있어서,
상기 착용형 디스플레이 장비의 착용자의 눈 이미지를 입력하는 단계는
상기 착용형 디스플레이 장비에 부착된 눈 촬영 카메라에 의해 촬영된 눈 이미지를 입력하는 착용형 디스플레이 장비에서의 눈 영상 기반 생체 인증 방법.
6. The method of claim 5,
The step of inputting the eye image of the wearer of the wearable display device
Wherein the eye image captured by the eye photographing camera attached to the wearable display device is input.

제5항에 있어서,
상기 입력한 눈 이미지를 미리 설정된 인증대상 눈 이미지로 변환하고 촬영된 눈의 위치 편차를 고려한 이동 차이 값을 계산하는 단계는
입력된 RGB 컬러의 눈 이미지에서 그레이 스케일(Gray Scale)의 이미지로 변환하고, 이미지 파일의 크기를 미리 설정한 제1 해상도로 변환하는 단계;
미리 설정한 제1 해상도로 변환한 이미지 파일을 히스토그램 평활화를 수행하는 단계; 및
촬영된 눈의 위치 편차를 고려한 이동 차이 값을 계산하는 단계를 포함하는 착용형 디스플레이 장비에서의 눈 영상 기반 생체 인증 방법.
6. The method of claim 5,
The step of converting the input eye image into a preset eye to be authenticated and calculating a movement difference value considering a positional deviation of the eye to be imaged
Converting an input RGB color image into an image of a gray scale and converting the size of the image file into a predetermined first resolution;
Performing histogram smoothing on an image file converted into a preset first resolution; And
And calculating a movement difference value in consideration of positional deviation of the photographed eyes.

제7항에 있어서,
상기 히스토그램 평활화한 이미지 파일의 크기를 미리 설정한 제2 해상도로 변환하는 단계; 및
미리 설정한 제2 해상도로 변환된 이미지 파일의 전체 화소 값을 해당 파일의 평균 화소 값으로 차감하는 단계를 더 포함하는 착용형 디스플레이 장비에서의 눈 영상 기반 생체 인증 방법.
8. The method of claim 7,
Converting the size of the histogram smoothed image file into a preset second resolution; And
Further comprising the step of subtracting all pixel values of the image file converted into the preset second resolution by an average pixel value of the corresponding file.

제5항 내지 제8항 중 어느 하나의 착용형 디스플레이 장비에서의 눈 영상 기반 생체 인증 방법을 실행하는 컴퓨터 프로그램이 저장되고 컴퓨터가 판독 가능한 기록매체.
9. A computer program for executing an eye-image-based biometric authentication method in a wearable display device according to any one of claims 5 to 8 is stored.