KR102538080B1 - 홍채 이미지 학습 장치 및 방법 - Google Patents

홍채 이미지 학습 장치 및 방법 Download PDF

Info

Publication number
KR102538080B1
KR102538080B1 KR1020210068263A KR20210068263A KR102538080B1 KR 102538080 B1 KR102538080 B1 KR 102538080B1 KR 1020210068263 A KR1020210068263 A KR 1020210068263A KR 20210068263 A KR20210068263 A KR 20210068263A KR 102538080 B1 KR102538080 B1 KR 102538080B1
Authority
KR
South Korea
Prior art keywords
iris
series data
iris image
image
time
Prior art date
Application number
KR1020210068263A
Other languages
English (en)
Other versions
KR20220160272A (ko
Inventor
김유정
정길수
Original Assignee
주식회사 에이제이투
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이제이투 filed Critical 주식회사 에이제이투
Priority to KR1020210068263A priority Critical patent/KR102538080B1/ko
Publication of KR20220160272A publication Critical patent/KR20220160272A/ko
Application granted granted Critical
Publication of KR102538080B1 publication Critical patent/KR102538080B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Ophthalmology & Optometry (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)

Abstract

홍채 이미지 학습 장치 및 방법이 개시된다. 본 발명의 일실시예에 따른 홍채 이미지 학습 장치는 대상의 홍채를 포함하는 눈동자가 촬영된 홍채 이미지를 입력 받는 입력부; 상기 홍채 이미지에서 동공의 중심부터 눈동자와 흰자 사이의 경계까지 방사형으로 뻗어나가는 복수개의 가상 직선들 상의 밝기 크기를 샘플링하여 시계열 데이터를 생성하는 데이터 생성부 및 상기 시계열 데이터를 특징 이미지(FEATURE IMAGE)로 변환하고, 상기 특징 이미지를 학습하는 학습부를 포함한다.

Description

홍채 이미지 학습 장치 및 방법 {APPARATUS AND METHOD FOR LEARNING IRIS IMAGE}
본 발명은 홍채 인식 기술에 관한 것으로, 보다 상세하게는 머신 러닝을 이용한 홍채 인식 기술에 관한 것이다.
최근 COVID-19로 인해 사람들은 점점 개인 건강에 관심이 늘고 있다.
스마트워치의 경우, 개인 건강 체크할 수 있는 건강관리 어플리케이션을 제공하고 있다. 스마트워치의 건강관리 어플리케이션은 심전도, 혈당관리, 운동관리 등 다양한 진단 기능을 제공하고 있고, 이러한 진단 결과는 원격진료 자료로 사용되고 있으며, 개인건강기록 (PHR: Personal Health Record) 시장으로까지 확대되고 있다.
또한, COVID-19로 지문 인식은 퇴출당하고 있고, 얼굴인식은 마스크 착용에 대한 기술적 한계로 시장은 새로운 생체인식 기술로 홍채 인식 기술이 주목 받고 있다.
그러나, 스마트워치(스마트폰 Wearable Smart IoT 디바이스 등)와 같은 경량의 디바이스에 홍채 인식 알고리즘을 적용시키기 어렵다는 단점이 있다.
예를 들어, 종래 범용 홍채인식 알고리즘(Neurotechnology 사 VeriEye 알고르리즘)은 8,000-copy 일시불 구매 시 €16이고 1-copy 구매 시 €76로 경량 디바이스에 적용시키기 위해서는 너무 큰 비용이 필요하다는 단점이 있다.
따라서, 스마트워치(스마트폰 Wearable Smart IoT 디바이스 등)와 같은 경량의 디바이스에서 간편하게 사용할 수 있는 경량화 된 홍채 인식 알고리즘 개발이 필수적이다.
한편, 한국등록특허 제 10-1969766 호“홍채인식 장치 및 방법”는 홍채 이미지를 획득하는 이미지 센서의 오차 개선과 최적화에 관하여 개시하고 있다.
본 발명은 경량화된 디바이스에서 사용할 수 있는 머신 러닝 기반의 홍채 인식 알고리즘을 개발할 수 있다.
또한, 본 발명은 홍채 이미지의 정보를 손실하지 않으면서 홍채 인식의 정확도를 향상시킬 수 있다.
상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 홍채 이미지 학습 장치는 대상의 홍채를 포함하는 눈동자가 촬영된 홍채 이미지를 입력 받는 입력부; 상기 홍채 이미지에서 동공의 중심부터 눈동자와 흰자 사이의 경계까지 방사형으로 뻗어나가는 복수개의 가상 직선들 상의 밝기 크기를 샘플링하여 시계열 데이터를 생성하는 데이터 생성부 및 상기 시계열 데이터를 특징 이미지(FEATURE IMAGE)로 변환하고, 상기 특징 이미지를 학습하는 학습부를 포함한다.
이 때, 상기 데이터 생성부는 상기 복수개의 가상 직선들 상에서 상기 밝기 크기의 변화가 기설정된 값 이상 발생하는 지점을 특징점으로 설정할 수 있다.
이 때, 상기 데이터 생성부는 FFT(FAST FOURIER TRANSFORM) 알고리즘을 이용하여 상기 특징점에서의 밝기 크기의 변화로부터 주파수 데이터를 생성할 수 있다.
이 때, 상기 데이터 생성부는 상기 시계열 데이터와 상기 주파수 데이터를 비교하여 상기 밝기 크기의 오차를 보정할 수 있다.
이 때, 상기 학습부는 리커런스 플롯(RECURRENCE PLOT) 기법을 이용하여 상기 시계열 데이터를 상기 특징 이미지로 변환할 수 있다.
이 때, 상기 특징 이미지는 상기 시계열 데이터에서 홍채 구간의 밝기 크기 만을 이용하여 생성될 수 있다.
이 때, 상기 복수개의 가상 직선들의 개수는 사전에 360/N 개로 설정되고(N은 2 이상의 정수), 상기 복수개의 가상 직선들 사이의 각도는 N 도로 동일하게 설정될 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 홍채 이미지 학습 방법은 홍채 이미지 학습 장치의 홍채 이미지 학습 방법에 있어서, 대상의 홍채를 포함하는 눈동자가 촬영된 홍채 이미지를 입력 받는 단계; 상기 홍채 이미지에서 동공의 중심부터 눈동자와 흰자 사이의 경계까지 방사형으로 뻗어나가는 복수개의 가상 직선들 상의 밝기 크기를 샘플링하여 시계열 데이터를 생성하는 단계 및 상기 시계열 데이터를 특징 이미지(FEATURE IMAGE)로 변환하고, 상기 특징 이미지를 학습하는 단계를 포함한다.
이 때, 상기 시계열 데이터를 생성하는 단계는 상기 복수개의 가상 직선들 상에서 상기 밝기 크기의 변화가 기설정된 값 이상 발생하는 지점을 특징점으로 설정할 수 있다.
이 때, 상기 시계열 데이터를 생성하는 단계는 FFT(FAST FOURIER TRANSFORM) 알고리즘을 이용하여 상기 특징점에서의 밝기 크기의 변화로부터 주파수 데이터를 생성할 수 있다.
이 때, 상기 시계열 데이터를 생성하는 단계는 상기 시계열 데이터와 상기 주파수 데이터를 비교하여 상기 밝기 크기의 오차를 보정할 수 있다.
이 때, 상기 학습하는 단계는 리커런스 플롯(RECURRENCE PLOT) 기법을 이용하여 상기 시계열 데이터를 상기 특징 이미지로 변환할 수 있다.
이 때, 상기 특징 이미지는 시계열 데이터에서 홍채 구간의 밝기 크기 만을 이용하여 생성될 수 있다.
상기 복수개의 가상 직선들의 개수는 사전에 360/N 개로 설정되고(N은 2 이상의 정수), 상기 복수개의 가상 직선들 사이의 각도는 N 도로 동일하게 설정될 수 있다.
본 발명은 경량화된 디바이스에서 사용할 수 있는 머신 러닝 기반의 홍채 인식 알고리즘을 개발할 수 있다.
또한, 본 발명은 홍채 이미지의 정보를 손실하지 않으면서 홍채 인식의 정확도를 향상시킬 수 있다.
도 1은 본 발명의 일실시예에 따른 홍채 이미지 학습 장치를 나타낸 블록도이다.
도 2 및 도3은 본 발명의 일실시예에 따른 홍채 이미지의 밝기 크기를 검출하는 과정을 나타낸 도면이다.
도 4 및 도 5는 본 발명의 일실시예에 따른 시계열 데이터의 FFT 알고리즘 적용 결과 나타낸 그래프이다.
도 6 내지 도 11은 본 발명의 일실시예에 따른 시계열 데이터의 특징 이미지 변환 결과를 나타낸 도면이다.
도 12는 본 발명의 일실시예에 따른 시계열 데이터를 2차원 공간 궤적으로 변환한 결과를 나타낸 도면이다.
도 13은 도 12에서 도시된 2차원 공간 궤적으로부터 특징 이미지를 생성한 결과를 나타낸 도면이다.
도 14 내지 도 21은 본 발명의 일실시예에 따른 리커런스 플롯 기법을 이용하여 시계열 데이터를 특징 이미지로 변환한 결과를 나타낸 도면이다.
도 22는 본 발명의 일실시예에 따른 시계열 데이터의 홍채 구간의 밝기 크기로부터 특징 이미지를 생성하는 과정을 나타낸 도면이다.
도 23은 본 발명의 일실시예에 따른 딥러닝 구조를 나타낸 도면이다.
도 24 및 도 25는 도 23의 딥러닝 구조를 이용하여 생성된 특징 맵을 나타낸 도면이다.
도 26은 본 발명의 일실시예에 따른 홍채 이미지 학습 방법을 나타낸 동작흐름도이다.
도 27은 본 발명의 일실시예에 따른 홍채 이미지 학습을 통한 홍채 이미지 인식 방법을 나타낸 동작흐름도이다.
도 28은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 홍채 이미지 학습 장치를 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 홍채 이미지 학습 장치는 입력부(110), 데이터 생성부(120), 학습부(130) 및 분석부(140)를 포함한다.
입력부(110)는 대상의 홍채를 포함하는 눈동자가 촬영된 홍채 이미지를 입력 받을 수 있다.
이 때, 상기 복수개의 가상 직선들의 개수는 사전에 360/N 개로 설정되고(N은 2 이상의 정수), 상기 복수개의 가상 직선들 사이의 각도는 N 도로 동일하게 설정될 수 있다.
데이터 생성부(120)는 상기 홍채 이미지에서 동공의 중심부터 눈동자와 흰자 사이의 경계까지 방사형으로 뻗어나가는 복수개의 가상 직선들 상의 밝기 크기를 샘플링하여 시계열 데이터를 생성할 수 있다.
이 때, 데이터 생성부(120)는 상기 복수개의 가상 직선들 상에서 상기 밝기 크기의 변화가 기설정된 값 이상 발생하는 지점을 특징점으로 설정할 수 있다.
이 때, 데이터 생성부(120)는 FFT(FAST FOURIER TRANSFORM) 알고리즘을 이용하여 상기 특징점에서의 밝기 크기의 변화로부터 주파수 데이터를 생성할 수 있다.
이 때, 데이터 생성부(120)는 상기 시계열 데이터와 상기 주파수 데이터를 비교하여 상기 밝기 크기의 오차를 보정할 수 있다.
이 때, 데이터 생성부(120)는 AF 5MP 카메라 모듈과 고출력 IR-LED을 이용하여 외부조명에 둔감한 선명한 홍채 이미지를 입력받으면, 보다 정확하게 방사형 변곡점의 특징을 feature와 hypothesis 인자로 결합시켜 밝기 크기의 오차를 보정할 수 있다.
학습부(130)는 상기 시계열 데이터를 특징 이미지(FEATURE IMAGE)로 변환하고, 상기 특징 이미지를 학습할 수 있다.
이 때, 학습부(130)는 리커런스 플롯(RECURRENCE PLOT) 기법을 이용하여 상기 시계열 데이터를 상기 특징 이미지로 변환할 수 있다.
이 때, 상기 특징 이미지는 상기 시계열 데이터에서 홍채 구간의 밝기 크기 만을 이용하여 생성될 수 있다.
이 때, 학습부(130)는 상기 특징 이미지를 학습하여 홍채 인식용 딥러닝 모델을 생성할 수 있다.
이 때, 학습부(130)는 머신 러닝 기반의 VGG16 모델을 이용하여 전처리 프로세서를 개발하여 선명하고 정확한 홍채이미지를 capture한 후 여러 가지 딥러닝 기법을 검토한 후에 최종적으로 딥러닝 모델을 생성할 수도 있다.
이 때, 학습부(130)는 상기 특징 이미지를 학습하여 홍채 인식용 딥러닝 모델을 학습 및 갱신시킬 수 있다.
이 때, 학습부(130)는 상기 특징 이미지에 대한 대상자의 사용자 정보를 함께 학습할 수 있다.
분석부(140)는 홍채 인식을 위해 입력된 인식용 홍채 이미지로부터 생성된 특징 이미지와 학습부(130)에서 생성된 홍채 인식용 딥러닝 모델을 이용하여 인식용 홍채 이미지의 대상을 인식하고 사용자 정보를 획득할 수 있다.
이 때, 분석부(140)는 인식용 홍채 이미지로부터 생성된 시계열 데이터로부터 커널필터(3x3)의 feature map들을 정의하면 각 방사형 위의 가상 직선상의 변곡점을 찾을 수 있다.
도 2 및 도3은 본 발명의 일실시예에 따른 홍채 이미지의 밝기 크기를 검출하는 과정을 나타낸 도면이다.
도 2를 참조하면, 홍채 이미지로부터 방사형으로 가상 직선들을 설정하고, 가상 직선들 상의 밝기 크기의 변화가 기설정된 값 이상인 지점인 변곡점을 특징점으로 추출하는 것을 알 수 있다.
도 3을 참조하면, 동공의 중심부터 바깥쪽으로의 가상 직선상의 밝기 크기를 시계열 데이터로 나타낸 것을 알 수 있다.
이 때, 밝기 크기가 변화하는 지점을 시계열 분석 기법을 통해 추출하고, 추출된 지점을 특징점으로 설정하는 것을 알 수 있다.
이 때, 각각의 직선상의 위치에 대해서 나타난 변곡점을 신호로 해석하여 수학식 1의 FFT 모델링을 적용할 수 있다.
[수학식 1]
Figure 112021061255196-pat00001
샘플링 개수의 1/2 개의 주파수 성분이 추출될 수 있다.
도 4 및 도 5는 본 발명의 일실시예에 따른 시계열 데이터의 FFT 알고리즘 적용 결과 나타낸 그래프이다.
도 4를 참조하면, 시계열 데이터의 FFT 알고리즘을 적용한 결과를 주파수 스팩트럼(주파수, 진폭)으로 나타낸 것을 알 수 있다.
도 5를 참조하면, 시계열 데이터의 FFT 알고리즘을 적용한 결과를 복소 평면에 나타낸 것을 알 수 있다.
FFT 알고리즘을 사용하여 홍채인식을 사용하는 중요한 이유 중의 하나는 원래 신호가 x축 또는 time 축에 대해서 shift 된 신호에 대해서도 동일한, 진폭이 발생하기 때문이다.
예를 들어, 사람들이 홍채를 찍으려고 카메라에 접근해서 자세를 잡을 때 미세하게 얼굴의 각도가 달라질 수 있는데 이 때 홍채의 데이터가 미세하게 틀어지게 되고 밝기 변화가 생기지만, FFT 알고리즘을 적용하면 수학식 2의 특성에 따라 동일한 홍채에 대해서는 동일한 진폭 결과를 얻을 수 있다.
[수학식 2]
Figure 112021061255196-pat00002
즉, 사람마다 다른 홍채 무늬에 대해서 가장 밝기 변화가 큰 변곡점의 특징점은 주파수 영역에서 크기의 차이가 최소가 될 수 있으므로, FFT 알고리즘을 사용하여 생성된 주파수 데이터로부터 시계열 데이터를 보정할 수 있다.
동공의 중심점을 잘못 찾아 변곡점의 위치가 shift된 경우, 주변 조명 영향으로 주변 gray 값에 일부 변곡점이 묻혀 나타나지 않는 경우가 있을 수 있다. 이런 경우 변곡점 위치에서 신호에 대해 FFT를 통해 time 축의 진폭을 찾아 오차를 보정해주는 hypothesis을 정의하면, 딥러닝(CNN)을 이용한 A.I. 홍채 패턴 인식(매칭)알고리즘 만들 수 있다.
또한, 본 발명은 사용자가 홍채인식을 시도하는 경우 항상 LCD(거울)을 정면을 보도록 유도하여 가능한 홍채의 각도가 미세하게만 틀어지도록 유도할 수도 있다.
도 6 내지 도 11은 본 발명의 일실시예에 따른 시계열 데이터의 특징 이미지 변환 결과를 나타낸 도면이다.
도 6 및 도 7을 참조하면, 도 6에 도시된 시계열 데이터에 리커런스 플롯 기법을 적용하여 도 7과 같은 특징 이미지가 생성된 결과를 나타낸 것을 알 수 있다.
도 8 및 도 9를 참조하면, 도 8에 도시된 시계열 데이터에 리커런스 플롯 기법을 적용하여 도 9와 같은 특징 이미지가 생성된 결과를 나타낸 것을 알 수 있다.
도 10 및 도 11을 참조하면, 도 10에 도시된 시계열 데이터에 리커런스 플롯 기법을 적용하여 도 11과 같은 특징 이미지가 생성된 결과를 나타낸 것을 알 수 있다.
도 12는 본 발명의 일실시예에 따른 시계열 데이터를 2차원 공간 궤적으로 변환한 결과를 나타낸 도면이다. 도 13은 도 12에서 도시된 2차원 공간 궤적으로부터 특징 이미지를 생성한 결과를 나타낸 도면이다.
도 12 및 도 13에 나타낸 특징 이미지 생성 과정은 2017년 발표된 논문 "Classification of Time-Series Images Using Deep Convolutional Neural Networks"에 개시 된 것으로 시계열 데이터에 리커런스 플롯 기법을 적용하여 2차원 공간 궤적을 생성하고, 2차원 공간 궤적으로부터 특징 이미지를 나타낸 것을 알 수 있다.
도 14 내지 도 21은 본 발명의 일실시예에 따른 리커런스 플롯 기법을 이용하여 시계열 데이터를 특징 이미지로 변환한 결과를 나타낸 도면이다.
도 14 및 도 15를 참조하면, 도 14의 화이트 노이즈의 시계열 데이터로부터 리커런스 플롯 기법을 이용하여 도 15의 특징 이미지로 변환한 결과를 나타낸 것을 알 수 있다.
도 16 및 도 17을 참조하면, 도 16의 고조파 진동의 시계열 데이터로부터 리커런스 플롯 기법을 이용하여 도 17의 특징 이미지로 변환한 결과를 나타낸 것을 알 수 있다.
도 18 및 도 19를 참조하면, 도 18의 선형 추세의 카오스 계열의 시계열 데이터로부터 리커런스 플롯 기법을 이용하여 도 19의 특징 이미지로 변환한 결과를 나타낸 것을 알 수 있다.
도 20 및 도 21를 참조하면, 도 20의 자동 회귀 프로세스(auto-regressive process)의 시계열 데이터로부터 리커런스 플롯 기법을 이용하여 도 21의 특징 이미지로 변환한 결과를 나타낸 것을 알 수 있다.
이 때, 시계열 데이터의 직선은 단순한 이미지의 11x11 매트릭스로 표현될 수 있다.
이 때, 특징 이미지를 행렬 R이라 할 때 Ri,j는 수학식 3과 같이 나타낼 수 있다.
[수학식 3]
Figure 112021061255196-pat00003
수학식 3은 Ri,j는 Si의 거리를 의미로 다만 거리에 최소 기준치(e)을 반올림을 취했을 뿐 그냥 두 S간의 거리를 행렬로 표시될 수 있다.
예를 들어, 행렬의 R의 (1,1)의 값은 S1(0.1)과 S1의 거리는 0이지만 R(1,2)의 경우 S1(0,1)과 S2(1,2)의 거리는 단순하게 계산하면 수학식 4와 같이 나타낼 수 있다.
[수학식 4]
Figure 112021061255196-pat00004
상기와 같이 모든 조합의 S간 거리를 기록한 것으로부터 리커런스 플롯 행렬을 생성할 수 있다. 이 때, 특징 이미지를 1 과 0 의 이진 값으로 표현하면 수학식 5와 같이 나타낼 수 있다.
[수학식 5]
Figure 112021061255196-pat00005
도 22는 본 발명의 일실시예에 따른 시계열 데이터의 홍채 구간의 밝기 크기로부터 특징 이미지를 생성하는 과정을 나타낸 도면이다. 도 23은 본 발명의 일실시예에 따른 딥러닝 모델을 나타낸 도면이다. 도 24 및 도 25는 도 23의 딥러닝 모델을 이용하여 생성된 특징 맵을 나타낸 도면이다.
도 22를 참조하면, 홍채 이미지로부터 획득한 시계열 데이터에서 홍채 구간에 해당하는 시계열 데이터만을 이용하여 특징 이미지(70x70)를 생성하고,
도 23에 도시된 CNN(Convolution Neural Network) 구조의 딥러닝 모델을 이용하여 특징 이미지를 학습하고, 학습모델을 생성하는 과정을 나타낸 것을 알 수 잇다.
도 24 및 도 25를 참조하면, 상기 특징 맵을 학습한 딥러닝 모델로부터 생성된 특징 맵(feature map)을 나타낸 것을 알 수 있다.
도 26은 본 발명의 일실시예에 따른 홍채 이미지 학습 방법을 나타낸 동작흐름도이다.
도 26을 참조하면, 본 발명의 일실시예에 따른 홍채 이미지 학습 방법은 홍채 이미지를 입력 받을 수 있다(S210).
즉, 단계(S210)는 대상의 홍채를 포함하는 눈동자가 촬영된 홍채 이미지를 입력 받을 수 있다.
이 때, 상기 복수개의 가상 직선들의 개수는 사전에 360/N 개로 설정되고(N은 2 이상의 정수), 상기 복수개의 가상 직선들 사이의 각도는 N 도로 동일하게 설정될 수 있다.
또한, 본 발명의 일실시예에 따른 홍채 이미지 학습 방법은 시계열 데이터를 생성할 수 있다(S220).
즉, 단계(S220)는 상기 홍채 이미지에서 동공의 중심부터 눈동자와 흰자 사이의 경계까지 방사형으로 뻗어나가는 복수개의 가상 직선들 상의 밝기 크기를 샘플링하여 시계열 데이터를 생성할 수 있다.
이 때, 단계(S220)는 상기 복수개의 가상 직선들 상에서 상기 밝기 크기의 변화가 기설정된 값 이상 발생하는 지점을 특징점으로 설정할 수 있다.
이 때, 단계(S220)는 FFT(FAST FOURIER TRANSFORM) 알고리즘을 이용하여 상기 특징점에서의 밝기 크기의 변화로부터 주파수 데이터를 생성할 수 있다.
이 때, 단계(S220)는 상기 시계열 데이터와 상기 주파수 데이터를 비교하여 상기 밝기 크기의 오차를 보정할 수 있다.
이 때, 단계(S220)는 AF 5MP 카메라 모듈과 고출력 IR-LED을 이용하여 외부조명에 둔감한 선명한 홍채 이미지를 입력받으면, 보다 정확하게 방사형 변곡점의 특징을 feature와 hypothesis 인자로 결합시켜 밝기 크기의 오차를 보정할 수 있다.
또한, 본 발명의 일실시예에 따른 홍채 이미지 학습 방법은 특징 이미지를 학습할 수 있다(S230).
즉, 단계(S230)는 상기 시계열 데이터를 특징 이미지(FEATURE IMAGE)로 변환하고, 상기 특징 이미지를 학습할 수 있다.
이 때, 단계(S230)는 리커런스 플롯(RECURRENCE PLOT) 기법을 이용하여 상기 시계열 데이터를 상기 특징 이미지로 변환할 수 있다.
이 때, 상기 특징 이미지는 상기 시계열 데이터에서 홍채 구간의 밝기 크기 만을 이용하여 생성될 수 있다.
이 때, 단계(S230)는 상기 특징 이미지를 학습하여 홍채 인식용 딥러닝 모델을 생성할 수 있다.
이 때, 단계(S230)는 상기 특징 이미지를 학습하여 홍채 인식용 딥러닝 모델을 학습 및 갱신시킬 수 있다.
이 때, 단계(S230)는 상기 특징 이미지에 대한 대상자의 사용자 정보를 입력 받아 함께 학습할 수 있다.
이 때, 단계(S230)는 머신 러닝 기반의 VGG16 모델을 이용하여 전처리 프로세서를 개발하여 선명하고 정확한 홍채이미지를 capture한 후 여러 가지 딥러닝 기법을 검토한 후에 최종적으로 딥러닝 모델을 생성할 수도 있다.
도 27은 본 발명의 일실시예에 따른 홍채 이미지 학습을 통한 홍채 이미지 인식 방법을 나타낸 동작흐름도이다.
도 27을 참조하면, 본 발명의 일실시예에 따른 홍채 이미지 학습을 통한 홍채 이미지 인식 방법은 인식용 홍채 이미지를 입력 받을 수 있다(S310).
즉, 단계(S310)는 대상의 홍채를 포함하는 눈동자가 촬영된 인식용 홍채 이미지를 입력 받을 수 있다.
또한, 본 발명의 일실시예에 따른 홍채 이미지 학습을 통한 홍채 이미지 인식 방법은 시계열 데이터를 생성할 수 있다(S320).
즉, 단계(S320)는 단계(S220)과 동일한 방식으로 상기 인식용 홍채 이미지로부터 시계열 데이터를 생성할 수 있다.
또한, 본 발명의 일실시예에 따른 홍채 이미지 학습을 통한 홍채 이미지 인식 방법은 대상의 홍채를 인식할 수 있다(S330).
즉, 단계(S330)는 단계(S230)과 동일한 방식으로 상기 시계열 데이터를 특징 이미지(FEATURE IMAGE)로 변환할 수 있다.
이 때, 단계(S330)는 인식용 홍채 이미지로부터 생성된 시계열 데이터로부터 커널필터(3x3)의 feature map들을 정의하면 각 방사형 위의 가상 직선상의 변곡점을 찾을 수 있다.
이 때, 단계(S330)는 기생성된 홍채 인식용 딥러닝 모델을 이용하여 인식용 홍채 이미지의 대상을 인식하고 사용자 정보를 획득할 수 있다.
도 28은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
도 28을 참조하면, 본 발명의 일실시예에 따른 홍채 이미지 학습 장치는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1100)에서 구현될 수 있다. 도 28에 도시된 바와 같이, 컴퓨터 시스템(1100)은 버스(1120)를 통하여 서로 통신하는 하나 이상의 프로세서(1110), 메모리(1130), 사용자 인터페이스 입력 장치(1140), 사용자 인터페이스 출력 장치(1150) 및 스토리지(1160)를 포함할 수 있다. 또한, 컴퓨터 시스템(1100)은 네트워크(1180)에 연결되는 네트워크 인터페이스(1170)를 더 포함할 수 있다. 프로세서(1110)는 중앙 처리 장치 또는 메모리(1130)나 스토리지(1160)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1130) 및 스토리지(1160)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1131)이나 RAM(1132)을 포함할 수 있다.
본 발명의 일실시예에 따른 홍채 이미지 학습 장치 및 방법은 동공의 중심에서 180(=360도/2)개의 방사형 라인을 시계열로 표시하여 변곡점을 리커런스 플롯(Recurrence Plot) 기법을 이용하여 특징 이미지를 생성할 수 있다.
또한, 본 발명의 일실시예에 따른 홍채 이미지 학습 장치 및 방법은 CNN 알고리즘을 이용하며 특징 이미지를 학습시켜 학습 모델을 생성할 수 있다.
또한, 본 발명의 일실시예에 따른 홍채 이미지 학습 장치 및 방법은 CNN 알고리즘을 이용하며 인식용 홍채 이미지로부터 생성된 시계열 데이터로부터 커널필터(3x3)의 feature map들을 정의하면 각 방사형 위의 가상 직선상의 변곡점을 찾을 수 있다.
또한, 본 발명의 일실시예에 따른 홍채 이미지 학습 장치 및 방법은 계산량이 줄어 ARM A72 class의 프로세스를 이용한 임베디드 시스템에서 1초 이내 1,000 정도는 변별력 있는 머신 러닝 기반 홍채 인식 알고리즘 개발할 수 있다.
이상에서와 같이 본 발명의 일실시예에 따른 홍채 이미지 학습 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
110: 입력부 120: 데이터 생성부
130: 학습부 140: 분석부
1100: 컴퓨터 시스템 1110: 프로세서
1120: 버스 1130: 메모리
1131: 롬 1132: 램
1140: 사용자 인터페이스 입력 장치
1150: 사용자 인터페이스 출력 장치
1160: 스토리지 1170: 네트워크 인터페이스
1180: 네트워크

Claims (14)

  1. 대상의 홍채를 포함하는 눈동자가 촬영된 홍채 이미지를 입력 받는 입력부;
    상기 홍채 이미지에서 동공의 중심부터 눈동자와 흰자 사이의 경계까지 방사형으로 뻗어나가는 복수개의 가상 직선들 상의 밝기 크기를 기설정된 단위 마다 추출하여 시계열 데이터를 생성하는 데이터 생성부; 및
    상기 시계열 데이터를 특징 이미지(FEATURE IMAGE)로 변환하고, 상기 특징 이미지를 학습하는 학습부
    를 포함하고,
    상기 시계열 데이터는
    상기 복수개의 가상 직선들 상에서 상기 기설정된 단위 마다 추출된 밝기 크기의 값들을 포함하는 것을 특징으로 하는 홍채 이미지 학습 장치.
  2. 청구항 1에 있어서,
    상기 데이터 생성부는
    상기 복수개의 가상 직선들 상에서 상기 밝기 크기의 변화가 기설정된 값 이상 발생하는 지점을 특징점으로 설정하는 것을 특징으로 하는 홍채 이미지 학습 장치.
  3. 청구항 2에 있어서,
    상기 데이터 생성부는
    FFT(FAST FOURIER TRANSFORM) 알고리즘을 이용하여 상기 특징점에서의 밝기 크기의 변화로부터 주파수 데이터를 생성하는 것을 특징으로 하는 홍채 이미지 학습 장치.
  4. 청구항 3에 있어서,
    상기 데이터 생성부는
    상기 시계열 데이터와 상기 주파수 데이터를 비교하여 상기 밝기 크기의 오차를 보정하는 것을 특징으로 하는 홍채 이미지 학습 장치.
  5. 청구항 4에 있어서,
    상기 학습부는
    리커런스 플롯(RECURRENCE PLOT) 기법을 이용하여 상기 시계열 데이터를 상기 특징 이미지로 변환하는 것을 특징으로 하는 홍채 이미지 학습 장치.
  6. 청구항 5에 있어서,
    상기 특징 이미지는
    시계열 데이터에서 홍채 구간의 밝기 크기 만을 이용하여 생성되는 것을 특징으로 하는 홍채 이미지 학습 장치.
  7. 청구항 1에 있어서,
    상기 복수개의 가상 직선들의 개수는
    사전에 360/N 개로 설정되고(N은 2 이상의 정수), 상기 복수개의 가상 직선들 사이의 각도는 N 도로 동일하게 설정되는 것을 특징으로 하는 홍채 이미지 학습 장치.
  8. 홍채 이미지 학습 장치의 홍채 이미지 학습 방법에 있어서,
    대상의 홍채를 포함하는 눈동자가 촬영된 홍채 이미지를 입력 받는 단계;
    상기 홍채 이미지에서 동공의 중심부터 눈동자와 흰자 사이의 경계까지 방사형으로 뻗어나가는 복수개의 가상 직선들 상의 밝기 크기를 기설정된 단위 마다 추출하여 시계열 데이터를 생성하는 단계; 및
    상기 시계열 데이터를 특징 이미지(FEATURE IMAGE)로 변환하고, 상기 특징 이미지를 학습하는 단계
    를 포함하고,
    상기 시계열 데이터는
    상기 복수개의 가상 직선들 상에서 상기 기설정된 단위 마다 추출된 밝기 크기의 값들을 포함하는 것을 특징으로 하는 홍채 이미지 학습 방법.
  9. 청구항 8에 있어서,
    상기 시계열 데이터를 생성하는 단계는
    상기 복수개의 가상 직선들 상에서 상기 밝기 크기의 변화가 기설정된 값 이상 발생하는 지점을 특징점으로 설정하는 것을 특징으로 하는 홍채 이미지 학습 방법.
  10. 청구항 9에 있어서,
    상기 시계열 데이터를 생성하는 단계는
    FFT(FAST FOURIER TRANSFORM) 알고리즘을 이용하여 상기 특징점에서의 밝기 크기의 변화로부터 주파수 데이터를 생성하는 것을 특징으로 하는 홍채 이미지 학습 방법.
  11. 청구항 10에 있어서,
    상기 시계열 데이터를 생성하는 단계는
    상기 시계열 데이터와 상기 주파수 데이터를 비교하여 상기 밝기 크기의 오차를 보정하는 것을 특징으로 하는 홍채 이미지 학습 방법.
  12. 청구항 11에 있어서,
    상기 학습하는 단계는
    리커런스 플롯(RECURRENCE PLOT) 기법을 이용하여 상기 시계열 데이터를 상기 특징 이미지로 변환하는 것을 특징으로 하는 홍채 이미지 학습 방법.
  13. 청구항 12에 있어서,
    상기 특징 이미지는
    시계열 데이터에서 홍채 구간의 밝기 크기 만을 이용하여 생성되는 것을 특징으로 하는 홍채 이미지 학습 방법.
  14. 청구항 8에 있어서,
    상기 복수개의 가상 직선들의 개수는
    사전에 360/N 개로 설정되고(N은 2 이상의 정수), 상기 복수개의 가상 직선들 사이의 각도는 N 도로 동일하게 설정되는 것을 특징으로 하는 홍채 이미지 학습 방법.
KR1020210068263A 2021-05-27 2021-05-27 홍채 이미지 학습 장치 및 방법 KR102538080B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210068263A KR102538080B1 (ko) 2021-05-27 2021-05-27 홍채 이미지 학습 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210068263A KR102538080B1 (ko) 2021-05-27 2021-05-27 홍채 이미지 학습 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220160272A KR20220160272A (ko) 2022-12-06
KR102538080B1 true KR102538080B1 (ko) 2023-05-30

Family

ID=84407232

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210068263A KR102538080B1 (ko) 2021-05-27 2021-05-27 홍채 이미지 학습 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102538080B1 (ko)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102450441B1 (ko) * 2016-07-14 2022-09-30 매직 립, 인코포레이티드 홍채 식별을 위한 딥 뉴럴 네트워크
KR20200004939A (ko) * 2018-07-04 2020-01-15 노경수 스마트 폰 기반의 홍채를 통한 건강 관리 방법 및 장치

Also Published As

Publication number Publication date
KR20220160272A (ko) 2022-12-06

Similar Documents

Publication Publication Date Title
CN110136103B (zh) 医学影像解释方法、装置、计算机设备及存储介质
US10198615B2 (en) Fingerprint enrollment method and apparatus
US10891473B2 (en) Method and device for use in hand gesture recognition
US20230021661A1 (en) Forgery detection of face image
JP6544900B2 (ja) オブジェクト識別装置、オブジェクト識別方法及びプログラム
CN110705392A (zh) 一种人脸图像检测方法及装置、存储介质
US20160162673A1 (en) Technologies for learning body part geometry for use in biometric authentication
Malgheet et al. Iris recognition development techniques: a comprehensive review
US11475537B2 (en) Method and apparatus with image normalization
CN108197564B (zh) 一种画钟试验的评估***及方法
KR102434703B1 (ko) 생체 이미지 처리 방법 및 이를 포함한 장치
WO2022127112A1 (zh) 跨模态人脸识别方法、装置、设备及存储介质
US10869617B2 (en) Gait pathology detection and monitoring system, and method
Alaslni et al. Transfer learning with convolutional neural networks for iris recognition
US10866635B2 (en) Systems and methods for capturing training data for a gaze estimation model
CN111898571A (zh) 动作识别***及方法
CN108875549B (zh) 图像识别方法、装置、***及计算机存储介质
CN112541394A (zh) 黑眼圈及鼻炎识别方法、***及计算机介质
CN117809168B (zh) 一种基于水下目标的固有属性特征进行检测的方法及装置
CN114519401A (zh) 一种图像分类方法及装置、电子设备、存储介质
Ng et al. An effective segmentation method for iris recognition system
KR102538080B1 (ko) 홍채 이미지 학습 장치 및 방법
CN116704066A (zh) 图像生成模型的训练方法、装置、终端及存储介质
Pang et al. Robust eye center localization through face alignment and invariant isocentric patterns
JP2021170247A (ja) 情報処理装置、情報処理システム、情報処理方法およびプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant