KR20030046007A - 개인 식별을 위한 홍채 영상의 처리 및 인식방법과 시스템 - Google Patents

개인 식별을 위한 홍채 영상의 처리 및 인식방법과 시스템 Download PDF

Info

Publication number
KR20030046007A
KR20030046007A KR1020010075967A KR20010075967A KR20030046007A KR 20030046007 A KR20030046007 A KR 20030046007A KR 1020010075967 A KR1020010075967 A KR 1020010075967A KR 20010075967 A KR20010075967 A KR 20010075967A KR 20030046007 A KR20030046007 A KR 20030046007A
Authority
KR
South Korea
Prior art keywords
image
iris
region
feature vector
recognition
Prior art date
Application number
KR1020010075967A
Other languages
English (en)
Other versions
KR100453943B1 (ko
Inventor
이일병
기균도
이관용
Original Assignee
이일병
주식회사 세넥스테크놀로지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이일병, 주식회사 세넥스테크놀로지 filed Critical 이일병
Priority to KR10-2001-0075967A priority Critical patent/KR100453943B1/ko
Priority to US10/495,960 priority patent/US20050008201A1/en
Priority to AU2002365792A priority patent/AU2002365792A1/en
Priority to PCT/KR2002/002271 priority patent/WO2003049010A1/en
Priority to CNA028240782A priority patent/CN1599913A/zh
Publication of KR20030046007A publication Critical patent/KR20030046007A/ko
Application granted granted Critical
Publication of KR100453943B1 publication Critical patent/KR100453943B1/ko

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)

Abstract

본 발명은 홍채 영상 입력장치로부터 사용자의 간섭을 최소화하여 양질의 홍채 영상을 입력받는 방법과 홍채 패턴 처리를 위한 영상처리와 홍채 특징 추출 및 인식 방법에 관한 것으로, 연속적으로 입력되는 영상의 질(Quality)을 판단하는 방법과 캐니 경계선 검출 방법(Canny Edge Detector)과 탄성체 모델을 이용하여 획득된 홍채영상으로부터 정보의 손실 없이 효율적으로 홍채 영역만을 추출해 내는 방법, 그리고, 2 차원의 이산적인 웨이블렛 변환을 기반으로 다해상도 분할을 이용하여 분할 된 부 영상(sub-image)으로부터 1차 통계값을 결합하는 진보된 특징 추출과 인식을 제공하며, 정보보호 분야 및 생체인식 기술 분야 등에 이용된다.

Description

개인 식별을 위한 홍채 영상의 처리 및 인식 방법{IRIS IMAGE PROCESSING AND RECOGNIZING METHOD FOR PERSONAL IDENTIFICATION}
본 발명은 홍채 패턴 정보를 이용한 개인식별 및 확인을 위한 영상처리, 특징 추출 및 인식방법에 관한 것으로, 더욱 상세하게는 연속적으로 입력되는 동영상 프레임의 순위를 결정한 후 인식 시스템에 제공하는 영상의 질(Quality)을 판단하는 방법과 캐니 경계선 검출 방법(Canny Edge Detector) 및 Bisection 법과 탄성체 모델을 이용하여 획득된 홍채영상으로부터 정보의 손실 없이 효율적으로 홍채 영역만을 추출해 내는 방법, 그리고, 2차원의 이산적인 웨이블렛 변환을 기반으로 다해상도 분할을 이용하여 분할된 부 영상(sub-image)으로부터 1 차 통계값을 결합하는 진보된 특징 추출 및 인식을 수행할 수 있는 개인 식별을 위한 홍채 영상의 처리 및 인식 방법에 관한 것이다.
일반적으로, 생체 특징 정보를 활용하여 개인의 신원을 확인하고 응용하려는 기술 개발에 있어서 핵심이 되는 기술은, 입력영상으로부터 영상을 구성하는 패턴의 독특한 특징 정보를 효율적으로 획득하고, 이러한 정보를 바탕으로 특징 정보간의 정확한 비교를 통해 입력영상을 분류하는 것이다.
개인을 식별하는 전통적인 방법으로 널리 활용되어 지고 있는 개인 암호나 개인식별번호 등은 도용 및 분실의 위험 등으로 인하여 점차 고도화, 첨단화되고 있는 정보사회에서의 안정적이고 정확한 개인식별에 대한 요구를 충족 시켜줄 수 없을 뿐만 아니라 그 역기능으로 인하여 사회전반에 대한 많은 부작용을 초래할 수있다. 이러한 전통적인 개인식별 방법들의 단점을 보완할 수 있는 대체 방법으로써 상기한 바와 같은 생체인식은 각광을 받고 있다.
상기 생체인식은 개개인의 물리적(생체적) 특성 및 행동적 특성을 기반으로 하여 개인을 식별하는 방법으로써 지문, 얼굴, 홍채, 장문 등이 물리적 특성이라 할 수 있으며, 서명, 음성 등이 행동적 특성으로 분류될 수 있다. 이러한 다양한 생체인식 방법 중에서 홍채(Iris)는 개인을 식별함에 있어 유일성과 불변성, 안정성 측면에서 가장 뛰어나다고 알려져 있으며 오인식률이 매우 낮아 고도의 보안이 요구되는 분야에 적용되고 있다. 홍채는 출생 후 3 세 이전에 모두 형성되며 특별한 외상을 입지 않는 한 평생 변하지 않는 것으로 알려져 있다.
종래의 홍채인식 분야에서는 카메라로부터 입력되는 영상에 대하여 실시간으로 영상 적합성 판단을 하는 필터링 기능을 부여하지 않아 시스템 전체의 처리 시간과 인식률이 떨어지는 문제점이 있었으며, 사용자에게 정확한 위치 선정과 동작을 강요함으로써 사용자가 많은 불편함을 느꼈다.
또한, 종래의 홍채인식 분야에서는 동공(pupil)과 공막(sclera) 사이에 존재하는 홍채 영역을 분리해 내기 위하여 원형 경계선 검출기를 사용하였는데 이미 원 성분이 있다는 가정 하에 수행하는 것으로서 원 성분이 없다는 것을 찾지는 못한다는 단점이 있으며 계산 시간이 크다는 단점이 있다.
그리고, 종래의 홍채인식 분야에서는 가버 변환을 이용하여 특징을 추출하고 벡터를 구성하는 방법이 주류를 이루어왔다. 이러한 방법들에 의해 생성된 특징벡터는 256 이상의 차원으로 구성되어, 한 차원당 한 바이트를 차지한다고 가정을 해도 최소한 256 바이트(Byte) 이상을 차지하기 때문에 실용적인 관점에서는 다소 효율성이 떨어지는 문제점이 있었다.
또한, 종래의 방법들에서는 패턴 분류를 위해서 두 특징벡터(입력패턴에 대한 특징벡터와 저장되어 있는 참조 특징벡터) 간의 해밍 거리와 같은 간단한 거리 측량 방법을 이용하기 때문에, 패턴 정보의 일반화를 통해 참조 특징벡터의 구성이 용이하지 않고 특징벡터의 각 차원이 가지는 정보의 특성을 적절히 반영하지 못하는 문제점이 있었다.
본 발명은 상기 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 연속적으로 입력되는 동영상 프레임의 순위를 결정한 후 인식 시스템에 제공하는 영상의 질(Quality)을 판단하는 방법과, 캐니 경계선 검출 방법(Canny Edge Detector), Bisection 법 및 탄성체 모델을 이용하여 획득된 홍채영상으로부터 정보의 손실 없이 효율적으로 홍채 영역만을 추출해 내는 방법, 그리고 2차원의 이산적인 웨이블렛 변환을 기반으로 다해상도 분할을 이용하여 분할된 부 영상(sub-image)으로부터 1 차 통계값을 결합하는 진보된 특징 추출과 인식을 수행하는 개인 식별을 위한 홍채 영상의 처리 및 인식 방법을 제공하는 것에 있다.
또한, 본 발명의 다른 목적은 미리 설정된 시간 내에 복수 개의 영상들을 입력받아 영상의 적합성 판단을 하기 위한 개인 식별을 위한 홍채 영상의 처리 및 인식 방법을 제공하는 것에 있다.
또한, 본 발명의 다른 목적은 캐니 경계 검출기, Bisection 법 및 탄성체 모델을 이용하여 눈 영상에서 홍채 영상을 분리해 내기 위한 개인 식별을 위한 홍채 영상의 처리 및 인식 방법을 제공하는 것에 있다.
또한, 본 발명의 다른 목적은 2차원의 이산적인 웨이브렛 변환의 다중분할을 이용하여 홍채 영상으로부터 효과적으로 그 특징을 추출하기 위한 개인 식별을 위한 홍채 영상의 처리 및 인식 방법을 제공하는 것에 있다.
또한, 본 발명의 다른 목적은 정규화된 유클리디안 거리 및 최소거리 분류법칙을 사용하는 진보된 인식을 수행하는 개인 식별을 위한 홍채 영상의 처리 및 인식 방법을 제공하는 것에 있다.
이와 같은 목적을 달성하기 위한 본 발명은 개인식별을 위한 홍채 영상의 처리 및 인식 방법에 있어서, 홍채 영상신호를 입력받아 영상의 질을 판단하고 필터링 하여주는 영상 필터링 과정; 상기 영상 필터링 과정으로부터 입력되는 눈 영상에 대하여 캐니 경계선 검출기 및 Bisection 법과 탄성체 모델을 이용하여 홍채 영상만을 분리해 내는 홍채영역 분리 과정; 상기 홍채영역 분리 과정으로부터 분리 추출된 홍채 영상신호를 웨이블렛 변환하여 다중 분할하여 특징을 추출하고, 분할된 부영상으로부터 통계적인 방법에 의하여 특징벡터를 추출하는 특징벡터 추출과정; 및 상기 특징벡터 추출과정으로부터 추출된 특징벡터를 입력받아 정규화된 유클리디안 거리 및 최소거리 분류 규칙을 적용하여 인식을 수행하는 인식수행과정; 을 포함하는 특징이 있다.
도 1은 본 발명에 따른 개인 식별을 위한 홍채 영상의 처리 및 인식 방법이 적용되는 홍채인식 시스템의 하드웨어 블록도,
도 2는 본 발명에 따른 개인 식별을 위한 홍채 영상의 처리 및 인식 방법의 전체 흐름도,
도 3은 본 발명에 따른 영상 필터링 과정을 상세히 나타낸 흐름도,
도 4는 본 발명에 따른 홍채영역 분리 과정을 상세히 나타낸 흐름도,
도 5는 상기 도 4의 Bisection법을 설명하기 위한 좌표도,
도 6은 상기 도 4의 홍채영역을 정규화 하기 위한 탄성체 모델의 구성도,
도 7은 본 발명에 따른 특징벡터 추출과정에서 특징을 추출하는 과정을 상세히 나타낸 흐름도,
도 8은 상기 도 7의 특징을 추출하는 과정을 설명하기 위한 영역분할 구성도,
도 9는 상기 도 7의 특징벡터 추출과정에서 특징벡터를 추출하는 과정을 상세히 나타낸 흐름도이다.
이하, 첨부된 도면에 의거하여 본 발명의 구성을 보다 상세히 설명한다.
도 1은 본 발명에 따른 개인 식별을 위한 홍채 영상의 처리 및 인식 방법이 적용되는 홍채인식 시스템의 하드웨어 블록도이다.
도시된 바와 같이, 본 발명이 적용되는 홍채인식 시스템은, 미 도시된 감지 및 입력장치를 통해 사람의 눈(70) 영상을 입력받고, 입력된 눈 영상들로부터 적절한 영상을 필터링하기 위한 눈 영상 입력수단(10)과, 상기 눈 영상 입력수단(100)으로부터 선택된 눈 영상에 대하여 캐니 경계선 검출기 및 Bisection 방법과 탄성체 모델을 적용하여 홍채(72) 영역만을 분리해 내는 홍채영역 분리수단(20)과, 상기 홍채영역 분리수단(20)에서 분리된 홍채 영상 신호를 웨이브렛 변환하여 다중분할하고, 분할된 영상으로부터 통계적인 정보를 이용하여 특징벡터를 추출하기 위한 분할된 영상의 특징벡터를 추출하는 특징추출수단(30)과, 상기 특징추출수단(30)으로부터 추출된 홍채영역 데이터를 BD(데이터베이스)(50)에 저장하는 등록수단(40)과, 상기 특징추출수단(30)으로부터 추출된 홍채영역 데이터와, 상기 DB(50)에 저장되어 있는 데이터를 비교하여 동일 또는 비동일을 판단하는 인식수단(60)을 포함한다.
도 2는 본 발명에 따른 개인 식별을 위한 홍채 영상의 처리 및 인식 방법의 전체 흐름도이다.
도시된 바와 같이, 본 발명에 따른 개인 식별을 위한 홍채 영상의 처리 및 인식 방법은 홍채 영상신호를 입력받아 영상의 질을 판단하고 필터링 하여주는 영상 필터링 과정(100)과, 상기 영상 필터링 과정(100)으로부터 입력되는 눈 영상에 대하여 캐니 경계선 검출기 및 Bisection 법과 탄성체 모델을 이용하여 홍채 영상만을 분리해 내는 홍채영역 분리 과정(200)과, 상기 홍채영역 분리 과정(200)으로부터 분리 추출된 홍채 영상신호를 웨이블렛 변환하여 다중 분할하여 특징을 추출하고, 분할된 부영상으로부터 통계적인 방법에 의하여 특징벡터를 추출하는 특징벡터 추출과정(300)과, 상기 특징벡터 추출과정(300)으로부터 추출된 특징벡터를 입력받아 정규화된 유클리디안 거리 및 최소거리 분류 규칙을 적용하여 인식을 수행하는 인식수행과정(400)을 포함한다.
도 3은 본 발명에 따른 상기 영상 필터링 과정(100)을 상세히 나타낸 흐름도이다.
도시된 바와 같이, 영상 필터링 과정(100)은 눈 영상을 입력하는 단계(110)와, 입력된 눈 영상에 깜빡임(F1)이 탐지되었는가를 판단하는 단계(120)와, 상기 단계(120)에서 깜빡임이 감지되지 않으면 동공의 위치(F2)를 탐지하는 단계(130)와, 에지(edge) 수직성분(F3)을 조사하는 단계(140)와, 상기 F1(깜빡임 탐지),F2(동공위치 탐지) 및 F3(수직성분 분포)을 변수로 하는 함수[]가 소정의 임계치보다 큰가를 판단하는 단계(150)와, 상기 판단단계(120)에서 깜빡임이 감지되거나, 상기 판단단계(150)에서 함수[]가 임계치보다 크게되면 입력 영상을 사용하지 아니하는 단계(160)와, 상기 판단단계(150)에서 함수[]가소정의 임계치보다 작은 경우에만 입력된 눈 영상을 사용하는 단계(170)로 구성된다.
이와 같이, 본 발명에 따른 영상 필터링 과정(100)은 입력된 눈 영상 중 품질이 좋은 영상과 그렇지 못한 영상과의 판별을 위하여 상기 3가지 판별 함수(F1,F2 및 F3)를 정의하고, 상기 입력된 영상은 M ×N 개의 블록으로 나뉘어져 각 단계 함수에서 활용된다. 그리고, 각 판별 조건 함수 값을 합산한 것이 영상의 인식과정 활용 적합도를 나타내며 일정시간 획득된 각 동영상 프레임의 순위 매김 기준이 되며, 상기 적합도의 강도는 상기 임계치의 값을 조정함으로써 변경할 수 있도록 하였다.
도 4는 본 발명에 따른 홍채영역 분리 과정(200)을 상세히 나타낸 흐름도이다.
도시된 바와 같이, 홍채영역 분리 과정(200)은 상기 영상 필터링 과정(100)으로부터 입력되는 필터링된 눈 영상을 입력받는 단계(210)와, 상기 입력된 눈 영상에서 홍채영역을 추출하기 위한 단계로서, 캐니 경계선 검출기를 이용하여 홍채의 경계요소를 추출하는 단계(220)와, Bisection 방법에 의하여 연결요소를 그룹화하는 단계(230)와, 홍채의 내부 및 외부 경계를 검출하는 단계(240)와, 상기 3가지 단계(220,230,240)를 거쳐 홍채영역을 최종 검출하는 단계(250)와, 상기 검출된 홍채영역에 탄성체 모델을 적용하여 홍채영역을 정규화하는 단계(260)와, 정규화된 홍채영상이 생성되는 단계(270)로 구성된다.
도 5는 상기 Bisection법에 의하여 연결요소를 그룹화하는 단계(230)를 설명하기 위한 좌표도로서, 선택된 눈 영상에 대하여, 경계선 검출기를 눈 영상에 적용하여 눈 영상에서 전경과 배경에 차이가 많이 발생하는 경계를 찾은 후에 보다 정확하게 동공(71)과 홍채(72)의 경계 및 공막(74)과 홍채(72)의 경계 영역을 찾아내기 위한 과정이고, 연결된 픽셀 요소들끼리 각각의 그룹으로 묶는 일이며 여기에는 연결된 순서대로 정렬하는 것도 포함된다.
도 6은 상기 도 4의 홍채영역을 정규화 하기 위한 탄성체 모델을 정의하고 적용하는 방법을 설명하기 위한 구성도로서, 이 방법은 동공(71) 경계와 홍채(72) 경계로 이루어진 영역을 일정한 공간으로 사상시킬 필요성이 있기 때문이며 그 모양이 일그러져도 영역 관계는 일대일 대응되어야 한다는 조건을 전제시킨 것으로써 모양이 일그러질 때의 지점 이동도 고려한다.
상기 탄성체 모델은 홍채 근육(72)은 외곽 프레임에 핀 결합으로 연결된 탄성체로 이루어져 있으며, 이 탄성체는 길이 방향으로만 변형될 수 있으며 길이에 수직한 방향으로는 변형되지 않는다는 제한 조건을 가지고 움직인다고 모델링 한다. 이러한 조건을 가지면 탄성체의 고정 선단은 핀 조인트로 결합되어 있으므로 좌우 회전이 가능하며, 동공(71)은 이런 탄성체의 고정되지 않은 선단들이 이루는 모양으로서 동공(71) 경계의 수직한 방향은 이 탄성체의 축 방향이라고 설정할 수 있다.
도 7은 본 발명에 따른 특징벡터 추출 과정(300)에서 특징을 추출하는 과정을 상세히 나타낸 흐름도이고, 도 8은 그 과정을 설명하기 위한 영역분할 구성도이다.
도시된 바와 같이, 본 발명에 따른 특징벡터 추출과정(300)에서 특징을 추출하는 과정은, 홍채영역 분리과정(200)을 통해 분리된 홍채영역 영상신호를 입력받는 단계(310)와, 상기 입력된 영상신호를 Daubechies 웨이블렛 변환을 적용하여 영상을 분할하는 단계(320)와, 상기 분할된 영상을 X축과 Y축에 대하여 고주파 성분(HH)을 포함한 영역을 추출하는 단계(330)와, 상기 HH영역의 특징값에 의한 패턴의 판별율(D) 계산 또는 반복 횟수를 증가하는 단계(340)와, 임계치 상기 판별율(D) 보다 작거나 또는 상기 반복횟수가 소정의 지정된 횟수보다 작은가를 판단하는 단계(350)와, 상기 판단단계(350)에서 상기 임계치가 상기 판별율(D) 보다 크거나, 또는 상기 반복횟수가 소정의 지정된 횟수보다 크다면 처리과정을 종료하고, 상기 임계치가 상기 판별율(D) 보다 작거나, 또는 상기 반복횟수가 상기 판별율(D) 보다 작다면 HH영역 정보의 저장하고 관리하는 단계(360)와, X축과 Y축에 대해 모두 저주파 성분인 영역(LL)을 추출하는 단계(370)와, 상기 LL영역(전 영상에 비해 크기가 1/4로 줄어든 영상)을 새로운 처리대상 영상으로 선정하는 단계(380)로 구성된다.
도 9는 상기 도 7의 특징벡터 추출과정(300)에서 특징벡터를 추출하는 과정을 상세히 나타낸 흐름도이다.
도시된 바와 같이, 본 발명에 따른 특징벡터 추출과정(300)에서 특징벡터를 추출하는 과정은, 분해 중간 레벨에서 구해진 LL, HH를 국부창으로 분할하는 단계(410)와, 상기 분할된 국부 창으로부터 평균, 표준편차 추출하는 단계(420)와, 상기 추출된 값들로 특징벡터를 구성하는 단계(430)로 구성된다.
이와 같이 구성된 본 발명의 동작을 이하 설명한다.
먼저, 눈 영상 입력수단(10)을 통해 사람의 눈 영상이 입력되면(110단계), 눈의 깜박임 유무(F1), 동공위치(F2) 및 수직성분(F3) 등의 3가지 함수[]를 이용하여(120~140단계), 상기 함수[]가 소정의 임계치 보다 작은 영상을 적합한 영상으로 판별하여, 입력된 눈 영상 중 품질이 좋은 영상과 그렇지 못한 영상을 필터링 하게된다(150~170단계).
이와 같이, 필터링 되어 입력되는(210단계) 품질 좋은 눈 영상은, 홍채영역분리수단(20)에서 홍채영역을 추출하기 위한 다음과 같은 과정을 수행하게 된다.
우선, 선택된 눈 영상에 대하여, 캐니 경계선 검출기를 눈 영상에 적용하여 눈 영상에서 전경과 배경에 차이가 많이 발생하는 경계를 찾은 후에 보다 정확하게 동공(71)과 홍채(72)의 경계 및 공막(74)과 홍채(72)의 경계 영역을 찾아낸다. 그리고, 연결된 픽셀 요소들끼리 각각의 그룹으로 묶고, 연결된 순서대로 정렬한다(220~240단계).
그리고, 상기 3가지 단계(220,230,240)를 거쳐 홍채영역을 최종 검출하며, 상기 검출된 홍채영역에 탄성체 모델을 적용하여 홍채영역을 정규화 하게 되는 데, 상기 탄성체 모델은 홍채 근육(72)은 외곽 프레임에 핀 결합으로 연결된 탄성체로 이루어져 있으며, 이 탄성체는 길이 방향으로만 변형될 수 있으며 길이에 수직한 방향으로는 변형되지 않는다는 제한 조건을 가지고 움직인다고 모델링 한다. 이러한 조건을 가지면 탄성체의 고정 선단은 핀 조인트로 결합되어 있으므로 좌우 회전이 가능하며, 동공(71)은 이런 탄성체의 고정되지 않은 선단들이 이루는 모양으로서 동공(71) 경계의 수직한 방향은 이 탄성체의 축 방향이라고 설정할 수 있다(260단계). 따라서 상기 정규화된 홍채영상이 생성된다(270단계).
상기와 같은 과정을 통해 생성된 홍채영역(영상신호)은 특징추출수단(30)에 입력되고, 상기 특징추출수단(30)에서는 도베시스(Daubechies) 웨이브렛 변환을 일정한 횟수 또는 일정한 기준을 만족하는 동안 반복적으로 적용하여 영상신호(홍채영역)를 분할한다(310,320단계). 이 과정에서 특징 추출을 위하여 필요한 고주파 성분만을 포함한 영역을 별도로 추출한다. 다시 말해서, 홍채영상 신호의 다중 분할 과정은, 영상신호가 입력되면 이에 대해서 도베시스 웨이브렛 변환을 적용하여 영상을 다중으로 분할하고, 분할된 영상 중에서 X축과 Y축에 대해 모두 고주파 성분만을 포함한 영역(HH)을 추출한다(330단계).
이후, 상기 HH영역의 특징값에 의한 패턴의 판별율(D)을 계산하여 계산한 판별율(D)이나 또는 과정의 반복 횟수를 판단하는데, 상기 판별율(D)이 일정한 임계치 이하이면 처리 과정을 종료하거나, 반복되는 횟수가 지정된 횟수보다 큰 경우에도 처리 과정을 종료한다(340,350단계).
그리고, 상기의 판단과정에서 판별율(D)이 임계치 이상이거나, 과정이 반복되는 횟수가 지정된 횟수 이하일 경우에는, 현재 HH 영역의 정보를 저장하고 분할된 영상 중에서 X축과 Y축에 대해 모두 저주파 성분만을 포함한 영역(LL)을 추출한 뒤, 이전 영상의 크기에 비해 1/4로 크기가 줄어든 LL영역을 새로운 처리 대상 영상으로 제공함으로써, 상기 도베시스(Daubechies) 웨이브렛 변환을 적용하여 영상을 다중으로 분할하는 과정부터 다시 반복 수행한다(360~380단계).
그리고, 여러 단계의 웨이브렛 변환 중 중간레벨을 통해 얻어진 HH영역과 LL 영역을 입력받아, N??N의 국부적인 창으로 분할하여 평균값과 표준편차 값을 구하고, 이러한 특징벡터의 각 요소 값들을 사용하여 최종의 특징벡터를 구성한다(410~430단계).
그리고, 상기 특징벡터를 입력받아 정규화된 유클리디안 거리 및 최소 거리 분류 규칙을 적용하여, 결정된 결과를 바탕으로 개인을 인증하게 되는 것이다.
이상에서와 같이 본 발명은, 홍채 패턴 정보를 이용한 개인 신원 확인 시스템에서 입력된 눈 영상 중 눈의 깜빡임이 있는 경우, 둘째, 사용자의 움직임으로 인해 동공 중심이 영상의 중앙에서 크게 벗어나 홍채 영역의 일부가 사라지는 경우, 셋째, 눈꺼풀에 의하여 생기는 그림자의 영향으로 홍채 영역이 불분명하게 나타나는 경우, 넷째, 잡영이 심하게 들어간 영상을 사전에 실시간 처리로 제외시킴으로써 처리의 효율성과 인식률 향상이 가능하게 된다.
또한, 눈 영상 입력시 사용자의 위치와 거리에 영향을 받지 않고 영상 획득이 가능함으로 사용자 편의성을 극대화 할 수 있다.
또한, 눈 영상에서 홍채 영상을 추출하는 단계에서 Bisection 법과 탄성체 모델을 적용함으로써 잡영에 의한 영향을 최소화 할 수 있을 뿐만 아니라 홍채 검출의 정확성을 향상시킬 수 있다.
또한, 2 차원의 홍채영상에 대해 웨이브렛 변환을 반복적으로 적용함으로써 얻어지는 축소된 크기의 영상에 대하여 특징을 추출하고, 더욱이 통계값의 조합으로 특징 벡터를 구성하여 특징 벡터의 크기를 줄일 수 있을 뿐만 아니라 홍채 영역의 회전 및 위치 변경에 영향을 받지 않아 처리 성능을 향상시킬 수 있는 효과가 있다.
또한, 본 발명은, 인식부에서 최종 출력 결과를 생성하기 위해 학습된 특징벡터와 입력패턴이 특징벡터를 비교하는 과정에서, 단순하고 큰 값에 영향을 받지 않는 거리 계산 및 유사도 측정으로 처리 성능이나 처리 시간의 관점에서 효율적으로 인식할 수 있는 기술을 제공하여, 홍채 패턴 정보의 분석 이외에 다양한 패턴인식 분야의 문제에도 유연성 있게 적용할 수 있는 기술 기반을 제공할 수 있는 효과가 있다.

Claims (7)

  1. 개인식별을 위한 홍채 영상의 처리 및 인식 방법에 있어서,
    홍채 영상신호를 입력받아 영상의 질을 판단하고 필터링 하여주는 영상 필터링 과정(100);
    상기 영상 필터링 과정(100)으로부터 입력되는 눈 영상에 대하여 캐니 경계선 검출기 및 Bisection 법과 탄성체 모델을 이용하여 홍채 영상만을 분리해 내는 홍채영역 분리 과정(200);
    상기 홍채영역 분리 과정(200)으로부터 분리 추출된 홍채 영상신호를 웨이블렛 변환하여 다중 분할하여 특징을 추출하고, 분할된 부영상으로부터 통계적인 방법에 의하여 특징벡터를 추출하는 특징벡터 추출과정(300); 및
    상기 특징벡터 추출과정(300)으로부터 추출된 특징벡터를 입력받아 정규화된 유클리디안 거리 및 최소거리 분류 규칙을 적용하여 인식을 수행하는 인식수행과정(400); 을 포함하는 것을 특징으로 하는 개인 식별을 위한 홍채 영상의 처리 및 인식 방법.
  2. 제 1 항에 있어서,
    상기 영상 필터링 과정(100)은, 눈 영상을 입력하는 단계(110);
    입력된 눈 영상에 깜빡임(F1)이 탐지되었는가를 판단하는 단계(120);
    상기 단계(120)에서 깜빡임이 감지되지 않으면 동공의 위치(F2)를 탐지하는 단계(130);
    에지(edge) 수직성분(F3)을 조사하는 단계(140);
    상기 F1(깜빡임 탐지),F2(동공위치 탐지) 및 F3(수직성분 분포)을 변수로 하는 함수[]가 소정의 임계치보다 큰가를 판단하는 단계(150);
    상기 판단단계(120)에서 깜빡임이 감지되거나, 상기 판단단계(150)에서 함수[]가 임계치보다 크게되면 입력 영상을 사용하지 아니하는 단계(160); 및
    상기 판단단계(150)에서 함수[]가 소정의 임계치보다 작은 경우에만 입력된 눈 영상을 사용하는 단계(170);를 포함하여 된 것을 특징으로 하는 개인 식별을 위한 홍채 영상의 처리 및 인식 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    영상 필터링 과정(100)은 깜박임 탐지, 동공의 위치 판단, 에지 수직성분의 분포 등의 판별조건함수를 적용하여 임계치를 변경하며 인식과정 적합도를 구분하는 방법이 포함되는 것을 특징으로 개인 식별을 위한 홍채 영상의 처리 및 인식 방법.
  4. 제 1 항에 있어서,
    상기 홍채영역 분리 과정(200)은, 상기 영상 필터링 과정(100)으로부터 입력되는 필터링된 눈 영상을 입력받는 단계(210);
    캐니 경계선 검출기를 이용하여 홍채의 경계요소를 추출하는 단계(220);
    Bisection 방법에 의하여 연결요소를 그룹화하는 단계(230);
    홍채의 내부 및 외부 경계를 검출하는 단계(240);
    상기 3가지 단계(220,230,240)를 거쳐 홍채영역을 최종 검출하는 단계(250);
    상기 검출된 홍채영역에 탄성체 모델을 적용하여 홍채영역을 정규화하는 단계(260); 및
    정규화된 홍채영상이 생성되는 단계(270); 를 포함하여 된 것을 특징으로 하는 개인 식별을 위한 홍채 영상의 처리 및 인식 방법.
  5. 제 1 항에 있어서,
    상기 특징벡터 추출 과정(300)은 분리된 홍채영역 영상신호를 입력받는 단계(310);
    상기 입력된 영상신호를 Daubechies 웨이블렛 변환을 적용하여 영상을 분할하는 단계(320);
    상기 분할된 영상을 X축과 Y축에 대하여 고주파 성분(HH)을 포함한 영역을 추출하는 단계(330);
    상기 HH영역의 특징값에 의한 패턴의 판별율(D) 계산 또는 반복 횟수를 증가하는 단계(340);
    임계치 상기 판별율(D) 보다 작거나 또는 상기 반복횟수가 소정의 지정된 횟수보다 작은가를 판단하는 단계(350);
    상기 판단단계(350)에서 상기 임계치가 상기 판별율(D) 보다 크거나, 또는 상기 반복횟수가 소정의 지정된 횟수보다 크다면 처리과정을 종료하고, 상기 임계치가 상기 판별율(D) 보다 작거나, 또는 상기 반복횟수가 상기 판별율(D) 보다 작다면 HH영역 정보의 저장하고 관리하는 단계(360);
    X축과 Y축에 대해 모두 저주파 성분인 영역(LL)을 추출하는 단계(370); 및
    상기 LL영역(전 영상에 비해 크기가 1/4로 줄어든 영상)을 새로운 처리대상 영상으로 선정하는 단계(380);를 포함하여 된 것을 특징으로 하는 개인 식별을 위한 홍채 영상의 처리 및 인식 방법.
  6. 제 1 항 또는 제 5 항에 있어서,
    상기 특징벡터 추출과정(300)은 분해 중간 레벨에서 구해진 LL, HH를 국부창으로 분할하는 단계(410);
    상기 분할된 국부 창으로부터 평균, 표준편차 추출하는 단계(420); 및
    상기 추출된 값들로 특징벡터를 구성하는 단계(430)를 더 포함하여 된 것을 특징으로 하는 개인 식별을 위한 홍채 영상의 처리 및 인식 방법.
  7. 제 1 항에 있어서,
    상기 인식수행과정(400)은 추출된 특징벡터를 입력받아 정규화된 유클리디안 거리 및 최소거리 분류규칙을 적용하여 수행하는 것을 특징으로 하는 개인 식별을 위한 홍채 영상의 처리 및 인식 방법.
KR10-2001-0075967A 2001-12-03 2001-12-03 개인 식별을 위한 홍채 영상의 처리 및 인식방법과 시스템 KR100453943B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR10-2001-0075967A KR100453943B1 (ko) 2001-12-03 2001-12-03 개인 식별을 위한 홍채 영상의 처리 및 인식방법과 시스템
US10/495,960 US20050008201A1 (en) 2001-12-03 2002-12-03 Iris identification system and method, and storage media having program thereof
AU2002365792A AU2002365792A1 (en) 2001-12-03 2002-12-03 Iris identification system and method, and storage media having program thereof
PCT/KR2002/002271 WO2003049010A1 (en) 2001-12-03 2002-12-03 Iris identification system and method, and storage media having program thereof
CNA028240782A CN1599913A (zh) 2001-12-03 2002-12-03 虹膜识别***和方法以及具有其程序的存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0075967A KR100453943B1 (ko) 2001-12-03 2001-12-03 개인 식별을 위한 홍채 영상의 처리 및 인식방법과 시스템

Publications (2)

Publication Number Publication Date
KR20030046007A true KR20030046007A (ko) 2003-06-12
KR100453943B1 KR100453943B1 (ko) 2004-10-20

Family

ID=19716575

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0075967A KR100453943B1 (ko) 2001-12-03 2001-12-03 개인 식별을 위한 홍채 영상의 처리 및 인식방법과 시스템

Country Status (5)

Country Link
US (1) US20050008201A1 (ko)
KR (1) KR100453943B1 (ko)
CN (1) CN1599913A (ko)
AU (1) AU2002365792A1 (ko)
WO (1) WO2003049010A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030066512A (ko) * 2003-07-04 2003-08-09 김재민 노이즈에 강인한 저용량 홍채인식 시스템
KR20040026905A (ko) * 2002-09-26 2004-04-01 주식회사 세넥스테크놀로지 실시간 홍채인식을 위한 영상품질 평가장치 및 방법과 그프로그램을 저장한 기록매체
KR100476406B1 (ko) * 2002-12-03 2005-03-17 이일병 웨이블렛 패킷변환을 이용한 홍채인식 시스템 및 방법과그 프로그램을 저장한 기록매체
KR100880256B1 (ko) * 2008-07-11 2009-01-28 주식회사 다우엑실리콘 실물 인식을 이용한 얼굴 인식 시스템 및 방법
KR101537997B1 (ko) * 2014-01-03 2015-07-22 고려대학교 산학협력단 공모 공격으로부터 안전한 클라이언트 인증 방법 및 클라이언트 인증 서버, 클라우드 서버, 클라이언트 인증 시스템

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100374707B1 (ko) * 2001-03-06 2003-03-04 에버미디어 주식회사 도비치스 웨이블렛 변환을 이용한 홍채인식방법
US8442276B2 (en) * 2006-03-03 2013-05-14 Honeywell International Inc. Invariant radial iris segmentation
US7593550B2 (en) * 2005-01-26 2009-09-22 Honeywell International Inc. Distance iris recognition
US8050463B2 (en) * 2005-01-26 2011-11-01 Honeywell International Inc. Iris recognition system having image quality metrics
US8045764B2 (en) * 2005-01-26 2011-10-25 Honeywell International Inc. Expedient encoding system
US8098901B2 (en) 2005-01-26 2012-01-17 Honeywell International Inc. Standoff iris recognition system
US8705808B2 (en) 2003-09-05 2014-04-22 Honeywell International Inc. Combined face and iris recognition system
US8090157B2 (en) * 2005-01-26 2012-01-03 Honeywell International Inc. Approaches and apparatus for eye detection in a digital image
US8064647B2 (en) * 2006-03-03 2011-11-22 Honeywell International Inc. System for iris detection tracking and recognition at a distance
US7761453B2 (en) * 2005-01-26 2010-07-20 Honeywell International Inc. Method and system for indexing and searching an iris image database
US7336806B2 (en) 2004-03-22 2008-02-26 Microsoft Corporation Iris-based biometric identification
KR100552709B1 (ko) * 2004-05-21 2006-02-20 삼성전자주식회사 눈검출 장치 및 방법
US20060023921A1 (en) * 2004-07-27 2006-02-02 Sanyo Electric Co., Ltd. Authentication apparatus, verification method and verification apparatus
US20060165264A1 (en) * 2005-01-26 2006-07-27 Hirofumi Saitoh Method and apparatus for acquiring images, and verification method and verification apparatus
US7327860B2 (en) * 2005-05-04 2008-02-05 West Virginia University Conjunctival scans for personal identification
KR100734857B1 (ko) 2005-12-07 2007-07-03 한국전자통신연구원 누적 합 기반의 변화점 분석을 이용한 홍채 인식 방법 및그 장치
WO2007101275A1 (en) 2006-03-03 2007-09-07 Honeywell International, Inc. Camera with auto-focus capability
GB2448653B (en) * 2006-03-03 2011-03-23 Honeywell Int Inc Single lens splitter camera
WO2008019168A2 (en) 2006-03-03 2008-02-14 Honeywell International, Inc. Modular biometrics collection system architecture
WO2008039252A2 (en) 2006-05-15 2008-04-03 Retica Systems, Inc. Multimodal ocular biometric system
GB0616222D0 (en) * 2006-08-15 2006-09-27 Monro Donald M Method Of Eyelash Removal For Human Iris Recognition
US8170293B2 (en) 2006-09-15 2012-05-01 Identix Incorporated Multimodal ocular biometric system and methods
JP4378660B2 (ja) * 2007-02-26 2009-12-09 ソニー株式会社 情報処理装置および方法、並びにプログラム
US8063889B2 (en) * 2007-04-25 2011-11-22 Honeywell International Inc. Biometric data collection system
CN101388070B (zh) * 2007-09-14 2011-11-30 鸿富锦精密工业(深圳)有限公司 选择最佳时机捕获影像的***及方法
WO2009041963A1 (en) * 2007-09-24 2009-04-02 University Of Notre Dame Du Lac Iris recognition using consistency information
US8436907B2 (en) * 2008-05-09 2013-05-07 Honeywell International Inc. Heterogeneous video capturing system
US8213782B2 (en) 2008-08-07 2012-07-03 Honeywell International Inc. Predictive autofocusing system
US8090246B2 (en) * 2008-08-08 2012-01-03 Honeywell International Inc. Image acquisition system
KR101030613B1 (ko) * 2008-10-08 2011-04-20 아이리텍 잉크 아이이미지에서 관심영역정보 및 인식적 정보획득방법
US8280119B2 (en) 2008-12-05 2012-10-02 Honeywell International Inc. Iris recognition system using quality metrics
US8472681B2 (en) 2009-06-15 2013-06-25 Honeywell International Inc. Iris and ocular recognition system using trace transforms
US8630464B2 (en) 2009-06-15 2014-01-14 Honeywell International Inc. Adaptive iris matching using database indexing
US8742887B2 (en) 2010-09-03 2014-06-03 Honeywell International Inc. Biometric visitor check system
GB2498483A (en) 2010-10-29 2013-07-17 Dmitry Evgenievich Antonov Iris identification method of a person (alternatives)
US9124798B2 (en) * 2011-05-17 2015-09-01 Eyelock Inc. Systems and methods for illuminating an iris with visible light for biometric acquisition
CN102693421B (zh) * 2012-05-31 2013-12-04 东南大学 基于sift 特征包的牛眼虹膜图像识别方法
JP6007682B2 (ja) * 2012-08-31 2016-10-12 富士通株式会社 画像処理装置、画像処理方法及びプログラム
CN103034861B (zh) * 2012-12-14 2016-12-21 北京航空航天大学 一种货车闸瓦故障的识别方法及装置
CN103150565A (zh) * 2013-02-06 2013-06-12 北京中科虹霸科技有限公司 便携式双眼虹膜图像采集和处理设备
CN104182717A (zh) * 2013-05-20 2014-12-03 *** 一种虹膜识别装置
CN104021331A (zh) * 2014-06-18 2014-09-03 北京金和软件股份有限公司 一种用于具有人脸识别功能的电子设备的信息处理方法
JP6535223B2 (ja) * 2015-05-28 2019-06-26 浜松ホトニクス株式会社 瞬目計測方法、瞬目計測装置、及び瞬目計測プログラム
KR102334209B1 (ko) * 2015-06-15 2021-12-02 삼성전자주식회사 사용자 인증 방법 및 이를 지원하는 전자장치
CN105488462A (zh) * 2015-11-25 2016-04-13 努比亚技术有限公司 眼睛定位识别装置和方法
KR102567431B1 (ko) * 2016-01-19 2023-08-14 매직 립, 인코포레이티드 눈 이미지 수집, 선택 및 결합
CN106899567B (zh) 2016-08-24 2019-12-13 阿里巴巴集团控股有限公司 用户核身方法、装置及***
KR20180053108A (ko) * 2016-11-11 2018-05-21 삼성전자주식회사 홍채 영역 추출 방법 및 장치
CN106778535B (zh) * 2016-11-28 2020-06-02 北京无线电计量测试研究所 一种基于小波包分解的虹膜特征提取与匹配方法
CN107330402B (zh) * 2017-06-30 2021-07-20 努比亚技术有限公司 一种巩膜识别方法、设备及计算机可读存储介质
CN111654468A (zh) * 2020-04-29 2020-09-11 平安国际智慧城市科技股份有限公司 免密登录方法、装置、设备及存储介质
CN111950403A (zh) * 2020-07-28 2020-11-17 武汉虹识技术有限公司 一种虹膜分类方法及***、电子设备和存储介质
CN112270271A (zh) * 2020-10-31 2021-01-26 重庆商务职业学院 一种基于小波包分解的虹膜识别方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5291560A (en) * 1991-07-15 1994-03-01 Iri Scan Incorporated Biometric personal identification system based on iris analysis
US6028949A (en) * 1997-12-02 2000-02-22 Mckendall; Raymond A. Method of verifying the presence of an eye in a close-up image
JP3610234B2 (ja) * 1998-07-17 2005-01-12 株式会社メディア・テクノロジー アイリス情報取得装置およびアイリス識別装置
US6247813B1 (en) * 1999-04-09 2001-06-19 Iritech, Inc. Iris identification system and method of identifying a person through iris recognition
KR20010006975A (ko) * 1999-04-09 2001-01-26 김대훈 동공 및 자율신경환의 반응에 의한 홍채인식방법
KR20020065249A (ko) * 2001-02-06 2002-08-13 이승재 홍채인식을 위한 저용량 특징벡터 추출과 유사도 측정 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040026905A (ko) * 2002-09-26 2004-04-01 주식회사 세넥스테크놀로지 실시간 홍채인식을 위한 영상품질 평가장치 및 방법과 그프로그램을 저장한 기록매체
KR100476406B1 (ko) * 2002-12-03 2005-03-17 이일병 웨이블렛 패킷변환을 이용한 홍채인식 시스템 및 방법과그 프로그램을 저장한 기록매체
KR20030066512A (ko) * 2003-07-04 2003-08-09 김재민 노이즈에 강인한 저용량 홍채인식 시스템
KR100880256B1 (ko) * 2008-07-11 2009-01-28 주식회사 다우엑실리콘 실물 인식을 이용한 얼굴 인식 시스템 및 방법
KR101537997B1 (ko) * 2014-01-03 2015-07-22 고려대학교 산학협력단 공모 공격으로부터 안전한 클라이언트 인증 방법 및 클라이언트 인증 서버, 클라우드 서버, 클라이언트 인증 시스템

Also Published As

Publication number Publication date
US20050008201A1 (en) 2005-01-13
WO2003049010A1 (en) 2003-06-12
KR100453943B1 (ko) 2004-10-20
CN1599913A (zh) 2005-03-23
AU2002365792A1 (en) 2003-06-17

Similar Documents

Publication Publication Date Title
KR20030046007A (ko) 개인 식별을 위한 홍채 영상의 처리 및 인식방법과 시스템
Ma et al. Personal identification based on iris texture analysis
Li et al. Iris recognition based on a novel variation of local binary pattern
KR20050025927A (ko) 홍채인식을 위한 동공 검출 방법 및 형상기술자 추출방법과 그를 이용한 홍채 특징 추출 장치 및 그 방법과홍채인식 시스템 및 그 방법
Dagnes et al. Occlusion detection and restoration techniques for 3D face recognition: a literature review
KR102554391B1 (ko) 홍채 인식 기반 사용자 인증 장치 및 방법
Barpanda et al. Iris recognition with tunable filter bank based feature
Chirchi et al. Iris biometric recognition for person identification in security systems
JP2004511862A (ja) 虹彩を用いた身元確認システム及び方法並びにその方法を実行するための身元確認プログラムを格納したコンピュータ読取り可能な記録媒体
Sequeira et al. Iris liveness detection methods in mobile applications
Gale et al. Evolution of performance analysis of iris recognition system by using hybrid methods of feature extraction and matching by hybrid classifier for iris recognition system
CN105631285A (zh) 一种生物特征身份识别方法及装置
Adhau et al. Iris recognition methods of a blinked eye in nonideal condition
Taha et al. Iris features extraction and recognition based on the local binary pattern technique
Sujana et al. An effective CNN based feature extraction approach for iris recognition system
Lumini et al. When Fingerprints Are Combined with Iris-A Case Study: FVC2004 and CASIA.
Gopikrishnan et al. Improved biometric recognition and identification of human iris patterns using neural networks
Aravinth et al. A novel feature extraction techniques for multimodal score fusion using density based gaussian mixture model approach
Sahmoud Enhancing iris recognition
Mattar Principal components analysis based iris recognition and identification system
Kovoor et al. Iris biometric recognition system employing canny operator
Demirel et al. Iris recognition system using combined colour statistics
KR20010037022A (ko) 그룹화된 얼굴 영상들과 그물망 형태의 탐색 영역을 이용한 얼굴 검출 방법 및 그 장치
Lawal et al. Development of a Two-Level Segmentation System for Iris Recognition Using Circular and Linear Hough Transform Algorithm
Pjatkin et al. Probability distribution function based iris recognition boosted by the mean rule

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20071015

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee