KR101082691B1 - 3차원 디스플레이장치에서 홍채 시선 검출을 통한 안구 운동 장치 및 방법 - Google Patents

3차원 디스플레이장치에서 홍채 시선 검출을 통한 안구 운동 장치 및 방법 Download PDF

Info

Publication number
KR101082691B1
KR101082691B1 KR1020090129120A KR20090129120A KR101082691B1 KR 101082691 B1 KR101082691 B1 KR 101082691B1 KR 1020090129120 A KR1020090129120 A KR 1020090129120A KR 20090129120 A KR20090129120 A KR 20090129120A KR 101082691 B1 KR101082691 B1 KR 101082691B1
Authority
KR
South Korea
Prior art keywords
iris
eye movement
detecting
iris position
detected
Prior art date
Application number
KR1020090129120A
Other languages
English (en)
Other versions
KR20110072263A (ko
Inventor
김회율
김병수
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020090129120A priority Critical patent/KR101082691B1/ko
Publication of KR20110072263A publication Critical patent/KR20110072263A/ko
Application granted granted Critical
Publication of KR101082691B1 publication Critical patent/KR101082691B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B23/00—Exercising apparatus specially adapted for particular parts of the body
    • A63B23/025—Exercising apparatus specially adapted for particular parts of the body for the head or the neck
    • A63B23/03—Exercising apparatus specially adapted for particular parts of the body for the head or the neck for face muscles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/10—Characteristics of apparatus not provided for in the preceding codes with further special therapeutic means, e.g. electrotherapy, magneto therapy or radiation therapy, chromo therapy, infrared or ultraviolet therapy

Landscapes

  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

홍채 위치 검출을 통한 안구 운동 장치 및 방법이 개시된다. 안구 운동 장치는 입력 영상 데이터에서 홍채의 위치를 검출하는 홍채 위치 검출부와, 상기 검출된 홍채의 위치와 안구 운동을 위해 이동해야 할 홍채의 위치를 비교하는 홍채 위치 비교부 및 상기 비교 결과에 따라 안구 운동 결과를 표시하는 표시부를 포함한다.
홍채, 위치, 검출, 안구, 운동

Description

3차원 디스플레이장치에서 홍채 시선 검출을 통한 안구 운동 장치 및 방법{An apparatus for exercising eyeball by detecting the line of sight in 3-dimensional display systems}
본 발명은 홍채의 시선 검출을 통해 안구에서 수정체를 조절하는 안구 운동 장치 및 방법에 관한 것으로, 더욱 상세하게는 사용자가 주목하고 있는 물체의 홍채 위치를 실시간으로 파악하여 사용자의 안구 운동과 시선을 확인하고 그 물체의 위치 정보에 따라 수정체를 조절하는 반응을 하게 하여 수정체 조절에 필요한 모양체의 근육을 능동적으로 사용하게 함으로서 사용자의 시력을 개선시키는 안구 운동 장치 및 방법에 관한 것이다.
현재 과도한 시각 자료로 인하여 눈이 쉽게 피로해지며, 그로 인해 시력도 저하되고 있다. 이러한 시력 저하를 해결하기 위하여 라식과 같은 다양한 수술 등이 제안되어 왔으나 이러한 시력 교정 수술은 빛 번짐, 눈이 쉽게 충혈되는 등과 같은 부작용이 존재하고 있다.
그러므로, 시력 교정 수술이 아닌 대안 방법들이 제안되고 있으며, 그 중 대표적으로 안구 운동을 통한 안구의 수정체 조절로 인하여 시력 감퇴를 예방하고 개 선할 수 있는 방안이 연구되고 있다. 수정체 운동을 이용하여 시력 교정을 하는 방법으로 특수 안경을 착용하여 시력 교정하는 방법들이 활발하게 개발되고 있으며, 실제 제품으로 판매되고 있다. 하지만 사용자가 수동적으로 지정된 위치에 시점을 이동하더라도 이를 확인할 수가 없기 때문에 지루하며, 사용자의 흥미가 반감되기 때문에 운동이 지속적으로 이루어지지 못하는 문제점이 있다.
한편 종래 홍채 위치 검출 방법은 학습된 홍채 검출자를 이용하여 홍채 최종 홍채 시선을 판단하는 방법이다. 하지만 이러한 종래의 시선 홍채 검출 방법은 사용자가 안경을 착용할 경우 정확한 홍채 시선에 대한 검출율이 낮아지며, 조명 변화가 발생할 경우 대처가 어려운 문제점이 있다.
본 발명은 조명 정규화를 통해 조명 변화 발생에 대처할 수 있는 홍채 위치 검출 장치 및 방법을 제공한다.
또한 본 발명은 홍채 검출자의 영역 별 가중치를 부여하여 홍채의 위치 유사도를 계산함으로써 사용자가 안경을 착용하더라도 홍채의 위치를 정확하게 검출할 수 있는 홍채 위치 검출 장치 및 방법을 제공한다.
또한 본 발명은 홍채 위치 예측을 통해 사용자가 홍채를 깜빡거리더라도 홍채의 홍채 위치를 강인하게 검출할 수 있는 홍채 위치 검출 장치 및 방법을 제공한다.
또한 본 발명은 사용자의 홍채 위치 및 안구 운동 상태를 감지하여 이동해야 할 위치를 3차원 그래픽으로 표시하여 사용자가 능동적으로 수정체 근육인 모양체 운동을 수행할 수 있도록 유도하여 사용자의 시력을 개선할 수 있는 안구 운동 장치 및 방법을 제공한다.
본 발명의 일실시예에 따른 안구 운동 장치는 입력 영상 데이터에서 홍채의 위치를 검출하는 홍채 위치 검출부와, 상기 검출된 홍채의 위치와 안구 운동을 위해 이동해야 할 홍채의 위치를 비교하는 홍채 위치 비교부 및 상기 비교 결과에 따라 안구 운동 결과를 표시하는 표시부를 포함한다.
본 발명의 일측면에서 상기 홍채 위치 검출부는 상기 입력 영상 데이터에 대해 조명 변화의 영향을 줄이기 위해 조명을 정규화하는 조명 정규화부와, 상기 조명 정규화된 입력 영상 데이터에서 얼굴 영역을 검출하는 얼굴 영역 검출부와, 상기 검출된 얼굴 영역에서 학습된 홍채 검출자의 영역별 가중치를 부여하여 홍채 위치 유사도를 계산하는 홍채 위치 유사도 계산부와, 상기 계산된 홍채 위치 유사도를 이용하여 다음 영상에서 홍채 위치를 예측하는 홍채 위치 예측부 및 상기 예측된 홍채 위치를 이용하여 최종 홍채 위치를 판단하는 홍채 위치 판단부를 포함할 수 있다.
또한 본 발명의 일측면에서 상기 홍채의 위치 비교 결과에 따라 올바른 홍채 위치를 인식하고, 상기 이동해야 하는 홍채 위치를 결정하는 홍채 위치 결정부를 더 포함하고, 상기 표시부는 상기 결정된 홍채 위치에 따라 3차원 그래픽으로 안구가 이동될 위치를 표시할 수 있다.
또한 본 발명의 일측면에서 상기 표시부는 상기 검출된 홍채의 위치에 따라 올바른 방향으로 홍채의 위치가 이동된 경우 안구 운동 결과 점수를 높이고, 올바르지 않은 방향으로 홍채의 위치가 이동된 경우 상기 안구 운동 결과 점수를 낮추어 표시할 수 있다.
또한 본 발명의 일실시예에 따른 홍채 위치 검출 장치는 입력 영상 데이터에 대해 조명 변화의 영향을 줄이기 위해 조명을 정규화하는 조명 정규화부와, 상기 조명 정규화된 입력 영상 데이터에서 얼굴 영역을 검출하는 얼굴 영역 검출부와, 상기 검출된 얼굴 영역에서 학습된 홍채 검출자의 영역별 가중치를 부여하여 홍채 위치 유사도를 계산하는 홍채 위치 유사도 계산부와, 상기 계산된 홍채 위치 유사 도를 이용하여 다음 영상에서 홍채 위치를 예측하는 홍채 위치 예측부 및 상기 예측된 홍채 위치를 이용하여 최종 홍채 위치를 판단하는 홍채 위치 판단부를 포함한다.
또한 본 발명의 일실시예에 따른 안구 운동 방법은 입력 영상 데이터에서 홍채의 위치를 검출하는 단계와, 상기 검출된 홍채의 위치와 안구 운동을 위해 이동해야 할 홍채의 위치를 비교하는 단계 및 상기 홍채의 위치를 비교한 결과에 따라 안구 운동 결과를 표시하는 단계를 포함한다.
또한 본 발명의 일측면에서 상기 홍채의 위치를 비교한 결과에 따라 상기 이동해야 하는 홍채 위치를 결정하는 단계를 더 포함하고, 상기 안구 운동 결과를 표시하는 단계는 상기 검출된 홍채의 위치에 따라 올바른 방향으로 홍채의 위치가 이동된 경우 안구 운동 결과 점수를 높이고, 올바르지 않은 방향으로 홍채의 위치가 이동된 경우 상기 안구 운동 결과 점수를 낮추어 표시할 수 있다.
또한 본 발명의 일측면에서 상기 홍채의 위치를 검출하는 단계는 상기 입력 영상 데이터에서 추출된 얼굴 영역에 대한 조명 변화의 영향을 감소시키기 위해 콘트라스트 스트레치(contrast stretch)하는 단계와, 상기 콘트라스트 스트레치된 얼굴 영역에서 홍채 모양 특징을 추출하는 단계 및 상기 추출된 홍채 모양 특징을 이용하여 홍채의 위치를 검출하는 단계를 포함한다.
또한 본 발명의 일측면에서 등록된 특징이 있는지 여부를 판단하는 단계와, 상기 등록된 특징이 없는 것으로 판단되면, 하-라이크 피쳐(Haar-like feature)를 이용하여 홍채를 검출하는 단계와, 상기 검출된 홍채에서 홍채 위치를 검출하는 단 계와, 상기 검출된 홍채 위치에서 홍채 모양 특징을 추출하는 단계 및 상기 추출된 홍채 모양 특징을 등록하는 단계를 더 포함할 수 있다.
또한 본 발명의 일실시예에 따른 홍채 위치 검출 방법은 입력 영상 데이터에서 조명 변화의 영향을 줄이기 위해 조명을 정규화하는 단계와, 상기 조명 정규화된 입력 영상 데이터에서 얼굴 영역을 검출하는 단계와, 상기 검출된 얼굴 영역에서 학습된 홍채 검출자의 영역별 가중치를 부여하여 홍채 위치 유사도를 계산하는 단계와, 상기 계산된 홍채 위치 유사도를 이용하여 다음 영상에서 홍채 위치를 예측하는 단계 및 상기 예측된 홍채 위치를 이용하여 최종 홍채 위치를 판단하는 단계를 포함한다.
본 발명에 따르면, 조명 정규화를 통해 조명 변화 발생에 대처할 수 있는 홍채 위치 검출 장치 및 방법을 제공할 수 있다.
또한 본 발명에 따르면, 홍채 검출자의 영역 별 가중치를 부여하여 홍채 위치 유사도를 계산함으로써 사용자가 안경을 착용하더라도 홍채 위치를 정확하게 검출할 수 있는 홍채 위치 검출 장치 및 방법을 제공할 수 있다.
또한 본 발명에 따르면, 홍채 위치 예측을 통해 사용자가 홍채를 깜빡거리더라도 홍채 위치를 강인하게 검출할 수 있는 홍채 위치 검출 장치 및 방법을 제공한다.
또한 본 발명에 따르면, 사용자의 홍채 위치 및 안구 운동 상태를 감지하여 이동해야 할 위치를 3차원 그래픽으로 표시하여 사용자가 능동적으로 안구 운동을 수행할 수 있도록 유도하여 사용자의 시력을 개선할 수 있는 안구 운동 장치 및 방법을 제공할 수 있다.
이하 첨부된 도면들을 참조하여 홍채 위치 검출을 통한 안구 운동 장치 및 방법을 상세하게 설명하기로 한다.
도 1은 본 발명의 일실시예에 따른 안구 운동 장치의 구성을 나타내는 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 안구 운동 장치(100)는 사용자의 홍채 위치 및 안구 운동 상태를 감지하여 이동해야 될 위치를 3차원 그래픽으로 표시하기 위해 홍채 위치 검출부(110), 홍채 위치 비교부(120), 표시부(130) 및 홍채 위치 결정부(140)를 포함한다.
홍채 위치 검출부(110)는 입력 영상 데이터에서 사용자의 홍채 위치를 검출한다. 즉, 홍채 위치 검출부(110)는 상기 입력 영상 데이터에서 얼굴 영역을 검출하고, 상기 검출된 얼굴 영역에서 사용자의 홍채 위치를 검출한다. 일례로 홍채 위치 검출부(110)는 도 2에 도시된 홍채 위치 검출 장치(200)로 구현될 수 있다.
홍채 위치 비교부(120)는 상기 검출된 홍채의 위치와 안구 운동을 위해 이동해야 할 홍채의 위치를 비교한다. 즉, 홍채 위치 비교부(120)는 상기 검출된 홍채의 위치와 사용자가 안구 운동을 하기 위해 이동해야 하는 홍채의 위치를 비교함으로써 사용자가 올바른 안구 운동을 하는지 판단한다.
표시부(130)는 상기 홍채의 위치를 비교 결과에 따라 안구 운동 결과를 표시 한다. 즉, 표시부(130)는 사용자에게 3차원 그래픽으로 안구가 이동될 위치를 표시하고, 상기 홍채의 위치를 비교한 결과에 따라 잘못된 홍채의 위치를 표시하고, 안구 운동 결과 점수를 표시한다.
홍채 위치 결정부(140)는 상기 홍채의 위치 비교 결과에 따라 올바른 홍채 위치를 인식하고, 상기 사용자가 이동해야 하는 홍채 위치를 결정한다.
표시부(130)는 홍채 위치 결정부(140)에 의해 결정된 홍채 위치에 따라 3차원 그래픽으로 안구가 이동될 위치를 표시한다. 또한 표시부(130)는 상기 검출된 홍채의 위치에 따라 올바른 방향으로 홍채의 위치가 이동된 경우 안구 운동 결과 점수를 높이고, 올바르지 않은 방향으로 홍채의 위치가 이동된 경우 상기 안구 운동 결과 점수를 낮추어 표시할 수 있다.
이와 같이, 본 발명에 따른 안구 운동 장치(100)는 사용자의 홍채 위치 및 안구 운동 상태를 감지하여 이동해야 할 홍채의 위치를 3차원 그래픽으로 표시하고, 안구 운동 결과를 점수로 나타내어 사용자가 능동적으로 안구 운동을 수행할 수 있도록 유도하여 사용자의 시력을 개선할 수 있다.
도 2는 본 발명의 일실시예에 따른 홍채 위치 검출 장치의 구성을 나타내는 도면이다.
도 2를 참조하면, 홍채 위치 검출 장치(200)는 조명 정규화부(210), 얼굴 영역 검출부(220), 홍채 위치 유사도 계산부(230), 홍채 위치 예측부(240) 및 홍채 위치 판단부(250)를 포함한다.
조명 정규화부(210)는 상기 입력 영상 데이터에 대해 조명 변화의 영향을 줄 이기 위해 조명을 정규화한다. 즉, 조명 정규화부(210)는 상기 입력 영상 데이터가 조명이 밝아지거나 어두워지는 변화가 있더라도 영향을 받지 않도록 하기 위해서 조명을 정규화한다.
얼굴 영역 검출부(220)는 상기 조명 정규화된 입력 영상 데이터에서 얼굴 영역을 검출한다. 일례로 얼굴 영역 검출부(220)는 하-라이크 피쳐(Haar-like feature) 기반 방식에 의해 상기 조명 정규화된 입력 영상 데이터로부터 얼굴 영역을 검출할 수 있다. 2차원 이미지에서 하-웨이브릿(Haar-wavelet)은 인접한 사각형들(백색 및 흑색)의 쌍이다. 피쳐 값들은 평균 백색 영역 픽셀 값(average white-region pixel value)으로부터 평균 흑색 영역 픽셀 값(average black-region pixel value)을 감산하는 것에 의해 계산될 수 있다. 계산의 복잡성을 감소시키기 위해서 적분 영상(integral image) 기술은 평균 명암도(average intensity) 계산이 이용될 수 있다. 또한 아다부스트(AdaBoost)로 알려진 부스팅 알고리즘은 얼굴 검출을 위한 신뢰할만한 특징들을 선택하기 위해 이용될 수 있다.
홍채 위치 유사도 계산부(230)는 상기 검출된 얼굴 영역에서 학습된 홍채 검출자의 영역별 가중치를 부여하여 홍채 위치 유사도를 계산한다. 일례로 홍채 위치 유사도 계산부(230)는 상기 검출된 얼굴 영역에서 학습된 홍채 검출자의 영역별 가중치를 부여하여 수학식 1과 같이 홍채 위치 유사도를 계산할 수 있다.
[수학식 1]
Figure 112009079454495-pat00001
여기서,
Figure 112009079454495-pat00002
이다.
유사도(Sx)는 특징값(feature value)을 사용하여 계산되고, x는 얼굴 영역에서 각 픽셀의 위치이고, Dx는 얼굴 이미지 x 지점에서 등록된 홍채 모양 특징값과 추출된 특징값의 차이를 나타낸다.
홍채 위치 예측부(240)는 상기 계산된 홍채 위치 유사도를 이용하여 다음 영상에서 홍채 위치를 예측한다. 홍채 위치 예측부(240)는 상기 홍채 위치 유사도 계산 결과를 이용하여 신뢰도 지도를 얻을 수 있으며, 이를 통해 홍채와 유사한 영역(코, 입 등)에 대한 영향을 최소화할 수 있는 홍채 위치를 예측한다.
홍채 위치 판단부(250)는 상기 예측된 홍채 위치를 이용하여 최종 홍채 위치를 판단하고, 상기 판단 결과로 홍채 위치 데이터를 출력한다. 즉, 홍채 위치 판단부(250)는 상기 예측된 홍채 위치를 이용하여　홍채 위치 데이터를 출력함으로써 사용자가 어느 곳에 시점을 이동하는지를 판단한다.
이와 같이, 본 발명에 따른 홍채 위치 검출 장치(200)는 홍채 검출자의 영역 별 가중치를 부여하여 홍채 위치 유사도를 계산함으로써 사용자가 안경을 착용하더라도 홍채 위치를 정확하게 검출할 수 있다.
도 3은 본 발명의 일실시예에 따른 안구 운동 방법의 동작 흐름을 나타내는 도면이다.
도 3을 참조하면, 단계(310)에서 안구 운동 장치는 이동해야 할 홍채의 위치를 결정한다. 즉, 단계(310)에서 상기 안구 운동 장치는 사용자가 안구 운동을 하기 위해서 이동해야 할 홍채의 위치를 결정한다.
단계(320)에서 상기 안구 운동 장치는 3차원 그래픽으로 상기 결정된 홍채의 위치를 디스플레이한다. 즉, 단계(320)에서 상기 안구 운동 장치는 상기 사용자에게 안구 운동을 유도하기 위해 사용자의 안구를 이동시키고자 결정된 홍채의 위치를 3차원 그래픽으로 디스플레이한다.
단계(330)에서 상기 안구 운동 장치는 입력 영상 데이터로부터 사용자의 홍채 위치를 검출한다.
단계(340)에서 상기 안구 운동 장치는 상기 검출된 홍채의 위치와 안구 운동을 위해 이동해야 할 홍채의 위치를 비교한다.
상기 안구 운동 장치는 상기 홍채의 위치를 비교한 결과에 따라 올바른 홍채의 위치를 인식하고, 상기 인식된 올바른 홍채의 위치를 상기 이동해야 할 홍채의 위치에 결정할 수 있다(310). 또한 상기 안구 운동 장치는 상기 홍채의 위치를 비교한 결과에 따라 잘못된 홍채의 위치를 3차원 그래픽으로 디스플레이할 수 있다(320).
단계(350)에서 상기 안구 운동 장치는 상기 홍채의 위치를 비교한 결과에 따라 안구 운동 결과를 표시한다. 일례로 단계(350)에서 상기 안구 운동 장치는 상 기 검출된 홍채의 위치에 따라 올바른 방향으로 홍채의 위치가 이동된 경우 안구 운동 결과 점수를 높이고, 올바르지 않은 방향으로 홍채의 위치가 이동된 경우 상기 안구 운동 결과 점수를 낮추어 표시할 수 있다.
이와 같이, 본 발명에 따른 안구 운동 방법은 사용자의 홍채 위치 및 안구 운동 상태를 감지하여 이동해야 할 위치를 3차원 그래픽으로 표시하여 사용자가 능동적으로 안구 운동을 수행할 수 있도록 유도하여 사용자의 시력을 개선할 수 있다.
도 4는 본 발명의 일실시예에 따른 홍채 위치 검출 방법의 동작 흐름을 나타내는 도면이다.
도 4를 참조하면, 단계(410)에서 홍채 위치 검출 장치는 입력 영상 데이터인 비디오 시퀀스에서 얼굴 영역을 검출한다. 일례로 단계(410)에서 상기 홍채 위치 검출 장치는 하-라이크 피쳐(Haar-like feature) 기반 방식에 의해 상기 입력 영상 데이터로부터 얼굴 영역을 검출할 수 있다.
단계(420)에서 상기 홍채 위치 검출 장치는 상기 검출된 얼굴 영역에 대해 콘트라스트 스트레치(contrast stretch)한다. 즉, 단계(420)에서 상기 홍채 위치 검출 장치는 상기 입력 영상 데이터에서 검출된 얼굴 영역에 대한 조명 변화의 영향을 감소시키기 위해 콘트라스트 스트레치한다.
도 5는 얼굴 영역에 대한 검출의 일례를 나타내는 도면이다.
도 5를 참조하면, (a)는 이미지에서 검출된 얼굴 영역을 나타내고, (b)는 검출된 얼굴 영역의 그레이 이미지(gray image)를 나타내고, (c)는 검출된 얼굴 영역 에 대한 콘트라스트 스트레칭 결과를 나타낸다. (b)에서 조명 변화의 영향에 의해 2개의 이미지(위, 아래)에 대한 명암도(intensity) 차이가 크지만 (c)에서 콘트라스트 스트레칭 결과에 의해 명암도 차이가 작다. 단계(420)에서 상기 홍채 위치 검출 장치는 (b)와 같은 조명 변화의 영향을 줄이기 위해서 (c)와 같이 상기 검출된 얼굴 영역에 대해 콘트라스트 스트레칭 알고리즘을 적용할 수 있다.
단계(430)에서 상기 홍채 위치 검출 장치는 홍채의 위치를 검출하기 위한 홍채 모양 특징이 등록되었는지 여부를 판단한다.
상기 특징이 등록되지 않은 것을 판단되는 경우, 단계(440)에서 상기 홍채 위치 검출 장치는 홍채 위치 검출을 위한 홍채 모양 특징을 검출하여 등록한다. 즉, 단계(440)에서 상기 홍채 위치 검출 장치는 하-라이크 피쳐(Haar-like feature) 기반 방식을 이용하여 상기 얼굴 영역에서 홍채를 검출하고(441), 상기 검출된 홍채에서 홍채 위치를 검출하고(442), 상기 검출된 홍채 위치에서 홍채 모양 특징을 추출하고(443), 상기 추출된 홍채 모양 특징을 등록한다(444).
도 6은 홍채 모양 특징의 일례를 나타내는 도면이다.
도 6을 참조하면, 일반적으로 인간의 홍채는 자체 명암도의 변화가 적지만 홍채와 이웃 사이의 명암도 차이가 크다. 이러한 특성을 이용하여 홍채 영역(R0)과 이웃 영역(R1~R8)으로 정의한다. 각 영역의 크기는 홍채의 크기에 의해 결정된다. 일반적으로 사람에게 홍채의 크기는 거의 변화가 없고, 얼굴의 크기에 의해 결정될 수 있다. 그러므로, 홍채의 크기는 수학식 2와 같이 얼굴의 크기와 홍채의 크기의 비에 의해 결정될 수 있다.
[수학식 2]
Figure 112009079454495-pat00003
상기 홍채 위치 검출 장치는 수학식 3에 의해 중심 영역(R0)와 이웃 영역(R1~R8)과의 명암도 차이(C(i))를 계산한다.
[수학식 3]
Figure 112009079454495-pat00004
C(i)는 중심 영역의 평균 명암도(A(R0))와 이웃 영역의 평균 명암도(A(Ri))의 차이로 정의된 특징값이다. C(0)는 모든 8개의 이웃 영역(R1~R8)의 평균 명암도와 중심 영역(R0)의 평균 명암도간의 차이이다. 명암도의 차이는 최대 이미지 값(예를 들어, 그레이 이미지인 경우 255)에 의해 정규화된다. 정규화된 후 홍채 모양 특징의 범위는 수학식 4와 같다.
[수학식 4]
Figure 112009079454495-pat00005
홍채의 크기가 증가되면, 특징 계산의 복잡도도 증가된다. 그러므로, 적분 영상 기술은 각 영역의 평균 명암도 값을 충분히 계산하기 위해 적용된다. 상기 홍채 위치 검출 장치는 적분 영상을 이용하면, 일정한 시간에 임의의 사각형의 윈도우(arbitrary rectangular window)에 걸친 명암도의 합을 계산할 수 있다.
얼굴 영역에서 홍채 모양 특징이 계산될 때 홍채 중앙의 특징 값은 다른 영역(얼굴의 다른 영역)의 특징 값보다 크다. 하지만, 홍채와 입의 특징 값도 큰 값을 가진다. 그러므로, 더 나은 2개의 홍채 모양 특징 값들의 검출을 위해 홍채 검출 이전에 왼쪽, 오른쪽 홍채의 위치를 등록한다. 상기 홍채 위치 검출 장치는 얼굴 영역의 모든 위치 특징과 등록된 특징을 비교하여 홍채가 아닌 위치를 배제하고, 정확하게 얼굴의 홍채 위치를 검출할 수 있다.
도 7은 얼굴 영역에서 홍채를 검출하는 절차의 일례를 나타내는 도면이다.
도 7을 참조하면, (a)는 얼굴 영역에서 홍채의 위치가 검출된 일례이고, (b)는 검출된 좌, 우 홍채에서 홍채 모양 특징 벡터들을 추출한 일례이다.
상기 홍채 위치 검출 장치는 특징을 등록하기 위해서 첫 번째로 홍채 영역들을 추출한다. 그리고, 상기 홍채 위치 검출 장치는 상기 추출된 홍채 영역들에서 홍채의 중심 위치를 정확하게 검출한다. 마지막으로 상기 홍채 위치 검출 장치는 홍채를 뜰 때 2개의 홍채 모양 특징으로서 홍채의 위치들을 등록한다. 상기 홍채 위치 검출 장치는 도 7의 (a)에 도시된 것과 같이 홍채들을 검출하기 위한 등록에 사용되는 하-라이크 피쳐 기반 방식이 실시간으로 동작하는 동안에 특징을 등록할 필요는 없다. 홍채의 중심 위치의 홍채 모양 특징은 홍채 영상에서 가장 높다. 상기 홍채 위치 검출 장치는 이러한 특징을 이용하여 홍채의 중심 위치를 결정한다.
상기 홍채 위치 검출 장치는 홍채의 위치를 검출할 때 홍채를 감거나 반정도 감는 경우 홍채 검출을 위한 홍채 특징으로 적합하지 않다. 홍채를 닫을 때는 홍채를 개방했을 때보다 더 작은 특징값을 가진다. 그러므로, 상기 홍채 위치 검출 장치는 폐쇄 상태에서 홍채의 위치(OC)를 수학식 5와 같이 결정한다.
[수학식 5]
Figure 112009079454495-pat00006
여기서, C는 검출된 홍채의 중심 위치를 나타낸다.
상기 홍채 위치 검출 장치는 홍채가 폐쇄된 상태(OC=1)이면, 홍채가 개방될 때까지 다음 비디오 프레임(next video frame)을 사용하는 등록 상태를 반복한다.
상기 홍채 위치 검출 장치는 개방된 홍채에서 정확하게 특징들을 추출한 후 도 7의 (b)에 도시된 것과 같이 왼쪽, 오른쪽 홍채 위치에서 2개의 특징들을 홍채 위치 매칭을 위해 등록한다.
상기 특징이 등록된 것으로 판단된 경우, 단계(443)에서 상기 홍채 위치 검 출 장치는 상기 콘트라스트 스트레치된 얼굴 영역에서 홍채 모양 특징을 추출한다. 즉, 단계(443)에서 상기 홍채 위치 검출 장치는 홍채 모양 특징이 등록되어 있으면, 홍채의 위치를 검출하기 위해서 상기 콘트라스트 스트레치된 얼굴 영역에서 후보 홍채 모양 특징을 추출한다.
단계(450)에서 상기 홍채 위치 검출 장치는 상기 등록된 홍채 모양 특징들과 얼굴 영상에서 후보 홍채 모양 특징들을 비교하여 홍채의 위치를 검출한다. 상기 얼굴 영상에서 홍채의 위치일 가능성은 2개의 특징을 비교한 유사도로서 수학식 1에 의해 계산될 수 있다. 홍채의 움직임을 구별하기 위해서 도 6에 도시된 것과 같이 홍채의 옆 영역(R4,R8)의 특징 비교가 중요하다. 대부분 2개의 홍채가 유사한 경우 정확하게 홍채를 검출할 수 있지만 얼굴 영상의 중심을 기준으로 왼쪽과 오른쪽으로 분할된 경우 동일하지 않을 수 있다.
도 8은 유사도 계산의 일례를 나타내는 도면이다.
도 8을 참조하면, (a)는 얼굴 영상이고, (b)는 얼굴 영상의 신뢰도이고, (c)는 분할된 홍채 후보들이고, (d)는 (b)의 표면 겨냥도(surface plot)이다.
단계(460)에서 상기 홍채 위치 검출 장치는 상기 검출된 홍채의 위치에 대한 정확도를 향상시키기 위해 예측 기술을 적용하여 보다 정확한 홍채의 위치를 출력한다.
일반적으로 사용자가 장치를 볼 때 홍채의 운동은 제한되고 초점을 맞춘다. 일례로 상기 홍채 위치 검출 장치는 칼만 예측 기술(Kalman prediction technique) 로서 홍채 검출을 향상시킨다. 상기 칼만 예측 기술은 사용자가 무의식적으로 홍채를 깜빡거릴 때조차 홍채를 검출할 수 있다.
도 9는 홍채 위치의 예측에 의한 유사도 계산의 일례를 도면이다.
도 9를 참조하면, (a)는 칼만 예측 결과이고, (b)는 초기 유사도이고, (c)는 홍채 위치 신뢰도이다. 일례로 단계(460)에서 상기 홍채 위치 검출 장치는 상기 검출된 홍채의 위치에 대한 정확도를 향상시키기 위해 초기 유사도(b)에 예측 기술(a)을 적용하여 보다 정확한 홍채의 위치(c)를 출력할 수 있다.
홍채 후보는 기준값에 의해 분할될 수 있으며, 홍채를 위한 둘 이상의 후보가 분할되어 있으면, 2개의 홍채 사이의 지리 정보에 의해 홍채가 아닌 영역이 제거될 수 있다. 사용자가 장치를 볼 때 두 홍채 사이의 거리 변화가 적고, 얼굴 영상에서 두 홍채들간의 거리는 홍채들간의 물리적 거리의 코사인(cosine)이다. 상기 홍채 위치 검출 장치는 2개의 홍채 후보간의 거리가 모든 가능한 홍채들간의 거리 평균에 가장 근접한 경우 선택된 홍채의 위치가 적합한 것으로 판단할 수 있다.
도 10은 본 발명에 따른 홍채 위치 검출 방법과 종래 홍채 위치 검출 방법에서 환경에 따른 정확도를 비교한 일례를 나타낸다.
도 10을 참조하면, 일반 조명에서 안경을 쓴 경우, 일반 조명에서 안경을 쓰지 않은 경우, 어두운 조명에서 안경을 쓴 경우, 어두운 조명에서 안경을 쓰지 않은 경우 모두 본 발명에 따른 홍채 위치 검출 방법이 종래 홍채 검출 방법들에 비해 정확도가 높은 것을 파악할 수 있다.
도 11은 본 발명에 따른 홍채 위치 검출 방법과 종래 홍채 위치 검출 방법에 서 얼굴 크기에 따른 정확도를 비교한 일례를 나타낸다.
도 11을 참조하면, (a)는 일반 조명에서 안경을 쓴 경우로서 얼굴의 크기가 다르더라도 본 발명에 따른 홍채 위치 검출 방법이 종래 홍채 검출 방법들에 비해 정확도가 높다. (b)는 일반 조명에서 안경을 쓰지 않은 경우로서 얼굴의 크기가 다르더라도 본 발명에 따른 홍채 위치 검출 방법이 종래 홍채 검출 방법들에 비해 정확도가 높다. (c)는 어두운 조명에서 안경을 쓴 경우로서 얼굴의 크기가 다르더라도 본 발명에 따른 홍채 위치 검출 방법이 종래 홍채 검출 방법들에 비해 정확도가 높다. (d)는 어두운 조명에서 안경을 쓰지 않은 경우로서 얼굴의 크기가 다르더라도 본 발명에 따른 홍채 위치 검출 방법이 종래 홍채 검출 방법들에 비해 정확도가 높다.
이와 같이, 본 발명에 따른 홍채 위치 검출 방법은 일반 조명인 경우 어두운 조명인 경우, 안경을 쓴 경우, 안경을 쓰지 않는 경우, 얼굴의 크기가 작은 경우 또는 얼굴의 크기가 큰 경우 모두 종래 홍채 검출 방법들에 비해 정확도가 높다.
도 12는 본 발명에 따른 홍채 위치 검출 방법과 종래 홍채 위치 검출 방법에 의한 계산 시간을 비교한 일례를 나타내는 도면이다.
도 12를 참조하면, 본 발명에 따른 홍채 위치 검출 방법에 의한 계산 시간은 80.31ms로서 종래 홍채 검출 방법들에 비해 더 짧아졌음을 파악할 수 있다.
이와 같이, 본 발명에 따른 홍채 위치 검출 방법은 종래 홍채 검출 방법들에 비해 정확도가 향상되고, 계산 속도도 더 빨라질 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일실시예에 따른 안구 운동 장치의 구성을 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 홍채 위치 검출 장치의 구성을 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 안구 운동 방법의 동작 흐름을 나타내는 도면이다.
도 4는 본 발명의 일실시예에 따른 홍채 위치 검출 방법의 동작 흐름을 나타내는 도면이다.
도 5는 얼굴 영역에 대한 검출의 일례를 나타내는 도면이다.
도 6은 홍채 모양 특징의 일례를 나타내는 도면이다.
도 7은 얼굴 영역에서 홍채를 검출하는 절차의 일례를 나타내는 도면이다.
도 8은 유사도 계산의 일례를 나타내는 도면이다.
도 9는 홍채 위치의 예측에 의한 유사도 계산의 일례를 도면이다.
도 10은 본 발명에 따른 홍채 위치 검출 방법과 종래 홍채 위치 검출 방법에서 환경에 따른 정확도를 비교한 일례를 나타낸다.
도 11은 본 발명에 따른 홍채 위치 검출 방법과 종래 홍채 위치 검출 방법에서 얼굴 크기에 따른 정확도를 비교한 일례를 나타낸다.
도 12는 본 발명에 따른 홍채 위치 검출 방법과 종래 홍채 위치 검출 방법에 의한 계산 시간을 비교한 일례를 나타내는 도면이다.
<도면의 주요 부분에 대한 부호의 설명>
100: 안구 운동 장치
110: 홍채 위치 검출부
120: 홍채 위치 비교부
130: 표시부
140: 홍채 위치 결정부
200: 홍채 위치 검출 장치
210: 조명 정규화부
220: 얼굴 영역 검출부
230: 홍채 위치 유사도 계산부
240: 홍채 위치 예측부
250: 홍채 위치 판단부

Claims (10)

  1. 입력 영상 데이터에서 홍채의 위치를 검출하는 홍채 위치 검출부;
    상기 검출된 홍채의 위치와 안구 운동을 위해 이동해야 할 홍채의 위치를 비교하는 홍채 위치 비교부; 및
    상기 비교 결과에 따라 안구 운동 결과를 표시하는 표시부
    를 포함하는 안구 운동 장치.
  2. 제1항에 있어서,
    상기 홍채 위치 검출부는,
    상기 입력 영상 데이터에 대해 조명 변화의 영향을 줄이기 위해 조명을 정규화하는 조명 정규화부;
    상기 조명 정규화된 입력 영상 데이터에서 얼굴 영역을 검출하는 얼굴 영역 검출부;
    상기 검출된 얼굴 영역에서 학습된 홍채 검출자의 영역별 가중치를 부여하여 홍채 위치 유사도를 계산하는 홍채 위치 유사도 계산부;
    상기 계산된 홍채 위치 유사도를 이용하여 다음 영상에서 홍채 위치를 예측하는 홍채 위치 예측부; 및
    상기 예측된 홍채 위치를 이용하여 최종 홍채 위치를 판단하는 홍채 위치 판단부
    를 포함하는 안구 운동 장치.
  3. 제2항에 있어서,
    상기 홍채의 위치 비교 결과에 따라 올바른 홍채 위치를 인식하고, 상기 이동해야 하는 홍채 위치를 결정하는 홍채 위치 결정부를 더 포함하고,
    상기 표시부는,
    상기 결정된 홍채 위치에 따라 3차원 그래픽으로 안구가 이동될 위치를 표시하는, 안구 운동 장치.
  4. 제2항에 있어서,
    상기 표시부는,
    상기 검출된 홍채의 위치에 따라 올바른 방향으로 홍채의 위치가 이동된 경우 안구 운동 결과 점수를 높이고, 올바르지 않은 방향으로 홍채의 위치가 이동된 경우 상기 안구 운동 결과 점수를 낮추어 표시하는, 안구 운동 장치.
  5. 입력 영상 데이터에 대해 조명 변화의 영향을 줄이기 위해 조명을 정규화하는 조명 정규화부;
    상기 조명 정규화된 입력 영상 데이터에서 얼굴 영역을 검출하는 얼굴 영역 검출부;
    상기 검출된 얼굴 영역에서 학습된 홍채 검출자의 영역별 가중치를 부여하여 홍채 위치 유사도를 계산하는 홍채 위치 유사도 계산부;
    상기 계산된 홍채 위치 유사도를 이용하여 다음 영상에서 홍채 위치를 예측하는 홍채 위치 예측부; 및
    상기 예측된 홍채 위치를 이용하여 최종 홍채 위치를 판단하는 홍채 위치 판단부
    를 포함하는 홍채 위치 검출 장치.
  6. 입력 영상 데이터에서 홍채의 위치를 검출하는 단계;
    상기 검출된 홍채의 위치와 안구 운동을 위해 이동해야 할 홍채의 위치를 비교하는 단계; 및
    상기 홍채의 위치를 비교한 결과에 따라 안구 운동 결과를 표시하는 단계
    를 포함하는 안구 운동 방법.
  7. 제6항에 있어서,
    상기 홍채의 위치를 비교한 결과에 따라 상기 이동해야 하는 홍채 위치를 결정하는 단계를 더 포함하고,
    상기 안구 운동 결과를 표시하는 단계는,
    상기 검출된 홍채의 위치에 따라 올바른 방향으로 홍채의 위치가 이동된 경우 안구 운동 결과 점수를 높이고, 올바르지 않은 방향으로 홍채의 위치가 이동된 경우 상기 안구 운동 결과 점수를 낮추어 표시하는, 안구 운동 방법.
  8. 제6항에 있어서,
    상기 홍채의 위치를 검출하는 단계는,
    상기 입력 영상 데이터에서 추출된 얼굴 영역에 대한 조명 변화의 영향을 감소시키기 위해 콘트라스트 스트레치(contrast stretch)하는 단계;
    상기 콘트라스트 스트레치된 얼굴 영역에서 홍채 모양 특징을 추출하는 단계; 및
    상기 추출된 홍채 모양 특징을 이용하여 홍채의 위치를 검출하는 단계
    를 포함하는 안구 운동 방법.
  9. 제8항에 있어서,
    등록된 특징이 있는지 여부를 판단하는 단계;
    상기 등록된 특징이 없는 것으로 판단되면, 하-라이크 피쳐(Haar-like feature)를 이용하여 홍채를 검출하는 단계;
    상기 검출된 홍채에서 홍채 위치를 검출하는 단계;
    상기 검출된 홍채 위치에서 홍채 모양 특징을 추출하는 단계; 및
    상기 추출된 홍채 모양 특징을 등록하는 단계
    를 더 포함하는, 안구 운동 방법.
  10. 입력 영상 데이터에서 조명 변화의 영향을 줄이기 위해 조명을 정규화하는 단계;
    상기 조명 정규화된 입력 영상 데이터에서 얼굴 영역을 검출하는 단계;
    상기 검출된 얼굴 영역에서 학습된 홍채 검출자의 영역별 가중치를 부여하여 홍채 위치 유사도를 계산하는 단계;
    상기 계산된 홍채 위치 유사도를 이용하여 다음 영상에서 홍채 위치를 예측하는 단계; 및
    상기 예측된 홍채 위치를 이용하여 최종 홍채 위치를 판단하는 단계
    를 포함하는 홍채 위치 검출 방법.
KR1020090129120A 2009-12-22 2009-12-22 3차원 디스플레이장치에서 홍채 시선 검출을 통한 안구 운동 장치 및 방법 KR101082691B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090129120A KR101082691B1 (ko) 2009-12-22 2009-12-22 3차원 디스플레이장치에서 홍채 시선 검출을 통한 안구 운동 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090129120A KR101082691B1 (ko) 2009-12-22 2009-12-22 3차원 디스플레이장치에서 홍채 시선 검출을 통한 안구 운동 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110072263A KR20110072263A (ko) 2011-06-29
KR101082691B1 true KR101082691B1 (ko) 2011-11-15

Family

ID=44403210

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090129120A KR101082691B1 (ko) 2009-12-22 2009-12-22 3차원 디스플레이장치에서 홍채 시선 검출을 통한 안구 운동 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101082691B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9953247B2 (en) 2015-01-29 2018-04-24 Samsung Electronics Co., Ltd. Method and apparatus for determining eye position information
KR20190123245A (ko) 2018-04-23 2019-10-31 손영범 초점 확대 및 축소를 이용한 안구운동장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101541061B1 (ko) * 2013-01-23 2015-07-31 서울시립대학교 산학협력단 휴대용 단말기에서 감각 기관의 운동을 보조하는 장치 및 방법
KR101594839B1 (ko) * 2014-09-12 2016-02-17 고려대학교 산학협력단 전두엽 활성 게임 제공 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008264341A (ja) 2007-04-24 2008-11-06 Chube Univ 眼球運動計測方法および眼球運動計測装置
WO2009062945A1 (de) 2007-11-16 2009-05-22 Seereal Technologies S.A. Verfahren und vorrichtung zum auffinden und verfolgen von augenpaaren

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008264341A (ja) 2007-04-24 2008-11-06 Chube Univ 眼球運動計測方法および眼球運動計測装置
WO2009062945A1 (de) 2007-11-16 2009-05-22 Seereal Technologies S.A. Verfahren und vorrichtung zum auffinden und verfolgen von augenpaaren

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9953247B2 (en) 2015-01-29 2018-04-24 Samsung Electronics Co., Ltd. Method and apparatus for determining eye position information
KR20190123245A (ko) 2018-04-23 2019-10-31 손영범 초점 확대 및 축소를 이용한 안구운동장치

Also Published As

Publication number Publication date
KR20110072263A (ko) 2011-06-29

Similar Documents

Publication Publication Date Title
US8139819B2 (en) Eye open/close recognizing apparatus and recording medium
CN103413120B (zh) 基于物体整体性和局部性识别的跟踪方法
JP4307496B2 (ja) 顔部位検出装置及びプログラム
EP3158424B1 (en) System and method for display enhancement
US20180300589A1 (en) System and method using machine learning for iris tracking, measurement, and simulation
CN101833654B (zh) 基于约束采样的稀疏表示人脸识别方法
KR101903127B1 (ko) 시선방향 예측 방법 및 장치
US20150241967A1 (en) Eye Gaze Tracking
WO2016098406A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN110335266B (zh) 一种智能中医目诊图像处理方法及装置
JP5578603B2 (ja) 視線制御装置、視線制御方法、及びそのプログラム
US20170134643A1 (en) Gaze tracking device and method and recording medium for performing the same
US20120057748A1 (en) Apparatus which detects moving object from image and method thereof
CN101908140A (zh) 一种在人脸识别中应用的活体检测方法
WO2022137603A1 (ja) 判定方法、判定装置、及び判定プログラム
KR101082691B1 (ko) 3차원 디스플레이장치에서 홍채 시선 검출을 통한 안구 운동 장치 및 방법
CN105224285A (zh) 眼睛开闭状态检测装置和方法
CN101930543A (zh) 一种自拍视频中眼睛图像的调正方法
Calimeri et al. Optic disc detection using fine tuned convolutional neural networks
CN106326828A (zh) 人脸识别中的眼睛定位方法
Chaudhary et al. Motion tracking of iris features to detect small eye movements
CN115590462A (zh) 一种基于摄像头的视力检测方法和装置
US20170076136A1 (en) Image processing method and apparatus
EP3671541B1 (en) Classification of glints using an eye tracking system
He et al. Biomedical image sequence analysis with application to automatic quantitative assessment of facial paralysis

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140923

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151012

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee