KR20230150397A - 눈 포즈 측정을 사용한 눈꺼풀 형상 추정 - Google Patents

눈 포즈 측정을 사용한 눈꺼풀 형상 추정 Download PDF

Info

Publication number
KR20230150397A
KR20230150397A KR1020237035119A KR20237035119A KR20230150397A KR 20230150397 A KR20230150397 A KR 20230150397A KR 1020237035119 A KR1020237035119 A KR 1020237035119A KR 20237035119 A KR20237035119 A KR 20237035119A KR 20230150397 A KR20230150397 A KR 20230150397A
Authority
KR
South Korea
Prior art keywords
eye
eyelid
eyelid shape
pose
shape
Prior art date
Application number
KR1020237035119A
Other languages
English (en)
Inventor
아드리안 켈러
Original Assignee
매직 립, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 매직 립, 인코포레이티드 filed Critical 매직 립, 인코포레이티드
Publication of KR20230150397A publication Critical patent/KR20230150397A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Optics & Photonics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Processing (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

눈꺼풀 형상 추정을 위한 시스템들 및 방법들이 개시된다. 일 양상에서, 눈의 눈 이미지를 (예컨대, 이미지 캡처 디바이스로부터) 수신한 이후, 눈 이미지에서 눈의 눈 포즈가 결정된다. 눈 포즈로부터, (상부 눈꺼풀 또는 하부 눈꺼풀의) 눈꺼풀 형상이 눈꺼풀 형상 맵핑 모델을 사용하여 추정될 수 있다. 눈꺼풀 형상 맵핑 모델은 눈 포즈와 눈꺼풀 형상을 관련시킨다. 다른 양상에서, 눈꺼풀 형상 맵핑 모델은 (예컨대, 뉴럴 네트워크를 사용하여) 학습된다.

Description

눈 포즈 측정을 사용한 눈꺼풀 형상 추정 {EYELID SHAPE ESTIMATION USING EYE POSE MEASUREMENT}
[0001] 본 출원은 2015년 8월 21일에 출원되고, 발명의 명칭이 "EYELID SHAPE ESTIMATION USING EYE POSE MEASUREMENT"인 미국 가 출원 번호 제 62/208,519호에 대해 35 U.S.C. § 119(e) 하에서 우선권을 주장하고, 이로써 이 가 출원은 그 전체가 인용에 의해 통합된다.
[0002] 본 개시내용은 일반적으로 눈 이미저리(imagery)를 프로세싱하고 더 구체적으로 눈 포즈 측정들을 사용하여 눈꺼풀 형상들을 추정하기 위한 시스템들 및 방법들에 관한 것이다.
[0003] 인간 홍채는 생체 인증 정보의 소스로서 사용될 수 있다. 생체 인증 정보는 개인의 인증 또는 식별을 제공할 수 있다. 일반적으로 생체 인증 템플릿(template)이라 불리는 생체 인증 정보를 추출하는 프로세스는 통상적으로 많은 난제들을 가진다.
[0004] 일 양상에서, 눈꺼풀 형상 추정을 위한 방법이 개시된다. 방법은 하드웨어 프로세서의 제어하에서 수행되고: 에지 검출기를 사용하여 눈의 동공 경계를 검출하는 단계; 동공 경계를 사용하여 눈의 눈 포즈를 결정하는 단계 ― 눈 포즈의 눈 포즈 좌표계는 눈의 휴식 배향에 대해 눈의 방위각 및 천정각(zenithal angle)을 포함하고, 눈 포즈 좌표계와 눈꺼풀 형상 좌표계 사이의 함수(functional) 관계는 맵핑 매트릭스를 포함하고, 그리고 눈꺼풀 형상 좌표계는 눈의 수평 시프트, 수직 시프트, 및 곡률을 포함함 ―; 눈 포즈 및 함수 관계에 적어도 부분적으로 기반하여 눈의 눈꺼풀 형상을 추정하는 단계; 및 눈꺼풀 형상에 기반하여 눈의 눈꺼풀 형상의 포물선 곡선을 피팅(fit)하는 단계를 포함한다. 대안적으로, 다른 양상에서, 이 분석은, 눈꺼풀 포지션의 결정에서 시작하여 홍채 위치, 동공 위치 또는 눈 포즈를 추정하는 역순으로 적용될 수 있다. 다른 양상에서, 눈꺼풀 형상 추정을 위한 방법이 머리 장착 디스플레이 시스템에 의해 수행될 수 있다.
[0005] 다른 양상에서, 머리 장착 디스플레이 시스템이 개시된다. 머리 장착 디스플레이 시스템은: 눈 이미지를 캡처하도록 구성된 이미지 캡처 디바이스; 눈꺼풀 형상 맵핑 모델을 저장하도록 구성된 비-일시적 메모리; 및 비-일시적 메모리와 통신하는 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는: 이미지 캡처 디바이스로부터 눈 이미지를 수신하고; 눈 이미지에서 눈의 눈 포즈를 결정하고; 그리고 눈 포즈 및 눈꺼풀 형상 맵핑 모델에 적어도 부분적으로 기반하여 눈의 눈꺼풀 형상을 추정하도록 프로그래밍되고, 눈꺼풀 형상 맵핑 모델은 눈꺼풀 형상을 눈 포즈에 관련시킨다.
[0006] 또 다른 양상에서, 눈 이미지로부터 눈꺼풀 형상을 추정하기 위한 방법이 개시된다. 방법은 하드웨어 프로세서의 제어하에서 수행되고: 눈 이미지에서 눈의 눈 포즈를 결정하는 단계; 및 눈 포즈에 기반하여 눈꺼풀 형상을 추정하는 단계를 포함한다.
[0007] 추가 양상에서, 눈꺼풀 형상 추정을 위한 눈꺼풀 형상 맵핑 모델을 트레이닝하기 위한 방법이 개시된다. 방법은 하드웨어 프로세서의 제어하에 있고: 눈꺼풀 형상들을 눈 포즈들에 관련시키는 트레이닝 데이터에 액세싱하는 단계; 트레이닝 데이터에 대한 눈꺼풀 형상 맵핑 모델을 트레이닝하는 단계; 및 트레이닝된 눈꺼풀 형상 맵핑 모델을 출력하는 단계를 포함한다.
[0008] 다른 양상에서, 눈 이미지를 프로세싱하기 위한 방법이 개시된다. 방법은 하드웨어 프로세서의 제어하에서 수행되고: 에지 검출기를 사용하여 눈의 눈꺼풀과 눈의 홍채 사이의 경계를 검출하는 단계; 눈의 눈꺼풀과 눈의 홍채 사이의 경계를 사용하여 눈의 눈꺼풀 형상을 결정하는 단계 ― 눈꺼풀 형상의 눈꺼풀 형상 좌표계는 눈의 수평 시프트, 수직 시프트 및 곡률을 포함하고, 눈꺼풀 형상 좌표계와 눈 포즈 좌표계 사이의 함수 관계는 맵핑 매트릭스를 포함하고, 그리고 눈 포즈 좌표계는 눈의 휴식 배향에 대해 눈의 방위 편향각 및 천정 편향각을 포함함 ―; 눈꺼풀 형상 및 함수 관계에 적어도 부분적으로 기반하여 눈의 눈 포즈를 추정하는 단계를 포함한다.
[0009] 또 다른 양상에서, 머리 장착 디스플레이 시스템이 개시된다. 머리 장착 디스플레이 시스템은: 눈 이미지를 캡처하도록 구성된 이미지 캡처 디바이스; 눈 포즈 맵핑 모델을 저장하도록 구성된 비-일시적 메모리; 및 비-일시적 메모리와 통신하는 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는: 이미지 캡처 디바이스로부터 눈 이미지를 수신하고; 눈 이미지에서 눈의 눈꺼풀 형상을 결정하고; 그리고 눈꺼풀 형상 및 눈 포즈 맵핑 모델에 적어도 부분적으로 기반하여 눈의 눈 포즈를 추정하도록 프로그래밍되고, 눈꺼풀 형상 맵핑 모델은 눈꺼풀 형상 및 눈 포즈에 관련된다.
[0010] 추가 양상에서, 눈꺼풀 형상으로부터 눈 포즈를 추정하기 위한 방법이 개시된다. 방법은 하드웨어 프로세서의 제어하에서 수행되고: 눈 이미지에서 눈의 눈꺼풀 형상을 결정하는 단계; 및 눈꺼풀 형상에 적어도 부분적으로 기반하여 눈 포즈를 추정하는 단계를 포함한다.
[0011] 다른 양상에서, 눈꺼풀 형상으로부터 눈 포즈를 추정하기 위한 눈 포즈 맵핑 모델을 트레이닝하기 위한 방법이 개시된다. 방법은 하드웨어 프로세서의 제어하에 있고: 눈꺼풀 형상들을 눈 포즈들에 관련시키는 트레이닝 데이터에 액세싱하는 단계; 트레이닝 데이터에 대한 눈 포즈 맵핑 모델을 트레이닝하는 단계; 및 트레이닝된 눈 포즈 맵핑 모델을 출력하는 단계를 포함한다.
[0012] 이 명세서에서 설명된 청구 대상의 하나 또는 그 초과의 구현들의 세부사항들은 아래의 첨부 도면들 및 설명에서 설명된다. 다른 특징들, 양상들 및 장점들은 상세한 설명, 도면들 및 청구항들로부터 자명하게 될 것이다. 이 요약도 다음 상세한 설명도 본 청구 대상의 범위를 정의하거나 제한하도록 의도하지 않는다.
[0013] 도 1은 눈의 예를 개략적으로 예시한다.
[0014] 도 1a는 눈의 눈 포즈를 결정하기 위한 예시적 좌표계를 개략적으로 예시한다.
[0015] 도 2는 예시적 눈꺼풀 형상 추정 루틴의 흐름도이다.
[0016] 도 3은 눈꺼풀 형상 추정의 예를 개략적으로 예시한다.
[0017] 도 4는 예시적 눈 포즈 추정 루틴의 흐름도이다.
[0018] 도 5는 눈 포즈 추정의 예를 개략적으로 예시한다.
[0019] 도 6은 착용가능 디스플레이 시스템의 예를 개략적으로 예시한다.
[0020] 도면들 전반에 걸쳐, 참조 번호들은 참조된 엘리먼트들 사이의 대응을 표시하기 위해 재사용될 수 있다. 도면들은 본원에 설명된 예시적 실시예들을 예시하기 위해 제공되고 본 개시내용의 범위를 제한하도록 의도되지 않는다.
개요
[0021] 눈으로부터 생체 인증 정보를 추출하는 것은 일반적으로 눈 이미지 내에서 홍채의 세분화(segmentation)를 위한 절차를 포함한다. 홍채 세분화는 홍채의 동공 및 변연(limbic) 경계들을 찾는 것을 포함하는 홍채 경계들을 로케이팅(locating)하는 것, 눈꺼풀들이 홍채를 가리면 상부 또는 하부 눈꺼풀들을 로컬라이징(localizing)하는 것, 속눈썹들, 그림자(shadow)들, 또는 반사들의 가려짐(occlusion)들을 검출하고 배제하는 것 등을 포함하는 동작들을 포함할 수 있다. 예컨대, 눈 이미지는 얼굴의 이미지에 포함될 수 있거나 눈 주위 지역의 이미지일 수 있다. 홍채 세분화를 수행하기 위해, 동공의 경계(홍채의 내부 경계) 및 윤부(limbus)(홍채의 외부 경계) 둘 모두는 이미지 데이터의 별개의 세그먼트들로서 식별될 수 있다. 홍채의 이런 세분화 외에도, 눈꺼풀들에 의해 가려지는 홍채의 부분(상부 또는 하부)이 추정될 수 있다. 이런 추정은, 정상 인간 활동 동안, 사람의 전체 홍채가 거의 보이지 않기 때문에 수행된다. 다른 말로, 전체 홍채가 일반적으로 눈꺼풀들의 가려짐들로부터 자유롭지 못하다.
[0022] 눈꺼풀들에 의해 가려진 홍채의 부분을 추정하는 것은 난제들을 제시하였다. 그러나, 본원에 설명된 기법들을 사용하면, 홍채 추정시 제시되는 어려움들은 눈꺼풀의 형상을 먼저 추정함으로써 완화될 수 있다. 눈꺼풀 형상의 이런 추정은 홍채 세분화를 위한 시작 포인트로서 사용될 수 있다. 유사하게, 눈의 지향 방향의 기존 추정은 눈꺼풀 포지션 추정 및 눈, 종종 특히 홍채에 관한 상세한 정보의 후속 추출을 위한 시작 포인트로서 사용될 수 있다.
[0023] 눈꺼풀들은 예컨대 눈물들 및 다른 분비물들을 눈 표면에 걸쳐 확산시킴으로써 눈을 촉촉하게 유지하기 위해 눈에 의해 사용될 수 있다. 눈꺼풀들은 또한 이질적 잔해로부터 눈을 보호하기 위해 사용될 수 있다. 예로서, 깜박임 반사(blink reflex)는 급성 외상으로부터 눈을 보호한다. 다른 예로서, 눈이 세상을 능동적으로 뷰잉(viewing)할 때에도, 눈꺼풀들은 예컨대 눈의 지향 방향의 변화들에 대한 응답으로 자동으로 움직임으로써 눈을 보호할 수 있다. 눈꺼풀들에 의한 그런 움직임은 동공의 가려짐을 회피하면서 눈 표면의 보호를 최대화할 수 있다. 그러나, 이런 움직임은, 홍채-기반 생체 인증 측정들, 이를테면 홍채 세분화를 이용하여 생체 인증 정보를 추출할 때 추가 난제들을 제시한다. 예컨대, 홍채 세분화를 사용하기 위해, 눈꺼풀들에 의해 가려진 홍채의 영역들이 아이덴티티 검증 컴퓨테이션(computation)들로부터 추정되고 마스킹(mask)되어야 한다.
[0024] 본원에 개시된 기법들에 의해, 동공의 포즈를 사용하면, 눈꺼풀 형상 추정은 홍채 위의 눈꺼풀들에 의해 가려진 영역들을 실질적으로 예측하기 위해 사용될 수 있다. 본원에 설명된 눈꺼풀 형상 추정의 실시예들은 유리하게 눈꺼풀들에 의해 가려진 홍채의 부분을 추정하기 위해 사용될 수 있다. 부가적으로, 일부 구현들에서, 이 눈꺼풀 형상 추정은 세분화 알고리즘, 이를테면 눈꺼풀 세분화 알고리즘 대신, 또는 이에 대한 시작 포인트로서 사용될 수 있는 눈꺼풀 위치에 대한 모델을 생성하는데 사용될 수 있다.
[0025] 본 개시내용은 눈 포즈 결정을 사용하여 눈꺼풀 형상의 추정의 예들뿐 아니라, 눈 지향 방향이 눈꺼풀 형상으로부터 추정되는 대안적인 프로세스를 설명할 것이다. 눈 포즈 결정은 눈 이미지들로부터 결정될 수 있다. 눈 포즈는, 눈이 바라보는 방향의 결정(종종 눈의 자연스러운 휴식 방향에 대해 결정됨)이다. 일부 구현들에서, 눈 포즈 결정을 사용하여, 곡선들은 눈꺼풀의 형상을 모델링하는데 피팅될 수 있다. 곡선들은 눈 포즈 결정의 파라메트릭(parametric) 형태로부터 눈꺼풀 형상을 나타내는 파라메트릭 곡선으로 값들을 맵핑하기 위해 회귀(regression)를 사용하는 맵핑 매트릭스에 피팅될 수 있다. 예컨대, 이 파라메트릭 형태는 포물선 곡선일 수 있다. 그런 맵핑 매트릭스는 눈 포즈 좌표계와 눈꺼풀 형상 좌표계의 관계를 연관시킬 수 있다. 따라서, 눈꺼풀들의 위치는 눈 이미지들로부터 추정될 수 있거나, 그 반대도 가능하다. 추가로, 본원에 설명된 바와 같이, 개시된 눈꺼풀 형상 추정 기법들은 눈 포즈 결정에 기반한 눈꺼풀 검출 알고리즘(예컨대, 눈꺼풀 세분화)에 사용될 수 있다.
[0026] 본원에 사용된 바와 같이, 비디오는 자신의 일반적인 의미로 사용되고 시각 이미지들의 시퀀스를 레코딩하는 것(그러나 이에 제한되지 않음)을 포함한다. 비디오의 각각의 이미지는 때때로 이미지 프레임 또는 간단히 프레임으로 지칭된다. 비디오는 오디오 채널과 함께 또는 오디오 채널 없이, 복수의 순차적인 프레임들 또는 비-순차적인 프레임들을 포함할 수 있다. 비디오는 복수의 프레임들을 포함할 수 있고, 복수의 프레임들은 시간적으로 정렬되거나 시간적으로 정렬되지 않는다. 따라서, 비디오의 이미지는 눈 이미지 프레임 또는 눈 이미지로 지칭될 수 있다.
눈 이미지의 예
[0027] 도 1은 눈꺼풀들(104), 공막(108)(눈의 "백색 부분"), 홍채(112), 및 동공(116)을 가진 눈(100)의 이미지를 예시한다. 곡선(116a)은 동공(116)과 홍채(112) 사이의 동공 경계를 도시하고, 그리고 곡선(112a)은 홍채(112)와 공막(108) 사이의 변연 경계를 도시한다. 눈꺼풀들(104)은 상부 눈꺼풀(104a) 및 하부 눈꺼풀(104b)을 포함한다. 눈(100)은 자연스러운 휴식 포즈(예컨대, 사용자의 얼굴 및 시선 둘 모두는, 사용자의 바로 앞에 있는 먼 객체를 향하는 것처럼 지향됨)로 예시된다. 눈(100)의 자연스러운 휴식 포즈는 자연스러운 휴식 방향(120)에 의해 표시될 수 있고, 자연스러운 휴식 방향(120)은 자연스러운 휴식 포즈에 있을 때 눈(100)의 표면에 수직인(예컨대 도 1에 도시된 눈(100)에 대한 평면으로부터 일직선으로 나옴) 방향이고 그리고 이 예에서 동공(116) 내에 중심이 두어진다.
[0028] 눈(100)이 상이한 객체들을 바라보도록 움직일 때, 눈 포즈는 자연스러운 휴식 방향(120)에 대해 변화할 것이다. 현재 눈 포즈는 눈 포즈 방향(122)을 참조하여 결정될 수 있고, 눈 포즈 방향(122)은 눈의 표면에 직교하는 방향(및 동공(116) 내에 중심이 두어짐)이지만 눈이 현재 지향되는 객체를 향하여 배향된다. 도 1a에 도시된 예시적 좌표계를 참조하여, 눈(100)의 포즈는 눈의 눈 포즈 방향(124)의 방위 편향 및 천정 편향을 표시하는 2개의 각도 파라미터들로서 표현될 수 있고, 방위 편향과 천정 편향 둘 모두는 눈의 자연스러운 휴식 방향(120)에 관련된다. 예시의 목적들을 위해, 이들 각도 파라미터들은 θ(기점 방위로부터 결정된 방위각 편향) 및 φ(때때로 또한 극 편향으로서 지칭되는 천정 편향)로서 표현될 수 있다. 일부 구현들에서, 눈 포즈 방향(124)을 중심으로 눈의 각도적 롤(roll)은 눈 포즈의 결정시 포함될 수 있고, 각도적 롤은 다음 분석에 포함될 수 있다. 다른 구현들에서, 눈 포즈를 결정하기 위한 다른 기법들, 예컨대 피치(pitch), 요우(yaw) 및 선택적으로 롤 시스템이 사용될 수 있다.
[0029] 눈 이미지는 임의의 적합한 프로세스, 예컨대 하나 또는 그 초과의 순차적인 프레임들로부터 이미지를 추출할 수 있는 비디오 프로세싱 알고리즘을 사용하여 비디오로부터 획득될 수 있다. 눈의 포즈는 다양한 눈-추적 기법들을 사용하여 눈 이미지로부터 결정될 수 있다. 예컨대, 눈 포즈는 제공된 광 소스들에 대한 각막의 렌징(lensing) 효과들을 고려함으로써 결정될 수 있다. 임의의 적절한 눈 추적 기법은 본원에 설명된 눈꺼풀 형상 추정 기법들로 눈 포즈를 결정하는데 사용될 수 있다.
예시적 눈꺼풀 형상 추정 루틴
[0030] 도 2는 예시적 눈꺼풀 형상 추정 루틴(200)의 흐름도이다. 눈꺼풀 형상 추정 루틴(200)은 프로세서, 이를테면 하드웨어 프로세서에 의해 구현될 수 있다. 눈꺼풀 형상 추정은 또한 눈꺼풀 형상 검출로 지칭될 수 있다. 루틴(200)은 블록(204)에서 시작된다. 블록(208)에서, 눈 이미지가 수신된다. 눈 이미지는 예컨대 이미지 캡처 디바이스, 머리 장착 디스플레이 시스템, 서버, 비-일시적 컴퓨터 판독가능 매체, 또는 클라이언트 컴퓨팅 디바이스(예컨대, 스마트폰)를 포함하는 다양한 소스들로부터 수신될 수 있다. 일부 구현들에서, 눈 이미지는 비디오로부터 추출될 수 있다.
[0031] 블록(212)에서, 눈 이미지에서 눈 포즈가 결정된다. 예컨대, 에지 검출은 눈 포즈를 결정하기 위해 눈 이미지에 적용될 수 있다. 에지 검출은 다양한 에지 검출기들, 에지 검출 알고리즘들 또는 필터들에 의해 적용될 수 있다. 예컨대, 캐니 에지(Canny Edge) 검출기는 이미지의 라인들의 에지들을 검출하기 위해 이미지에 적용될 수 있다. 에지들은 로컬 최대 도함수에 대응하는 라인을 따라 위치된 포인트들이다. 예컨대, 동공 경계(116a)는 캐니 에지 검출기를 사용하여 로케이팅될 수 있다. 결정된 동공의 위치에 따라, 다양한 이미지 프로세싱 기법들이 동공(116)의 "포즈"를 검출하기 위해 사용될 수 있다. 눈 이미지에서 눈 포즈를 결정하는 것은 또한 눈 이미지에서 눈 포즈를 검출하는 것으로 지칭될 수 있다. 포즈는 또한 시선, 지향 방향 또는 눈의 배향으로 지칭될 수 있다. 예컨대, 동공(116)은 객체를 향하여 좌측으로 볼 수 있고, 동공(116)의 포즈는 좌측 포즈로서 분류될 수 있다.
[0032] 다른 방법들은 동공의 위치를 검출하기 위해 사용될 수 있다. 예컨대, 동심 링은 캐니 에지 검출기를 사용하여 눈 이미지에 로케이팅될 수 있다. 다른 예로서, 적분 미분 연산기는 홍채의 동공 또는 윤부 경계들을 찾기 위해 사용될 수 있다. 예컨대, 더그만(Daugman) 적분 미분 연산기, 허프(Hough) 변환, 또는 다른 홍채 세분화 기법들이 동공 또는 홍채의 경계를 추정하는 곡선을 리턴하기 위해 사용될 수 있다.
[0033] 일부 구현들에서, 눈 이미지는 선택적으로 이미지로부터 고주파 노이즈를 제거하기 위해 필터로 전-처리될 수 있다. 필터는 저역 통과 필터 또는 모폴로지컬(morphological) 필터, 이를테면 오픈(open) 필터일 수 있다. 필터는 동공 경계(116a)로부터 고주파 노이즈를 제거할 수 있고, 이에 의해 눈 포즈 결정을 방해할 수 있는 노이즈가 제거된다.
[0034] 전술한 예들이 포즈를 결정하기 위해 눈 이미지에서 동공을 로케이팅하는 맥락에서 설명되었지만, 이는 예시이고 제한인 것으로 의도되지 않는다. 다른 구현들에서, 임의의 적절한 이미지 프로세싱 기법 또는 검출 기법은 눈의 포즈를 결정하기 위해 사용될 수 있다. 예로서, 변연 경계(112a) 및 홍채(112)의 위치는 각각 홍채의 위치를 검출하고 홍채의 포즈를 결정하기 위해 사용될 수 있다. 홍채(112)에 대한 함수 형태는 동공(116)에 대한 함수 형태와 상이할 수 있지만, 그럴 필요는 없다. 결정되면, 눈의 포즈는 다양한 함수 형태들, 예컨대 2개의 각도 편향들, 이를테면 도 1a에 도시된 방위각 및 천정각으로 표현될 수 있다.
[0035] 도 2를 계속 참조하면, 블록(216)에서, 눈꺼풀의 함수 형태는 블록(212)에서 결정된 눈 포즈를 사용하여 추정될 수 있다. 다양한 구현들에서, 눈꺼풀의 이런 함수 형태는 눈꺼풀 형상으로의 눈 포즈 결정의 맵핑을 사용하여 추정될 수 있다. 맵핑은 개인들, 개인들의 다양한 집단들(예컨대, 남성들, 여성들, 인종집단들, 또는 임의의 인구 그룹), 인간이 아닌 동물들 등에 대해 수행될 수 있다.
[0036] 곡선들은 눈꺼풀 형상을 근사화하기 위해 사용될 수 있다. 비-제한적 예시적 구현에서, 눈꺼풀은 다항식 형태, 이를테면 포물선(이차식 형태)에 의해 표현될 수 있다. 다른 구현들은 또한 가능하다. 다른 구현들에서, 임의의 적절한 수학 포뮬레이션(formulation) 또는 곡선은 눈꺼풀을 표현하기 위해 사용될 수 있다. 즉, 눈꺼풀 곡선의 표현은 임의의 차수의 다항식 형태일 필요가 없다. 예컨대, 곡선은 다른 비-선형 수학적 표현일 수 있다. 상이한 포뮬레이션들 또는 곡선들이 각각의 눈꺼풀에 대해 가능하다. 아래에 논의된 바와 같이, 눈꺼풀 형상의 비-파라메트릭 표현들이 사용될 수 있다(예컨대, 뉴럴 네트워크 분류기들). 후속 예가 포물선 곡선에 피팅되는 3개의 파라미터들의 맥락에서 설명될 것이지만, 이것은 예시이고 제한인 것으로 의도되지 않는다. 다른 구현들에서, 임의의 적절한 수의 파라미터들은 선정된 곡선에 피팅하기 위해 사용될 수 있다. 게다가, 포물선 형태 이외의 임의의 함수 형태가 사용될 수 있다.
[0037] 블록(212)에서 결정된 눈 포즈 결정들은 예컨대 좌표들(x 및 y)에 의해 표현되는 좌표계로 표현될 수 있고, 좌표계는, 동공이 자연스러운 휴식 배향에 있을 때 동공의 중심에 중심이 두어지고, x는 수평 방향을 표현하고 y는 직교 수직 방향을 표현한다. 눈꺼풀 형상에 피팅되는 포물선 곡선의 예에서, 포물선 곡선은 3개의 파라미터들에 의해 파라미터화될 수 있다. 예시적으로, 이들 3개의 파라미터들은 수평 시프트(u); 수직 시프트(v); 및 눈꺼풀의 곡률(k)로 지칭될 수 있다.
[0038] 따라서, 이 실시예에서, 눈꺼풀 형상에 대한 포물선에 대한 수학식은 아래와 같다:
(수학식 1)
[0039] 눈 포즈 결정들(예컨대, (θ,φ))은 대응하는 눈꺼풀 형상 파라미터들(예컨대, (u,v,k))을 결정하기 위해 사용될 수 있다. 하나의 관점에서, 이것은 2개의-파라미터 공간(θ,φ)으로부터 3개의-파라미터 공간(u,v,k)으로의 맵핑으로 보여질 수 있다. 다양한 구현들에서, 이 맵핑은 눈꺼풀들을 세분화하거나, 또는 다른 눈꺼풀 세분화 알고리즘들의 성능을 개선하기 위해 사용될 수 있는 눈꺼풀 형상 파라미터들의 초기 근사화를 생성하기 위해 사용될 수 있다. 아래에 논의된 바와 같이, 다른 구현들이 가능하다. 맵핑은 또한 맵핑 함수로 지칭될 수 있다. 후속 예가 눈 포즈 맵핑을 사용하여 눈꺼풀 형상에 피팅되는 맥락에서 설명될 것이지만, 이것은 예시이고 제한인 것으로 의도되지 않는다. 다른 구현들에서, 눈 포즈 결정에 기반한 임의의 맵핑 함수(파라메트릭 또는 비-파라메트릭)는 눈꺼풀 형상에 피팅하기 위해 사용될 수 있다. 게다가, 이 맵핑을 수행하기 위한 다양한 함수 형태들이 가능하다. 일반적으로 말하면, 맵핑 함수는 눈 포즈 좌표계와 눈꺼풀 형상 좌표계의 관계를 연관시킨다. 예시적으로, 눈 포즈 결정은 P 파라미터들로서 표현되고 Q 파라미터들에 의해 표현된 눈꺼풀 함수 형태에 피팅하도록 맵핑될 수 있다. 예컨대, 눈꺼풀 함수 형태는 Q 파라미터들에 의해 표현될 수 있고, 여기서 Q는 디스플레이(예컨대, 아래의 도 6의 디스플레이(608))의 픽셀들의 폭일 수 있다. 함수 형태에 비선형 결정의 맵핑이 또한 가능하거나, 또는 그 반대도 가능하다.
[0040] 블록(220)에서, 눈꺼풀 형상은 눈 포즈 맵핑에 기반하여 눈꺼풀 형상이도록 결정된 곡선에 피팅될 수 있다. 3개의-파라미터 공간의 예에서 계속하면, 맵핑은 3개의 별개의 맵핑들(u(θ,φ), v(θ,φ), 및 k(θ,φ))로 분해될 수 있다. 예컨대, 그런 분해들은 특정 차수의 다항식들로서 모델링될 수 있다. 이들 함수들에 대한 하나의 가능한 파라미터화는 형태()일 수 있고, 의 각각의 엘리먼트들은 다음 정의를 가진다:
(수학식 2)
[0041] 수학식(2)에서, 는 (θ,φ)의 눈 포즈 결정들로부터 결정될 눈꺼풀 형상 파라미터들의 열 벡터([u, v, k])이다. 수학식(2)의 맵핑(A)은 눈꺼풀 형상 파라미터들을 각도 눈 포즈 결정들의 다항식(이 예에서, 이차식) 함수()에 관련시킨다. 3개의-파라미터 공간의 예에서, 맵핑들(u(θ,φ), v(θ,φ), 및 k(θ,φ))은 다음 정의들을 가진다:
(수학식 3)
(수학식 4)
(수학식 5)
[0042] 다른 실시예들에서, 함수()는 2 이외(예컨대, 1, 3, 4, 5 또는 그 초과)의 상이한 차수(degree)의 다항식, 비-다항식 함수, 유리 함수, 또는 임의의 다른 적합한 함수 형태일 수 있다. 또 다른 실시예들에서, 눈 포즈 결정들은 눈 포즈 방향을 중심으로 눈의 롤을 포함할 수 있고, 열 벡터()는 롤 각의 함수 형태들(예컨대, 다항식, 이를테면 이차식)을 포함할 수 있다. 추가로, 와 사이의 관계가 수학식(2)에서 선형이지만, 다른 구현들에서, 비-선형 관계들이 활용될 수 있다.
[0043] 따라서, 눈꺼풀 형상 파라미터들()은, 눈 포즈 각도 결정들로부터 결정된 눈 포즈 함수()가 주어지면, 맵핑 매트릭스(A)에 의해 추정될 수 있다. 다양한 구현들에서, 맵핑 매트릭스(A)는 개인 또는 개인들의 그룹의 눈 포즈 및 눈꺼풀 형상 결정들을 포함하는 트레이닝 데이터로부터 결정될 수 있다. 예컨대, 트레이닝 데이터는, 개인의 눈이 상이한 시선 방향으로 움직일 때 시간의 기간 동안 개인(또는 개인들의 그룹)에 대한 눈 포즈들 및 눈꺼풀 형상들을 관찰하고 결정함으로써 획득될 수 있다. 이들 관찰들 동안, 눈의 포즈 및 눈꺼풀들의 포지션 둘 모두가 레코딩된다. 그런 데이터 포인트들은 예컨대 이들 함수들을 특징화하는 파라미터들의 회귀에 의해, 맵핑들(u(θ,φ), v(θ,φ), 및 k(θ,φ))을 결정하기 위해 사용될 수 있다. 이 예에서, 값들(aij)은 (예컨대, 회귀 또는 임의의 다른 통계적 피팅 또는 최적화 기법에 의해) 이용가능한 트레이닝 데이터를 피팅함으로써 발견될 계수들이다.
[0044] 비-파라메트릭 모델들을 포함하는 눈꺼풀 형상의 다른 모델들이 가능하다. 또한, 눈꺼풀 형상과 눈 포즈 사이의 관계는 암시적 학습 맵핑들, 이를테면 뉴럴 네트워크들에 의해 결정될 수 있다.
[0045] 일부 구현들에서, 얼굴이 2개의 눈들 사이의 중간-라인을 중심으로 대칭이기 때문에, 좌측 및 우측 눈들의 별개의 모델들이 사용되지 않는다. 대신, 하나의 눈(예컨대, 우측 눈)의 이미지는, 미러(mirror) 이미지 및 다른 눈의 이미지(예컨대, 좌측 눈)가 유사하거나 구별 불가능하도록, 수평으로 반사된 미러 이미지로 변환된다. 즉, 하나의 눈(예컨대, 우측 눈)의 미러 이미지들 및 다른 눈(예컨대, 좌측 눈)의 이미지들은 유사하거나 구별 불가능할 수 있다. 이어서, 피팅 절차는 피팅 절차에 사용될 수 있는 눈들 또는 눈 이미지들의 수를 실질적으로 두 배로 하는 단일 눈 형상(예컨대, 좌측 눈 형상)에 대해 수행될 수 있다. 사실상, 그런 구현들은 좌측 눈 또는 우측 눈에 사용될 수 있는 일반적인 눈꺼풀 형상 모델을 결정한다. 예컨대, 좌측 눈들에 대한 눈꺼풀 형상 모델이 주어지면, 우측 눈들에 대한 데이터(예컨대, 눈 이미지들 및 눈 포즈 결정들)가 반영될 수 있고, 이어서 좌측 눈 모델이 적용될 수 있고, 이어서 대응하는 눈꺼풀 형상 결정이 또 다시 반영된다.
[0046] 일부 구현들에서, 블록(212)에서 눈 이미지로부터 결정된 눈 포즈는 블록(220)에서 추정된 눈꺼풀 형상에 적어도 부분적으로 기반하여 다시 결정된다. 다시 결정된 눈꺼풀 형상은 (블록(212)으로부터의) 초기 눈꺼풀 형상과 비교될 수 있고 실질적으로 유사하면(예컨대, 파라메트릭 표현들의 차이들이 임계치 미만이면), 루틴(200)은, 결정된 눈 포즈가 충분히 정확한 것을 결정할 수 있다. 따라서, 루틴(200)은 (선택적으로) 눈 포즈 결정의 일관성을 검증할 수 있다.
[0047] 따라서, 이 예에서 알 수 있는 바와 같이, 눈꺼풀 형상은 눈꺼풀 형상으로의 눈 포즈 결정의 맵핑에 따라 피팅될 수 있다. 다르게 말하면, 루틴(200)은 눈꺼풀의 형상인 곡선에 피팅되도록 눈 포즈 결정을 사용할 수 있다. 이후, 블록(224)에서, 루틴(200)은 종료된다.
[0048] 다양한 실시예들에서, 루틴(200)은 예컨대 도 6을 참조하여 아래에 설명되는 바와 같이, 머리 장착 디스플레이 시스템의 하드웨어 프로세서에 의해 수행될 수 있다. 다른 실시예들에서, 컴퓨터-실행가능 명령들을 가진 원격 컴퓨팅 디바이스는 머리 장착 디스플레이 시스템이 루틴(200)을 수행하게 할 수 있다. 루틴(200)의 일부 실시예들에서, 엘리먼트들은 위에서 설명된 것과 다른 순서로 발생할 수 있다.
눈꺼풀 형상 추정의 예
[0049] 도 3은 위의 도 2에 설명된 눈꺼풀 형상 추정 루틴을 사용하는 눈꺼풀 형상 추정의 예를 개략적으로 예시한다. 예컨대, 도 3은, 눈꺼풀 형상이 눈 포즈 맵핑에 기반하여 눈꺼풀 형상이도록 결정된 곡선에 피팅될 때의 블록(220)에서의 결과를 예시한다. 도 3에 도시된 바와 같이, 포물선 피트 라인(128a)은 상부 눈꺼풀(104a)에 피팅될 수 있고; 포물선 피트 라인(128c)은 하부 눈꺼풀(104b)에 피팅될 수 있다. 일부 경우들에서, 다수의 포물선 피트 라인들은 루틴(200)에 의해 맵핑된다. 예컨대, 상이한 회귀 또는 통계적 결정은 맵핑 매트릭스(A)를 결정하기 위해 사용될 수 있다. 따라서, 예시된 바와 같이, 포물선 피트 라인(128b)은 상부 눈꺼풀(104a)의 다른 피트를 도시하고; 그리고 포물선 피트 라인(128d)은 하부 눈꺼풀(104b)의 다른 피트를 도시한다.
[0050] 본원에 설명된 피팅 프로세스 동안, 눈꺼풀에 대한 피트는 특정 눈꺼풀에 대해 잘못된 방향으로 곡선진 라인을 초래할 수 있다. 예컨대, 상부 눈꺼풀은 일반적으로 하향으로 곡선지고 하부 눈꺼풀은 일반적으로 상향으로 곡선진다. 피트 라인이 특정 눈꺼풀에 대한 잘못된 곡률(예컨대, 상부 눈꺼풀에 대한 상향 곡률 또는 하부 눈꺼풀에 대해 하향 곡률)을 가지면, 피트 라인은 루틴(200)(예컨대, 블록(220))에서 거절될 수 있고, 이에 의해 프로세싱 리소스들이 절약되고 프로세스의 효율성이 개선된다.
[0051] 따라서, 일부 실시예들에서, 피트 라인은 피트 라인의 곡률의 부호에 기반하여 거절될 수 있고; 상부 눈꺼풀들에 대해서는 포지티브 곡률들이 거절되고 하부 눈꺼풀들에 대해서는 네거티브 곡률들이 거절된다. 다양한 구현들에서, 피트 라인의 곡률은 피팅 프로세스의 부분으로서 결정되거나(예컨대, 특정 피팅 계수가 곡률을 나타낼 수 있음), 또는 피트 라인의 곡률은 피트 라인을 나타내는 함수의 2차 도함수를 취함으로써 결정될 수 있다.
[0052] 전술한 예들이 포물선을 눈꺼풀에 피팅하는 맥락에서 설명되었지만, 이는 예시이고 제한인 것으로 의도되지 않는다. 다른 구현들에서, 눈꺼풀에 대한 임의의 적절한 함수 형태는 피팅 절차 동안 사용될 수 있다. 상부 눈꺼풀에 대한 함수 형태는 하부 눈꺼풀에 대한 함수 형태와 상이할 수 있지만, 그럴 필요는 없다. 눈꺼풀에 대한 함수 형태는 원뿔 형태(특정 경우로서 포물선을 포함함), 다항식(예컨대, 원뿔 형태를 나타내는 2보다 더 높은 차수를 가짐), 스플라인(spline), 유리 함수, 또는 임의의 다른 적합한 함수일 수 있다.
예시적 눈꺼풀 형상 추정 알고리즘
[0053] 다음 의사-코드는 눈꺼풀 형상 추정 프로세스의 다른 예를 제공한다. 프로세스는 눈 이미지들에서 시작된다.
[0054] 맵핑 매트릭스(A)는 다음으로 결정될 수 있다:
(1) 눈 이미지들의 데이터 세트(D) 수집.
(2) 각각의 이미지에 대해:
(2a) 사용자의 머리의 프레임에서 눈의 눈 포즈 결정()을 컴퓨팅.
(2b) 눈꺼풀에 대한 최상의 피트를 컴퓨팅하고, 이 피트에 대한 눈꺼풀 함수 파라미터들()을 추출(컴퓨팅된 눈 포즈 결정()을 위해 컴퓨팅된 피트()는 트레이닝 데이터의 예임).
(3) 파라미터들({aij})을 가진 맵핑 매트릭스(A)가 주어지면, 트레이닝 데이터를 모델()에 피팅하기 위한 파라미터들({aij})의 최적의 값들을 결정.
[0055] 눈꺼풀 형상은 맵핑 매트릭스(A)에 대응하는 눈꺼풀에 대해 추정될 수 있다.
(4) 눈 이미지에 대해, 머리 좌표들에서 눈의 눈 포즈 결정()을 컴퓨팅.
(5) 매트릭스(A)를 사용하여, 모델(=A)을 사용하여 눈꺼풀 함수 파라미터들()을 추정.
(6) 다음 중 하나 또는 둘 모두를 수행:
(6a) 대응하는 눈꺼풀에 대해 를 사용하여 이미지 마스크를 컴퓨팅하고 이 마스크를 사용하여 홍채 픽셀들을 추출하거나; 또는
(6b) 눈꺼풀 함수 파라미터들()을 사용하여, 결정된 눈꺼풀 경계가 추가로 개선될 수 있는 후속 알고리즘을 초기화.
[0056] 이런 추정 프로세스는 다른 눈꺼풀들에 대해 반복될 수 있다.
[0057] 본원에 논의된 바와 같이, 특정 구현들은 눈꺼풀 형상을 결정하고 이어서 추정된 눈꺼풀 형상으로부터 눈 포즈를 추정함으로써 전술한 것의 역(inverse)을 수행할 수 있다.
비디오 프로세싱을 위한 눈꺼풀 형상 추정의 예시적 애플리케이션들
[0058] 눈꺼풀 형상 추정을 사용하는 시스템들 및 방법들은, 비디오 이미저리의 맥락 내에서 처리될 때, 이미지 프로세싱의 종래 문제의 많은 부분이 개선되도록 허용한다. 부가적으로 다른 문제들이 처리될 수 있다. 예컨대, 눈꺼풀 형상 추정은 비디오로부터 이미지를 분류(예컨대, 눈의 홍채를 식별)할 뿐 아니라, 비디오의 하나 또는 그 초과의 프레임들 내의 특정 객체 타입들의 로컬리제이션(예컨대, 상부 눈꺼풀의 위치)을 위해 사용될 수 있다. 다른 예로서, 눈꺼풀 형상 추정은 (예컨대, 눈의 배향 또는 방향을 결정하는) 눈-추적의 애플리케이션을 위해 비디오에 적용될 수 있다.
[0059] 일부 그런 애플리케이션들에서, 아래에서 추가로 논의될 바와 같이, 착용가능 디스플레이 시스템은 착용가능 디스플레이 시스템에 동작가능하게 커플링된(예컨대, 부착되거나 포함된) 이미지 캡처 디바이스에 의해 획득된 비디오 데이터에 대해 눈꺼풀 형상 추정을 수행하는 프로세서를 포함할 수 있다. 이미지 캡처 디바이스는 눈꺼풀 형상을 추정하는데 사용하기 위해 착용자의 눈의 비디오 또는 착용자의 몸체의 다른 컴포넌트들(예컨대, 손 또는 손가락)의 비디오를 획득할 수 있다.
[0060] 눈꺼풀 형상 추정의 사용은 유리하게 (예컨대, 착용가능 디스플레이 시스템의 이미지 캡처 디바이스로부터 획득된) 비디오에서 눈꺼풀들의 인식을 허용하고, 이는 생체 인증 정보 같은 비디오 내의 객체들의 개선된 인식 또는 분류를 허용할 수 있다. 예컨대, 종래의 생체 인증 템플릿은 눈의 세분화를 결정하는데 어려움을 가질 수 있다. 그러나, 본원에 설명된 눈꺼풀 형상 추정 접근법은 동공의 경계와 홍채의 경계 사이를 더 잘 구별할 수 있는데, 이는 (일반적으로) 홍채의 일부가 눈꺼풀에 의해 가려질 것이지만, 동공이 (일반적으로) 가려지지 않을 것이기 때문이다. 따라서, 생체 인증 정보를 추출하기 위한 능력을 제공함으로써, 도 2에 설명되고 도 3에 예시된 눈꺼풀 형상 추정은 눈꺼풀에 의해 가려지지 않은 눈의 부분들을 더 잘 인식할 수 있고 생체 인증 추출에 사용되는 더 정확한 홍채 세분화를 제공할 수 있다. 본원에 개시된 눈꺼풀 형상 추정 기법들은 생체 인증 추출 또는 식별(예컨대, 홍채 식별)을 위해 머리 장착 디스플레이(예컨대, 도 6의 머리 장착 디스플레이)에 의해 사용될 수 있다.
예시적 눈 포즈 추정 루틴
[0061] 다양한 실시예들에서, 눈꺼풀 형상에 기반한 눈 포즈 추정을 위한 루틴은 (눈꺼풀 형상이 눈 포즈로부터 추정되는) 루틴(200)과 유사하게 수행될 수 있다. 예컨대, 눈 이미지에서 눈 포즈가 블록(212)에서 결정되기보다 오히려, 눈꺼풀 형상은 눈 이미지를 사용하여 블록(212)에서 결정될 수 있다. 눈꺼풀 형상들은 파라메트릭적으로(예컨대, 포물선 파라미터화들을 위해 (u,v,k)로서) 표현될 수 있다. 눈 포즈(예컨대, 각도들(θ,φ))는 눈꺼풀들의 파라메트릭 표현의 함수로서 결정될 수 있다. 예컨대, 눈 포즈 각도들은 눈꺼풀 형상 파라미터들의 함수 형태(예컨대, 선형, 이차식, 다항식 또는 다른 것)로서 추정될 수 있다. 사실상, 수학식(2)을 참조하여 설명된 기법들의 역은 눈꺼풀 형상 결정들로부터 눈 포즈를 추정하기 위해 사용될 수 있다. 일부 구현들에서, 눈꺼풀 형상은 추정된 눈 포즈 방향을 사용하여 다시 결정될 수 있고, 초기 눈꺼풀 형상과 다시 결정된 눈꺼풀 형상 사이의 비교는 눈 포즈 추정의 일관성을 검증하기 위해 수행될 수 있다. 예컨대, 다시 결정된 눈꺼풀 형상이 실질적으로 초기 눈꺼풀 형상 결정과 동일하면(예컨대, 임계치 차이보다 작음), 눈 포즈 추정은 정확할 개연성이 있다.
[0062] 도 4는 예시적 눈 포즈 추정 루틴(400)의 흐름도이다. 눈 포즈 추정 루틴(400)은 프로세서, 이를테면 하드웨어 프로세서에 의해 구현될 수 있다. 눈 포즈 추정은 또한 눈 포즈 검출로 지칭될 수 있다. 루틴(400)은 블록(404)에서 시작된다. 블록(408)에서, 눈 이미지가 수신된다. 눈 이미지는 예컨대 이미지 캡처 디바이스, 머리 장착 디스플레이 시스템, 서버, 비-일시적 컴퓨터 판독가능 매체, 또는 클라이언트 컴퓨팅 디바이스(예컨대, 스마트폰)를 포함하는 다양한 소스들로부터 수신될 수 있다. 일부 구현들에서, 눈 이미지는 비디오로부터 추출될 수 있다.
[0063] 블록(412)에서, 눈 이미지에서 눈꺼풀이 결정된다. 예컨대, 에지 검출은 눈꺼풀을 결정하기 위해 눈 이미지에 적용될 수 있다. 에지 검출은 다양한 에지 검출기들, 에지 검출 알고리즘들 또는 필터들에 의해 적용될 수 있다. 예컨대, 캐니 에지(Canny Edge) 검출기는 이미지의 라인들의 에지들을 검출하기 위해 이미지에 적용될 수 있다. 에지들은 로컬 최대 도함수에 대응하는 라인을 따라 위치된 포인트들이다. 예컨대, 상부 눈꺼풀(104a) 또는 하부 눈꺼풀(104b)은 캐니 에지 검출기를 사용하여 로케이팅될 수 있다.
[0064] 일부 구현들에서, 눈 이미지는 선택적으로 이미지로부터 고주파 노이즈를 제거하기 위해 필터로 전-처리될 수 있다. 필터는 저역 통과 필터 또는 모폴로지컬 필터, 이를테면 오픈(open) 필터일 수 있다. 필터는 홍채(112)와 눈꺼풀 사이의 경계로부터 고주파 노이즈를 제거할 수 있고, 이에 의해 눈꺼풀 형상 결정을 방해할 수 있는 노이즈가 제거된다.
[0065] 블록(416)에서, 눈꺼풀의 함수 형태는 블록(412)에서 결정된 눈꺼풀을 사용하여 결정될 수 있다. 다양한 구현들에서, 눈꺼풀의 이런 함수 형태는 곡선들을 사용하여 표현될 수 있다. 비-제한적 예시적 구현에서, 눈꺼풀은 다항식 형태, 이를테면 포물선(이차식 형태)에 의해 표현될 수 있다. 다른 구현들은 또한 가능하다. 다른 구현들에서, 임의의 적절한 수학 포뮬레이션 또는 곡선은 눈꺼풀을 표현하기 위해 사용될 수 있다. 즉, 눈꺼풀 곡선의 표현은 임의의 차수의 다항식 형태일 필요가 없다. 예컨대, 곡선은 다른 비-선형 수학적 표현일 수 있다. 상이한 포뮬레이션들 또는 곡선들이 각각의 눈꺼풀에 대해 가능하다. 아래에 논의된 바와 같이, 눈꺼풀 형상의 비-파라메트릭 표현들이 사용될 수 있다(예컨대, 뉴럴 네트워크 분류기들). 후속 예가 포물선 곡선에 피팅되는 3개의 파라미터들의 맥락에서 설명될 것이지만, 이것은 예시이고 제한인 것으로 의도되지 않는다. 다른 구현들에서, 임의의 적절한 수의 파라미터들은 선정된 곡선에 피팅하기 위해 사용될 수 있다. 게다가, 포물선 형태 이외의 임의의 함수 형태가 사용될 수 있다.
[0066] 블록(412)에서 결정된 눈꺼풀은 예컨대 좌표들(x 및 y)에 의해 표현되는 좌표계로 표현될 수 있고, 좌표계는, 동공이 자연스러운 휴식 배향에 있을 때 동공의 중심에 중심이 두어지고, x는 수평 방향을 표현하고 y는 직교 수직 방향을 표현한다. 눈꺼풀 형상에 피팅되는 포물선 곡선의 예에서, 포물선 곡선은 3개의 파라미터들에 의해 파라미터화될 수 있다. 예시적으로, 이들 3개의 파라미터들은 수평 시프트(u); 수직 시프트(v); 및 눈꺼풀의 곡률(k)로 지칭될 수 있다. 위의 수학식(1)은 눈꺼풀 형상에 대한 포물선에 대한 수학식을 도시한다.
[0067] 눈꺼풀 형상 파라미터들(예컨대, (u,v,k))은 대응하는 눈 포즈 파라미터들(예컨대, (θ,φ))을 결정하기 위해 사용될 수 있다. 하나의 관점에서, 이것은 3개의-파라미터 공간(u,v,k)으로부터 2개의-파라미터 공간(θ,φ)으로의 맵핑으로 보여질 수 있다. 다양한 구현들에서, 이 맵핑은 눈 포즈를 결정하거나, 또는 다른 눈 포즈 결정 알고리즘들의 성능을 개선하기 위해 사용될 수 있는 눈 포즈 파라미터들의 초기 근사화를 생성하기 사용될 수 있다. 아래에 논의된 바와 같이, 다른 구현들이 가능하다. 맵핑은 또한 맵핑 함수로서 지칭될 수 있다. 후속 예가 눈꺼풀 맵핑을 사용하여 눈 포즈를 결정하는 맥락에서 설명될 것이지만, 이것은 예시이고 제한인 것으로 의도되지 않는다. 다른 구현들에서, 눈꺼풀 형상 파라미터들에 기반한 임의의 맵핑 함수(파라메트릭 또는 비-파라메트릭)는 눈 포즈를 결정하기 위해 사용될 수 있다. 게다가, 이 맵핑을 수행하기 위한 다양한 함수 형태들이 가능하다. 일반적으로 말하면, 맵핑 함수는 눈꺼풀 형상 좌표계와 눈 포즈 좌표계의 관계를 연관시킨다. 예시적으로, 눈꺼풀 함수 형태는 Q 파라미터들에 의해 표현되고 P 파라미터들로서 표현된 눈 포즈 결정에 맵핑될 수 있다. 예컨대, 눈꺼풀 함수 형태는 Q 파라미터들에 의해 표현될 수 있고, 여기서 Q는 디스플레이(예컨대, 아래의 도 6의 디스플레이(608))의 픽셀들의 폭일 수 있다.
[0068] 블록(420)에서, 눈 포즈는 눈꺼풀 맵핑에 기반하여 결정될 수 있다. 2개의-파라미터 공간의 예에서 계속하면, 맵핑은 2개의 별개의 맵핑들(θ(u,v,k) 및 φ(u,v,k))로 분해될 수 있다. 그런 분해들은 특정 차수의 다항식들로서 모델링될 수 있다. 이들 함수들에 대한 하나의 가능한 파라미터화는 형태()를 가질 수 있고, 의 각각의 엘리먼트들은 다음 정의를 가진다:
(수학식 6)
[0069] 수학식(6)에서, 는 (u,v,k)의 눈꺼풀 형상 결정들로부터 결정될 눈 포즈 파라미터들의 열 벡터()이다. 수학식(6)에서 맵핑(B)은 각도 눈 포즈 파라미터들을 눈꺼풀 형상 파라미터들의 다항식(이 예에서, 선형) 함수()에 관련시킨다. 다른 실시예들에서, 함수()는 1 이외(예컨대, 2, 3, 4, 5 또는 그 초과)의 상이한 차수의 다항식, 비-다항식 함수, 유리 함수, 또는 임의의 다른 적합한 함수 형태일 수 있다. 와 사이의 관계가 수학식(6)에서 선형이지만, 다른 구현들에서, 비-선형 관계들이 활용될 수 있다.
[0070] 2개의-파라미터 공간의 예에서, 맵핑들(θ(u,v,k) 및 φ(u,v,k))은 다음 정의들을 가진다:
(수학식 7)
(수학식 8)
[0071] 따라서, 눈 포즈 파라미터들()은 맵핑 매트릭스(B)에 의해 추정될 수 있고, 눈꺼풀 형상 함수()가 주어지면, 눈꺼풀 형상 결정들로부터 결정될 수 있다. 다양한 구현들에서, 맵핑 매트릭스(B)는 개인 또는 개인들의 그룹의 눈 포즈 및 눈꺼풀 형상 결정들을 포함하는 트레이닝 데이터로부터 결정될 수 있다. 예컨대, 트레이닝 데이터는, 개인의 눈이 상이한 시선 방향으로 움직일 때 시간의 기간 동안 개인(또는 개인들의 그룹)에 대한 눈 포즈들 및 눈꺼풀 형상들을 관찰하고 결정함으로써 획득될 수 있다. 이들 관찰들 동안, 눈의 포즈 및 눈꺼풀들의 포지션 둘 모두가 레코딩된다. 그런 데이터 포인트들은 예컨대 이들 함수들을 특징화하는 파라미터들의 회귀에 의해, 맵핑들(θ(u,v,k) 및 φ(u,v,k))을 결정하기 위해 사용될 수 있다. 이 예에서, 값들(bij)은 (예컨대, 회귀 또는 임의의 다른 통계적 피팅 또는 최적화 기법에 의해) 이용가능한 트레이닝 데이터를 피팅함으로써 발견될 계수들이다. 일부 구현들에서, 눈꺼풀 형상과 눈 포즈 사이의 관계는 뉴럴 네트워크들에 의해 학습된 맵핑들에 의해 결정될 수 있다.
[0072] 일부 구현들에서, 얼굴이 2개의 눈들 사이의 중간-라인을 중심으로 대칭이기 때문에, 좌측 및 우측 눈들의 별개의 모델들이 사용되지 않는다. 대신, 하나의 눈(예컨대, 우측 눈)의 이미지는 미러 이미지로 변환되어서, 미러 이미지 및 다른 눈(예컨대, 좌측 눈)의 이미지가 유사하거나 구별 불가능하다. 즉, 하나의 눈(예컨대, 우측 눈)의 미러 이미지들 및 다른 눈(예컨대, 좌측 눈)의 이미지들은 유사하거나 구별 불가능할 수 있다. 함수 눈꺼풀 형태는 맵핑(B)을 결정하는데 사용될 수 있는 눈들 또는 눈 이미지들의 수를 효과적으로 두 배로 하는 단일 눈 형상(예컨대, 좌측 눈 형상)에 대해 수행될 수 있다. 사실상, 그런 구현들은 좌측 눈 또는 우측 눈에 사용될 수 있는 일반적인 눈꺼풀 형상 모델을 결정한다. 예컨대, 좌측 눈들에 대한 눈꺼풀 형상 모델이 주어지면, 우측 눈들에 대한 데이터(예컨대, 눈 이미지들 및 눈꺼풀 형상 결정들)가 반영될 수 있고, 이어서 좌측 눈 모델이 적용될 수 있고, 이어서 대응하는 눈꺼풀 형상 결정이 또다시 반영된다.
[0073] 일부 구현들에서, 블록(416)에서 눈 이미지로부터 결정된 함수 눈꺼풀 형태는 블록(420)에서 결정된 눈 포즈에 적어도 부분적으로 기반하여 다시 결정된다. 다시 결정된 눈꺼풀 함수 형태는 (블록(416)으로부터의) 초기 눈꺼풀 함수와 비교될 수 있고, 실질적으로 유사하면(예컨대, 파라메트릭 표현들의 차이들이 임계치 미만이면), 루틴(400)은, 눈꺼풀 함수 형태 결정이 충분히 정확한 것을 결정할 수 있다. 따라서, 루틴(400)은 (선택적으로) 눈꺼풀 형상 결정의 일관성을 검증할 수 있다. 이후, 블록(424)에서, 루틴(400)이 종료된다.
[0074] 다양한 실시예들에서, 루틴(400)은 예컨대 도 6을 참조하여 아래에 설명되는 바와 같이, 머리 장착 디스플레이 시스템의 하드웨어 프로세서에 의해 수행될 수 있다. 다른 실시예들에서, 컴퓨터-실행가능 명령들을 가진 원격 컴퓨팅 디바이스는 머리 장착 디스플레이 시스템이 루틴(400)을 수행하게 할 수 있다. 루틴(400)의 일부 실시예들에서, 엘리먼트들은 위에서 설명된 것과 다른 순서로 발생할 수 있다.
눈 포즈 추정의 예
[0075] 도 5는 위의 도 4에 설명된 눈 포즈 추정 루틴을 사용하는 눈 포즈 추정의 예를 개략적으로 예시한다. 예컨대, 도 4는 눈 포즈가 눈꺼풀 맵핑에 기반하여 추정될 때의 블록(420)에서의 결과를 예시한다. 도 5에 도시된 바와 같이, 포물선 피트 라인(128a)은 상부 눈꺼풀(104a)에 피팅될 수 있고; 포물선 피트 라인(128c)은 하부 눈꺼풀(104b)에 피팅될 수 있다. 포물선 피트 라인(128a) 및 포물선 피트 라인(128b) 중 하나 또는 둘 모두는 눈 포즈를 추정하기 위해 사용될 수 있다. 예컨대, 포물선 피트 라인(128a)은 눈 포즈(124a)를 추정하기 위해 사용될 수 있고, 포물선 피트 라인(128b)은 눈 포즈(124b)를 추정하기 위해 사용될 수 있다. 다른 예로서, 포물선 피트 라인(128a) 및 포물선 피트 라인(128b)은 눈 포즈(124a)를 추정하기 위해 사용될 수 있다. 다수의 눈 포즈들은 하나의 눈꺼풀 형상으로부터 루틴(400)에 의해 추정될 수 있다. 예컨대, 2개의 상이한 회귀 또는 통계적 결정들은 맵핑 매트릭스(B) 및 맵핑 매트릭스(B')를 결정하기 위해 사용될 수 있다. 맵핑 매트릭스(B)는 눈 포즈(124a)를 추정하기 위해 사용될 수 있고, 맵핑 매트릭스(B')는 눈 포즈(124b)를 추정하기 위해 사용될 수 있다.
비디오 프로세싱을 위한 눈 포즈 추정의 예시적 애플리케이션들
[0076] 눈 포즈 추정을 사용하는 시스템들 및 방법들은, 비디오 이미저리의 맥락 내에서 처리될 때, 이미지 프로세싱의 종래 문제의 많은 부분이 개선되도록 허용한다. 부가적으로 다른 문제들이 처리될 수 있다. 예컨대, 눈 포즈 추정은 비디오로부터 이미지를 분류(예컨대, 눈의 홍채를 식별)할 뿐 아니라, 비디오의 하나 또는 그 초과의 프레임들 내의 특정 객체 타입들의 로컬리제이션(예컨대, 홍채의 위치)을 위해 사용될 수 있다. 다른 예로서, 눈 포즈 추정은 (예컨대, 눈의 배향 또는 방향을 결정하는) 눈-추적의 애플리케이션을 위해 비디오에 적용될 수 있다.
[0077] 일부 그런 애플리케이션들에서, 아래에서 추가로 논의될 바와 같이, 착용가능 디스플레이 시스템은 착용가능 디스플레이 시스템에 동작가능하게 커플링된(예컨대, 부착되거나 포함된) 이미지 캡처 디바이스에 의해 획득된 비디오 데이터에 대해 눈 포즈 추정을 수행하는 프로세서를 포함할 수 있다. 이미지 캡처 디바이스는 눈 포즈를 추정하는데 사용하기 위해 착용자의 눈의 비디오 또는 착용자의 몸체의 다른 컴포넌트들(예컨대, 손 또는 손가락)의 비디오를 획득할 수 있다.
[0078] 눈 포즈 추정의 사용은 유리하게 (예컨대, 착용가능 디스플레이 시스템의 이미지 캡처 디바이스로부터 획득된) 비디오에서 눈 포즈들의 인식을 허용하고, 이는 생체 인증 정보 같은 비디오 내의 객체들의 개선된 인식 또는 분류를 허용할 수 있다. 예컨대, 종래의 생체 인증 템플릿은 눈의 세분화를 결정하는데 어려움을 가질 수 있다. 그러나, 본원에 설명된 눈 포즈 추정 접근법은, 눈 포즈가 홍채의 위치 및 배향에 관련되기 때문에, 더 나은 홍채 세분화를 가능하게 할 수 있다. 따라서, 생체 인증 정보를 추출하기 위한 능력을 제공함으로써, 도 4에 설명되고 도 5에 예시된 눈 포즈 추정은 눈 포즈를 더 잘 결정할 수 있고 생체 인증 추출에 사용되는 더 정확한 홍채 세분화를 제공할 수 있다. 본원에 개시된 눈 포즈 추정 기법들은 생체 인증 추출 또는 식별(예컨대, 홍채 식별)을 위해 머리 장착 디스플레이(예컨대, 도 6에서와 같은)에 의해 사용될 수 있다.
눈꺼풀 형상 추정을 사용하는 예시적 착용가능 디스플레이 시스템
[0079] 일부 실시예들에서, 디스플레이 시스템들은 착용가능할 수 있고, 이는 유리하게 더 실감형 VR(virtual reality), AR(augmented reality), 또는 MR(mixed reality) 경험을 제공할 수 있고, 여기서 디지털적으로 재생된 이미지들 또는 이들의 부분들은, 이들이 실제인 것으로 보이거나, 실제로서 인식될 수 있는 방식으로 착용자에게 제시된다.
[0080] 이론에 의해 제한되지 않고, 인간 눈이 통상적으로 심도 인식을 제공하기 위해 유한의 수의 심도 평면들을 해석할 수 있다는 것이 믿어진다. 결과적으로, 인식된 심도의 매우 믿을만한 시뮬레이션은, 눈에, 이들 제한된 수의 심도 평면들 각각에 대응하는 이미지의 상이한 프리젠테이션들을 제공함으로써 달성될 수 있다. 예컨대, 도파관들의 스택을 포함하는 디스플레이들은 사용자, 또는 뷰어의 눈들의 전면에 포지셔닝되어 착용되도록 구성될 수 있다. 도파관들의 스택은 복수의 도파관들을 사용하여 광을, 이미지 주입 디바이스(예컨대, 이미지 정보를 하나 또는 그 초과의 광섬유들을 통해 파이핑하는 멀티플렉싱된 디스플레이의 출력 단부들 또는 이산 디스플레이들)로부터 특정 도파관과 연관된 심도 평면에 대응하는 특정 각도들(및 발산 양들)로 뷰어의 눈으로 지향시킴으로써 3-차원 인식을 눈/뇌에 제공하기 위해 활용될 수 있다.
[0081] 일부 실시예들에서, 도파관들의 2개의 스택들(뷰어의 각각의 눈에 대해 하나)은 각각의 눈에 상이한 이미지들을 제공하기 위해 활용될 수 있다. 일 예로서, 증강 현실 장면은, AR 기술의 착용자가 배경 내의 사람들, 나무들, 빌딩들, 및 콘크리트 플랫폼을 특징으로 하는 실세계 공원형 세팅을 보도록 할 수 있다. 이들 아이템들에 외에, AR 기술의 착용자는 또한, 그가 실세계 플랫폼상에 서있는 로봇 동상, 및 호박벌의 의인화인 것으로 보여지는 날고 있는 만화형 아바타 캐릭터를 보는 것을 인식할 수 있지만, 로봇 동상 및 호박벌은 실세계에 존재하지 않는다. 도파관들의 스택(들)은 입력 이미지에 대응하는 광 필드를 생성하기 위해 사용될 수 있고 일부 구현들에서, 착용가능 디스플레이는 착용가능 광 필드 디스플레이를 포함한다. 광 필드 이미지들을 제공하기 위한 착용가능 디스플레이 디바이스 및 도파관 스택들의 예들은 미국 특허 공개 번호 제 2015/0016777호에 설명되고, 이 공개 특허는 이로써 포함된 모든 것에 대해 그 전체가 본원에 인용에 의해 통합된다.
[0082] 도 6은 VR, AR 또는 MR 경험을 착용자(604)에게 제시하기 위해 사용될 수 있는 착용가능 디스플레이 시스템(600)의 예를 예시한다. 착용가능 디스플레이 시스템(600)은 본원에 설명된 애플리케이션들 또는 실시예들 중 임의의 것을 제공하기 위해 눈 포즈 결정, 눈꺼풀 형상 추정, 눈꺼풀 형상 결정 또는 눈 포즈 추정을 수행하도록 프로그래밍될 수 있다. 디스플레이 시스템(600)은 디스플레이(608), 및 그 디스플레이(608)의 기능을 지원하기 위한 다양한 기계적 및 전자적 모듈들 및 시스템들을 포함한다. 디스플레이(608)는 디스플레이 시스템 착용자 또는 뷰어(604)에 의해 착용가능하고 그리고 착용자(604)의 눈들의 전면에 디스플레이(608)를 포지셔닝하도록 구성된 프레임(612)에 커플링될 수 있다. 디스플레이(608)는 광 필드 디스플레이일 수 있다. 일부 실시예들에서, 스피커(616)는 프레임(612)에 커플링되고 사용자의 외이도(ear canal)에 인접하게 포지셔닝된다(일부 실시예들에서, 도시되지 않은 다른 스피커는 사용자의 다른 외이도에 인접하게 포지셔닝되어 스테레오/형상화가능 사운드 제어를 제공함). 디스플레이(608)는 이를테면 유선 리드 또는 무선 연결성에 의해, 다양한 구성들로 장착될 수 있는, 이를테면 프레임(612)에 고정되게 부착되거나, 사용자에 의해 차용된 헬멧 또는 모자에 고정되게 부착되거나, 헤드폰들에 내장되거나, 그렇지 않으면 사용자(604)에게 제거가능하게 부착되는(예컨대, 백팩(backpack)-스타일 구성으로, 벨트-커플링 스타일 구성으로) 로컬 데이터 프로세싱 모듈(624)에 동작가능하게 커플링된다(620).
[0083] 로컬 프로세싱 및 데이터 모듈(624)은 하드웨어 프로세서뿐 아니라, 비-일시적 디지털 메모리, 이를테면 비-휘발성 메모리(예컨대, 플래시 메모리)를 포함할 수 있고, 이 둘 모두는 데이터의 프로세싱, 캐싱(caching) 및 저장을 돕기 위해 활용될 수 있다. 데이터는 (a) 센서들(예컨대 프레임(612)에 동작가능하게 커플링되거나 그렇지 않으면 착용자(604)에게 부착될 수 있음), 이를테면 이미지 캡처 디바이스들(이를테면 카메라들), 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴파스(compass)들, GPS 유닛들, 라디오 디바이스들, 및/또는 자이로들로부터 캡처되고; 및/또는 (b) 원격 프로세싱 모듈(628) 및/또는 원격 데이터 저장소(632)를 사용하여 포착되고 그리고/또는 프로세싱되고, 프로세싱 또는 리트리벌(retrieval) 후 가능하게 디스플레이(608)에 전달되는 데이터를 포함한다. 로컬 프로세싱 및 데이터 모듈(624)은 통신 링크들(636, 640)에 의해, 이를테면 유선 또는 무선 통신 링크들을 통하여, 원격 프로세싱 모듈(628) 및 원격 데이터 저장소(632)에 동작가능하게 커플링될 수 있어서, 이들 원격 모듈들(628, 632)은 서로 동작가능하게 커플링되고 로컬 프로세싱 및 데이터 모듈(624)에 대한 리소스들로서 이용가능하다. 이미지 캡처 디바이스(들)는 눈꺼풀 형상 추정 절차들에 사용되는 눈 이미지들을 캡처하기 위해 사용될 수 있다.
[0084] 일부 실시예들에서, 원격 프로세싱 모듈(628)은 데이터 및/또는 이미지 정보, 이를테면 이미지 캡처 디바이스에 의해 캡처된 비디오 정보를 분석 및 프로세싱하도록 구성된 하나 또는 그 초과의 프로세서들을 포함할 수 있다. 비디오 데이터는 로컬 프로세싱 및 데이터 모듈(624) 및/또는 원격 데이터 저장소(632)에 로컬적으로 저장될 수 있다. 일부 실시예들에서, 원격 데이터 저장소(632)는 "클라우드" 리소스 구성에서 인터넷 또는 다른 네트워킹 구성을 통하여 이용가능할 수 있는 디지털 데이터 저장 설비를 포함할 수 있다. 일부 실시예들에서, 모든 데이터는 저장되고 모든 컴퓨테이션(computation)들은 로컬 프로세싱 및 데이터 모듈(624)에서 수행되고, 이는 원격 모듈로부터 완전히 자율적인 사용을 허용한다.
[0085] 일부 구현들에서, 로컬 프로세싱 및 데이터 모듈(624) 및/또는 원격 프로세싱 모듈(628)은 본원에 설명된 바와 같이 눈 포즈를 결정하고 눈꺼풀 형상을 추정하는 실시예들을 수행하도록 프로그래밍된다. 예컨대, 로컬 프로세싱 및 데이터 모듈(624) 및/또는 원격 프로세싱 모듈(628)은 도 2를 참조하여 설명되는 프로세스(200)의 실시예들을 수행하도록 프로그래밍될 수 있다. 로컬 프로세싱 및 데이터 모듈(624) 및/또는 원격 프로세싱 모듈(628)은 예컨대 착용자(604)의 아이덴티티를 식별하거나 인증하기 위한 생체 인증 추출시 또는 예컨대 각각의 눈이 보고 있는 방향을 결정하기 위한 눈 시선 또는 포즈 결정 또는 눈꺼풀 형상 추정시 본원에 개시된 눈꺼풀 형상 추정 기법들을 사용하도록 프로그래밍될 수 있다. 이미지 캡처 디바이스는 특정 애플리케이션에 대한 비디오(예컨대, 눈-추적 애플리케이션에 대해 착용자의 눈의 비디오 또는 제스처 식별 애플리케이션에 대해 착용자의 손 또는 손가락의 비디오)를 캡처할 수 있다. 비디오는 눈꺼풀 형상 추정 기법들을 사용하여 프로세싱 모듈들(624, 628) 중 하나 또는 둘 모두에 의해 분석될 수 있다. 이런 분석으로, 프로세싱 모듈들(624, 628)은 눈꺼풀 형상 추정 또는 검출 및/또는 생체 인증 추출, 눈 포즈 결정들 등을 수행할 수 있다. 예로서, 로컬 프로세싱 및 데이터 모듈(624) 및/또는 원격 프로세싱 모듈(628)은 원격 데이터 저장소(632)의 룩업 테이블로서 맵핑 매트릭스(A)를 저장하도록 프로그래밍될 수 있다. 일부 경우들에서, 눈꺼풀 형상 추정 중 적어도 일부를 (예컨대, "클라우드" 내의) 원격 프로세싱 모듈에 오프-로딩(off-loading)하는 것은 컴퓨테이션들의 효율성 또는 속력을 개선할 수 있다. 눈꺼풀 형상 추정에 대한 다양한 파라미터들(예컨대, 가중들, 바이어스 항들, 랜덤 서브세트 샘플링 팩터들, 수, 및 필터들의 사이즈(예컨대, 소벨(Sobel) 도함수 연산자), 등)은 데이터 모듈들(624 및/또는 632)에 저장될 수 있다.
[0086] 이미지 프로세싱의 예시적 예로서, 프로세싱 모듈(624)은 이미지 캡처 디바이스로부터 수신된 눈 이미지로부터 생체 인증 정보를 추출하고 수치 표현으로 포뮬레이팅(formulate)할 수 있다. 프로세싱 모듈(624)은 또한 수치 계산들을 수행하여 도 2에 설명된 맵핑 매트릭스를, 눈 이미지로부터 추출된 생체 인증 정보를 이미지 프로세싱 결과로 변환하는 전달 함수로서 표현할 수 있다. 차례로, 이미지 프로세싱 결과는 예컨대 본원에 설명된 눈꺼풀 형상 추정 방법에서의 추가 프로세싱을 위해 사용될 수 있다. 이미지 프로세싱 결과 및 전달 함수 둘 모두는 원격 데이터 저장소(632)에 저장될 수 있다. 이미지 프로세싱의 이런 예시적 예가 프로세싱 모듈(624)로 프로세싱되지만, 다양한 구현들에서, 프로세싱 모듈(628)이 눈 이미지에서 그런 이미지 프로세싱을 수행할 수 있다. 부가적으로, 프로세싱 모듈들(624, 628)은 눈 이미지에서 그런 이미지 프로세싱을 함께 수행할 수 있다.
[0087] 비디오 분석의 결과들(예컨대, 눈꺼풀의 추정된 형상)은 부가적인 연산들 또는 프로세싱을 위해 프로세싱 모듈들(624, 628) 중 하나 또는 둘 모두에 의해 사용될 수 있다. 예컨대, 다양한 애플리케이션들에서, 생체 인증 식별, 눈-추적, 인식, 또는 객체들의 분류, 포즈들 등은 착용가능 디스플레이 시스템(600)에 의해 사용될 수 있다. 예컨대, 착용자의 눈(들)의 비디오는 눈꺼풀 형상 추정에 사용될 수 있고, 차례로 프로세싱 모듈들(624, 628)에 의해 사용되어 디스플레이(608)를 통해 착용자(604)의 시선 방향을 결정할 수 있다. 착용가능 디스플레이 시스템(600)의 프로세싱 모듈들(624, 628)은 본원에 설명된 비디오 또는 이미지 프로세싱 애플리케이션들 중 임의의 것을 수행하기 위해 눈 포즈 결정 또는 눈꺼풀 형상 추정의 하나 또는 그 초과의 실시예들로 프로그래밍될 수 있다.
부가적인 양상들
[0088] 본원에 설명된 눈꺼풀 형상 추정 기법들은 눈의 이미지를 프로세싱하기 위해 (예컨대, 비디오로부터의) 눈의 이미지에 적용될 수 있다.
[0089] 제1 양상에서, 눈꺼풀 형상 추정을 위한 방법이 개시된다. 방법은 하드웨어 프로세서의 제어하에서 수행되고: 에지 검출기를 사용하여 눈의 동공 경계를 검출하는 단계; 동공 경계를 사용하여 눈의 눈 포즈를 결정하는 단계 ― 눈 포즈의 눈 포즈 좌표계는 눈의 휴식 배향에 대해 눈의 방위각 및 천정각을 포함하고, 눈 포즈 좌표계와 눈꺼풀 형상 좌표계 사이의 함수 관계는 맵핑 매트릭스를 포함하고, 그리고 눈꺼풀 형상 좌표계는 눈의 수평 시프트, 수직 시프트, 및 곡률을 포함함 ―; 눈 포즈 및 함수 관계에 적어도 부분적으로 기반하여 눈의 눈꺼풀 형상을 추정하는 단계; 및 눈꺼풀 형상에 기반하여 눈의 눈꺼풀 형상의 포물선 곡선을 피팅하는 단계를 포함한다.
[0090] 제2 양상에서, 제1 양상의 방법으로서, 포물선 곡선을 피팅하는 단계는: 포물선 곡선의 곡률이 포지티브이고 눈꺼풀이 눈의 상부 눈꺼풀인 경우 또는 포물선 곡선의 곡률이 네거티브이고 눈꺼풀이 하부 눈꺼풀인 경우 눈꺼풀 형상에 기반하여 눈의 눈꺼풀의 새로운 포물선 곡선을 피팅하는 단계를 포함한다.
[0091] 제3 양상에서, 양상들 1-2 중 어느 하나의 방법으로서: 에지 검출기를 사용하여 눈의 동공 경계를 검출하기 전에 모폴로지컬 필터를 눈 이미지에 적용하는 단계를 더 포함한다.
[0092] 제4 양상에서, 양상들 1-3 중 어느 하나의 방법으로서, 에지 검출기는 캐니 에지 검출기를 포함한다.
[0093] 제5 양상에서, 양상들 1-4 중 어느 하나의 방법으로서, 맵핑 매트릭스는 눈꺼풀 형상들 및 눈 포즈들의 회귀 분석에 의해 결정된다.
[0094] 제6 양상에서, 하드웨어 프로세서가 개시된다. 하드웨어 프로세서는 양상들 1-5 중 어느 하나의 방법을 수행하도록 프로그래밍된다.
[0095] 제7 양상에서, 눈꺼풀 형상 추정을 위한 착용가능 디스플레이 시스템이 개시된다. 착용가능 디스플레이 시스템은: 제6 항의 하드웨어 프로세서; 및 눈 이미지를 캡처하고 눈 이미지를 하드웨어 프로세서에 송신하도록 구성된 이미지 캡처 디바이스를 포함한다.
[0096] 제8 양상에서, 양상 7의 착용가능 디스플레이 시스템으로서, 하드웨어 프로세서는 눈의 생체 인증 정보를 결정하도록 추가로 프로그래밍된다.
[0097] 제9 양상에서, 머리 장착 디스플레이 시스템이 개시된다. 머리 장착 디스플레이 시스템은: 눈 이미지를 캡처하도록 구성된 이미지 캡처 디바이스; 눈꺼풀 형상 맵핑 모델을 저장하도록 구성된 비-일시적 메모리; 및 비-일시적 메모리와 통신하는 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는: 이미지 캡처 디바이스로부터 눈 이미지를 수신하고; 눈 이미지에서 눈의 눈 포즈를 결정하고; 그리고 눈 포즈 및 눈꺼풀 형상 맵핑 모델에 적어도 부분적으로 기반하여 눈의 눈꺼풀 형상을 추정하도록 프로그래밍되고, 눈꺼풀 형상 맵핑 모델은 눈꺼풀 형상 및 눈 포즈에 관련된다.
[0098] 제10 양상에서, 양상 9의 머리 장착 디스플레이 시스템으로서, 눈 포즈는 눈의 휴식 배향에 대해 눈의 방위각 및 천정각의 측정을 포함한다.
[0099] 제11 양상에서, 양상들 9-10 중 어느 하나의 머리 장착 디스플레이 시스템으로서, 눈꺼풀 형상은 눈의 수평 시프트, 수직 시프트 및 곡률의 결정을 포함한다.
[0100] 제12 양상에서, 양상들 9-11 중 어느 하나의 머리 장착 디스플레이 시스템으로서, 눈꺼풀 형상 맵핑 모델은 눈 포즈와 눈꺼풀 형상 사이의 파라메트릭 관계를 포함한다.
[0101] 제13 양상에서, 양상들 9-12 중 어느 하나의 머리 장착 디스플레이 시스템으로서, 파라메트릭 관계는 포물선 또는 다항식을 포함한다.
[0102] 제14 양상에서, 양상들 9-13 중 어느 하나의 머리 장착 디스플레이 시스템으로서, 눈꺼풀 형상 맵핑 모델은 뉴럴 네트워크를 포함한다.
[0103] 제15 양상에서, 양상들 9-14 중 어느 하나의 머리 장착 디스플레이 시스템으로서, 하드웨어 프로세서는 눈꺼풀 형상을 사용하여 눈의 생체 인증 데이터를 결정하도록 추가로 프로그래밍된다.
[0104] 제16 양상에서, 양상 15의 머리 장착 디스플레이 시스템으로서, 생체 인증 데이터는 눈의 홍채 코드를 포함한다.
[0105] 제17 양상에서, 눈 이미지로부터 눈꺼풀 형상을 추정하기 위한 방법이 개시된다. 방법은 하드웨어 프로세서의 제어하에서 수행되고: 눈 이미지에서 눈의 눈 포즈를 결정하는 단계; 및 눈 포즈에 기반하여 눈꺼풀 형상을 추정하는 단계를 포함한다.
[0106] 제18 양상에서, 양상 17의 방법으로서, 눈 포즈는 눈의 휴식 배향으로부터의 눈의 적어도 2개의 각도 편차들을 포함한다.
[0107] 제19 양상에서, 양상들 17-18 중 어느 하나의 방법으로서, 눈꺼풀 형상을 추정하는 단계는 눈꺼풀 형상 맵핑 모델을 눈 포즈에 적용하는 단계를 포함한다.
[0108] 제20 양상에서, 양상 19의 방법으로서, 눈꺼풀 형상 맵핑 모델은 눈 포즈와 눈꺼풀 형상 사이의 파라메트릭 관계를 포함한다.
[0109] 제21 양상에서, 양상 20의 방법으로서, 눈꺼풀 형상은 다항식에 의해 표현된다.
[0110] 제22 양상에서, 양상 21의 방법으로서, 눈꺼풀 형상 맵핑 모델은 뉴럴 네트워크를 포함한다.
[0111] 제23 양상에서, 양상들 17-22 중 어느 하나의 방법으로서: 눈꺼풀 형상에 기반하여 눈 포즈를 다시 결정하는 단계; 및 결정된 눈 포즈와 다시 결정된 눈 포즈의 일관성을 검증하는 단계를 더 포함한다.
[0112] 제24 양상에서, 하드웨어 프로세서가 개시된다. 하드웨어 프로세서는 양상들 17-23 중 어느 하나의 방법을 수행하도록 프로그래밍된다.
[0113] 제25 양상에서, 눈꺼풀 형상 추정을 위한 착용가능 디스플레이 시스템이 개시된다. 착용가능 디스플레이 시스템은: 제24 항의 하드웨어 프로세서; 및 눈 이미지를 캡처하고 눈 이미지를 하드웨어 프로세서에 송신하도록 구성된 이미지 디바이스를 포함한다.
[0114] 제26 양상에서, 눈꺼풀 형상 추정을 위한 눈꺼풀 형상 맵핑 모델을 트레이닝하기 위한 방법이 개시된다. 방법은 하드웨어 프로세서의 제어하에 있고: 눈꺼풀 형상들을 눈 포즈들에 관련시키는 트레이닝 데이터에 액세싱하는 단계; 트레이닝 데이터에 대한 눈꺼풀 형상 맵핑 모델을 트레이닝하는 단계; 및 트레이닝된 눈꺼풀 형상 맵핑 모델을 출력하는 단계를 포함한다.
[0115] 제27 양상에서, 양상 26의 방법으로서: 복수의 방향들로 지향되는 눈의 복수의 이미지들을 포함하는 눈 이미지 데이터를 획득하는 단계; 및 트레이닝 데이터를 결정하기 위해 눈 이미지 데이터를 분석하는 단계를 더 포함한다.
[0116] 제28 양상에서, 양상 27의 방법으로서, 눈 이미지 데이터를 분석하는 단계는 우측 눈의 수평으로 반사된 미러 이미지들 및 좌측 눈의 이미지들, 또는 좌측 눈의 수평으로 반사된 미러 이미지들 및 우측 눈의 이미지들을 포함하는 눈 이미지 데이터를 생성하는 단계를 포함한다.
[0117] 제29 양상에서, 양상들 26-28 중 어느 하나의 방법으로서, 눈꺼풀 형상 맵핑 모델을 트레이닝 데이터에 대해 트레이닝하는 단계는 통계적 모델 또는 뉴럴 네트워크를 트레이닝 데이터에 적용하는 단계를 포함한다.
[0118] 제30 양상에서, 눈 이미지를 프로세싱하기 위한 방법이 개시된다. 방법은 하드웨어 프로세서의 제어하에서 수행되고: 에지 검출기를 사용하여 눈의 눈꺼풀과 눈의 홍채 사이의 경계를 검출하는 단계; 눈의 눈꺼풀과 눈의 홍채 사이의 경계를 사용하여 눈의 눈꺼풀 형상을 결정하는 단계 ― 눈꺼풀 형상의 눈꺼풀 형상 좌표계는 눈의 수평 시프트, 수직 시프트 및 곡률을 포함하고, 눈꺼풀 형상 좌표계와 눈 포즈 좌표계 사이의 함수 관계는 맵핑 매트릭스를 포함하고, 그리고 눈 포즈 좌표계는 눈의 휴식 배향에 대해 눈의 방위 편향각 및 천정 편향각을 포함함 ―; 눈꺼풀 형상 및 함수 관계에 적어도 부분적으로 기반하여 눈의 눈 포즈를 추정하는 단계를 포함한다.
[0119] 제31 양상에서, 양상 30의 방법으로서, 눈의 눈꺼풀 형상을 결정하는 단계는 눈의 눈꺼풀과 눈의 홍채 사이의 경계에 포물선 곡선을 피팅하는 단계를 포함한다.
[0120] 제32 양상에서, 양상들 30-31 중 어느 하나의 방법으로서: 에지 검출기를 사용하여 눈의 눈꺼풀과 눈의 홍채 사이의 경계를 검출하기 전에 모폴로지컬 필터를 눈 이미지에 적용하는 단계를 더 포함한다.
[0121] 제33 양상에서, 양상들 30-32 중 어느 하나의 방법으로서, 에지 검출기는 캐니 에지 검출기를 포함한다.
[0122] 제34 양상에서, 양상들 30-33 중 어느 하나의 방법으로서, 맵핑 매트릭스는 눈 포즈들 및 눈꺼풀 형상들의 회귀 분석에 의해 결정된다.
[0123] 제35 양상에서, 하드웨어 프로세서가 개시된다. 하드웨어 프로세서는 양상들 30-34 중 어느 하나의 방법을 수행하도록 프로그래밍된다.
[0124] 제36 양상에서, 눈 포즈 추정을 위한 착용가능 디스플레이 시스템이 개시된다. 착용가능 디스플레이 시스템은: 제35 항의 하드웨어 프로세서; 및 눈 이미지를 캡처하고 눈 이미지를 하드웨어 프로세서에 송신하도록 구성된 이미지 디바이스를 포함한다.
[0125] 제37 양상에서, 양상 36의 착용가능 디스플레이 시스템으로서, 하드웨어 프로세서는 눈의 생체 인증 정보를 결정하도록 추가로 프로그래밍된다.
[0126] 제38 양상에서, 양상 37의 착용가능 디스플레이 시스템으로서, 생체 인증 정보는 눈의 홍채 코드를 포함한다.
[0127] 제39 양상에서, 머리 장착 디스플레이 시스템이 개시된다. 머리 장착 디스플레이 시스템은: 눈 이미지를 캡처하도록 구성된 이미지 캡처 디바이스; 눈 포즈 맵핑 모델을 저장하도록 구성된 비-일시적 메모리; 및 비-일시적 메모리와 통신하는 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는: 이미지 캡처 디바이스로부터 눈 이미지를 수신하고; 눈 이미지에서 눈의 눈꺼풀 형상을 결정하고; 그리고 눈꺼풀 형상 및 눈 포즈 맵핑 모델에 적어도 부분적으로 기반하여 눈의 눈 포즈를 추정하도록 프로그래밍되고, 눈꺼풀 형상 맵핑 모델은 눈꺼풀 형상 및 눈 포즈에 관련된다.
[0128] 제40 양상에서, 양상 39의 머리 장착 디스플레이 시스템으로서, 눈 포즈는 눈의 휴식 배향에 대해 눈의 방위각 및 천정각의 측정을 포함한다.
[0129] 제41 양상에서, 양상들 39-40 중 어느 하나의 머리 장착 디스플레이 시스템으로서, 눈꺼풀 형상은 눈의 수평 시프트, 수직 시프트 및 곡률의 결정을 포함한다.
[0130] 제42 양상에서, 양상들 39-41 중 어느 하나의 머리 장착 디스플레이 시스템으로서, 눈 포즈 맵핑 모델은 눈꺼풀 형상과 눈 포즈 사이의 파라메트릭 관계를 포함한다.
[0131] 제43 양상에서, 양상들 39-42 중 어느 하나의 머리 장착 디스플레이 시스템으로서, 파라메트릭 관계는 포물선을 포함한다.
[0132] 제44 양상에서, 양상들 39-43 중 어느 하나의 머리 장착 디스플레이 시스템으로서, 눈 포즈 맵핑 모델은 뉴럴 네트워크를 포함한다.
[0133] 제45 양상에서, 양상들 39-44 중 어느 하나의 머리 장착 디스플레이 시스템으로서, 본원에서 하드웨어 프로세서는 눈 포즈를 사용하여 눈의 생체 인증 데이터를 결정하도록 추가로 프로그래밍된다.
[0134] 제46 양상에서, 눈꺼풀 형상으로부터 눈 포즈를 추정하기 위한 방법이 개시된다. 방법은 하드웨어 프로세서의 제어하에서 수행되고: 눈 이미지에서 눈의 눈꺼풀 형상을 결정하는 단계; 및 눈꺼풀 형상에 적어도 부분적으로 기반하여 눈 포즈를 추정하는 단계를 포함한다.
[0135] 제47 양상에서, 양상 46의 방법으로서, 눈 포즈를 추정하는 단계는 눈 포즈 맵핑 모델을 눈꺼풀 형상에 적용하는 단계를 포함한다.
[0136] 제48 양상에서, 양상 46-47 중 어느 하나의 방법으로서, 눈 포즈를 추정하는 단계는 눈 포즈 맵핑 모델을 눈꺼풀 형상에 적용하는 단계를 포함한다.
[0137] 제49 양상에서, 양상 48의 방법으로서, 눈 포즈 맵핑 모델은 눈꺼풀 형상과 눈 포즈 사이의 파라메트릭 관계를 포함한다.
[0138] 제50 양상에서, 양상 49의 방법으로서, 눈꺼풀 형상은 다항식에 의해 표현된다.
[0139] 제51 양상에서, 양상 50의 방법으로서, 눈꺼풀 형상 맵핑 모델은 뉴럴 네트워크를 포함한다.
[0140] 제52 양상에서, 양상들 46-51 중 어느 하나의 방법으로서: 눈 포즈에 기반하여 눈꺼풀 형상을 다시 결정하는 단계; 및 결정된 눈꺼풀 형상과 다시 결정된 눈꺼풀 형상의 일관성을 검증하는 단계를 더 포함한다.
[0141] 제53 양상에서, 하드웨어 프로세서가 개시된다. 하드웨어 프로세서는 양상들 46-52 중 어느 하나의 방법을 수행하도록 프로그래밍된다.
[0142] 제54 양상에서, 눈꺼풀 형상을 검출하기 위한 착용가능 디스플레이 시스템이 개시된다. 착용가능 디스플레이 시스템은: 양상 53의 하드웨어 프로세서; 및 눈 이미지를 캡처하고 눈 이미지를 하드웨어 프로세서에 송신하도록 구성된 이미지 디바이스를 포함한다.
[0143] 제55 양상에서, 눈꺼풀 형상으로부터 눈 포즈를 추정하기 위한 눈 포즈 맵핑 모델을 트레이닝하기 위한 방법이 개시된다. 방법은 하드웨어 프로세서의 제어하에 있고: 눈꺼풀 형상들을 눈 포즈들에 관련시키는 트레이닝 데이터에 액세싱하는 단계; 트레이닝 데이터에 대해 눈 포즈 맵핑 모델을 트레이닝하는 단계; 및 트레이닝된 눈 포즈 맵핑 모델을 출력하는 단계를 포함한다.
[0144] 제56 양상에서, 양상 55의 방법으로서: 복수의 방향들로 지향하는 눈의 복수의 이미지들을 포함하는 눈 이미지 데이터를 획득하는 단계; 및 트레이닝 데이터를 결정하기 위해 눈 이미지 데이터를 분석하는 단계를 더 포함한다.
[0145] 제57 양상에서, 양상 56의 방법으로서, 눈 이미지 데이터를 분석하는 단계는 우측 눈의 수평으로 반사된 미러 이미지들 및 좌측 눈의 이미지들, 또는 좌측 눈의 수평으로 반사된 미러 이미지들 및 우측 눈의 이미지들을 포함하는 눈 이미지 데이터를 생성하는 단계를 포함한다.
[0146] 제58 양상에서, 양상들 55-57 중 어느 하나의 방법으로서, 트레이닝 데이터에 대해 눈 포즈 맵핑 모델을 트레이닝하는 단계는 통계적 모델 또는 뉴럴 네트워크를 트레이닝 데이터에 적용하는 단계를 포함한다.
[0147] 제59 양상에서, 눈 이미지에서 눈의 눈 포즈로부터 파라미터들의 세트로의 눈꺼풀 형상 맵핑 모델을 추정하기 위한 방법이 개시된다. 방법은: 눈의 눈 포즈로부터 눈의 파라미터들의 세트로의 눈꺼풀 형상 맵핑 모델을 결정하기 위해 눈 이미지들의 세트(D)를 사용하는 단계를 포함하고, 파라미터들의 세트는 눈의 상부 눈꺼풀 또는 눈의 하부 눈꺼풀에서의 눈꺼풀 경계에 대한 함수 형태를 특정한다.
[0148] 제60 양상에서, 양상 59의 방법으로서: 아이덴티티 결정 또는 검증을 위한 홍채 픽셀들을 추출하기 위해 함수 형태를 사용하는 단계를 더 포함한다.
[0149] 제61 양상에서, 양상들 59-60 중 어느 하나의 방법으로서, 함수 형태는 픽셀 마스크를 포함한다.
[0150] 제62 양상에서, 양상들 59-61 중 어느 하나의 방법으로서: 눈꺼풀 검색 알고리즘을 초기화하기 위해 함수 형태를 사용하는 단계를 더 포함한다.
[0151] 제63 양상에서, 양상들 59-62 중 어느 하나의 방법으로서: 개선된 눈꺼풀 경계 결정의 최종 곡선에서 멤버십(membership)에 대한 후보자들로서 무작위 추측들을 배제하도록 함수 형태를 사용하는 단계를 더 포함한다.
[0152] 제64 양상에서, 양상 63의 방법으로서, 개선된 눈꺼풀 경계 결정의 최종 곡선에서 멤버십에 대한 후보들로서 무작위 추측들을 배제하기 위해 함수 형태를 사용하는 단계는: RANSAC(Random Sample Consensus) 알고리즘 또는 무작위 서브세트 기반 피팅 알고리즘에서 후보들을 배제하기 위해 함수 형태를 사용하는 단계를 포함한다.
[0153] 제65 양상에서, 양상들 59-64 중 어느 하나의 방법으로서, 눈꺼풀 형상 맵핑 모델은 3개의 파라미터들을 가진 포물선 곡선을 포함한다.
[0154] 제66 양상에서, 양상들 59-65 중 어느 하나의 방법으로서, 눈꺼풀 형상 맵핑 모델은 3개의 이차 다항식들을 포함하고, 3개의 이차 다항식들의 입력들은 눈 포즈의 2개의 각도 파라미터들을 포함한다.
[0155] 제67 양상에서, 양상 66의 방법으로서, 2개의 각도 파라미터들은 5개의 파라미터들로서 표현된다.
[0156] 제68 양상에서, 양상들 59-67 중 어느 하나의 방법으로서, 눈꺼풀 형상 맵핑 모델은 하나 또는 그 초과의 숨겨진 층들을 포함하는 뉴런 네트워크에 의해 학습된다.
[0157] 제69 양상에서, 양상 68의 방법으로서, 하나 또는 그 초과의 숨겨진 층들은 출력 로지스틱(logistic) 층을 포함한다.
[0158] 제70 양상에서, 양상들 59-69 중 어느 하나의 방법으로서, 눈 이미지들의 세트(D)는 좌측 눈 및 우측 눈의 눈 이미지들을 포함한다.
[0159] 제71 양상에서, 양상 70의 방법으로서, 눈은 우측 눈이고, 눈꺼풀 형상 맵핑 모델은 눈 이미지의 수평 미러 이미지를 사용하여 결정된다.
결론
[0160] 본원에 설명되고 그리고/또는 첨부 도면들에 도시된 프로세스들, 방법들 및 알고리즘들 각각은 하나 또는 그 초과의 물리적 컴퓨팅 시스템들, 하드웨어 컴퓨터 프로세서들, 주문형 회로 및/또는 특정 그리고 특별 컴퓨터 명령들을 실행하도록 구성된 전자 하드웨어에 의해 실행되는 코드 모듈들로 구현되고, 그리고 코드 모듈들에 의해 완전히 또는 부분적으로 자동화될 수 있다. 예컨대, 컴퓨팅 시스템들은 특정 컴퓨터 명령들로 프로그래밍된 범용 컴퓨터들(예컨대, 서버들) 또는 특수 목적 컴퓨터들, 특수 목적 회로 등을 포함할 수 있다. 코드 모듈은 실행가능 프로그램으로 컴파일링되고 링크되거나, 동적 링크 라이브러리에 설치되거나, 또는 해석된 프로그래밍 언어로 쓰여질 수 있다. 일부 구현들에서, 특정 동작들 및 방법들은 주어진 기능에 특정한 회로에 의해 수행될 수 있다.
[0161] 추가로, 본 개시내용의 기능성의 특정 구현들은 충분히 수학적으로, 컴퓨테이셔널적으로 또는 기술적으로 복잡하여, 예컨대 수반된 계산들의 볼륨 또는 복잡성으로 인해 또는 실질적으로 실시간으로 결과들을 제공하기 위해, (적절한 전문화된 실행가능 명령들을 활용하는) 주문형 하드웨어 또는 하나 또는 그 초과의 물리적 컴퓨팅 디바이스들이 그러한 기능을 수행할 필요가 있을 수 있다. 예컨대, 비디오는 많은 프레임들(각각의 프레임은 수백만의 픽셀들을 가짐)을 포함할 수 있고, 상업적으로 합리적인 양의 시간 내에 원하는 이미지 프로세싱 임무 또는 애플리케이션을 제공하기 위해 특별하게 프로그래밍된 컴퓨터 하드웨어가 비디오 데이터를 프로세싱할 필요가 있다.
[0162] 코드 모듈들 또는 임의의 타입의 데이터는 임의의 타입의 비-일시적 컴퓨터-판독가능 매체, 이를테면 하드 드라이브들, 고체 상태 메모리, RAM(random access memory), ROM(read only memory), 광학 디스크, 휘발성 또는 비-휘발성 저장부, 이들의 조합들 등을 포함하는 물리적 컴퓨터 저장부 상에 저장될 수 있다. 방법들 및 모듈들(또는 데이터)은 또한 생성된 데이터 신호들로서(예컨대, 반송파 또는 다른 아날로그 또는 디지털 전파 신호의 부분으로서) 무선 기반 및 유선/케이블 기반 매체들을 포함하는 다양한 컴퓨터-판독가능 송신 매체들 상에서 송신될 수 있고, 다양한 형태들(예컨대, 단일 또는 멀티플렉싱된 아날로그 신호의 부분으로서, 또는 다수의 이산 디지털 패킷들 또는 프레임들로서)을 취할 수 있다. 개시된 프로세스들 또는 프로세스 단계들의 결과들은 임의의 타입의 비-일시적, 유형의 컴퓨터 저장부에 영구적으로 또는 다른 방식으로 저장될 수 있거나 또는 컴퓨터-판독가능 송신 매체를 통해 통신될 수 있다.
[0163] 본원에 설명되고 그리고/또는 첨부 도면들에 도시된 흐름도들의 임의의 프로세스들, 블록들, 상태들, 단계들, 또는 기능성들은 (예컨대, 로지컬 또는 산술적) 특정 기능들 또는 프로세스의 단계들을 구현하기 위한 하나 또는 그 초과의 실행가능 명령들을 포함하는 코드 모듈들, 세그먼트들 또는 코드의 부분들을 잠재적으로 표현하는 것으로 이해되어야 한다. 다양한 프로세스들, 블록들, 상태들, 단계들 또는 기능성들은 본원에 제공된 예시적 예들로부터 조합되거나, 재배열되거나, 부가되거나, 삭제되거나, 수정되거나 다르게 변화될 수 있다. 일부 실시예들에서, 부가적인 또는 상이한 컴퓨팅 시스템들 또는 코드 모듈들은 본원에 설명된 기능성들 중 일부 또는 모두를 수행할 수 있다. 본원에 설명된 방법들 및 프로세스들은 또한 임의의 특정 시퀀스로 제한되지 않고 이에 관련된 블록들, 단계들 또는 상태들은 적절한 시퀀스들로, 예컨대 직렬로, 병렬로, 또는 일부 다른 방식으로 수행될 수 있다. 임무들 또는 이벤트들은 개시된 예시적 실시예들에 부가되거나 제거될 수 있다. 게다가, 본원에 설명된 구현들에서 다양한 시스템 컴포넌트들의 분리는 예시 목적들을 위한 것이고 모든 구현들에서 그런 분리를 요구하는 것으로 이해되지 않아야 한다. 설명된 프로그램 컴포넌트들, 방법들 및 시스템들이 일반적으로 단일 컴퓨터 제품으로 함께 통합되거나 다수의 컴퓨터 제품들로 패키징될 수 있다는 것이 이해되야 한다. 많은 구현 변형들이 가능하다.
[0164] 프로세스들, 방법들 및 시스템들은 네트워크(또는 분산) 컴퓨팅 환경에서 구현될 수 있다. 네트워크 환경들은 전사적 컴퓨터 네트워크들, 인트라넷들, LAN(local area network)들, WAN(wide area network)들, PAN(personal area network)들, 클라우드 컴퓨팅 네트워크들, 크라우드-소스드(crowd-sourced) 컴퓨팅 네트워크들, 인터넷, 및 월드 와이드 웹(World Wide Web)을 포함한다. 네트워크는 유선 또는 무선 네트워크 또는 임의의 다른 타입의 통신 네트워크일 수 있다.
[0165] 본 개시내용의 시스템들 및 방법들 각각은 몇몇 혁신적인 양상들을 가지며, 본원에 개시된 바람직한 속성들을 위해 이 양상들 중 단지 하나가 전적으로 책임지거나 요구되지 않는다. 위에서 설명된 다양한 특징들 및 프로세스들은 서로 독립적으로 사용될 수 있거나, 또는 다양한 방식들로 조합될 수 있다. 모든 가능한 조합들 및 하위조합들은 본 개시내용의 범위 내에 속하도록 의도된다. 본 개시내용에 설명된 구현들에 대한 다양한 수정들은 당업자들에게 쉽게 자명할 수 있고, 그리고 본원에 정의된 일반적인 원리들은 본 개시내용의 사상 또는 범위를 벗어나지 않고 다른 구현들에 적용될 수 있다. 따라서, 청구항들은 본원에 도시된 구현들로 제한되는 것으로 의도되는 것이 아니라, 본 개시내용, 본원에 개시된 원리들 및 신규 특징들과 일치하는 가장 넓은 범위에 부합될 것이다.
[0166] 별개의 구현들의 맥락에서 이 명세서에 설명된 특정 특징들은 또한 단일 구현으로 결합하여 구현될 수 있다. 대조적으로, 단일 구현의 맥락에서 설명된 다양한 특징들은 또한 별도로 다수의 구현들로 또는 임의의 적절한 하위조합으로 구현될 수 있다. 게다가, 비록 특징들이 특정 조합들로 작용하고 심지어 처음에 그와 같이 청구되는 것으로 위에서 설명될 수 있지만, 청구된 조합으로부터의 하나 또는 그 초과의 특징들은 일부 경우들에서 조합으로부터 제거될 수 있고, 그리고 청구된 조합은 하위조합 또는 하위조합의 변형에 관련될 수 있다. 단일 특징 또는 특징들의 그룹이 모든 실시예에 필요하거나 필수적인 것이 아니다.
[0167] 특정하게 다르게 언급되지 않거나, 사용된 맥락 내에서 다르게 이해되지 않으면, 본원에 사용된 조건어, 이를테면 특히, "할 수 있다" 및 "예컨대" 등은, 일반적으로 특정 실시예들이 특정 특징들, 엘리먼트들 및/또는 단계들을 포함하지만, 다른 실시예들이 포함하지 않는 것을 전달하도록 의도된다. 따라서, 그런 조건어는 일반적으로, 특징들, 엘리먼트들 및/또는 단계들이 어쨌든 하나 또는 그 초과의 실시예들을 위해 요구되거나 또는 하나 또는 그 초과의 실시예들이 반드시 저자(author) 입력 또는 프롬프팅으로 또는 이들 없이, 이들 특징들, 엘리먼트들 및/또는 단계들이 임의의 특정 실시예에 포함되는지 임의의 특정 실시예에서 수행되는지를 판정하기 위한 로직을 포함하는 것을 의미하도록 의도되지 않는다. 용어 "포함하는", "갖는" 등은 동의어이고 오픈-엔디드(open-ended) 방식으로 포괄적으로 사용되고, 그리고 부가적인 엘리먼트들, 특징들, 작용들, 동작들 등을 배제하지 않는다. 또한, 용어 "또는"은 포괄적인 의미(및 배타적 의미가 아님)로 사용되어, 예컨대 엘리먼트들의 리스트를 연결하기 위해 사용될 때, 용어 "또는"은 리스트 내 엘리먼트들 중 하나, 몇몇 또는 모두를 의미한다. 게다가, 이 출원 및 첨부된 청구항들에 사용된 단수들은 다르게 특정되지 않으면 "하나 또는 그 초과" 또는 "적어도 하나"를 의미하는 것으로 이해될 것이다.
[0168] 본원에 사용된 바와 같이, 아이템들의 리스트 중 "적어도 하나"를 지칭하는 어구는 단일 부재들을 포함하는 이들 아이템들의 임의의 조합을 지칭한다. 예로서, "A, B 또는 C 중 적어도 하나"는 A, B, C; A 및 B; A 및 C; B 및 C; 및 A, B 및 C를 커버하도록 의도된다. 특정하게 다르게 언급되지 않으면 "X, Y 및 Z 중 적어도 하나"라는 어구 같은 결합 어구는, 일반적으로 아이템, 용어 등이 X, Y 또는 Z 중 적어도 하나일 수 있다는 것을 전달하기 위해 사용되는 맥락으로 이해된다. 따라서, 그런 결합 언어는 일반적으로, 특정 실시예들이 X 중 적어도 하나, Y 중 적어도 하나 및 Z 중 적어도 하나가 각각 존재할 것을 요구하는 것을 의미하도록 의도되지 않는다.
[0169] 유사하게, 동작들이 특정 순서로 도면들에 도시되지만, 원하는 결과들을 달성하기 위해, 그런 동작들이 도시된 특정 순서 또는 순차적 순서로 수행되거나, 또는 모든 예시된 동작들이 수행될 필요가 없다는 것이 인식될 것이다. 추가로, 도면들은 흐름도 형태로 하나 또는 그 초과의 예시적 프로세스들을 개략적으로 도시할 수 있다. 그러나, 도시되지 않은 다른 동작들은 개략적으로 예시된 예시적 방법들 및 프로세스들에 통합될 수 있다. 예컨대, 하나 또는 그 초과의 부가적인 동작들은 예시된 동작들 중 임의의 동작 이전, 이후, 동시에, 또는 사이에 수행될 수 있다. 부가적으로, 동작들은 다른 구현들에서 재배열되거나 재정렬될 수 있다. 특정 환경들에서, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 게다가, 위에서 설명된 구현들에서 다양한 시스템 컴포넌트들의 분리는 모든 구현들에서 그런 분리를 요구하는 것으로 이해되지 않아야 하고, 그리고 설명된 프로그램 컴포넌트들 및 시스템들이 일반적으로 단일 소프트웨어 제품으로 함께 통합될 수 있거나 다수의 소프트웨어 제품들로 패키징될 수 있다는 것이 이해되어야 한다. 부가적으로, 다른 구현들은 다음 청구항들의 범위 내에 있다. 일부 경우들에서, 청구항들에 열거된 액션들은 상이한 순서로 수행될 수 있고 여전히 원하는 결과들을 달성할 수 있다.

Claims (21)

  1. 눈꺼풀 형상 추정을 위한 방법으로서,
    하드웨어 프로세서의 제어하에서:
    에지 검출기를 사용하여 눈의 동공 경계를 검출하는 단계;
    상기 동공 경계를 사용하여 상기 눈의 눈 포즈를 결정하는 단계 ―
    상기 눈 포즈의 눈 포즈 좌표계는 상기 눈의 휴식 배향(resting orientation)에 대해 상기 눈의 방위각 및 천정각(zenithal angle)을 포함하고,
    상기 눈 포즈 좌표계와 눈꺼풀 형상 좌표계 사이의 함수(functional) 관계는 맵핑 매트릭스를 포함하고, 그리고
    상기 눈꺼풀 형상 좌표계는 상기 눈의 수평 시프트, 수직 시프트, 및 곡률을 포함함 ―;
    상기 눈 포즈 및 상기 함수 관계에 적어도 부분적으로 기반하여 상기 눈의 눈꺼풀 형상을 추정하는 단계; 및
    상기 눈꺼풀 형상에 기반하여 상기 눈의 눈꺼풀 형상의 포물선 곡선을 피팅(fitting)하는 단계
    를 포함하는,
    눈꺼풀 형상 추정을 위한 방법.
  2. 제1 항에 있어서,
    상기 포물선 곡선을 피팅하는 단계는:
    상기 포물선 곡선의 곡률이 포지티브이고 상기 눈꺼풀이 눈의 상부 눈꺼풀인 경우 또는 상기 포물선 곡선의 곡률이 네거티브이고 상기 눈꺼풀이 하부 눈꺼풀인 경우 상기 눈꺼풀 형상에 기반하여 상기 눈의 눈꺼풀의 새로운 포물선 곡선을 피팅하는 단계를 포함하는,
    눈꺼풀 형상 추정을 위한 방법.
  3. 제1 항에 있어서,
    상기 에지 검출기를 사용하여 상기 눈의 상기 동공 경계를 검출하기 전에 모폴로지컬 필터(morphological filter)를 상기 눈 이미지에 적용하는 단계를 더 포함하는,
    눈꺼풀 형상 추정을 위한 방법.
  4. 제1 항에 있어서,
    상기 에지 검출기는 캐니(Canny) 에지 검출기를 포함하는,
    눈꺼풀 형상 추정을 위한 방법.
  5. 제1 항에 있어서,
    상기 맵핑 매트릭스는 상기 눈꺼풀 형상들 및 눈 포즈들의 회귀(regression) 분석에 의해 결정되는,
    눈꺼풀 형상 추정을 위한 방법.
  6. 제1 항 내지 제5 항 중 어느 한 항의 방법을 수행하도록 프로그래밍된 하드웨어 프로세서.
  7. 눈꺼풀 형상 추정을 위한 착용가능 디스플레이 시스템으로서,
    제6 항의 하드웨어 프로세서; 및
    눈 이미지를 캡처하고 상기 눈 이미지를 상기 하드웨어 프로세서에 송신하도록 구성된 이미지 캡처 디바이스
    를 포함하는,
    눈꺼풀 형상 추정을 위한 착용가능 디스플레이 시스템.
  8. 제7 항에 있어서,
    상기 하드웨어 프로세서는 상기 눈의 생체 인증 정보를 결정하도록 추가로 프로그래밍되는,
    눈꺼풀 형상 추정을 위한 착용가능 디스플레이 시스템.
  9. 머리 장착 디스플레이 시스템으로서,
    눈 이미지를 캡처하도록 구성된 이미지 캡처 디바이스;
    눈꺼풀 형상 맵핑 모델을 저장하도록 구성된 비-일시적 메모리; 및
    상기 비-일시적 메모리와 통신하는 하드웨어 프로세서
    를 포함하고,
    상기 하드웨어 프로세서는:
    상기 이미지 캡처 디바이스로부터 상기 눈 이미지를 수신하고;
    상기 눈 이미지에서 눈의 눈 포즈를 결정하고; 그리고
    상기 눈 포즈 및 상기 눈꺼풀 형상 맵핑 모델에 적어도 부분적으로 기반하여 상기 눈의 눈꺼풀 형상을 추정
    하도록 프로그래밍되고,
    상기 눈꺼풀 형상 맵핑 모델은 상기 눈꺼풀 형상을 상기 눈 포즈에 관련시키는,
    머리 장착 디스플레이 시스템.
  10. 제9 항에 있어서,
    상기 눈 포즈는 상기 눈의 휴식 배향에 대해 상기 눈의 방위각 및 천정각의 측정을 포함하는,
    머리 장착 디스플레이 시스템.
  11. 제9 항 또는 제10 항에 있어서,
    상기 눈꺼풀 형상은 상기 눈의 수평 시프트, 수직 시프트 및 곡률의 결정을 포함하는,
    머리 장착 디스플레이 시스템.
  12. 제9 항 내지 제11 항 중 어느 한 항에 있어서,
    상기 눈꺼풀 형상 맵핑 모델은 상기 눈 포즈와 상기 눈꺼풀 형상 사이의 파라메트릭 관계를 포함하는,
    머리 장착 디스플레이 시스템.
  13. 제12 항에 있어서,
    상기 파라메트릭 관계는 포물선 또는 다항식을 포함하는,
    머리 장착 디스플레이 시스템.
  14. 제9 항 내지 제11 항 중 어느 한 항에 있어서,
    상기 눈꺼풀 형상 맵핑 모델은 뉴럴 네트워크를 포함하는,
    머리 장착 디스플레이 시스템.
  15. 제9 항 내지 제14 항 중 어느 한 항에 있어서,
    상기 하드웨어 프로세서는, 상기 눈꺼풀 형상을 사용하여 상기 눈의 생체 인증 데이터를 결정하도록 추가로 프로그래밍되는,
    머리 장착 디스플레이 시스템.
  16. 눈꺼풀 형상 추정을 위한 방법으로서,
    하드웨어 프로세서의 제어하에서:
    눈 이미지에서 눈의 눈 포즈를 결정하는 단계; 및
    상기 눈 포즈에 기반하여 눈꺼풀 형상을 추정하는 단계
    를 포함하는,
    눈꺼풀 형상 추정을 위한 방법.
  17. 제16 항에 있어서,
    상기 눈 포즈는 상기 눈의 휴식 배향으로부터 상기 눈의 적어도 2개의 각도 편차들을 포함하는,
    눈꺼풀 형상 추정을 위한 방법.
  18. 제16 항에 있어서,
    상기 눈꺼풀 형상을 추정하는 단계는 눈꺼풀 형상 맵핑 모델을 상기 눈 포즈에 적용하는 단계를 포함하는,
    눈꺼풀 형상 추정을 위한 방법.
  19. 제18 항에 있어서,
    상기 눈꺼풀 형상 맵핑 모델은 상기 눈 포즈와 상기 눈꺼풀 형상 사이의 파라메트릭 관계를 포함하는,
    눈꺼풀 형상 추정을 위한 방법.
  20. 제19 항에 있어서,
    상기 눈꺼풀 형상은 다항식에 의해 표현되는,
    눈꺼풀 형상 추정을 위한 방법.
  21. 제20 항에 있어서,
    상기 눈꺼풀 형상 맵핑 모델은 뉴럴 네트워크를 포함하는,
    눈꺼풀 형상 추정을 위한 방법.
KR1020237035119A 2015-08-21 2016-08-16 눈 포즈 측정을 사용한 눈꺼풀 형상 추정 KR20230150397A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562208519P 2015-08-21 2015-08-21
US62/208,519 2015-08-21
KR1020187007935A KR102591552B1 (ko) 2015-08-21 2016-08-16 눈 포즈 측정을 사용한 눈꺼풀 형상 추정
PCT/US2016/047177 WO2017034860A1 (en) 2015-08-21 2016-08-16 Eyelid shape estimation using eye pose measurement

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020187007935A Division KR102591552B1 (ko) 2015-08-21 2016-08-16 눈 포즈 측정을 사용한 눈꺼풀 형상 추정

Publications (1)

Publication Number Publication Date
KR20230150397A true KR20230150397A (ko) 2023-10-30

Family

ID=58101125

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020237035119A KR20230150397A (ko) 2015-08-21 2016-08-16 눈 포즈 측정을 사용한 눈꺼풀 형상 추정
KR1020187007935A KR102591552B1 (ko) 2015-08-21 2016-08-16 눈 포즈 측정을 사용한 눈꺼풀 형상 추정

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020187007935A KR102591552B1 (ko) 2015-08-21 2016-08-16 눈 포즈 측정을 사용한 눈꺼풀 형상 추정

Country Status (10)

Country Link
US (3) US10146997B2 (ko)
EP (1) EP3337385A4 (ko)
JP (2) JP6918781B2 (ko)
KR (2) KR20230150397A (ko)
CN (2) CN112836664A (ko)
AU (2) AU2016310451B2 (ko)
CA (1) CA2996039A1 (ko)
IL (1) IL257485B (ko)
NZ (1) NZ740299A (ko)
WO (1) WO2017034860A1 (ko)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NZ740746A (en) 2015-08-21 2019-08-30 Magic Leap Inc Eyelid shape estimation
CN112836664A (zh) 2015-08-21 2021-05-25 奇跃公司 使用眼睛姿态测量的眼睑形状估计
WO2017066296A1 (en) 2015-10-16 2017-04-20 Magic Leap, Inc. Eye pose identification using eye features
CN109661194B (zh) 2016-07-14 2022-02-25 奇跃公司 使用角膜曲率的虹膜边界估计
WO2018013200A1 (en) 2016-07-14 2018-01-18 Magic Leap, Inc. Deep neural network for iris identification
AU2017317599B2 (en) 2016-08-22 2021-12-23 Magic Leap, Inc. Augmented reality display device with deep learning sensors
RU2016138608A (ru) 2016-09-29 2018-03-30 Мэджик Лип, Инк. Нейронная сеть для сегментации изображения глаза и оценки качества изображения
JP6872011B2 (ja) 2016-10-04 2021-05-19 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 畳み込みニューラルネットワークのための効率的データレイアウト
AU2017361061B2 (en) 2016-11-15 2022-02-03 Magic Leap, Inc. Deep learning system for cuboid detection
AU2017361096B2 (en) 2016-11-16 2022-09-01 Magic Leap, Inc. Thermal management systems for wearable components
CN110249368B (zh) 2016-12-05 2023-07-07 奇跃公司 混合现实环境中提供虚拟远程控制的可穿戴***及方法
EP3355214A1 (de) * 2017-01-27 2018-08-01 Carl Zeiss Vision International GmbH Verfahren, recheneinrichtung und computerprogramm zum bereitstellen eines fassungsrandmodells
US11347054B2 (en) 2017-02-16 2022-05-31 Magic Leap, Inc. Systems and methods for augmented reality
CA3055597A1 (en) 2017-03-17 2018-09-20 Magic Leap, Inc. Room layout estimation methods and techniques
EP3603108A4 (en) 2017-03-30 2021-04-14 Magic Leap, Inc. DOUBLE NON-BLOCKING DRIVER EARPHONES
EP3659017B1 (en) 2017-07-26 2023-04-05 Magic Leap, Inc. Training a neural network with representations of user interface devices
CN107633206B (zh) * 2017-08-17 2018-09-11 平安科技（深圳）有限公司 眼球动作捕捉方法、装置及存储介质
JP7178403B2 (ja) * 2017-09-01 2022-11-25 マジック リープ， インコーポレイテッド ロバストなバイオメトリックアプリケーションのための詳細な眼形状モデル
US10521661B2 (en) 2017-09-01 2019-12-31 Magic Leap, Inc. Detailed eye shape model for robust biometric applications
IL294197A (en) 2017-09-20 2022-08-01 Magic Leap Inc A personal neural network for eye tracking
US11537895B2 (en) 2017-10-26 2022-12-27 Magic Leap, Inc. Gradient normalization systems and methods for adaptive loss balancing in deep multitask networks
KR102384748B1 (ko) * 2017-11-24 2022-04-08 한국전자통신연구원 생체정보 기반의 인증방법 및 장치
US11036843B2 (en) * 2017-11-24 2021-06-15 Electronics And Telecommunications Research Institute Biometric information-based authentication method and apparatus
JP2021506052A (ja) * 2017-12-07 2021-02-18 アイフリー アシスティング コミュニケ−ション リミテッドＥｙｅＦｒｅｅ Ａｓｓｉｓｔｉｎｇ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｌｔｄ． コミュニケーション方法及びシステム
EP3741109B1 (en) 2018-01-17 2024-04-24 Magic Leap, Inc. Eye center of rotation determination, depth plane selection, and render camera positioning in display systems
CN111771179A (zh) 2018-01-17 2020-10-13 奇跃公司 用于确定显示器与用户的眼睛之间的配准的显示***和方法
IL312231A (en) 2018-02-06 2024-06-01 Magic Leap Inc Systems and methods for augmented reality
CN116300091A (zh) 2018-07-23 2023-06-23 奇跃公司 用于使用位置向量解析半球模糊度的方法和***
CN112689869A (zh) 2018-07-24 2021-04-20 奇跃公司 用于确定显示器与用户的眼睛之间的配准的显示***和方法
CN109145788B (zh) * 2018-08-08 2020-07-07 北京云舶在线科技有限公司 基于视频的姿态数据捕捉方法和***
CN109190548B (zh) * 2018-08-28 2021-04-20 武汉真元生物数据有限公司 基于gabor滤波的快速眼睑检测方法及***
US11141645B2 (en) 2018-09-11 2021-10-12 Real Shot Inc. Athletic ball game using smart glasses
US11103763B2 (en) 2018-09-11 2021-08-31 Real Shot Inc. Basketball shooting game using smart glasses
CN111127537A (zh) * 2018-10-29 2020-05-08 托比股份公司 用于检测头戴式装置中的阴影的方法和装置
CN109717830B (zh) * 2019-01-22 2021-09-17 中国科学院苏州生物医学工程技术研究所 基于眼动及头动参数监测的疲劳检测及促醒***
EP3914997A4 (en) 2019-01-25 2022-10-12 Magic Leap, Inc. OCULOMETRY USING IMAGES WITH DIFFERENT EXPOSURE TIMES
WO2020236827A1 (en) 2019-05-20 2020-11-26 Magic Leap, Inc. Systems and techniques for estimating eye pose
CN110956068B (zh) * 2019-05-29 2022-06-10 魔门塔(苏州)科技有限公司 一种基于人眼状态识别的疲劳检测方法及装置
US11868525B2 (en) 2019-07-16 2024-01-09 Magic Leap, Inc. Eye center of rotation determination with one or more eye tracking cameras
CN110807364B (zh) * 2019-09-27 2022-09-30 中国科学院计算技术研究所 三维人脸与眼球运动的建模与捕获方法及***
KR102294029B1 (ko) * 2019-12-04 2021-08-26 서울대학교산학협력단 동공검출과 눈꺼풀 곡률을 이용한 시선 추적 장치 및 그 방법
CN115053270A (zh) 2019-12-09 2022-09-13 奇跃公司 用于基于用户身份来操作头戴式显示***的***和方法
KR20210073135A (ko) 2019-12-10 2021-06-18 삼성전자주식회사 눈 복원 기반의 눈 추적 방법 및 장치
WO2022015847A1 (en) 2020-07-15 2022-01-20 Magic Leap, Inc. Eye tracking using aspheric cornea model
JP7219787B2 (ja) * 2021-04-09 2023-02-08 本田技研工業株式会社 情報処理装置、情報処理方法、学習方法、およびプログラム
WO2023054756A1 (ko) * 2021-09-29 2023-04-06 주식회사 아이디랩 안검 영역을 검출하는 방법 및 이를 위한 서버

Family Cites Families (177)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2087523C (en) 1990-07-17 1997-04-15 Mark Andrew Shackleton Method of processing an image
US5291560A (en) 1991-07-15 1994-03-01 Iri Scan Incorporated Biometric personal identification system based on iris analysis
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5481479A (en) * 1992-12-10 1996-01-02 Loral Fairchild Corp. Nonlinear scanning to optimize sector scan electro-optic reconnaissance system performance
US6095989A (en) * 1993-07-20 2000-08-01 Hay; Sam H. Optical recognition methods for locating eyes
US6463176B1 (en) * 1994-02-02 2002-10-08 Canon Kabushiki Kaisha Image recognition/reproduction method and apparatus
US5583795A (en) * 1995-03-17 1996-12-10 The United States Of America As Represented By The Secretary Of The Army Apparatus for measuring eye gaze and fixation duration, and method therefor
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
US5774591A (en) * 1995-12-15 1998-06-30 Xerox Corporation Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images
US6154559A (en) 1998-10-01 2000-11-28 Mitsubishi Electric Information Technology Center America, Inc. (Ita) System for classifying an individual's gaze direction
EP1197094B1 (en) 1999-07-13 2004-02-11 Surgivision Ltd. Stereoscopic video observation and image magnification system
AUPQ896000A0 (en) 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
US6999612B1 (en) 2000-08-31 2006-02-14 Nec Laboratories America, Inc. Method for recovering 3D scene structure and camera motion directly from image intensities
WO2002064031A2 (en) 2001-02-09 2002-08-22 Sensomotoric Instruments Gmbh Multidimensional eye tracking and position measurement system
US7505604B2 (en) * 2002-05-20 2009-03-17 Simmonds Precision Prodcuts, Inc. Method for detection and recognition of fog presence within an aircraft compartment using video images
JP3984191B2 (ja) 2002-07-08 2007-10-03 株式会社東芝 仮想化粧装置及びその方法
JP4128837B2 (ja) 2002-09-30 2008-07-30 佐藤 淳 路面走行レーン検出装置
DE602004032529D1 (de) 2003-04-11 2011-06-16 Bausch & Lomb System und methode zur erfassung von daten eines auges
US7379567B2 (en) 2003-07-17 2008-05-27 Matsushita Electric Industrial Co., Ltd. Iris code generation method, individual authentication method, iris code entry device, individual authentication device, and individual certification program
US20050027386A1 (en) 2003-07-30 2005-02-03 Michele Weigand Decentralized project management system
US7664322B1 (en) * 2003-08-11 2010-02-16 Adobe Systems Incorporated Feature-based color adjustment
US8098901B2 (en) 2005-01-26 2012-01-17 Honeywell International Inc. Standoff iris recognition system
US7593550B2 (en) 2005-01-26 2009-09-22 Honeywell International Inc. Distance iris recognition
US8045764B2 (en) 2005-01-26 2011-10-25 Honeywell International Inc. Expedient encoding system
US7756301B2 (en) * 2005-01-26 2010-07-13 Honeywell International Inc. Iris recognition system and method
US8090157B2 (en) 2005-01-26 2012-01-03 Honeywell International Inc. Approaches and apparatus for eye detection in a digital image
KR20050025927A (ko) 2003-09-08 2005-03-14 유웅덕 홍채인식을 위한 동공 검출 방법 및 형상기술자 추출방법과 그를 이용한 홍채 특징 추출 장치 및 그 방법과홍채인식 시스템 및 그 방법
US7524064B2 (en) * 2004-03-09 2009-04-28 Research Foundation Of The State University Of New York Apparatus and method for assessing retinal damage
JP4506250B2 (ja) 2004-04-12 2010-07-21 日産自動車株式会社 上瞼検出装置
JP2005334402A (ja) 2004-05-28 2005-12-08 Sanyo Electric Co Ltd 認証方法および認証装置
USD514570S1 (en) 2004-06-24 2006-02-07 Microsoft Corporation Region of a fingerprint scanning device with an illuminated ring
US8248458B2 (en) 2004-08-06 2012-08-21 University Of Washington Through Its Center For Commercialization Variable fixation viewing distance scanned light displays
JP4529635B2 (ja) * 2004-10-22 2010-08-25 日産自動車株式会社 開閉眼判定装置
JP4449723B2 (ja) 2004-12-08 2010-04-14 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US7746235B2 (en) 2005-03-10 2010-06-29 Delphi Technologies, Inc. System and method of detecting eye closure based on line angles
US7686451B2 (en) 2005-04-04 2010-03-30 Lc Technologies, Inc. Explicit raytracing for gimbal-based gazepoint trackers
JP5008269B2 (ja) 2005-04-08 2012-08-22 キヤノン株式会社 情報処理装置、情報処理方法
US7327860B2 (en) 2005-05-04 2008-02-05 West Virginia University Conjunctival scans for personal identification
JP2007011667A (ja) 2005-06-30 2007-01-18 Matsushita Electric Ind Co Ltd 虹彩認証装置および虹彩認証方法
US7751598B2 (en) 2005-08-25 2010-07-06 Sarnoff Corporation Methods and systems for biometric identification
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
KR100651753B1 (ko) 2005-11-19 2006-12-01 한국전자통신연구원 객체의 대칭 특성과 모멘트 특성을 이용한 눈 검출 방법 및그 장치
US11090190B2 (en) 2013-10-15 2021-08-17 Lensar, Inc. Iris registration method and system
US10709610B2 (en) * 2006-01-20 2020-07-14 Lensar, Inc. Laser methods and systems for addressing conditions of the lens
JP4738488B2 (ja) 2006-03-03 2011-08-03 ハネウェル・インターナショナル・インコーポレーテッド 画像品質メトリックを有する虹彩認識システム
US7542210B2 (en) 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
US8077914B1 (en) 2006-08-07 2011-12-13 Arkady Kaplan Optical tracking apparatus using six degrees of freedom
US7682026B2 (en) 2006-08-22 2010-03-23 Southwest Research Institute Eye location and gaze detection system and method
WO2008091401A2 (en) 2006-09-15 2008-07-31 Retica Systems, Inc Multimodal ocular biometric system and methods
US8433103B2 (en) 2006-09-15 2013-04-30 Identix Incorporated Long distance multimodal biometric system and method
US7970179B2 (en) 2006-09-25 2011-06-28 Identix Incorporated Iris data extraction
US8233672B2 (en) 2007-06-11 2012-07-31 Matos Jeffrey A Apparatus and method for verifying the identity of an author
JP4895797B2 (ja) 2006-12-26 2012-03-14 アイシン精機株式会社 瞼検出装置、瞼検出方法及びプログラム
JP4309927B2 (ja) 2007-03-14 2009-08-05 株式会社豊田中央研究所 まぶた検出装置及びプログラム
JP4309928B2 (ja) 2007-03-15 2009-08-05 アイシン精機株式会社 瞼検出装置、瞼検出方法、及び、プログラム
JP4307496B2 (ja) 2007-03-19 2009-08-05 株式会社豊田中央研究所 顔部位検出装置及びプログラム
JP4781467B2 (ja) * 2007-04-16 2011-09-28 富士通株式会社 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム
FR2915301A1 (fr) 2007-04-20 2008-10-24 Groupe Ecoles Telecomm Procede de comparaison d'images d'une biometrie entre au moi ns une image de reference et au moins une image de test dont on cherche a evaluer un degre de correlation avec l'image d e reference
CN101681432B (zh) 2007-05-01 2013-11-06 计算机连接管理中心公司 图片文档分割方法和***
WO2009041963A1 (en) 2007-09-24 2009-04-02 University Of Notre Dame Du Lac Iris recognition using consistency information
JP5097514B2 (ja) 2007-11-22 2012-12-12 国立大学法人東京工業大学 ワイヤ電極式イオナイザ
US20090252382A1 (en) 2007-12-06 2009-10-08 University Of Notre Dame Du Lac Segmentation of iris images using active contour processing
DE102008003906B4 (de) 2008-01-10 2009-11-26 Rodenstock Gmbh Verwendung eines Fixationstargets und Vorrichtung
JP2009169745A (ja) * 2008-01-17 2009-07-30 Toyota Motor Corp 閉眼検出装置
JP5262243B2 (ja) 2008-03-31 2013-08-14 アイシン精機株式会社 眼開閉判別装置、及びプログラム
US7883071B2 (en) 2008-05-21 2011-02-08 Raytheon Company Methods and apparatus for isolation system
ATE484804T1 (de) 2008-06-25 2010-10-15 Deutsche Telekom Ag System zur extraktion, identifizierung und überprüfung von irismerkmalen auf der basis von directionlets
US8644565B2 (en) 2008-07-23 2014-02-04 Indiana University Research And Technology Corp. System and method for non-cooperative iris image acquisition
JP2010033305A (ja) * 2008-07-29 2010-02-12 Hitachi Ltd 画像情報処理方法、及び装置
US8345922B2 (en) 2008-09-03 2013-01-01 Denso Corporation Apparatus for detecting a pupil, program for the same, and method for detecting a pupil
WO2010129074A1 (en) 2009-01-14 2010-11-11 Indiana University Research & Technology Corporation System and method for identifying a person with reference to a sclera image
JP5387007B2 (ja) * 2009-01-22 2014-01-15 日本電気株式会社 画像処理装置、生体認証装置、画像処理方法及びプログラム
JP5221436B2 (ja) * 2009-04-02 2013-06-26 トヨタ自動車株式会社 顔特徴点検出装置及びプログラム
US8693745B2 (en) * 2009-05-04 2014-04-08 Duke University Methods and computer program products for quantitative three-dimensional image correction and clinical parameter computation in optical coherence tomography
US8472681B2 (en) 2009-06-15 2013-06-25 Honeywell International Inc. Iris and ocular recognition system using trace transforms
SG177152A1 (en) 2009-06-16 2012-01-30 Intel Corp Camera applications in a handheld device
CN101692980B (zh) * 2009-10-30 2011-06-08 深圳市汉华安道科技有限责任公司 疲劳驾驶检测方法及装置
US8403479B2 (en) * 2009-12-17 2013-03-26 Johnson & Johnson Vision Care, Inc. Contact lens eye model
US8948467B2 (en) 2010-08-06 2015-02-03 Honeywell International Inc. Ocular and iris processing system and method
US9092371B2 (en) 2010-09-02 2015-07-28 The Aerospace Corporation Signal parameter estimator
KR101697181B1 (ko) 2010-09-07 2017-01-17 삼성전자주식회사 사용자의 시선 추적을 이용한 영상 처리 장치 및 방법
DE102011054833A1 (de) 2010-10-29 2012-05-03 Hoya Corp. Verfahren zum Messen der binokularen Sehleistung, Programm zum Messen der binokularen Sehleistung, Verfahren zum Entwerfen von Brillengläsern und Verfahren zur Herstellung von Brillengläsern
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US9348143B2 (en) 2010-12-24 2016-05-24 Magic Leap, Inc. Ergonomic head mounted display device and optical system
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
JP5402964B2 (ja) 2011-03-11 2014-01-29 オムロン株式会社 相互監視システム、管理装置およびシステム
JP4893862B1 (ja) 2011-03-11 2012-03-07 オムロン株式会社 画像処理装置、および画像処理方法
US9020199B2 (en) 2011-04-19 2015-04-28 Aisin Seiki Kabushiki Kaisha Eyelid detection device, eyelid detection method, and recording medium
JP5755012B2 (ja) 2011-04-21 2015-07-29 キヤノン株式会社 情報処理装置、その処理方法、プログラム及び撮像装置
US8755607B2 (en) 2011-04-28 2014-06-17 Sri International Method of normalizing a digital image of an iris of an eye
EP3462286A1 (en) 2011-05-06 2019-04-03 Magic Leap, Inc. Massive simultaneous remote digital presence world
US8854491B2 (en) 2011-06-05 2014-10-07 Apple Inc. Metadata-assisted image filters
WO2012172719A1 (ja) 2011-06-16 2012-12-20 パナソニック株式会社 ヘッドマウントディスプレイおよびその位置ずれ調整方法
US9298995B2 (en) * 2011-07-11 2016-03-29 Toyota Jidosha Kabushiki Kaisha Red-eye determination device
WO2013008305A1 (ja) 2011-07-11 2013-01-17 トヨタ自動車株式会社 瞼検出装置
JP6144681B2 (ja) 2011-08-30 2017-06-07 マイクロソフト テクノロジー ライセンシング，エルエルシー 虹彩スキャン・プロファイリング機能を有する頭部装着ディスプレイ
US9213163B2 (en) 2011-08-30 2015-12-15 Microsoft Technology Licensing, Llc Aligning inter-pupillary distance in a near-eye display system
BR112014005192A2 (pt) 2011-09-07 2017-03-21 Improved Vision Systems (I V S ) Ltd método e sistema para o tratamento de deficiência visual
EP2760363A4 (en) 2011-09-29 2015-06-24 Magic Leap Inc TACTILE GLOVE FOR HUMAN COMPUTER INTERACTION
IL215883A0 (en) 2011-10-24 2012-03-01 Iriss Medical Technologies Ltd System and method for indentifying eye conditions
US9215293B2 (en) 2011-10-28 2015-12-15 Magic Leap, Inc. System and method for augmented and virtual reality
ITVR20110201A1 (it) * 2011-11-02 2013-05-03 Milano Politecnico Dispositivo per il monitoraggio della posizione e deimovimenti dell'occhio, particolarmente adatto per la radioterapia oculare
CN107664847B (zh) 2011-11-23 2021-04-06 奇跃公司 三维虚拟和增强现实显示***
CN102592260B (zh) 2011-12-26 2013-09-25 广州商景网络科技有限公司 证照图像裁剪方法及***
US9075453B2 (en) 2011-12-29 2015-07-07 Khalifa University of Science, Technology & Research (KUSTAR) Human eye controlled computer mouse interface
US8958599B1 (en) 2012-01-06 2015-02-17 Google Inc. Input method and system based on ambient glints
JP2013192196A (ja) 2012-02-16 2013-09-26 Panasonic Corp カーソル合成装置およびカーソル合成方法
CN102629319B (zh) 2012-03-27 2014-02-19 中国科学院自动化研究所 基于特定边界检测子的鲁棒虹膜区域分割方法
US9851563B2 (en) 2012-04-05 2017-12-26 Magic Leap, Inc. Wide-field of view (FOV) imaging devices with active foveation capability
US20130321389A1 (en) 2012-05-29 2013-12-05 General Electric Company System and method for 3d imaging
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
CN107817556B (zh) 2012-06-11 2020-01-31 奇跃公司 使用波导反射器阵列投射器的多深度平面三维显示器
JP6131540B2 (ja) 2012-07-13 2017-05-24 富士通株式会社 タブレット端末、操作受付方法および操作受付プログラム
US9122926B2 (en) 2012-07-19 2015-09-01 Honeywell International Inc. Iris recognition using localized Zernike moments
EP2895910A4 (en) 2012-09-11 2016-04-20 Magic Leap Inc ERGONOMIC HEAD-MOUNTED DISPLAY DEVICE AND OPTICAL SYSTEM
EP3663840A1 (en) 2012-09-19 2020-06-10 Nikon Corporation Line of sight detection device, display method, line of sight detection device calibration method, spectacle lens design method, spectacle lens selection method, spectacle lens manufacturing method, printed matter, spectacle lens sales method, optical device, line of sight information detection method, optical instrument design method, optical instrument, optical instrument selection method, and optical instrument production method
CN105303772A (zh) * 2012-09-24 2016-02-03 由田新技股份有限公司 瞌睡提醒装置
JP5873982B2 (ja) 2012-10-09 2016-03-01 パナソニックＩｐマネジメント株式会社 ３次元表示装置、３次元画像処理装置および３次元表示方法
CN102901970A (zh) 2012-11-08 2013-01-30 天津理工大学 一种单调制连续波激光测距装置与测距方法
US9152847B2 (en) 2012-11-27 2015-10-06 Adobe Systems Incorporated Facial landmark localization by exemplar-based graph matching
US9224036B2 (en) 2012-12-20 2015-12-29 Google Inc. Generating static scenes
CN105122105B (zh) 2013-01-15 2018-06-15 奇跃公司 超高分辨率扫描光纤显示器
JP6318462B2 (ja) * 2013-01-30 2018-05-09 株式会社ニコン 表示装置
CN105027144A (zh) * 2013-02-27 2015-11-04 汤姆逊许可公司 用于无校准注视估计的方法和设备
WO2014164901A1 (en) 2013-03-11 2014-10-09 Magic Leap, Inc. System and method for augmented and virtual reality
US9424467B2 (en) 2013-03-14 2016-08-23 Disney Enterprises, Inc. Gaze tracking and recognition with image location
CN108628446B (zh) 2013-03-15 2021-10-26 奇跃公司 显示***和方法
US9335547B2 (en) 2013-03-25 2016-05-10 Seiko Epson Corporation Head-mounted display device and method of controlling head-mounted display device
CN103164704B (zh) * 2013-04-12 2016-05-11 山东师范大学 一种基于混合高斯模型的虹膜图像分割算法
CN103258343B (zh) * 2013-05-07 2015-09-16 中南大学 一种基于图像编辑的眼部图像处理方法
US9801539B2 (en) 2013-05-23 2017-10-31 Stiftung Caesar—Center Of Advanced European Studies And Research Ocular Videography System
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
GB201310368D0 (en) 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-mountable apparatus and systems
JP2015015563A (ja) 2013-07-04 2015-01-22 セイコーエプソン株式会社 画像表示装置
WO2015057994A1 (en) 2013-10-16 2015-04-23 Kaji Masamune Virtual or augmented reality headsets having adjustable interpupillary distance
JP2015090569A (ja) * 2013-11-06 2015-05-11 ソニー株式会社 情報処理装置及び情報処理方法
KR101470243B1 (ko) 2013-11-15 2014-12-05 현대자동차주식회사 시선 검출 장치 및 그 시선 검출 방법
TWI498769B (zh) 2013-11-18 2015-09-01 Quanta Comp Inc 頭戴式顯示裝置及其登入方法
NZ755272A (en) 2013-11-27 2020-05-29 Magic Leap Inc Virtual and augmented reality systems and methods
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
EP2886041A1 (en) 2013-12-17 2015-06-24 ESSILOR INTERNATIONAL (Compagnie Générale d'Optique) Method for calibrating a head-mounted eye tracking device
US20170046813A1 (en) * 2014-01-08 2017-02-16 Nokia Technologies Oy An apparatus and associated methods for image capture
US9405122B2 (en) 2014-01-29 2016-08-02 Ricoh Co., Ltd Depth-disparity calibration of a binocular optical augmented reality system
JP5956479B2 (ja) 2014-01-29 2016-07-27 株式会社東芝 表示装置及び視線推定装置
JP6509883B2 (ja) 2014-01-31 2019-05-08 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 多焦点表示システムおよび方法
NZ722903A (en) 2014-01-31 2020-05-29 Magic Leap Inc Multi-focal display system and method
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
EP3140779A4 (en) * 2014-05-09 2017-11-29 Google LLC Systems and methods for using eye signals with secure mobile communications
USD759657S1 (en) 2014-05-19 2016-06-21 Microsoft Corporation Connector with illumination region
NZ727350A (en) 2014-05-30 2020-08-28 Magic Leap Inc Methods and systems for generating virtual content display with a virtual or augmented reality apparatus
JP6550642B2 (ja) * 2014-06-09 2019-07-31 パナソニックＩｐマネジメント株式会社 皺検出装置および皺検出方法
USD752529S1 (en) 2014-06-09 2016-03-29 Comcast Cable Communications, Llc Electronic housing with illuminated region
EP3154407B1 (en) * 2014-06-16 2021-06-02 Fondation de L'institut de Recherche Idiap A gaze estimation method and apparatus
CN104537334B (zh) 2014-07-08 2019-09-10 珠海易胜电子技术有限公司 一种改善在非理想环境下虹膜识别性能的方法
US9563805B2 (en) 2014-09-02 2017-02-07 Hong Kong Baptist University Method and apparatus for eye gaze tracking
US9798383B2 (en) 2014-09-19 2017-10-24 Intel Corporation Facilitating dynamic eye torsion-based eye tracking on computing devices
CN104680016A (zh) 2014-11-05 2015-06-03 河南科技大学 基于几何优化逼近的抛物线轮廓最小区域拟合方法
CN104484649B (zh) 2014-11-27 2018-09-11 北京天诚盛业科技有限公司 虹膜识别的方法和装置
CN104502329B (zh) 2014-12-28 2017-02-22 冶金自动化研究设计院 一种libs成分分析中元素最优工作曲线的建立方法
CN104484694B (zh) 2014-12-31 2018-01-30 立德高科(北京)数码科技有限责任公司 通过扫描任一二维码以对多媒体信息相绑定与查看的方法
US9710707B1 (en) 2014-12-31 2017-07-18 Morphotrust Usa, Llc Detecting iris orientation
US11263794B2 (en) 2015-01-21 2022-03-01 Chengdu Idealsee Technology Co., Ltd. Binocular see-through AR head-mounted display device and information displaying method thereof
CN104793741A (zh) 2015-04-03 2015-07-22 深圳市虚拟现实科技有限公司 带眼球跟踪虚拟现实成像***和方法
CN105157563B (zh) 2015-04-28 2016-08-03 湖南大学 一种基于机器视觉的啤酒瓶口定位方法
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
CN112836664A (zh) 2015-08-21 2021-05-25 奇跃公司 使用眼睛姿态测量的眼睑形状估计
NZ740746A (en) 2015-08-21 2019-08-30 Magic Leap Inc Eyelid shape estimation
US10082865B1 (en) 2015-09-29 2018-09-25 Rockwell Collins, Inc. Dynamic distortion mapping in a worn display
WO2017066296A1 (en) 2015-10-16 2017-04-20 Magic Leap, Inc. Eye pose identification using eye features
US9983709B2 (en) * 2015-11-02 2018-05-29 Oculus Vr, Llc Eye tracking using structured light
USD805734S1 (en) 2016-03-04 2017-12-26 Nike, Inc. Shirt
USD794288S1 (en) 2016-03-11 2017-08-15 Nike, Inc. Shoe with illuminable sole light sequence
US10565433B2 (en) 2017-03-30 2020-02-18 George Mason University Age invariant face recognition using convolutional neural networks and set distances
US10521661B2 (en) * 2017-09-01 2019-12-31 Magic Leap, Inc. Detailed eye shape model for robust biometric applications

Also Published As

Publication number Publication date
JP6918781B2 (ja) 2021-08-11
CN108135469B (zh) 2021-03-09
JP7231676B2 (ja) 2023-03-01
US20170053165A1 (en) 2017-02-23
WO2017034860A1 (en) 2017-03-02
JP2021166107A (ja) 2021-10-14
AU2016310451A1 (en) 2018-03-22
US20190087634A1 (en) 2019-03-21
CN108135469A (zh) 2018-06-08
AU2016310451B2 (en) 2021-04-22
EP3337385A1 (en) 2018-06-27
US10146997B2 (en) 2018-12-04
NZ740299A (en) 2019-08-30
IL257485B (en) 2021-01-31
IL257485A (en) 2018-05-31
US20200293744A1 (en) 2020-09-17
EP3337385A4 (en) 2019-04-03
KR20180044331A (ko) 2018-05-02
CN112836664A (zh) 2021-05-25
US11538280B2 (en) 2022-12-27
JP2018523879A (ja) 2018-08-23
AU2021206778A1 (en) 2021-08-12
US10671845B2 (en) 2020-06-02
CA2996039A1 (en) 2017-03-02
KR102591552B1 (ko) 2023-10-18

Similar Documents

Publication Publication Date Title
KR102591552B1 (ko) 눈 포즈 측정을 사용한 눈꺼풀 형상 추정
US10089526B2 (en) Eyelid shape estimation
US11749025B2 (en) Eye pose identification using eye features
KR102209595B1 (ko) 강건한 생체인식 애플리케이션들을 위한 세밀한 눈 형상 모델
KR20190028493A (ko) 각막 곡률을 이용한 홍채 경계 추정
US20220301217A1 (en) Eye tracking latency enhancements

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal