KR102227284B1 - 디스플레이 장치 및 그 제어 방법 - Google Patents

디스플레이 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR102227284B1
KR102227284B1 KR1020140005683A KR20140005683A KR102227284B1 KR 102227284 B1 KR102227284 B1 KR 102227284B1 KR 1020140005683 A KR1020140005683 A KR 1020140005683A KR 20140005683 A KR20140005683 A KR 20140005683A KR 102227284 B1 KR102227284 B1 KR 102227284B1
Authority
KR
South Korea
Prior art keywords
user
iris
pupil
image
center point
Prior art date
Application number
KR1020140005683A
Other languages
English (en)
Other versions
KR20150085710A (ko
Inventor
김창한
최인호
홍태화
김홍일
손주영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140005683A priority Critical patent/KR102227284B1/ko
Priority to US14/598,921 priority patent/US9804670B2/en
Publication of KR20150085710A publication Critical patent/KR20150085710A/ko
Priority to US15/726,705 priority patent/US10133349B2/en
Application granted granted Critical
Publication of KR102227284B1 publication Critical patent/KR102227284B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • Studio Devices (AREA)

Abstract

디스플레이 장치가 개시된다. 디스플레이 장치는 사용자 방향으로 적외선을 출력하는 적외선 출력부, 사용자에 대한 촬영을 수행하여 촬영 이미지를 생성하는 촬상부 및 촬영 이미지로부터 동공, 홍채 및 적외선에 의해 생성되는 글린트 영역을 검출하고, 검출된 동공, 홍채 및 글린트 영역 사이의 위치 관계에 기초하여, 사용자 시선 방향을 판단하는 제어부를포함한다. 이에 따라, 연산량을 줄이고, 움직임으로 인한 영향을 감소시키면서 시선의 정면 여부만을 판단하고, 판단된 결과에 따라 다양한 기능을 수행할 수 있다.

Description

디스플레이 장치 및 그 제어 방법{DISPALY APPARATUS AND CONTROLLING METHOD THEREOF}
본 발명은 디스플레이 장치 및 그 제어 방법에 관한 것으로서, 보다 상세하게는 시선 추적을 통하여 사용자 시선 방향을 판단하는 디스플레이 장치 및 그 제어 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자 제품들이 개발 및 보급되고 있다. 특히, TV, 휴대폰, PC, 노트북 PC, PDA 등과 같은 각종 디스플레이 장치들은 대부분의 일반 가정에서도 많이 사용되고 있다.
디스플레이 장치들의 사용이 늘면서 좀 더 다양한 기능에 대한 사용자 니즈(needs)도 증대되었다. 이에 따라, 사용자 니즈에 부합하기 위한 각 제조사들의 노력도 커져서, 종래에 없던 새로운 기능을 갖춘 제품들이 속속 등장하고 있다.
이에 따라, 디스플레이 장치에서 수행되는 기능들도 다양해지게 되었다. 특히, 사용자의 시선을 추적하여 사용자의 시선이 어떤 곳을 바라보는지 판단하고, 이에 따른 기능을 수행하는 방법들이 많이 개발되었다.
종래의 이러한 시선을 추적하는 방식은 시선이 어떤 곳을 바라보는지 측정하기 위해 반짝임(glint)과 동공(pupil)을 분석하여 시선의 위치를 계산해내는 방법이었다.
그러나, 이러한 방식은 별도의 복잡한 계산이 필요하여 연산량이 많을 뿐만 아니라, 정면 여부만을 검출하는데 있어서는 불필요한 방식이고, 시선 추적 중에 사용자가 움직이거나, 디스플레이 장치가 움직이는 경우 그 움직임으로 인한 영향으로 시선 추적을 정확하게 할 수 없는 문제점이 있었다.
이에 따라, 연산량을 줄이고, 움직임으로 인한 영향을 감소시키면서 시선의 정면 여부만을 판단하는 방법에 대한 필요성이 대두되었다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 시선의 정면 여부를 판단하기 위한 디스플레이 장치 및 그 제어 방법을 제공함에 있다.
이러한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 디스플레이 장치는, 사용자 방향으로 적외선을 출력하는 적외선 출력부, 상기 사용자에 대한 촬영을 수행하여 촬영 이미지를 생성하는 촬상부 및 상기 촬영 이미지로부터 동공, 홍채 및 상기 적외선에 의해 생성되는 글린트 영역을 검출하고, 검출된 상기 동공, 상기 홍채 및 상기 글린트 영역 사이의 위치 관계에 기초하여, 사용자 시선 방향을 판단하는 제어부를 포함한다.
여기서, 상기 제어부는, 상기 동공의 중심점과 상기 글린트 영역의 중심점 사이의 거리와 상기 홍채의 크기를 비교하여, 결과 값이 기 설정된 임계치 미만이면 상기 사용자 시선 방향이 정면 방향이라고 판단하고, 결과 값이 기 설정된 임계치 이상이면 상기 사용자 시선 방향이 상기 정면 방향이 아니라고 판단할 수 있다.
또한, 상기 제어부는, 상기 홍채가 비 검출되면, 상기 동공의 중심점과 상기 글린트 영역의 중심점 간의 거리 및 양안 사이의 거리를 비교하여, 비교 결과 값이 기 설정된 임계치 미만이면 상기 사용자 시선 방향이 정면 방향이라고 판단하고, 결과 값이 기 설정된 임계치 이상이면 상기 사용자 시선 방향이 상기 정면 방향이 아니라고 판단할 수 있다.
한편, 본 발명의 일 실시 예에 따른 디스플레이 장치는 정면을 바라보는 눈 이미지를 저장하는 저장부를 더 포함하며, 상기 제어부는, 상기 동공, 상기 홍채 및 상기 글린트 영역 중 적어도 하나가 상기 촬영 이미지로부터 검출되지 않으면, 상기 촬영 이미지 내에서 사용자 눈 영역의 이미지를 검출하고, 검출된 이미지 및 상기 저장부에 저장된 눈 이미지를 비교하여 상기 사용자 시선 방향을 판단할 수 있다.
또한, 본 발명의 일 실시 예에 따른 디스플레이 장치는 정면을 바라보는 눈 이미지를 저장하는 저장부를 더 포함하며, 상기 제어부는, 상기 촬영 이미지 내에서 사용자 눈 영역의 이미지를 검출하여, 검출된 이미지 및 상기 저장부에 저장된 눈 이미지를 비교하여 상기 사용자 시선 방향을 판단하며, 상기 동공, 상기 홍채 및 상기 글린트 영역 사이의 위치 관계에 기초하여 판단된 사용자 시선 방향과, 상기 저장부에 저장된 눈 이미지를 이용하여 판단된 사용자 시선 방향이 일치하면, 상기 사용자 시선 방향을 결정할 수 있다.
또한, 상기 제어부는, 상기 사용자에 대해 프리뷰로 촬영하고, 상기 프리뷰를 통해 생성된 촬영 이미지로부터 상기 동공, 상기 홍채 및 상기 적외선에 의해 생성되는 글린트 영역을 검출하고, 검출된 상기 동공, 상기 홍채 및 상기 글린트 영역 사이의 위치 관계에 기초하여 상기 사용자 시선 방향을 판단하여 스틸 이미지를 획득하도록 상기 촬상부를 제어할 수 있다.
여기서, 상기 제어부는, 상기 동공의 중심점과 상기 글린트 영역의 중심점 사이의 거리와 상기 홍채의 크기를 비교하여, 결과 값이 기 설정된 임계치 미만이면 상기 사용자 시선 방향이 정면 방향이라고 판단하고 상기 스틸 이미지를 획득하도록 상기 촬상부를 제어할 수 있다.
또한, 상기 제어부는, 상기 홍채가 비 검출되면, 상기 동공의 중심점과 상기 글린트 영역의 중심점 간의 거리 및 양안 사이의 거리를 비교하여, 비교 결과 값이 기 설정된 임계치 미만이면 상기 사용자 시선 방향이 정면 방향이라고 판단하고 상기 스틸 이미지를 획득하도록 상기 촬상부를 제어할 수 있다.
한편, 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법은 사용자 방향으로 적외선을 출력하는 단계, 상기 사용자에 대한 촬영을 수행하여 촬영 이미지를 생성하는 단계, 상기 촬영 이미지로부터 동공, 홍채 및 상기 적외선에 의해 생성되는 글린트 영역을 검출하는 단계 및 검출된 상기 동공, 상기 홍채 및 상기 글린트 영역 사이의 위치 관계에 기초하여 사용자 시선 방향을 판단하는 단계를 포함한다.
여기서, 상기 판단하는 단계는, 상기 동공의 중심점과 상기 글린트 영역의 중심점 사이의 거리와 상기 홍채의 크기를 비교하여, 결과 값이 기 설정된 임계치 미만이면 상기 사용자 시선 방향이 정면 방향이라고 판단하고, 결과 값이 기 설정된 임계치 이상이면 상기 사용자 시선 방향이 상기 정면 방향이 아니라고 판단할 수 있다.
또한, 상기 판단하는 단계는, 상기 홍채가 비 검출되면, 상기 동공의 중심점과 상기 글린트 영역의 중심점 간의 거리 및 양안 사이의 거리를 비교하여, 비교 결과 값이 기 설정된 임계치 미만이면 상기 사용자 시선 방향이 정면 방향이라고 판단하고, 결과 값이 기 설정된 임계치 이상이면 상기 사용자 시선 방향이 상기 정면 방향이 아니라고 판단할 수 있다.
또한, 상기 판단하는 단계는, 상기 동공, 상기 홍채 및 상기 글린트 영역 중 적어도 하나가 상기 촬영 이미지로부터 검출되지 않으면, 상기 촬영 이미지 내에서 사용자 눈 영역의 이미지를 검출하고, 검출된 이미지 및 저장부에 저장된 정면을 바라보는 눈 이미지를 비교하여 상기 사용자 시선 방향을 판단할 수 있다.
또한, 상기 판단하는 단계는, 상기 촬영 이미지 내에서 사용자 눈 영역의 이미지를 검출하여 검출된 이미지 및 저장부에 저장된 정면을 바라보는 눈 이미지를 비교하여 상기 사용자 시선 방향을 판단하며, 상기 동공, 상기 홍채 및 상기 글린트 영역 사이의 위치 관계에 기초하여 판단된 사용자 시선 방향과 상기 저장부에 저장된 눈 이미지를 이용하여 판단된 사용자 시선 방향이 일치하면, 상기 사용자 시선 방향을 결정할 수 있다.
한편, 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법은 상기 사용자에 대해 프리뷰로 촬영하고, 상기 프리뷰를 통해 생성된 촬영 이미지로부터 상기 동공, 상기 홍채 및 상기 적외선에 의해 생성되는 글린트 영역을 검출하고, 검출된 상기 동공, 상기 홍채 및 상기 글린트 영역 사이의 위치 관계에 기초하여 상기 사용자 시선 방향을 판단하여, 스틸 이미지를 획득하는 단계를 더 포함할 수 있다.
여기서, 상기 스틸 이미지를 획득하는 단계는, 상기 동공의 중심점과 상기 글린트 영역의 중심점 사이의 거리와 상기 홍채의 크기를 비교하여, 결과 값이 기 설정된 임계치 미만이면 상기 사용자 시선 방향이 정면 방향이라고 판단하고 상기 스틸 이미지를 획득할 수 있다.
또한, 상기 스틸 이미지를 획득하는 단계는, 상기 홍채가 비 검출되면, 상기 동공의 중심점과 상기 글린트 영역의 중심점 간의 거리 및 양안 사이의 거리를 비교하여, 비교 결과 값이 기 설정된 임계치 미만이면 상기 사용자 시선 방향이 정면 방향이라고 판단하고 상기 스틸 이미지를 획득할 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 연산량을 줄이고, 움직임으로 인한 영향을 감소시키면서 시선의 정면 여부만을 판단하고, 판단된 결과에 따라 다양한 기능을 수행할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타낸 블럭도이다.
도 2는 본 발명의 일 실시 예에 따른 적외선을 이용하여 시선 방향을 검출하는 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 사용자 시선 방향을 판단하는 방법을 구체적으로 설명하기 위한 도면이다.
도 4a 내지 도 4c는 본 발명의 일 실시 예에 따른 동공, 홍채 및 글린트 영역 사이의 위치 관계에 기초하여 시선 방향을 판단하는 방법을 구체적으로 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 양안 사이의 거리를 사용하여 시선 방향을 판단하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 패턴 학습에 의해 시선 방향을 판단하는 디스플레이 장치의 구성을 나타낸 블럭도이다.
도 7은 본 발명의 일 실시 예에 따른 패턴 학습에 의해 사용자 시선을 판단하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 프리뷰를 통해 시선 방향을 판단하여 스틸 이미지를 획득하는 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 10은 본 발명의 또 다른 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여 본 발명을 더욱 상세하게 설명한다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타낸 블럭도이다.
도 1에 따르면, 디스플레이 장치(100)는 적외선 출력부(110), 촬상부(120) 및 제어부(130)를 포함한다. 여기서, 디스플레이 장치(100)는 TV, 전자 칠판, 전자 테이블, LFD(Large Format Display), 스마트 폰, 태블릿, 데스크탑 PC, 노트북 등과 같은 다양한 형태의 전자 장치로 구현될 수 있다.
적외선 출력부(110)는 사용자 방향으로 적외선을 출력할 수 있다. 주로, 적외선 조명(infrared light)이 적외선 출력부(110)로 사용될 수 있는데, 적외선 조명은 대상물이 가지고 있는 적외선의 정보를 감지하는 소자를 말한다. 적외선의 정보를 감지하는 방식에는 양자형과 열형이 있는데, 양자형은 광도전, 광기전력의 효과를 이용하여 빛을 양자로서 감지하고, 재료는 안티몬화인듐(InSb), 텔루르화수은카드뮴(HgCdTe) 등을 사용한다. 감도나 응답 속도는 좋지만, 열잡음을 줄이기 위해서 저온으로 둘 필요가 있고 파장에 대하여는 선택성이 있다.
또한, 열형은 흡수된 적외선을 열로 변환하여, 온도 변화에 의한 재료의 물리량 변화를 이용한다. 검출 원리에 따라 많은 형식이 있지만, 실제로 사용되고 있는 것은 전기 저항의 변화를 이용하는 서미스터형과 표면 전하량의 변화를 이용하는 초전형이다. 이런 종류의 센서는 전 파장에 동일하게 감응하며, 비선택성이고, 실내 온도 부근에서 사용할 수 있다.
적외선 출력부(110)는 적외선 조명을 사용하여 사용자 방향으로 적외선을 출력할 수 있는데, 보다 상세하게는 사용자의 눈 방향으로 적외선을 출력할 수 있다. 즉, 적외선 조명을 카메라 렌즈 주변에 배치함으로써, 적외선 출력부(110)는 적외선을 사용자의 눈 방향으로 출력할 수 있게 된다.
한편, 본 발명의 일 실시 예에 따른 디스플레이 장치(100)는 사용자 방향으로 적외선을 출력하는 방식을 사용하는 것으로 설명하였으나, 적외선 뿐만 아니라, 주변 조명 또는 광을 출력하는 방식을 사용할 수도 있다.
촬상부(120)는 사용자에 대한 촬영을 수행하여 촬영 이미지를 생성할 수 있다. 일반적으로, 촬상부(120)는 CCD(Charge Coupled Device)로 구현될 수 있으며, CCD는 디지털 카메라에서 빛을 전기적인 신호로 바꿔주는 광센서 반도체로, 일반 카메라로 말하면 필름을 감광시키는 기능을 수행하기 위한 소자이다.
촬상부(120)에서 촬영 이미지를 생성하는 과정을 좀더 상세하게 설명하면, 렌즈와 조리개를 통해 디스플레이 장치(100) 내부로 전달된 빛은 CCD에 의해 빛의 강약을 통하여 전기적 신호로 변환되고, 변환된 전기적인 신호는 다시 아날로그 신호를 0과 1의 디지털 신호로 바꿔주는 ADC(Analog-Digital Converter)라는 변환 장치를 통해 이미지 파일로 변화되어 메모리에 저장된다. 여기서, 촬상부(120)를 구동시키는 구동 신호가 입력되면, 빛이 렌즈와 조리개를 통해 들어와 CCD에 닿게 되고, 이에 따라 렌즈로부터 들어온 빛의 세기는 CCD에 기록된다. 이때, 촬영된 영상의 빛은 CCD에 붙어있는 RGB 색필터에 의해 각기 다른 색으로 분리된다. 그리고, 분리된 색은 CCD를 구성하는 수십만개의 감광소자에서 전기적 신호로 바뀌게 된다. 여기서, 촬상부(120)는 CCD에 의해 바뀐 전기적 신호를 사용하여 촬영 이미지를 생성하게 된다. 이러한, 촬상부(120)는 카메라뿐만 아니라, 스마트 폰, 노트북, TV 등 모든 전자 장치에 사용될 수 있다.
제어부(130)는 생성된 촬영 이미지로부터 동공, 홍채 및 적외선에 의해 생성되는 글린트 영역을 검출할 수 있다.
일반적으로, 가시광선 조명 환경에서는 홍채와 동공의 밝기 분포가 비슷하여 동공과 홍채의 경계가 잘 나타나지 않지만, 적외선 조명 및 흑백 카메라 환경에서는 홍채와 동공의 밝기 차가 많이 나기 때문에, 동공과 홍채의 경계가 잘 나타나게 된다.
한편, 제어부(130)는 생성된 촬영 이미지로부터 동공 및 홍채를 검출하기 위해서는 촬영 이미지로부터 동공과 홍채와의 경계 및 홍채와 흰자위와의 경계를 검출해야 한다.
구체적으로, 동공과 홍채와의 경계 검출은 원형 경계 검출기(Circular Edge Detector)를 통해 이루어질 수 있다. 즉, 중심과 반지름을 변화시켜가면서 각 중심과 반지름에 의해 만들어지는 원의 둘레를 따라 픽셀들의 그레이 레벨 값들을 더한 뒤, 반지름의 변화에 따라 그 차이가 최대 값을 갖는 위치를 동공과 홍채와의 경계로 판단할 수 있다.
한편, 홍채와 흰자위와의 경계는 두껍고 블러되어 있기 때문에 경계 지점을 찾기가 상대적으로 어려운 면이 있어, 홍채의 중심은 동공의 중심을 기준으로 탐색될 수 있으며, 홍채 반지름은 고정 초점 카메라에서의 홍채 반지름이 거의 일정하다는 것에 기반하여 탐색될 수 있다.
물론, 동공 및 홍채를 검출하는 방법에는 상술한 예뿐만 아니라 다양한 선행 기술이 존재하며, 본 발명의 일 실시 예에 따른 디스플레이 장치(100)의 제어부(130)가 동공 및 홍채를 검출하는데 있어서 사용될 수 있다.
또한, 제어부(130)는 적외선에 의해 생성된 글린트 영역을 검출할 수 있다. 여기서, 적외선에 의해 생성된 글린트 영역은 적외선 출력부(110)에서 사용자 방향으로 출력한 적외선이 사용자 눈의 각막에 의해 반사된 반짝임을 의미한다.
제어부(130)는 적외선에 의해 생성된 글린트 영역을 검출하기 위해서, 적외선 필터를 사용하여 적외선에 의해 생성된 글린트 영역을 수광하는 방식을 사용할 수도 있고, 적외선에 의해 생성되는 글린트 영역이 표시된 촬영 이미지로부터 글린트 영역을 검출할 수도 있다.
도 2는 본 발명의 일 실시 예에 따른 적외선을 이용하여 시선 방향을 검출하는 방법을 설명하기 위한 도면이다.
도 2를 참조하면, 디지털 카메라(200)는 적외선을 사용자 방향으로 출력하고, 출력된 적외선에 의해 글린트 영역이 표시되며, 이러한 글린트 영역이 표시된 상태의 사용자에 대한 촬영을 수행하여 촬영 이미지를 생성할 수 있다.
여기서, 제어부(130)는 촬영 이미지로부터 동공(210), 홍채(220) 및 적외선에 의해 생성되는 글린트 영역(230)을 검출할 수 있다.
한편, 상술한 예에서는 제어부(130)가 촬상부(120)에서 사용자에 대한 촬영을 수행하여 생성된 촬영 이미지로부터 동공(210), 홍채(220) 및 적외선에 의해 생성되는 글린트 영역(230)을 검출하는 것으로 설명하였으나, 제어부(130)는 촬상부(120)가 촬영을 수행하지 않는 경우에도 적외선 출력부(110) 및 촬상부(120)를 제어하여 동공(210), 홍채(220) 및 적외선에 의해 생성되는 글린트 영역(230)을 검출할 수 있다.
즉, 제어부(130)는 사용자에 대한 촬영 이미지를 생성하지 않고도, 실시간으로 동공(210), 홍채(220) 및 적외선에 의해 생성되는 글린트 영역(230)을 검출할 수 있다.
다만, 본 발명의 상세한 설명에서 사용되는 촬영 이미지는 단지 촬영을 수행하여 획득된 스틸 이미지뿐만 아니라, 촬상부(120)를 통해 들어오는 모든 광에 의해 형성되는 이미지를 포함한다.
이에 따라, 제어부(130)가 실시간으로 동공(210), 홍채(220) 및 적외선에 의해 생성되는 글린트 영역(230)을 검출하기 위한 실시간 이미지도 촬상부(120)를 통해 들어오는 모든 광에 의해 형성되는 이미지에 포함된다. 예를 들면, 프리뷰 형식으로 촬영된 이미지도 본 발명의 일 실시 예에 따른 촬영 이미지에 포함된다.
한편, 도 3은 본 발명의 일 실시 예에 따른 사용자 시선 방향을 판단하는 방법을 구체적으로 설명하기 위한 도면이다.
도 3에 따르면, 동공(310), 홍채(320) 및 글린트 영역(330)이 도시되어 있고, 제어부(130)는 검출된 동공(310), 홍채(320) 및 글린트 영역(330) 사이의 위치 관계에 기초하여 사용자 시선 방향을 판단할 수 있다. 구체적으로, 위치 관계는 동공(310)과 글린트 영역(330)의 중심 사이의 거리 및 홍채(320)의 크기와의 관계를 의미한다.
특히, 제어부(130)는 동공(310)의 중심점과 글린트 영역(330)의 중심점 사이의 거리와 홍채(320)의 크기를 비교하여 결과 값이 기설정된 임계치 미만이면 사용자 시선 방향이 정면 방향이라고 판단할 수 있고, 결과 값이 기 설정된 임계치 이상이면 사용자 시선 방향이 정면 방향이 아니라고 판단할 수 있다.
동공(310)의 중심점과 글린트 영역(330)의 중심점 사이의 거리와 홍채(320)의 크기 비교는 하기와 같은 수학식에 의해 연산될 수 있다.
Figure 112014004711226-pat00001
여기서, d는 동공(310)의 중심점과 글린트 영역(330)의 중심점 사이의 거리를 의미하고, R은 홍채(320)의 크기를 의미하며, 여기서, 홍채(320)의 크기에는 홍채(320)의 반지름 또는 지름의 길이가 사용될 수 있다.
따라서, 동공(310)의 중심점과 글린트 영역(330)의 중심점 사이의 거리를 홍채(320)의 반지름 또는 지름의 길이로 나눈 결과 값(K)이 기설정된 임계치 미만이면 제어부(130)는 사용자 시선 방향이 정면 방향이라고 판단하고, 결과 값(K)이 기설정된 임계치 이상이면 사용자 시선 방향이 정면 방향이 아니라고 판단할 수 있다.
제어부(130)는 동공(310)의 중심점과 글린트 영역(330)의 중심점 사이의 거리와 홍채(320)의 크기를 비교한 결과 값(K)에 따라 판단하기 때문에, 사용자와 디스플레이 장치(100)간의 거리가 변경되는 경우라도 비교한 결과 값(K)은 동공(310)의 중심점과 글린트 영역(330)의 중심점 사이의 거리와 홍채(320)의 반지름 또는 지름 간의 비율 정보이므로, 일정하게 유지될 수 있다. 이에 따라, 본 발명의 일 실시 예에 따른 디스플레이 장치(100)의 제어부(130)는 사용자의 움직임 또는 디스플레이 장치(100)의 움직임, 진동 등에 의하여 사용자와 디스플레이 장치(100)간의 거리가 변경되더라도 사용자 시선 방향을 정확하게 파악할 수 있게 된다. 즉, 움직임에 의한 변수의 영향이 줄어들게 되고, 이에 대한 강인성이 증가하게 된다.
도 4a 내지 도 4c는 본 발명의 일 실시 예에 따른 동공, 홍채 및 글린트 영역 사이의 위치 관계에 기초하여 시선 방향을 판단하는 방법을 구체적으로 설명하기 위한 도면이다.
도 4a를 참조하면, 동공(411)의 중심점과 글린트 영역(413)의 중심점은 동일하다. 따라서, 상술한 수학식에 의할 때, 동공(411)의 중심점과 글린트 영역(413)의 중심점 사이의 거리(d)는 0이 되고, 홍채(412)의 반지름 또는 지름은 일정한 상수를 갖게 되므로, 이들을 비교한 결과 값(K)는 0이 된다. 이에 따라, 제어부(130)는 결과 값(K)이 기 설정된 임계치 미만일 수 밖에 없으므로, 도 4a에 도시된 사용자 시선 방향이 정면 방향이라고 판단할 수 있다.
도 4b를 참조하면, 동공(421)의 중심점과 글린트 영역(423)의 중심점은 동일하다. 따라서, 상술한 수학식에 의할 때, 동공(421)의 중심점과 글린트 영역(423)의 중심점 사이의 거리(d)는 도 4a와 마찬가지로 0이되고, 홍채(423)의 반지름 또는 지름은 일정한 상수이므로, 이들을 비교한 결과 값(K)는 0이 된다. 이에 따라, 제어부(130)는 결과 값(K)이 기 설정된 임계치 미만일 수 밖에 없으므로, 도 4b에 도시된 사용자 시선 방향도 정면 방향이라고 판단할 수 있다.
도 4c를 참조하면, 동공(431)의 중심점과 글린트 영역(433)의 중심점은 동일하지 않으므로, 동공(431)의 중심점과 글린트 영역(423)의 중심점 사이의 거리(d)는 a의 상수값을 가진다. 그리고, 홍채(433)의 반지름 또는 지름은 일정한 상수이므로, 이들을 비교한 결과 값(K)는 0보다 크고, 1보다 작을 수 밖에 없다.
한편, 기 설정된 임계치가 거의 0에 가깝게 설정되어 있다고 가정하면, 제어부(130)는 도 4c의 비교 결과 값(K)가 기 설정된 임계치보다 크다고 보아, 도 4c에 도시된 사용자 시선 방향이 정면 방향이 아니라고 판단할 수 있다.
즉, 기 설정된 임계치가 거의 0에 가깝게 설정되어 있는 경우에는 제어부(130)가 사용자 시선 방향이 정면 방향이라고 판단하는 범위가 매우 좁고, 기 설정된 임계치가 상대적으로 0보다 약간 크게 설정되어 있는 경우에는 제어부(130)가 동공(431)의 중심점과 글린트 영역(433)의 중심점이 완전히 동일하지 않은 경우라도 기설정된 범위 내라면 사용자 시선 방향이 정면 방향이라고 판단하여 사용자 시선 방향이 정면 방향이라고 판단하는 범위가 상대적으로 넓다.
사용자는 기 설정된 임계치를 설정할 수 있고, 이에 따라 시선의 정면 여부 판단의 정확도를 조절할 수 있게 된다.
한편, 도 3에 대한 설명에서는 홍채(320)의 크기로 홍채(320)의 반지름 또는 지름의 길이를 사용하여 설명하였으나, 이는 홍채(320)가 검출된 경우에만 사용자 시선 방향을 판단하는 방법이다. 이에 따라, 도 5를 참조하여, 홍채(320)가 검출되지 않은 경우 사용자 시선 방향을 판단하는 방법에 대해 설명하기로 한다.
도 5는 본 발명의 일 실시 예에 따른 양안 사이의 거리를 사용하여 시선 방향을 판단하는 방법을 설명하기 위한 도면이다.
도 5를 참조하면, 양안이 도시되어 있다. 제어부(130)는 홍채(320)가 비 검출되면, 동공(511-2)의 중심점과 글린트 영역(513)의 중심점 간의 거리 및 양안 사이의 거리(512)를 비교하여, 비교 결과 값이 기 설정된 임계치 미만이면 사용자 시선 방향이 정면 방향이라고 판단하고, 결과 값이 기 설정된 임계치 이상이면 사용자 시선 방향이 정면 방향이 아니라고 판단할 수 있다.
여기서, 양안 사이의 거리(512)는 두 개의 동공(511-1, 511-2)의 중심점 간의 거리로 정의될 수 있다.
즉, 제어부(130)는 홍채(320)가 검출되지 않는 경우에는 홍채(320)의 크기를 산출할 수 없으므로, 홍채(320)의 크기를 대신하여 양안 사이의 거리(512)를 사용하여 동공(511-2)의 중심점과 글린트 영역(513)의 중심점 간의 거리와의 비교 값을 산출할 수 있다.
여기서, 촬상부(120)는 양안에 대한 촬영을 수행하여 촬영 이미지를 생성하고, 제어부(130)는 촬영 이미지로부터 양안 사이의 거리(512)를 산출할 수 있다. 이러한 양안 사이의 거리(512)와 동공(511-2)의 중심점과 글린트 영역(513)의 중심점 간의 거리를 비교하여 시선 방향을 판단하는 방법 역시 움직임에 의한 변수의 영향이 줄어들게 되고, 이에 대한 강인성이 증가하게 된다. 또한, 사용자가 설정한 기설정된 임계치에 의하여 시선의 정면 여부 판단의 정확도가 조절될 수 있다.
도 6은 본 발명의 일 실시 예에 따른 패턴 학습에 의해 시선 방향을 판단하는 디스플레이 장치의 구성을 나타낸 블럭도이다.
도 6을 참조하면, 디스플레이 장치(600)는 적외선 출력부(610), 촬상부(620), 저장부(630) 및 제어부(640)를 포함한다. 여기서, 적외선 출력부(610) 및 촬상부(620)는 이미 설명하였으므로 자세한 설명은 생략하기로 한다.
저장부(630)는 정면을 바라보는 눈 이미지를 저장할 수 있다. 구체적으로, 저장부(630)는 정면을 바라보는 눈의 다양한 이미지에 관한 데이터를 저장할 수 있다. 또한, 저장부(630)는 정면을 바라보지 않는 눈의 다양한 이미지에 관한 데이터도 저장할 수 있다.
제어부(640)는 동공, 홍채 및 글린트 영역 중 적어도 하나가 촬영 이미지로부터 검출되지 않아서 동공, 홍채 및 글린트 영역 사이의 위치 관계에 기초하여 사용자 시선 방향을 판단할 수 없는 경우, 촬영 이미지 내에서 사용자 눈 영역의 이미지를 검출하고, 검출된 이미지와 저장부에 저장된 눈 이미지를 비교하여 사용자 시선 방향을 판단할 수 있다.
구체적으로, 제어부(640)는 검출된 이미지에 기초하여 정면을 바라보고 있는 눈 이미지와 정면을 바라보고 있지 않은 눈 이미지에 대한 패턴 학습을 통하여 사용자 시선 방향을 판단할 수 있다. 여기서, 제어부(640)는 정면을 바라보는 눈의 다양한 이미지에 관한 데이터와 검출된 이미지에 관한 데이터를 비교하여 일치 여부를 판단할 수 있고, 일치하는 것으로 판단되면, 사용자 시선 방향이 정면이라고 판단할 수 있다.
이러한 패턴 학습에 의해 사용자 시선 방향을 판단하는 방법은 적외선 출력부(610)가 구비되지 않은 디스플레이 장치(600)의 경우에도 적용될 수 있다.
도 7은 본 발명의 일 실시 예에 따른 패턴 학습에 의해 사용자 시선을 판단하는 방법을 설명하기 위한 도면이다.
즉, 상술한 바와 같이 촬상부(620)는 사용자에 대한 촬영을 수행하여 촬영 이미지를 생성하고 제어부(640)는 촬영 이미지로부터 검출된 사용자 눈 영역의 이미지를 검출한 후, 검출된 이미지와 저장부(630)에 저장된 눈 이미지를 비교하여 사용자 시선 방향을 판단할 수 있다.
한편, 제어부(640)는 상술한 두 가지 방식을 모두 사용하여 사용자의 시선 방향을 판단할 수도 있다. 구체적으로, 제어부(640)는 촬영 이미지 내에서 사용자 눈 영역의 이미지를 검출하고, 검출된 이미지 및 저장부(630)에 저장된 눈 이미지를 비교하여 사용자 시선 방향을 판단하며, 또한, 제어부(640)는 동공, 홍채 및 글린트 영역 사이의 위치 관계에 기초하여 판단된 사용자 시선 방향과 저장부에 저장된 눈 이미지를 이용하여 판단된 사용자 시선 방향이 일치하면, 사용자 시선 방향을 결정할 수 있다.
이렇게 두 가지 방식을 모두 사용하여 사용자 시선 방향을 판단하는 경우 좀더 정확하게 사용자 시선 방향을 판단할 수 있게 된다.
도 8은 본 발명의 일 실시 예에 따른 프리뷰를 통해 시선 방향을 판단하여 스틸 이미지를 획득하는 방법을 설명하기 위한 도면이다.
도 8에 따르면, 디스플레이 장치(600)의 일 예로 디지털 카메라(810)과 피사체(820)가 도시되어 있다. 즉, 디지털 카메라(810)는 프리뷰로 피사체(820)를 촬영할 수 있는데, 프리뷰란 촬상부(620)가 실제로 피사체(820)를 촬영하여 스틸 이미지 또는 동영상 이미지를 생성하기 전에 라이브 뷰(811) 형식으로 보여주는 것을 말한다.
이에 따라, 제어부(640)는 피사체(820) 또는 사용자에 대해 프리뷰로 촬영하고, 프리뷰를 통해 생성된 촬영 이미지(812)로부터 눈 영역의 이미지(813)를 검출할 수 있다. 그리고, 제어부(640)는 검출된 눈 영역의 이미지(813)로부터 도 3과 같이 동공(310), 홍채(320) 및 적외선에 의해 생성되는 글린트 영역(330)을 검출하고, 검출된 동공(310), 홍채(320) 및 글린트 영역(330) 사이의 위치 관계에 기초하여 사용자 시선 방향을 판단하여 스틸 이미지를 획득하도록 촬상부(620)를 제어할 수 있다.
즉, 제어부(640)는 사용자의 시선 방향이 정면인 경우에는 스틸 이미지를 획득하도록 촬상부(120)를 제어할 수 있고, 사용자의 시선 방향이 정면이 아닌 경우에는 스틸 이미지를 획득하지 않도록 촬상부(620)를 제어할 수 있다.
구체적으로, 제어부(640)는 동공(310)의 중심점과 글린트 영역(330)의 중심점 사이의 거리와 홍채(320)의 크기를 비교하여 결과 값이 기 설정된 임계치 미만이면 사용자 시선 방향이 정면 방향이라고 판단하고 스틸 이미지를 획득하도록 촬상부(620)를 제어할 수 있다.
또한, 제어부(640)는 홍채가 검출되지 않는 경우에는 동공(310)의 중심점과 글린트 영역(330)의 중심점 간의 거리 및 양안 사이의 거리(512)를 비교하여 비교 결과 값이 기 설정된 임계치 미만이면 사용자 시선 방향이 정면 방향이라고 판단하고 스틸 이미지를 획득하도록 촬상부(620)를 제어할 수 있다.
이에 따라, 사용자는 디스플레이 장치(600)를 정면으로 바라보는 경우에만 자동으로 셔터가 동작하여 촬영을 수행하도록 조정할 수 있다.
물론, 이러한 경우에도, 사용자는 기 설정된 임계치를 조정하여 사용자 시선방향의 정면 판단 여부의 정확도를 조절할 수 있다. 이에 따라, 제어부(640)는 조절된 정면 판단 여부의 정확도에 따라 스틸 이미지를 획득하도록 할 수 있다.
한편, 본 발명의 일 실시 예에 따른 디스플레이 장치(600)의 제어부(640)는 사용자의 시선 방향이 정면인지 여부를 판단하여 정면인 경우에는 디스플레이부를 활성화시켜 화면을 디스플레이하고, 정면이 아닌 경우에는 디스플레이부를 비활성화시킬 수 있다.
도 9는 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 9에 도시된 방법에 따르면, 사용자 방향으로 적외선을 출력할 수 있다(S910).
그리고, 사용자에 대한 촬영을 수행하여 촬영 이미지를 생성할 수 있다(S920).
또한, 촬영 이미지로부터 동공, 홍채 및 적외선에 의해 생성되는 글린트 영역을 검출할 수 있다(S930).
그리고, 검출된 동공, 홍채 및 글린트 영역 사이의 위치 관계에 기초하여 사용자 시선 방향을 판단할 수 있다(S940).
여기서, 판단하는 단계는, 동공의 중심점과 글린트 영역의 중심점 사이의 거리와 홍채의 크기를 비교하여, 결과 값이 기 설정된 임계치 미만이면 사용자 시선 방향이 정면 방향이라고 판단하고, 결과 값이 기 설정된 임계치 미만이면 사용자 시선 방향이 정면 방향이 아니라고 판단할 수 있다.
또한, 판단하는 단계는, 홍채가 비 검출되면, 동공의 중심점과 글린트의 중심점 간의 거리 및 양안 사이의 거리를 비교하여, 비교 결과 값이 기 설정된 임계치 미만이면 사용자 시선 방향이 정면 방향이라고 판단하고 결과 값이 기 설정된 임계치 이상이면 사용자 시선 방향이 정면 방향이 아니라고 판단할 수 있다.
또한, 판단하는 단계는, 동공, 홍채 및 글린트 영역 중 적어도 하나가 촬영 이미지로부터 검출되지 않으면 촬영 이미지 내에서 사용자 눈 영역의 이미지를 검출하고, 검출된 이미지 및 저장부에 정된 정면을 바라보는 눈 이미지를 비교하여 사용자 시선 방향을 판단할 수 있다.
또한, 판단하는 단계는, 촬영 이미지 내에서 사용자 눈 영역의 이미지를 검출하여 검출된 이미지 및 저장부에 저장된 정면을 바라보는 눈 이미지를 비교하여 사용자 시선 방향을 판단하며, 동공, 홍채 및 글린트 영역 사이의 위치 관계에 기초하여 판단된 사용자 시선 방향과 저장부에 저장된 눈 이미지를 이용하여 판단된 사용자 시선 방향이 일치하면 사용자 시선 방향을 결정할 수 있다.
도 10은 본 발명의 또 다른 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 10에 도시된 방법에 따르면, 사용자 방향으로 적외선을 출력할 수 있다(S1010).
그리고, 사용자에 대해 라이브 뷰로 촬영하고, 촬영 이미지를 생성할 수 있다(S1020).
이후, 촬영 이미지로부터 동공, 홍채 및 적외선에 의해 생성되는 글린트 영역을 검출할 수 있다(S1030).
또한, 검출된 동공, 홍채 및 글린트 영역 사이의 위치 관계에 기초하여 사용자 시선 방향을 판단하여 스틸 이미지를 획득할 수 있다(S1040).
여기서, 스틸 이미지를 획득하는 단계는, 동공의 중심점과 글린트 영역의 중심점 사이의 거리와 홍채의 크기를 비교하여 결과 값이 기 설정된 임계치 미만이면 사용자 시선 방향이 정면 방향이라고 판단하고 스틸 이미지를 획득할 수 있다.
또한, 스틸 이미지를 획득하는 단계는, 홍채가 비 검출되면, 동공의 중심점과 글린트의 중심점 간의 거리 및 양안 사이의 거리를 비교하여 비교 결과 값이 기 설정된 임계치 미만이면 사용자 시선 방향이 정면 방향이라고 판단하고 스틸 이미지를 획득할 수 있다.
한편, 본 발명에 따른 제어 방법을 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
일 예로, 촬영 이미지로부터 동공, 홍채 및 적외선에 의해 생성되는 글린트 영역을 검출하는 단계 및 검출된 동공, 홍채 및 글린트 영역 사이의 위치 관계에 기초하여 사용자 시선 방향을 판단하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
또한, 일 예로, 사용자에 대해 라이브 뷰로 촬영하고, 라이브 뷰를 통해 생성된 촬영 이미지로부터 동공, 홍채 및 적외선에 의해 생성되는 글린트 영역을 검출하고, 검출된 동공, 홍채 및 글린트 영역 사이의 위치 관계에 기초하여 사용자 시선 방향을 판단하여 스틸 이미지를 획득하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 디스플레이 장치에 대해 도시한 상술한 블록도에서는 버스(bus)를 미도시하였으나, 디스플레이 장치에서 각 구성요소 간의 통신은 버스를 통해 이루어질 수도 있다. 또한, 각 디바이스에는 상술한 다양한 단계를 수행하는 CPU, 마이크로 프로세서 등과 같은 프로세서가 더 포함될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 디스플레이 장치 110: 적외선 출력부
120: 촬상부 130: 제어부

Claims (16)

  1. 적외선 출력부;
    촬상부; 및
    사용자 방향으로 적외선을 출력하도록 상기 적외선 출력부를 제어하고,
    상기 촬상부에 의해 촬영된 이미지로부터 사용자의 동공, 홍채 및 상기 적외선의 반사에 의해 생성되는 글린트 영역을 검출하고,
    상기 동공과 상기 글린트 영역 사이의 거리 및 상기 홍채의 크기에 기초하여 사용자 시선 방향을 판단하는 제어부;를 포함하는 디스플레이 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 동공의 중심점과 상기 글린트 영역의 중심점 사이의 거리와 상기 홍채의 크기를 비교하여, 결과 값이 기 설정된 임계치 미만이면 상기 사용자 시선 방향이 정면 방향이라고 판단하고, 결과 값이 기 설정된 임계치 이상이면 상기 사용자 시선 방향이 상기 정면 방향이 아니라고 판단하는 것을 특징으로 하는 디스플레이 장치.
  3. 제1항에 있어서,
    상기 제어부는,
    상기 홍채가 비 검출되면, 상기 동공의 중심점과 상기 글린트 영역의 중심점 간의 거리 및 양안 사이의 거리를 비교하여, 비교 결과 값이 기 설정된 임계치 미만이면 상기 사용자 시선 방향이 정면 방향이라고 판단하고, 결과 값이 기 설정된 임계치 이상이면 상기 사용자 시선 방향이 상기 정면 방향이 아니라고 판단하는 것을 특징으로 하는 디스플레이 장치.
  4. 제1항에 있어서,
    정면을 바라보는 눈 이미지를 저장하는 저장부;를 더 포함하며,
    상기 제어부는,
    상기 동공, 상기 홍채 및 상기 글린트 영역 중 적어도 하나가 상기 촬영 이미지로부터 검출되지 않으면, 상기 촬영 이미지 내에서 사용자 눈 영역의 이미지를 검출하고, 검출된 이미지 및 상기 저장부에 저장된 눈 이미지를 비교하여 상기 사용자 시선 방향을 판단하는 것을 특징으로 하는 디스플레이 장치.
  5. 삭제
  6. 제1항에 있어서,
    상기 제어부는,
    상기 사용자에 대해 프리뷰로 촬영하고, 상기 프리뷰를 통해 생성된 촬영 이미지로부터 상기 동공, 상기 홍채 및 상기 적외선에 의해 생성되는 글린트 영역을 검출하고, 상기 동공, 상기 홍채 및 상기 글린트 영역 사이의 위치 관계에 기초하여 상기 사용자 시선 방향을 판단하여 스틸 이미지를 획득하도록 상기 촬상부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  7. 제6항에 있어서,
    상기 제어부는,
    상기 동공의 중심점과 상기 글린트 영역의 중심점 사이의 거리와 상기 홍채의 크기를 비교하여, 결과 값이 기 설정된 임계치 미만이면 상기 사용자 시선 방향이 정면 방향이라고 판단하고 상기 스틸 이미지를 획득하도록 상기 촬상부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  8. 제6항에 있어서,
    상기 제어부는,
    상기 홍채가 비 검출되면, 상기 동공의 중심점과 상기 글린트 영역의 중심점 간의 거리 및 양안 사이의 거리를 비교하여, 비교 결과 값이 기 설정된 임계치 미만이면 상기 사용자 시선 방향이 정면 방향이라고 판단하고 상기 스틸 이미지를 획득하도록 상기 촬상부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  9. 사용자 방향으로 적외선을 출력하는 단계;
    상기 사용자에 대한 촬영을 수행하여 촬영 이미지를 생성하는 단계;
    상기 촬영 이미지로부터 사용자의 동공, 홍채 및 상기 적외선의 반사에 의해 생성되는 글린트 영역을 검출하는 단계;
    상기 동공과 상기 글린트 영역 사이의 거리 및 상기 홍채의 크기에 기초하여 사용자 시선 방향을 판단하는 단계;를 포함하는 디스플레이 장치의 제어 방법.
  10. 제9항에 있어서,
    상기 판단하는 단계는,
    상기 동공의 중심점과 상기 글린트 영역의 중심점 사이의 거리와 상기 홍채의 크기를 비교하여, 결과 값이 기 설정된 임계치 미만이면 상기 사용자 시선 방향이 정면 방향이라고 판단하고, 결과 값이 기 설정된 임계치 이상이면 상기 사용자 시선 방향이 상기 정면 방향이 아니라고 판단하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  11. 제9항에 있어서,
    상기 판단하는 단계는,
    상기 홍채가 비 검출되면, 상기 동공의 중심점과 상기 글린트 영역의 중심점 간의 거리 및 양안 사이의 거리를 비교하여, 비교 결과 값이 기 설정된 임계치 미만이면 상기 사용자 시선 방향이 정면 방향이라고 판단하고, 결과 값이 기 설정된 임계치 이상이면 상기 사용자 시선 방향이 상기 정면 방향이 아니라고 판단하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  12. 제9항에 있어서,
    상기 판단하는 단계는,
    상기 동공, 상기 홍채 및 상기 글린트 영역 중 적어도 하나가 상기 촬영 이미지로부터 검출되지 않으면, 상기 촬영 이미지 내에서 사용자 눈 영역의 이미지를 검출하고, 검출된 이미지 및 저장부에 저장된 정면을 바라보는 눈 이미지를 비교하여 상기 사용자 시선 방향을 판단하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  13. 삭제
  14. 제9항에 있어서,
    상기 사용자에 대해 프리뷰로 촬영하고, 상기 프리뷰를 통해 생성된 촬영 이미지로부터 상기 동공, 상기 홍채 및 상기 적외선에 의해 생성되는 글린트 영역을 검출하고, 상기 동공, 상기 홍채 및 상기 글린트 영역 사이의 위치 관계에 기초하여 상기 사용자 시선 방향을 판단하여, 스틸 이미지를 획득하는 단계;를 더 포함하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  15. 제14항에 있어서,
    상기 스틸 이미지를 획득하는 단계는,
    상기 동공의 중심점과 상기 글린트 영역의 중심점 사이의 거리와 상기 홍채의 크기를 비교하여, 결과 값이 기 설정된 임계치 미만이면 상기 사용자 시선 방향이 정면 방향이라고 판단하고 상기 스틸 이미지를 획득하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  16. 제14항에 있어서,
    상기 스틸 이미지를 획득하는 단계는,
    상기 홍채가 비 검출되면, 상기 동공의 중심점과 상기 글린트 영역의 중심점 간의 거리 및 양안 사이의 거리를 비교하여, 비교 결과 값이 기 설정된 임계치 미만이면 상기 사용자 시선 방향이 정면 방향이라고 판단하고 상기 스틸 이미지를 획득하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
KR1020140005683A 2014-01-16 2014-01-16 디스플레이 장치 및 그 제어 방법 KR102227284B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140005683A KR102227284B1 (ko) 2014-01-16 2014-01-16 디스플레이 장치 및 그 제어 방법
US14/598,921 US9804670B2 (en) 2014-01-16 2015-01-16 Display apparatus and method of controlling the same
US15/726,705 US10133349B2 (en) 2014-01-16 2017-10-06 Display apparatus and method of controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140005683A KR102227284B1 (ko) 2014-01-16 2014-01-16 디스플레이 장치 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20150085710A KR20150085710A (ko) 2015-07-24
KR102227284B1 true KR102227284B1 (ko) 2021-03-12

Family

ID=53521343

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140005683A KR102227284B1 (ko) 2014-01-16 2014-01-16 디스플레이 장치 및 그 제어 방법

Country Status (2)

Country Link
US (2) US9804670B2 (ko)
KR (1) KR102227284B1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102227284B1 (ko) * 2014-01-16 2021-03-12 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
AU2016267275B2 (en) * 2015-05-28 2021-07-01 Google Llc Systems, devices, and methods that integrate eye tracking and scanning laser projection in wearable heads-up displays
KR102525126B1 (ko) * 2016-07-29 2023-04-25 삼성전자주식회사 홍채 카메라를 포함하는 전자 장치
KR101730570B1 (ko) * 2016-11-11 2017-04-26 주식회사 마이디바이스 글린트 검출 방법
US10521661B2 (en) 2017-09-01 2019-12-31 Magic Leap, Inc. Detailed eye shape model for robust biometric applications
KR102209595B1 (ko) * 2017-09-01 2021-01-28 매직 립, 인코포레이티드 강건한 생체인식 애플리케이션들을 위한 세밀한 눈 형상 모델
US11567318B1 (en) * 2017-09-25 2023-01-31 Meta Platforms Technologies, Llc Determining features of a user's eye from depth mapping of the user's eye via indirect time of flight
US11157077B2 (en) * 2018-04-16 2021-10-26 Google Llc Method and system for dual mode eye tracking on wearable heads-up display
US10810825B2 (en) * 2018-10-11 2020-10-20 Igt Systems and methods for providing safety and security features for users of immersive video devices
US10842430B1 (en) * 2019-09-12 2020-11-24 Logitech Europe S.A. Eye fatigue detection using visual imaging
KR102097390B1 (ko) 2019-10-10 2020-04-06 주식회사 메디씽큐 시선 검출 기반의 스마트 안경 표시 장치
US11553247B2 (en) * 2020-08-20 2023-01-10 The Nielsen Company (Us), Llc Methods and apparatus to determine an audience composition based on thermal imaging and facial recognition
SE2150387A1 (en) * 2021-03-30 2022-10-01 Tobii Ab System and method for determining reference gaze data

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012055428A (ja) * 2010-09-07 2012-03-22 Honda Motor Co Ltd 視線検出装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3194790B2 (ja) 1992-06-17 2001-08-06 チノン株式会社 視線方向検出装置
KR100601963B1 (ko) * 2004-08-23 2006-07-14 삼성전자주식회사 시선을 이용한 인증 장치 및 그 방법
JP4127296B2 (ja) * 2006-06-09 2008-07-30 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
DE602007009990D1 (de) * 2006-07-14 2010-12-02 Panasonic Corp Sehachsenrichtungs-nachweisvorrichtung und sehlinienrichtungs-nachweisverfahren
JP4460560B2 (ja) * 2006-09-29 2010-05-12 富士フイルム株式会社 撮像装置及び撮影方法
WO2010118292A1 (en) * 2009-04-09 2010-10-14 Dynavox Systems, Llc Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods
US20110077539A1 (en) * 2009-09-30 2011-03-31 George Alfred L Methods and Compositions for Prediction of Risk for Sudden Death in Long QT Syndrome
US8760517B2 (en) * 2010-09-27 2014-06-24 Apple Inc. Polarized images for security
KR101274324B1 (ko) 2010-11-23 2013-06-13 한국전자통신연구원 시선 트래킹을 위한 눈 검출 장치 및 그 방법
KR20120076147A (ko) * 2010-12-29 2012-07-09 주식회사 케이티 이동 단말기 및 이동 단말기에서의 화면 표시 제어 방법
US8510166B2 (en) * 2011-05-11 2013-08-13 Google Inc. Gaze tracking system
CA2750287C (en) * 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
JP5602708B2 (ja) * 2011-11-09 2014-10-08 楽天株式会社 注視位置推定システム、注視位置推定システムの制御方法、注視位置推定装置、注視位置推定装置の制御方法、プログラム、及び情報記憶媒体
WO2013085193A1 (ko) * 2011-12-06 2013-06-13 경북대학교 산학협력단 사용자 인지 향상 장치 및 그 인지 향상 방법
JP5945417B2 (ja) * 2012-01-06 2016-07-05 京セラ株式会社 電子機器
US9036069B2 (en) * 2012-02-06 2015-05-19 Qualcomm Incorporated Method and apparatus for unattended image capture
US20140375541A1 (en) * 2013-06-25 2014-12-25 David Nister Eye tracking via depth camera
KR20150067608A (ko) * 2013-12-10 2015-06-18 한국전자통신연구원 시력 보조 기구 착용 여부 및 사용자 움직임에 무관한 시선 정보 획득 방법
KR102227284B1 (ko) * 2014-01-16 2021-03-12 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US9843713B2 (en) * 2014-04-02 2017-12-12 Nebulys Technologies, Inc. Systems and methods for video communication
US9547798B2 (en) * 2014-05-20 2017-01-17 State Farm Mutual Automobile Insurance Company Gaze tracking for a vehicle operator

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012055428A (ja) * 2010-09-07 2012-03-22 Honda Motor Co Ltd 視線検出装置

Also Published As

Publication number Publication date
US20180032136A1 (en) 2018-02-01
KR20150085710A (ko) 2015-07-24
US9804670B2 (en) 2017-10-31
US10133349B2 (en) 2018-11-20
US20150199008A1 (en) 2015-07-16

Similar Documents

Publication Publication Date Title
KR102227284B1 (ko) 디스플레이 장치 및 그 제어 방법
US10944901B2 (en) Real time assessment of picture quality
US9609206B2 (en) Image processing apparatus, method for controlling image processing apparatus and storage medium
CA2969482C (en) Method and apparatus for multiple technology depth map acquisition and fusion
US9876950B2 (en) Image capturing apparatus, control method thereof, and storage medium
US20150163400A1 (en) Camera Selection Based on Occlusion of Field of View
US8547449B2 (en) Image processing apparatus with function for specifying image quality, and method and storage medium
US10015374B2 (en) Image capturing apparatus and photo composition method thereof
US10397498B2 (en) Compressive sensing capturing device and method
CN105915803B (zh) 一种基于传感器的拍照方法及***
KR20180078596A (ko) Af 방법 및 이를 수행하는 전자 장치
KR102254169B1 (ko) 디스플레이 장치 및 그 제어 방법
JP6302215B2 (ja) 撮像装置
WO2016197494A1 (zh) 对焦区域调整方法和装置
KR102251307B1 (ko) 거리측정 기능을 갖는 열상 카메라 시스템
US20220400198A1 (en) Imaging apparatus, control method for imaging apparatus, and storage medium
CN103581538B (zh) 数字拍摄设备和控制所述数字拍摄设备的方法
KR102487590B1 (ko) 얼굴 인식에 기초하여 촬영 대상의 온도를 측정하는 방법
CN106101542B (zh) 一种图像处理方法及终端
US11494945B2 (en) Image analysis device, image analysis method, and program
Masson et al. Device and algorithms for camera timing evaluation
US11831859B2 (en) Passive three-dimensional image sensing based on referential image blurring with spotted reference illumination
US20240040215A1 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
US20220300350A1 (en) Information processing apparatus, control method of information processing apparatus, and recording medium
JP2018006803A (ja) 撮像装置、撮像装置の制御方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant