KR20170118618A

KR20170118618A - 눈 촬영 장치

Info

Publication number: KR20170118618A
Application number: KR1020170048379A
Authority: KR
Inventors: 이문기
Original assignee: 이문기
Priority date: 2016-04-15
Filing date: 2017-04-14
Publication date: 2017-10-25
Also published as: WO2017179938A1

Abstract

본 발명은 양안의 시선을 한대의 카메라로 촬영 가능하도록 광학기구를 배치한 단일 카메라를 이용한 양안 촬영 장치와 이를 이용한 안구 추적 장치에 관한 것이다.

Description

눈 촬영 장치{EYE CAPTURING DEVICE}

본 발명은 시선을 추적하기 위하여 눈을 촬영하는 카메라에 관한 것으로 하나의 카메라로 양쪽 눈을 촬영하거나 하나의 카메라로 눈과 눈이 바라보는 전방을 촬영하는 것을 특징으로 한다.

시선 추적(eye tracking)이란 카메라로 사용자의 눈을 촬영한 영상을 분석하여 사용자가 어느 방향을 응시하고 있는지를 파악하는 기술이다. 이러한 카메라는 보통 안경에 부착되거나 가상현실용 헤드 마운트 디스플레이(HMD)에 포함된다.

이중 종래 HMD용 시선 추적 장치로서, 특허문헌 1,2에 공지된 것이 제안되어 있다.

특허문헌 1의 고글 형태의 착용형 시선 추적 장치는 도 7과 같이, 시선 방향을 촬영하는 제 1 카메라(110)와 사용자의 눈을 촬영하는 제 2 카메라(140)를 포함한다. 제2카메라 옆에는 사용자 눈 쪽으로 적외선을 조명하는 적외선 광원(120)과, 상기 광원의 적외선을 눈 쪽으로 반사시키는 적외선 반사 가시광 투과 거울(hot mirror)(130)을 포함한다. 이러한 거울은 핫 미러(hot mirror)라고 알려져 있다.

또한 눈을 촬영하는 카메라를 좌우측 눈에 각각 설치하여 양쪽 눈을 각각 촬영할 수 도 있다.

이와 같이, 특허문헌 1,2의 시선 추적 장치에서는 2개의 카메라로 눈과 전방을 촬영하기 때문에, 다음과 같은 문제가 있다.

첫째, 소비전력이 카메라를 1개 사용하는 경우보다 2배 늘어난다.

둘째, 카메라 1개를 사용하는 경우보다 시선 추적 장치 소프트웨어에 카메라 영상을 전달하는 통신채널(예 : USB)에 2배의 부하가 걸린다.

셋째, 카메라에서 발생하는 열이 1개의 카메라를 사용하는 경우보다 2배 더 많기 때문에, 이러한 2배의 열 발생과 통신채널의 부하 등으로 HMD 내부에선 더 큰 열부하를 받아 작동 오류가 생길 수 있다.

넷째, 카메라를 2개 사용하므로 1개 사용하는 경우보다 제조 원가가 더 비싸고 회로가 더 복잡하여, HMD의 소형화 추세에 역행한다.

특허문헌 1 : 한국등록특허 제10-0949743호 특허문헌 2 : 한국등록특허 제10-1471488호 특허 문헌 3 : PCT/US2014/038651 (한국 공개 특허19-2016-0111019)

본 발명의 제1실시예는 전술한 문제를 해결하기 위하여 안출된 것으로, 하나 의 카메라로 양안의 시선을 촬영할 수 있도록 광학기구의 레이아웃을 배치한 단일 카메라를 이용한 양안 촬영 장치를 제공함에 그 목적이 있다.

또한 본 발명의 제2 실시예는 하나의 카메라로 눈과 전방을 촬영하는 장치를 제공하는 것을 목적으로 한다.

전술한 목적을 달성하기 위하여, 제 1 실시예는 하나의 카메라 앞에 양 쪽 눈에서 반사된 적외선을 카메라 쪽으로 반사 시키는 광학 모듈을 포함하는 것을 특징으로 한다. 이러한 광학 모듈은 거울과 렌즈를 포함한다. 이러한 광학 모듈의 렌즈는 초점거리가 짧은 볼록렌즈이고 카메라는 이러한 볼록렌즈에 맺힌 상을 촬영하고 카메라는 이러한 볼록렌즈로부터 떨어져 설치되어 카메라에서 발생되는 열이 외부로 쉽게 방출되는 것을 특징으로 한다.

제2 실시예는 하나의 카메라 앞에 눈에서 반사된 적외선과 시선 방향의 사물에서 반사된 빛을 카메라 쪽으로 반사시키는 광학 모듈을 포함한다. 이러한 광학 모듈은 눈에서 반사된 적외선은 카메라쪽으로 반사시키고 가시광은 차단하여 눈 영상에 외부 사물이 겹쳐 촬영되지 않는 것을 특징으로 한다. 또한 외부사물에서 반사된 가시광 또는 적외선은 카메라 쪽으로 반사하여 카메라는 외부 사물의 적외선 또는 가시광 영상을 촬영하는 것을 특징으로 한다.

본 발명에 의하면 다음과 같은 효과가 있다.

양안에서 반사되는 빛 또는 눈과 시선 방향 사물에서 반사되는 빛을 반사거울을 포함하는 광학 모듈(광 취합 수단)로 카메라 앞의 공통지점에 반사시킴으로써, 제1 실시예의 경우 단일의 카메라로 양안을 촬영할 수 있다. 그리고 제2 실시예의 경우 단일 카메라로 한 쪽 눈과 그 눈의 시선 방향의 외부 사물을 촬영할 수 있다. 이러한 구성에 의한 본 발명의 안구 촬영 장치는 소비전력이 낮고, 통신채널의 부하가 덜 걸리고, 열 부하가 적으며, 염가이고 회로도 덜 복잡하고 무게도 가볍다.

광 취합 수단은 직사각형 이미지 센서의 길이가 긴 변의 중심을 지나는 직선에 의해 나누어진 이미지 센서의 두 영역에 각각 좌우측 안구 또는 안구와 시선 방향의 사물이 각각 촬영되되, 안구의 좌우측 방향(즉 수평선 방향)이 이미지 센서의 사각형의 길이가 짧은 변에 평행이 되도록 광을 취합하여, 낭비되는 픽셀 영역을 없애 안구를 최대한 확대하여 촬영할 수 있다.

제1 실시예의 경우 단일 카메라를 hmd의 케이스 쪽에 치우쳐 위치함으로써, 단일 카메라의 열을 외부로 배출하기 용이하다.

제2 실시예의 경우 눈에 거슬리게 안경 테에 카메라를 설치하는 다른 안구 추적장치(예를 들면 특허문헌3에는 눈 아래쪽 안경테에 카메라가 설치되어있음)와 달리 카메라가 안경 코 받침 근방에 설치되어 외부에 카메라가 노출되지 않게 할 수 있어서 미관상 보기 좋다. 예를 들면 안경 렌즈를 선그라스처럼 어둡게 하면 외부에서 카메라를 전혀 볼 수 없다.

도 1a는 본 발명의 바람직한 실시예에 따른 단일 카메라를 이용한 양안 촬영 장치의 개략적인 구성을 나타낸 사시도.
도 1b는 촬영된 눈 영상.
도 1c는 촬영된 눈 영상의 다른 예.
도 1d는 촬영된 눈 영상의 또 다른 예.
도 2a는 도 1의 측면도.
도 2b는 볼록 릴레이 렌즈로 안구를 촬영하는 모습.
도 2c는 오목 릴레이 렌즈로 안구를 촬영하는 모습.
도 3a는 도 1의 정면도.
도 3b는 도 3a의 변형 예.
도 4는 도 1의 평면도.
도 5는 도 2a에서 45도 반사거울이 생략된 단일 카메라를 이용한 양안 촬영 장치의 개략적인 구성을 나타낸 측면도.
도 6a는 도 5에서 릴레이 렌즈가 생략된 단일 카메라를 이용한 양안 촬영 장치의 개략적인 구성을 나타낸 사시도.
도 6b는 두 개의 직각프리즘으로 빛을 단일 카메라 쪽으로 반사시키는 모습.
도 6c는 직각 프리즘에 렌즈를 일체형으로 형성한 모습.
도 6d는 거울에 렌즈를 일체형으로 형성한 모습.
도 7은 종래 고글 형태를 갖는 착용형 시선 추적 장치의 구성을 나타낸 구성도.
도 8은 다른 종래의 시선 추적 장치의 구성을 나타낸 구성도.
도9는 하나의 안구를 두 개의 카메라로 촬영하는 사시도
도10은 4개의 렌즈로 안구를 촬영하는 구성도
도11은 도10의 측면도
도12는 도10의 평면도
도13은 도10의 구성에 의해 촬영된 영상
도14는 실시예2의 구성의 사시도
도15a는 도14의 카메라와 광학 모듈의 상세도
도15b는 도14의 카메라와 광학 모듈의 상세도
도16은 도14의 평면도
도17은 도14의 측면도
도18은 착탈식 3d 편광 안경 렌즈 모듈
도19는 기존 안구 촬영 장치 정면도
도20은 기존 안구 촬영 장치 후면도
도21은 기존 안구 촬영 장치 측면도
도22는 도16의 구성에 카메라의 거울 영상을 나타낸 모습
도23은 도22의 측면도
도24는 카메라를 안경 다리에 부착한 모습

실시예1

이하 본 발명의 바람직한 실시예를 첨부한 도면에 따라 설명하는데, 종래의 것과 동일한 부분에 대해서는 동일한 참조부호를 부여하고 상세한 설명은 생략한다.

또한, 본 발명에서 사용되는 '광 취합(light gathering)'이란 용어는 제1차 반사거울인 제1거울과 제2거울 양쪽에서 나오는 양방향의 제1빛 및 제2빛을 모아서 단일 카메라 쪽으로 진행시키는 것을 의미한다.

도1a와 같은 본 실시예에 따른 단일 카메라를 이용한 양안 촬영 장치는 가상현실용 머리 착용형 디스플레이(hmd,head mount display)에 포함된 형태에 관한 것이다. 이러한 양안 촬영 장치는 제1안구에서 반사된 제1빛(적외선)과 제2안구에서 반사된 제2빛(적외선)을 두 눈 사이 중간 지점으로 반사하는 제1,제2 적외선 반사 가시광 통과 거울(hot mirror),상기 제1,2 거울에 반사된 빛을 카메라 쪽으로 진행시키는 광 취합 수단,상기 광 취합 수단에 의해 입사되는 빛을 촬영하는 카메라를 포함한다.

즉, 본 발명의 요지는 제1,2안구에서 나오는 제1,2빛을 제1,2거울을 통해 일차 반사한 양방향 빛을 한 곳(두 눈 사이의 중간 지점,예를 들면 얼굴 중심을 지나는 수직선 위)으로 취합하여 한 방향으로 제1,2빛을 단일 카메라로 진행시키는 광학 경로의 레이아웃을 갖기 때문에, 카메라 한 대로 양안의 빛을 모두 촬영할 수 있는 것이다.

제1,2거울은 양안에 조명되어 반사된 적외선을 일차(1차) 반사하는 경우 제1,2핫 미러(hot mirror)이다. 핫 미러는 적외선은 반사하고 가시광은 통과시키는 광학 모듈이다.

또한, 광 취합 수단은 제1광학모듈과 제2광학모듈로 구현 가능한데, 제1,2광학모듈은 거울(예컨대 본 실시예의 산형 또는 V자형 반사거울) 또는 프리즘(예컨대 본 실시예의 직각 프리즘)으로 구성될 수 있다.

본 제1실시예에 따른 단일 카메라를 이용한 양안 촬영 장치(1)는 도 1a, 도 2a, 도 3a 및 도 4에 도시한 바와 같이, 단일 카메라를 이용한 양안 촬영 장치(1)는 양안 사이에서 머리 위쪽(정수리쪽)으로 배치된 단일 카메라(10)와, 디스플레이의 화면을 응시하는 양안으로 적외선을 조명하는 제1,2 적외선 조명부(30)와, 제1,2 적외선 조명부(30)의 적외선으로 조명된 양안의 영상을 반사시키는 제1,2 적외선 반사거울(hot mirror)(50)과, 제1,2 적외선 반사거울(50)을 통해 반사된 적외선을 단일 카메라(10)로 반사시키는 제3,4 반사거울(70)을 포함한다.

여기서, 제3,4 반사거울(70)은 광 취합 수단에 해당된다.

또한, 본 제1실시예에 따른 단일 카메라를 이용한 양안 촬영 장치(1)가 가상현실(VR) HMD에 적용되는 경우엔 단일 카메라(10)가 촬영한 영상을 분석하여 안구를 검출하는 영상처리부(미도시)가 더 포함된다.

단일 카메라(10)는 양안 사이의 중심부 근처(두 눈 사이의 동일 거리인 지점이거나 그 거리가 가장 짧은 지점 또는 그 근방이 가장 바람직하다)에 배치되어 있다.

단일 카메라(10)는 제1,2 반사거울(70)을 통해 반사된 양안 영상을 입력받는 렌즈(11)와, CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-oxide Semiconductor)로 구성되어 렌즈(11)로 입력되는 양안 영상을 획득하는 이미지 센서(13)와, 렌즈(11) 전면 또는 이미지 센서(13) 전면에 부착되어 적외선 파장만을 투과시키는 적외선 투과필터를 포함한다. 상기 적외선 투과 필터는 생략될 수 있다.

단일 카메라(10)는 눈에서 반사된 빛을 도 1b와 같이 이미지 센서(13)의 서로 다른 영역에 각각 촬영한다. 보통 이미지 센서(13)는 가로 길이가 세로 길이보다 긴 직 사각형 형태이다. 예를 들면 가로*세로의 픽셀 수가 640*480 일 수 있다.

이러한 직사각형의 영역을 둘로 나눠 각 영역에 좌우측 눈을 각각 촬영하는 방식은 거울과 카메라를 배치하는 방법에 따라 도 1b 이외에 도 1c 또는 도 1d와 같은 방법도 가능하다. 이러한 세 가지 방법 중에서 도 1b의 방법이 가장 바람직하다. 그 이유는 도 1c 및 도 1d에는 촬영에 사용되지 않는 낭비되는 픽셀 영역(13a)이 도 1b에는 존재하지 않기 때문이다. 즉 도 1b와 같이 촬영하면 낭비되는 픽셀 없이 안구를 최대한 확대해서 촬영할 수 있다. 이렇게 촬영하기 위해서는 카메라와 거울의 방향과 위치를 도 1a과 같이 조절하여 이미지 센서(13)의 직사각형의 길이가 긴 쪽 가로(640)의 중심(640a,640b)을 지나도록 직선을 그려 그 좌우측 영역에 각각 안구를 촬영하되 안구의 좌우측 방향(화살표 480a)이 직사각형의 짧은 쪽 세로(480)와 평행하게 되도록 하는 것이 바람직하다.

제1,2 적외선 조명부(30)는 양안으로 적외선을 조명하는 것으로서, 적외선 LED(Light Emitting Diode)(30)로 구성될 수 있다.

적외선 LED(30)는 도 2a 및 도 4에 도시한 바와 같이, 양안 각각의 좌우에 배치되어 안구로 조명을 한다.

특히 적외선 LED(30)는 디스플레이를 포커싱 하는 HMD렌즈(40)의 가장자리 둘레를 따라 배치 설치되는 게 바람직하다.

제1,2 적외선 반사거울(50)은 가시광선은 투과하고 적외선을 반사하는 성질을 갖는 핫 미러(hot mirror)로 구성되어, 도 4와 같이 평면에서 볼 때 사용자 양안의 바깥쪽, 더욱 상세하게는 HMD렌즈(40)의 바깥쪽에서 양안 사이의 중심부를 향해 45˚경사(마치 깔때기 형상처럼)져 적외선으로 조명된 사용자 눈 영상이 45˚ 굴절 반사되어 제3,4 반사거울(70)에 입력되도록 한다.

또한, 제1,2 적외선 반사거울(50)은 도 2a에 도시한 바와 같이 측면에서 볼 때, 앞쪽으로 갈수록 폭이 넓어지는 종 모양이다.

제3,4 반사거울(70)은 제1,2 적외선 반사거울(50)에서 반사된 적외선을 다시 반사시켜 단일 카메라(10)에 입력되도록 중계 역할을 한다.

즉, 제3,4 반사거울(70)은 도 3a의 정면도에 도시한 바와 같이, 제1,2 적외선 반사거울(50)에 대해 수직방향인 산형(즉 상하 반전된 V자형)으로 배치되어 있다.

산형 반사거울(70)은 위에서 아래로 내려갈수록 서로 벌어지는 방향으로 경사지게 배치되어 있다.

한편, 도 2a와 같이, 단일 카메라(10)가 큰 경우 양안 사이에 단일 카메라(10)가 설치될 공간이 협소하여 사용자의 이마 쪽 또는 이마 쪽에 가깝게 붙여 배치(hmd렌즈 선상에 배치) 될 때 산형 반사거울(70)과도 직각 방향으로 배치되게 된다.

이에 따라 산형 반사거울(70)과 단일 카메라(10) 사이의 거리가 멀어져서 볼록 릴레이 렌즈(80) 또는 오목 릴레이 렌즈(80f)와 같은 영상 릴레이 수단이 산형 반사거울(70)의 상부에 배치되는 게 바람직하다.

도 3b의 볼록 릴레이 렌즈(80)는 제1,2적외선 거울(50)과 산형 반사 거울(70) 사이에 배치된 변형 예를 나타낸 것이다.

이 경우 영상 릴레이 수단을 구성하는 렌즈의 초점 거리가 렌즈 지름보다 길면(즉 망원 렌즈이면) 눈동자의 일부만 확대되어 촬영될 수도 있다. 촬영된 영상에서 안구를 안정적으로 추적하려면 눈동자와 그 주변 흰자위 영역도 한 화면에 촬영되어야 하므로 영상 릴레이 수단을 구성하는 볼록 릴레이 렌즈(80) 또는 오목 릴레이 렌즈(80f)는 그 초점 거리가 렌즈 지름과 거의 같거나 더 짧도록 하는 것이 바람직하다. 또한, 단일 카메라(10)의 렌즈(11)는 멀리 있는 영상 릴레이 수단의 작은 지름의 볼록 또는 오목 릴레이 렌즈를 화면 가득히 확대해 촬영할 수 있도록 초점 거리가 긴 망원 렌즈를 사용하는 것이 바람직하다.

도 2b는 볼록 릴레이 렌즈(80)를 사용하여 안구를 촬영하는 모습이고 도 2c는 오목 릴레이 렌즈(80f)를 사용하여 안구를 촬영하는 모습이다.(거울은 도면에 표시하지 않았음)

도 2b에서 안구에서 반사된 빛은 볼록 릴레이 렌즈(80)를 통해 결상면(피사체에서 반사된 빛이 렌즈에 모여 초점을 맞는 부분)(80c)에 상(80b)이 맺힌다. 단일 카메라(10)의 렌즈(11)는 그 안구 영상(80b)을 이미지 센서(13) 위에 촬영한다. 단일 카메라(10)는 볼록 릴레이 렌즈(80)가 맺은 작은 안구 영상(80b)을 화면에 가득 차게 확대해서 촬영해야 하므로 시야각은 좁은 망원렌즈를 사용하는 것이 바람직하다.

도 2c는 영상 릴레이 수단을 오목 릴레이 렌즈(80f)로 구성한 것으로, 안구에서 반사된 빛은 안구와 오목 릴레이 렌즈(80f) 사이의 결상면(80e)에 상(80g)이 맺힌다. 카메라(10)는 오목 릴레이 렌즈(80f)에 의한 상(80g)을 촬영한다.

상기 영상 릴레이 수단은 상기 제1안구의 영상을 맺는 제1결상수단과, 상기 제2안구의 영상을 맺는 제2결상수단을 포함할 수 있으며, 제1,2결상수단은 제1,2볼록 릴레이 렌즈(80) 또는 제1,2오목 릴레이 렌즈(80f)로 더 한정시킬 수 있다.

이에 비해 도 6a과 같이 영상 릴레이 수단을 제거하고 초소형 카메라(10)를 산형 반사거울(70)에 근접하게 설치하는 경우 초소형 카메라(10)의 렌즈(11)는 눈동자와 흰자위를 한 화면에 모두 촬영할 수 있을 만큼의 시야각의 렌즈(대략 표준렌즈)로 하는 것이 바람직하다.

영상 릴레이 수단은 산형 반사거울(70)에서 반사되는 빛을 투과시켜 단일 카메라(10)에 가깝게 상을 맺게 하여, 단일 카메라(10)로 양안의 시선을 촬영하게 한다.

또한, 단일 카메라(10)와 산형 반사거울(70)/영상 릴레이 수단이 서로 직각으로 배치되어 있어, 빛을 단일 카메라(10)로 반사시키도록 광학 경로 상에 45도 반사거울(90)이 더 배치되어 있다.

산형 반사거울(70)/영상 릴레이 수단은 제1,2 적외선 반사거울(50) 사이의 내부에 배치되어 있다.

다른 한편, 도 5와 같이 단일 카메라(10)가 산형 반사거울(70)/영상 릴레이 수단과 같은 선상인 위쪽에 배치되면 45도 반사거울(90)은 생략될 수 있다.

도 5와 같이 카메라(10)를 hmd의 케이스(1a) 쪽에 치우치게 위치시키면 카메라(10)의 열을 케이스(1a)를 통해 외부로 배출하기 용이하다.

또 다른 한편, 카메라가 소형인 경우에는 도 6a와 같이 단일 카메라(10)를 산형 반사거울(70) 바로 위에 위치시켜 직접 양안의 시선을 추적할 수도 있다.

도 6b는 산형 반사거울(70)을 두 개의 직각프리즘(70a)으로 대체한 변형 예이다. 좌우측에서 입사된 제1,2빛은 직각프리즘(70a) 안에서 카메라(10) 쪽으로 전반사 된다.

도 6c는 직각 프리즘의 광선이 통과하는 면에 볼록 또는 오목 프레넬 렌즈를 형성하여 릴레이 렌즈를 프리즘에 일체형으로 형성한 광 취합 수단(70b)의 변형 예이다.

도 6d는 거울 면을 볼록하거나 오목한 곡면으로 형성하여 오목 렌즈 또는 볼록 렌즈를 거울에 일체형으로 형성한 광 취합 수단(70c)의 변형 예이다.

영상처리부(미도시)는 단일 카메라(10)에서 촬영된 사용자의 양안 영상을 이용하여 동공의 중심을 검출하고, 검출된 동공의 중심 좌표값을 추출할 수 있다.

이상과 같이, 본 실시예에 따른 광학기구를 사용하면 카메라가 작은 경우라면 도6a와 같이 두 눈 사이에 카메라를 설치할 수 있다. 그러나 카메라가 작을수록 해상도가 낮고 촬영 속도가 느려지는 문제가 있다. 이러한 문제를 해결하기 위하여 고 해상도 또는 고속 카메라를 사용하면 카메라가 커져서 두 눈 사이에 공간이 좁아서 카메라를 설치하기 어려워진다. 특히 hmd에 카메라를 설치하는 경우 카메라가 크면 시야를 가릴 수 도 있다. 카메라가 큰 경우에는 도5 또는 도2a와 같이 카메라를 눈 사이에서 멀리 떨어지고 공간이 넓은 hmd의 위쪽에 설치하는 대신 고해상도로 눈을 촬영 할 수 있게 릴레이 렌즈(80,80f)를 사용하는 것이 바람직하다. 만약에 도5의 구성에서 릴레이 렌즈(80)를 생략하면 안구 전체(눈동자와 그 주변 영역)를 촬영하기 위하여 제3,4거울(70)이 커야 하지만 큰 3,4거울을 설치하면 거울이 시야를 가릴 수도 있다. 그러나 릴레이 렌즈를 매우 작게 하면 거울도 매우 작게 만들 수 있다. 릴레이 렌즈가 매우 작더라도 카메라 렌즈를 망원 렌즈로 하면 작은 릴레이 렌즈에 맺힌 안구 영상을 이미지 센서 화면에 가득 차게 크게 확대해서 촬영할 수 있다.

이러한 릴레이 렌즈 방식의 촬영 장치를 사용하면 크기가 큰 고속 카메라도 hmd내부에 용이하게 설치하여 안구를 촬영하고 시선 방향을 산출하여 가상현실용 hmd에 사용되는 포비에티드 렌더링(foveated render)이라는 기술을 용이하게 구현할 수 있다. 포비에티드 렌더링은 가상현실용 hmd착용자의 서선이 향하는 부분의 가상 세계의 그래픽 영상을 고해상도로 생성하고 그 주변 영상은 저해상도로 생성하여 그래픽카드의 부담을 줄이는 기술이다.

보통 안구 추적 장치는 안구를 추적하기 위하여 안구 추적 장치를 착용한 직후에 위치 조정(캘리브레이션,calibration)을 수행한다. 이러한 위치 조정은 안구를 촬영한 영상,그 영상에서 산출한 시선 방향,그리고 그 시선 방향에 대응하는 마우스 커서 좌표 사이의 상관 관계를 구하는 것을 의미한다. 예를 들면 화면의 특정 지점(예를 들면 사각형의 네 꼭지점)에 차례로 깜빡이는 표시나 마크를 출력하고 시선 추적기가 포함된 hmd 착용자가 그 마크를 바라보는 순간 안구를 촬영하여 그 촬영된 영상에서 안구를 검출하여 이미지에서 검출된 안구의 좌표와 화면에 표시된 마크의 위치를 대응시키는 작업을 수행한다.

그런데 Hmd를 오래 착용하면 불편하므로 hmd를 벗은 후 다시 착용할 수 도 있다. 이 경우 다시 착용하면 원래 착용했던 위치와 다를 수도 있다. 그러면 카메라와 눈 사이의 상대위치가 바뀌게 되고 그러면 안구 추적을 위한 위치 조정(캘리브레이션)을 다시 수행해야 한다. 이러한 불편함을 해소하기 위하여 두 개의 카메라로 하나의 안구를 스테레오로 촬영하여 촬영된 스테레오 영상을 분석하여 안구와 카메라 사이의 3차원 상대 위치를 계산하는 논문(Calibration-free eye tracking by reconstruction of the pupil ellipse in 3D space )이 (https://www.researchgate.net/publication/220810955_Calibration-free_eye_tracking_by_reconstruction_of_the_pupil_ellipse_in_3D_space)에 소개되어있다.

도9는 상기 논문에 수록된 안구 추적 장치로 두개의 카메라가 핫 미러를 통해 반사된 한쪽 눈을 스테레오로 촬영하도록 구성된 것이다.

도1a의 본 발명의 안구 추적 장치를 도10과 같이 변형하여 양 쪽 눈을 각각 스테레오로 촬영할 수 있다. 도1a에는 릴레이 렌즈(80)가 좌우로 2개(즉 두 릴레이 렌즈가 1행 2열로 설치되어있다.이를 제1,제2 결상 수단이라한다.) 설치되어 각각의 렌즈가 좌우측 안구를 촬영하게 되어있다. 이에 비해 도10에는 4개의 릴레이 렌즈가 2행 2열의 매트릭스 형태로 설치되어있다.(이를 제1,제2,제3,제4 결상 수단이라 한다.) 도11은 이러한 장치의 측면도이고 도 12는 평면도이다. 도13은 이러한 2행2열의 릴레이 렌즈로 촬영한 영상의 예이다. 이렇게 촬영된 영상에서 좌측 두 영상(L1,L2)를 스테레오 매칭하면 좌측 눈과 카메라 사이의 3차원 상대위치를 구할 수 있고 우측 두 영상(R1,R2)를 스테레오 매칭하면 우측 눈과 카메라 사이의 3차원 상대위치를 구할 수 있다.이렇한 3차원 상대위치는 안구 추적의 위치 설정(캘리브레이션)에 사용될 수 있다.

실시예2

본 실시예는 도14와 같이 보통의 안경의 한 쪽 또는 양쪽의 코 받침(500a,500b)에 카메라와 광학 모듈(501a,501b)를 설치하여 눈과 시선 방향을 동시에 촬영하는 구성에 관한 것이다. 이 경우 안경렌즈에는 안경형 디스플레이(502)가 포함되어 증강현실 영상이 출력될 수 있다. 이러한 카메라로 눈을 촬영한 영상을 분석해서 안경형 디스플레이에 표시된 컴퓨터 화면의 마우스 커서(503)를 이동시킬 수 있다. 또한 카메라로 촬영된 시선 방향에 있는 착용자의 손을 촬영한 영상에서 손의 형태와 제스처 동작을 인식하여 증강현실의 가상 객체(504)를 조작할 수 있다. 시선 방향에서 입사된 빛은 제1광학 모듈을 통해 카메라로 입사되고 눈에서 반사된 빛은 제2광학 모듈을 통해 카메라로 진행한다. 광학 모듈은 거울, 프리즘, 회절판, 홀로그램, 렌즈 등의 광학 소자를 포함하여 빛을 반사,회절, 또는 굴절시킴으로서 빛의 진행 방향을 바꿔준다.

기존의 안경형 디스플레이에는 전방을 촬영하는 카메라와 눈을 촬영하는 카메라가 각각 설치되어있어서(즉 1개 이상의 카메라가 설치되어있다) 장치가 무겁고 전력 소모가 많다는 문제가 있다. 본 실시예의 구성을 사용하면 하나의 카메라로 눈과 전방을 촬영하여 그러한 문제를 해결할 수 있다.

도15a는 도14의 카메라와 광학 모듈(501a)을 확대한 상세도이다. 이러한 구성은 안경의 좌우측 코 받침에 각각 좌우 대칭으로 구성된다. 도15a에서 카메라(600)앞에는 v자 형태의 제3,제4거울(601,602) 이 설치된다. 그러한 v자 제3,제4 거울(601,602) 위쪽(603)과 아래쪽(604)에 제1,제2거울이 설치된다. 제1,제2 거울은 카메라의 촬영 시야각을 넓게 만들기 위하여 볼록 거울 또는 오목 거울로 구성할 수도 있다. 제1,제2 거울 앞 또는 뒤에 실시예1과 유사하게 오목릴레이 렌즈 또는 볼록 릴레이 렌즈(제1,제2 결상 수단)를 추가할 수도 있다.

눈과 시선 방향의 외부 사물을 스테레오로 촬영할 수 있도록 제1,제2 거울은 도15b와 같이 볼록 거울 2개 또는 오목 거울 2개(601a, 601b,602a,602b)로 분할하여 구성할 수도 있다. 또는 상기 실시예1의 경우와 마찬가지로 눈과 시선 방향의 외부 사물을 스테레오로 촬영할 수 있도록 제1,제2 거울 앞에 오목릴레이 렌즈 또는 볼록 릴레이 렌즈를 나란히(1행 2열 또는 2행 1열로) 2개씩(제1,제2,제3,제4 결상 수단) 추가할 수도 있다.

카메라는 v자 거울의 위쪽 제3거울(601)과 그 위쪽 제1거울(603)에 반사된 위쪽 영상과 v자 거울의 아래쪽 제4거울(602)과 그 아래쪽 제2거울(604)에 반사된 아래쪽 영상을 한 화면에 나눠 촬영한다. 예를 들어서 한 화면에 두 영상을 나눠 촬영한다는 것은 한 화면을 도25와 같이 상하 또는 좌우로 나눠 촬영함을 의미한다. 이 경우 제3거울(601)과 그 위쪽 제1거울(603)은 제1 광학 모듈에 해당하고 아래쪽 제4거울(602)과 그 아래쪽 제2거울(604)은 제2광 학 모듈에 해당한다.

안구(605)에서 반사된 빛은 안경 렌즈(505)에서 반사된 후 아래쪽 제2거울(604)과 v자 거울의 아래쪽 제3거울(602)에 차례로 반사된 후 카메라에 도달한다. 전방의 사물(예를 들면 착용자의 손)(606)에서 반사된 빛은 안경 렌즈(505)를 통과한 후 위쪽 제1거울(603)과 v자 거울의 위쪽 제3거울(603)에 차례로 반사된 후 카메라에 도달한다. 카메라의 촬영 방향(광축,카메라 렌즈에 수직인 직선)을 적당히 조정해서 이러한 거울 중 일부를 생략할 수 도 있다. 그리고 제1거울(603)과 제3거울(601)을 하나의 거울로 통합할 수도 있고 제2거울(604)과 제4거울(602)을 하나의 거울로 통합할 수도 있다.

이러한 거울 대신 반사형 프리즘,회절 소자,홀로그램 등으로 대체할 수도 있다. 또한 카메라와 거울 사이 거리가 멀면 상기 실시예1의 도2b,2c와 같이 광 경로 위에 릴레이 렌즈(영상 릴레이 수단)를 추가할 수도 있다. 안구(605)에는 적외선 led와 같은 적외선 조명을 해서 적외선이 눈에서 반사된 후 안경렌즈(505)에 반사될 수 있도록 안경 렌즈의 눈 근처 영역(505a)(안구에서 반사된 적외선을 카메라 쪽으로 반사시키는 영역)에는 적외선 반사 가시광 투과 코팅(핫미러 코팅)을 하는 것이 바람직하다. 또한 전방의 사물(606)(예를 들면 착용자의 손)에서 반사된 빛이 안경 렌즈(505)를 통과해 카메라에 도달 할 수 있도록 안경 렌즈의 코받침 근방(505b)(즉 전방 사물에서 반사 또는 방사된 빛이 카메라에 도달하기 위하여 통과하는 렌즈 영역)에는 핫미러 코팅을 하지 않는 것이 바람직하다. 또한 안구를 촬영하는 카메라의 시야에 안경 렌즈 밖의 전방의 사물들(607)이 안구와 겹쳐 촬영되지 않도록 v자 거울의 아래쪽 제4거울(602)과 카메라 렌즈 사이에는 가시광 차단 필터(608)를 설치하는 것이 바람직하다. 안구를 위쪽 제3거울이 아니라 아래쪽 제4거울을 통해 촬영하는 이유는 안구를 아래쪽에서 촬영하면 눈꺼풀에 의해 안구가 가려질 위험이 적기 때문이다.

도16은 도15a의 구성의 평면도이고 도17은 도15a의 구성의 정면도이다.

안경 렌즈에 핫 미러 코팅을 하는 대신 도18과 같이 작은 핫미러 코팅 렌즈 모듈을 기존 안경과 착용자의 눈 사이에 끼워 넣을 수도 있다. 이러한 착탈식 렌즈 모듈은 기존의 편광방식의 3d안경모듈에 사용되고 있다. 이러한 핫미러 코팅 렌즈 모듈의 코 받침 또는 그 근방에 카메라와 광학 모듈을 포함할 수도 있다. 이 경우 사용자는 자신의 기존 안경을 착용한 상태에서 이러한 핫미러 코팅 렌즈 모듈을 더 착용하면 안구를 촬영하여 추적을 할 수 있다.

본 실시예의 구성은 안경 렌즈에 핫 미러 코팅을 해서 그 코팅면에 반사된 안구 영상을 카메라로 촬영하는 것이 특징이다. 이에 비해 특허문헌3의 안경형 안구 촬영 장치는 카메라로 안구를 촬영하되 렌즈에 반사된 안구 영상을 촬영하는 것이 아니라 직접 안구를 촬영하는 방식이다. 도19는 특허문헌3의 출원인인 토비(tobii)사의 홈페이지에 게시된 안구 촬영 장치의 정면 모습이고 도20은 특허문헌3의 도면2b를 나타낸 것이다. 정면도에는 카메라가 보이지 않고 도20d(후면도)에는 카메라(611)가 보임을 주의하면 이 장치의 측면도는 도21과 같음을 알 수 있다. 즉 안경 렌즈(700)가 가장 밖에 있고 안경 렌즈(700)와 눈(703) 사이에 카메라(611)가 존재한다. 도21처럼 카메라로 안구를 직접 촬영(즉,렌즈에 반사된 안구를 촬영하는 것이 아니라 직접 촬영하는 것)하려면 카메라를 안구로부터 약간 앞쪽(얼굴 피부로부터 멀리)으로 일정 간격(702)만큼 돌출시켜야 하는 문제가 있다. 그러나 본 실시예의 구성의 장치는 도22와 같이 안경 렌즈에 반사된 안구를 촬영하므로 카메라가 마치 안경 렌즈 밖에 위치하는 효과가 있어서 그러한 간격이 훨씬 적어도 안구를 촬영할 수 있다. 도22는 도16의 구성의 카메라(600)가 렌즈(505)에 반사되어 마치 렌즈 밖에 존재하는 것과 같은 효과를 나타낸 것이다. 도22의 801은 카메라(600)가 안경 렌즈에 반사된 거울 영상을 나타낸 것이고 800은 그 거울 영상의 카메라와 눈 사이 간격을 나타낸 것이다. 이러한 간격은 도20의 702에 해당한다. 즉 핫 미러 코팅 렌즈에 반사된 안구를 촬영함으로써 카메라는 안구에 가깝게 밀착시키더라도 먼 거리에서 촬영한 효과(즉 촬영된 영상에서 안구가 덜 왜곡되는 장점)가 있다. 또한 이러한 카메라를 안경테가 아니라 코받침에 설치함으로써 카메라가 외부에서 거의 보이지 않는 장점이 있고 무테 안경에도 카메라를 설치할 수 있다. 이에 비해 도19와 같은 기존 안구 촬영 장치는 반드시 카메라를 설치할 안경 테(610)(테두리)가 존재해야만 하고 그 안경 테가 피부로부터 앞으로 돌출되는 단점이 있다. 즉 기존의 특허 문헌3의 안구 촬영 장치는 무테 안경에는 설치할 수 없다. 도23은 도21과 비교할 수 있도록 본 실시예의 장치의 측면도를 나타낸 것이다. 도23을 보면 본 실시예의 안경의 렌즈는 도21의 기존 장치와 달리 보기 흉하게 돌출될 필요가 없다.

이러한 카메라는 도24와 같이 안경 다리(901)에 부착하여 안경 렌즈에 반사된 눈을 촬영할 수도 있다. 그런데 안경 다리(901)는 코받침(501a)보다 대체로 위쪽에 존재한다. 따라서 안경 다리(901)에 부착한 카메라는 눈을 위쪽에서 아래쪽으로 내려다보면서 촬영해야 하므로 눈꺼풀에 의해 눈동자가 가려질 위험이 있다. 그러나 카메라를 안경 다리보다 아래쪽에 있는 코받침에 설치하면 눈을 아래쪽에서 위쪽으로 올려다보며 촬영할 수 있으므로 눈꺼풀에 의해 눈동자가 가려질 위험이 적다는 장점이 있다.

전술한 바와 같이, 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당기술분야의 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 또는 변형하여 실시할 수 있다.

10 : 단일 카메라 30 : 제1,2 적외선 조명부(적외선LED)
40 : 제1,2 hmd 렌즈 50 : 제1,2 적외선 반사거울(핫 미러)
70 : 제3,4 반사거울(산형 반사거울)
80 : 볼록 릴레이 렌즈 80f : 오목 릴레이 렌즈
90 : 45도 반사거울 13a :낭비되는 픽셀들
80c :결상면 11 :카메라 렌즈
13 :이미지 센서 80b,80g:릴레이 렌즈에의한 안구 영상
70a,70b :프리즘 70c:볼록 반사 거울
100 :안경 110 :전방 촬영 카메라
140 :안구 촬영 카메라 120 :적외선 조명
502 :안경형 디스플레이 503 :마우스 커서
50 :안경 렌즈 500a,500b:코 받침
501a,501b :카메라와 광학 모듈 504 :가상 객체
606,607 :외부 사물 600 :카메라
603:제1거울 604:제2거울
601:제3거울 602:제4거울
605 :안구 608:가시광 차단 필터
505a:안구 반사광 반사면 505b:외부 사물 반사광 투과면
610 :안경 테 611 :카메라
700 :안경 렌즈 702,800 :카메라와 안구 사이 간격
703 :안구 801 :카메라의 거울 영상
901 : 안경 다리 900 :안경 다리에 부착된 카메라

Claims

제1안구에서 반사된 제1빛과 제2안구에서 반사된 제2빛을 촬영하는 단일 카메라;
상기 제1빛을 반사시키는 제1핫미러;
상기 제2빛을 반사시키는 제2핫미러;
상기 제1핫미러 및 제2핫미러 에서 반사된 상기 제1빛 및 제2빛을 취합시켜 상기 단일 카메라 쪽으로 진행시키는 광 취합 수단;
을 포함하는 것을 특징으로 하는 단일 카메라를 이용한 양안 촬영 장치.
제1항에 있어서,
상기 광 취합 수단은 상기 제1안구와 제2안구에서 반사된 빛의 영상이 상기 단일 카메라에서 서로 다른 영역에 각각 촬영되도록 광을 취합하는 것을 특징으로 하는 단일 카메라를 이용한 양안 촬영 장치.
제1항에 있어서,
상기 광 취합 수단은 상기 제1안구와 제2안구 사이의 중간 지점에 배치되는 것을 특징으로 하는 단일 카메라를 이용한 양안 촬영 장치.
제1항에 있어서,
상기 광 취합 수단은, 상기 제1핫미러에서 반사된 제1빛을 상기 단일 카메라 쪽으로 진행시키는 제1광학모듈과, 상기 제2핫미러에서 반사된 제2빛을 상기 단일 카메라 쪽으로 진행시키는 제2광학모듈을 포함하는 것을 특징으로 하는 단일 카메라를 이용한 양안 촬영 장치.
제4항에 있어서,
상기 제1,2광학모듈은 거울,프리즘,홀로그램,또는 회절 소자를 포함하는 것을 특징으로 하는 단일 카메라를 이용한 양안 촬영 장치.
제5항에 있어서,
상기 광학모듈은 표면이 V자 또는 산형인 광학 소자를 포함하는 것을 특징으로 하는 단일 카메라를 이용한 양안 촬영 장치.
제4항에 있어서,
상기 광 취합 수단에는 안구 영상을 결상하는 영상 릴레이 수단을 포함하고 카메라는 그 결상된 영상을 촬영하는 것을 특징으로 하는 단일 카메라를 이용한 양안 촬영 장치.
제 7항에 있어서,
상기 영상 릴레이 수단은 상기 제1안구의 영상을 맺는 제1결상수단과, 상기 제2안구의 영상을 맺는 제2결상수단을 포함하고 카메라는 상기 제1,2 결상 수단이 맺은 영상을 촬영하는 것을 특징으로 하는 단일 카메라를 이용한 양안 촬영 장치.
제 7항에 있어서,
상기 영상 릴레이 수단은 상기 제1안구의 스테레오영상을 맺는 제1결상수단 과 제3결상 수단, 상기 제2안구의 스테레오 영상을 맺는 제2결상수단과 제 4 결상 수단을 포함하고 카메라는 상기 제1,2,3,4 결상 수단이 맺은 스테레오 영상을 촬영하는 것을 특징으로 하는 단일 카메라를 이용한 양안 촬영 장치.
제8항내 지 9항의 어느 한 항에 있어서,
상기 결상수단은 볼록 렌즈,오목 렌즈,볼록 거울,또는 오목 거울을 포함하는 것을 특징으로 하는 단일 카메라를 이용한 양안 촬영 장치.
제10항에 있어서,
상기 볼록 렌즈,오목 렌즈,볼록 거울,또는 오목 거울의 초점거리는 상기 볼록 렌즈,오목 렌즈,볼록 거울,또는 오목 거울 에 의해 결상된 영상을 상기 단일 카메라로 촬영한 영상 안에 안구 전체 영역이 포함될 수 있는 거리인 것을 특징으로 하는 단일 카메라를 이용한 양안 촬영 장치.
제2항에 있어서,
상기 광 취합 수단은 직사각형 이미지 센서의 길이가 긴 변의 중심을 지나는 직선에 의해 나누어진 이미지 센서의 두 영역에 각각 좌우측 안구가 촬영되도록 광을 취합하는 것을 특징으로 하는 단일 카메라를 이용한 양안 촬영 장치.
제7항에 있어서,
상기 단일 카메라는 열 배출이 용이하도록 헤드 마운트 디스플레이(hmd) 케이스 쪽에 가깝게 위치하는 것을 특징으로 하는 단일 카메라를 이용한 양안 촬영 장치.
시선 방향에서 입사되는 제1빛과 안구에서 반사된 제2빛을 촬영하는 단일 카메라;
상기 제1빛을 카메라 쪽으로 진행시키는 제1 광학 모듈;
상기 제2빛을 반사시키고 가시광을 투과시키는 핫미러;
상기 핫 미러에의해 반사된 제2 빛을 카메라 쪽으로 진행시키는 제2 광학 모듈;
을 포함하는 것을 특징으로 하는 단일 카메라를 이용한 안구 촬영 장치.
제14항에 있어서,
상기 제1,제2 광학 모듈은 제1,제2 빛의 영상이 상기 단일 카메라에서 서로 다른 영역에 각각 촬영되도록 광을 취합하는 것을 특징으로 하는 단일 카메라를 이용한 안구 촬영 장치.
제15항에 있어서 상기 제1,제2 광학 모듈 또는 카메라는 안경의 테두리,안경의 다리, 코받침, 또는 그 근방에 설치되는 것을 것을 특징으로 하는 단일 카메라를 이용한 안구 촬영 장치.
제14항에 있어서 제2 빛을 촬영하는 카메라의 시야에는 가시광 차단 필터가 포함되는 것을 것을 특징으로 하는 단일 카메라를 이용한 안구 촬영 장치.
제14항에 있어서 제1,제2 광학 모듈은 제1,제2 빛의 진행 경로를 바꿔주는 거울,프리즘,홀로그램,또는 회절소자를 포함하는 것을 특징으로 하는 단일 카메라를 이용한 안구 촬영 장치.
제18항에 있어서,
상기 광학모듈은 표면이 V자 또는 산형인 광학 소자를 포함하는 것을 특징으로 하는 단일 카메라를 이용한 안구 촬영 장치.
제14항에 있어서 제1,제2 광학 모듈은 제1,제2 빛의 영상을 결상하는 영상 릴레이 수단을 포함하고 카메라는 그 결상된 영상을 촬영하는 것을 특징으로 하는 단일 카메라를 이용한 안구 촬영 장치.
제 20항에 있어서,
상기 영상 릴레이 수단은 상기 제1빛의 영상을 맺는 제1결상수단과, 상기 제2빛의 영상을 맺는 제2결상수단을 포함하고 카메라는 상기 제1,2 결상 수단이 맺은 영상을 촬영하는 것을 특징으로 하는 단일 카메라를 이용한 안구 촬영 장치.
제 20항에 있어서,
상기 영상 릴레이 수단은 상기 제1빛의 스테레오 영상을 맺는 제1결상수단 과 제3결상 수단, 상기 제2빛의 스테레오 영상을 맺는 제2결상수단과 제 4 결상 수단을 포함하고 카메라는 상기 제1,2,3,4 결상 수단이 맺은 스테레오 영상을 촬영하는 것을 특징으로 하는 단일 카메라를 이용한 안구 촬영 장치.
제21항내 지 21항의 어느 한 항에 있어서,
상기 결상수단은 볼록 렌즈,오목 렌즈,볼록 거울,또는 오목 거울을 포함하는 것을 특징으로 하는 단일 카메라를 이용한 안구 촬영 장치.
제23항에 있어서,
상기 볼록 렌즈,오목 렌즈,볼록 거울,또는 오목 거울의 초점거리는 상기 볼록 렌즈,오목 렌즈,볼록 거울,또는 오목 거울 에 의해 결상된 영상을 상기 단일 카메라로 촬영한 영상 안에 안구 전체 영역이 포함될 수 있는 거리인 것을 특징으로 하는 단일 카메라를 이용한 안구 촬영 장치.
제15항에 있어서,
상기 제1,제2 광학 모듈은 직사각형 이미지 센서의 길이가 긴 변의 중심을 지나는 직선에 의해 나누어진 이미지 센서의 두 영역에 각각 시선 방향의 사물과 안구가 촬영되도록 광을 취합하는 것을 특징으로 하는 단일 카메라를 이용한 안구 촬영 장치.