KR20160063040A - 시선추적장치 및 그의 추적정확도 측정방법 - Google Patents

Abstract

본 발명은 시선추적장치 및 그의 추적정확도 측정방법에 관한 것으로, 사용자의 눈 영상을 취득하는 카메라와, 상기 사용자를 향해 광을 조사하는 조명과, 상기 눈 영상에서 좌우 동공 중심점 및 좌우 안구 중심점을 검출하고, 상기 좌우 동공 중심점 및 좌우 안구 중심점을 이용하여 시선을 추적하는 시선 추적부와, 상기 동공 중심점과 안구 중심점의 기하학적 관계를 이용하여 시선추적의 정확도를 산출하는 정확도 산출부를 포함한다.

Description

시선추적장치 및 그의 추적정확도 측정방법{GAZE TRACKING APPARATUS AND METHOD FOR MEASURING TRACKING ACCURACY OF THE SAME}

본 발명은 시선추적장치 및 그의 추적정확도 측정방법에 관한 것으로, 더욱 상세하게는 시선추적 시 검출한 동공 중심점과 안구 중심점의 기하학적 관계를 이용하여 시선추적의 정확도를 측정하는 시선추적장치 및 그의 추적정확도 측정방법에 관한 것이다.

시선추적은 운전자의 상태 감시, 의도 파악 및 시선 연동 차량 내의 기기 작동 등 다양한 분야에 적용되고 있다. 최근에는 운전자의 주의 분산을 감시하는데 적용되고 있다.

이러한 종래의 시선추적기술은 사용자의 시선을 추적하기 위해 동공 중심점과 안구 중심점을 연결하는 벡터를 이용하여 시선벡터를 구한다. 시선벡터를 구하는 연산 과정 중 조명 반사점의 오차, 동공 오차, 얼굴 위치 오차 등과 같은 많은 오차로 인하여 부정확한 시선벡터를 산출할 가능성이 높아 정확한 운전자의 시선추적을 어렵게 한다.

본 발명은 상기한 종래기술의 문제점을 해결하기 위하여 안출된 것으로, 시선추적 시 검출한 동공 중심점과 안구 중심점의 기하학적 관계를 이용하여 시선추적의 정확도를 측정하는 시선추적장치 및 그의 추적정확도 측정방법을 제공하고자 한다.

상기한 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 시선추적장치는 사용자의 눈 영상을 취득하는 카메라와, 상기 사용자를 향해 광을 조사하는 조명과, 상기 눈 영상에서 좌우 동공 중심점 및 좌우 안구 중심점을 검출하고, 상기 좌우 동공 중심점 및 좌우 안구 중심점을 이용하여 시선을 추적하는 시선 추적부와, 상기 동공 중심점과 안구 중심점의 기하학적 관계를 이용하여 시선추적의 정확도를 산출하는 정확도 산출부를 포함하는 것을 특징으로 한다.

또한, 상기 정확도 산출부는, 상기 좌우 동공 중심점과 좌우 안구 중심점으로 구성되는 좌표평면을 생성하는 것을 특징으로 한다.

또한, 상기 정확도 산출부는, 상기 좌우 동공 중심점과 좌우 안구 중심점의 공분산 행렬을 생성하고, 그 생성한 공분산 행렬의 고유벡터와 고유치를 산출하는 것을 특징으로 한다.

또한, 상기 정확도 산출부는, 상기 산출한 고유치 중 가장 작은 고유치를 선택하여 시선벡터의 신뢰도값으로 변환하는 것을 특징으로 한다.

한편, 본 발명의 일 실시예에 따른 시선추적장치의 추적정확도 측정방법은 눈 영상을 취득하는 단계와, 상기 눈 영상에서 좌우 동공 중심점 및 좌우 안구 중심점을 검출하는 단계와, 상기 좌우 동공 중심점과 좌우 안구 중심점의 기하학적 관계를 이용하여 시선추적의 정확도를 산출하는 단계를 포함하는 것을 특징으로 한다.

또한, 상기 정확도 산출 단계는, 상기 좌우 동공 중심점과 좌우 안구 중심점으로 구성되는 좌표평면을 생성하는 단계와, 상기 좌우 동공 중심점과 좌우 안구 중심점이 동일한 좌표평면 상에 존재하는지를 확인하는 단계를 포함하는 것을 특징으로 한다.

또한, 상기 정확도 산출 단계는, 상기 좌우 동공 중심점 및 좌우 안구 중심점의 공분산 행렬을 생성하는 단계와, 상기 공분산 행렬의 고유벡터 및 고유치를 산출하는 단계와, 상기 산출한 고유치 중 가장 작은 고유치를 선택하는 단계와, 상기 선택한 고유치를 시선 신뢰도값으로 변환하는 단계를 포함하는 것을 특징으로 한다.

본 발명은 시선추적 시 검출한 동공 중심점과 안구 중심점의 기하학적 관계를 이용하여 시선추적의 정확도를 측정하므로, 시선추적결과에 대한 신뢰도를 평가할 수 있다.

또한, 본 발명은 카메라 캘리브레이션 오차와 같은 시선추적장치의 오류 여부를 판단할 수 있다.

또한, 본 발명은 시선추적을 이용하여 응용장치에서 필요로 하는 신뢰도에 따라 시선벡터 사용영역을 설정할 수 있다.

또한, 본 발명은 시선추적 시퀀스에서 신뢰도를 이용한 피드백을 통해 시선추적장치의 성능을 향상시킬 수 있다.

도 1은 본 발명의 일 실시예에 따른 시선추적장치의 블록구성도.
도 2는 본 발명의 일 실시예에 따른 시선추적장치의 추적정확도 측정방법을 도시한 흐름도.
도 3은 본 발명의 일 실시예에 따른 추적정확도 측정 예를 도시한 예시도.

본 명세서에 기재된 "포함하다", "구성하다", "가지다" 등의 용어는 특별히 반대되는 기재가 없는 한 해당 구성요소가 내재될 수 있음을 의미하는 것이므로 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

또한, 본 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일", "하나" 및 "그" 등의 관사는 본 발명을 기술하는 문맥에 있어서 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.

이하, 첨부한 도면들을 참조하여 본 발명의 실시예를 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 시선추적장치의 블록구성도를 도시한다.

도 1에 도시된 바와 같이, 시선추적장치(100)는 카메라(110), 조명(120), 시선 추적부(130), 정확도 산출부(140)를 포함한다.

카메라(110)는 사용자의 눈 영상을 취득한다. 카메라(110)는 CCD(charge coupled device) 영상센서(image sensor), CMOS(complementary metal oxide semi-conductor) 영상센서, CPD(charge priming device) 영상센서 및 CID(charge injection device) 영상센서, 적외선 영상센서 등과 같은 영상센서들 중 어느 하나의 영상센서로 구현될 수 있다.

또한, 카메라(110)는 스테레오 카메라 또는 적외선 카메라로 구현될 수 있다.

조명(120)은 하나 이상의 광원으로 구성되며 사용자를 향해 광을 조사한다. 여기서, 광원은 발광소자(Light Emitting Diode, LED), 적외선 발광소자, 형광등 등과 같은 광원들 중 어느 하나의 광원으로 구현될 수 있다.

시선 추적부(130)는 카메라(110)를 통해 획득한 사용자의 눈 영상에서 동공 중심점 및 안구 중심점을 검출한다. 이때, 시선 추적부(130)는 눈의 좌측 및 우측의 동공 중심점 및 안구 중심점을 검출한다.

시선 추적부(130)는 눈 영상을 이진화하고, 그 이진화한 눈 영상에서 윤곽선을 추출한다. 시선 추적부(130)는 원 피팅(fitting) 및 타원 피팅과 같은 동공 검출 알고리즘을 이용하여 추출한 윤곽선 중 동공을 검출한다. 그리고, 시선 추적부(130)는 검출한 동공의 중심점 좌표를 산출한다.

또한, 시선 추적부(130)는 타원 피팅과 같은 안구 검출 알고리즘을 이용하여 눈 영역에서 안구를 검출하고, 그 검출한 안구의 중심점 좌표를 산출한다.

시선 추적부(130)는 검출한 동공 중심점과 안구 중심점을 연결하는 벡터를 이용하여 시선벡터를 연산한다.

정확도 산출부(140)는 시선 추적부(130)로부터 출력되는 동공 중심점과 안구 중심점의 기하학적 관계를 이용하여 시선추적의 정확도(신뢰도)를 산출한다.

정확도 산출부(140)는 시선 추적부(130)에서 추출된 좌우 동공 중심점 및 좌우 안구 중심점으로 구성되는 좌표평면을 생성한다.

정확도 산출부(140)는 좌우 동공 중심점 및 좌우 안구 중심점 즉, 4개의 중심점의 공분산행렬(Covariance Matrix)의 고유벡터(Eigenvectors) 및 고유치(Eigenvalues)를 산출한다. 이때, 고유치가 "0"에 가까울수록 4개의 중심점이 한 좌표평면 위에 있음을 의미한다.

다시 말해서, 정확도 산출부(140)는 최소제곱맞춤법(Least squared fitting)을 이용하여 시선추적의 정확도를 산출한다.

정확도 산출부(140)는 산출한 고유치 중 가장 작은 고유치를 선택하고 그 선택한 고유치를 시선벡터의 신뢰도값(시선 신뢰도)으로 변환한다. 예를 들어, 정확도 산출부(140)는 선택한 고유치의 역수를 신뢰도값으로 산출한다. 또는, 정확도 산출부(140)는 "(고유치 허용범위 최대치 - 고유치)×100"을 연산하여 신뢰도값을 산출한다. 여기서, 고유치 허용 최대 범위는 사용자에 의해 임의로 정해지는 값이다. 그리고, 고유치가 고유치 허용범위 최대치를 초과하면 고유치는 고유치 허용범위 최대치로 나타낼 수 있다.

도 2는 본 발명의 일 실시예에 따른 시선추적장치의 추적정확도 측정방법을 도시한 흐름도이고, 도 3은 본 발명의 일 실시예에 따른 추적정확도 측정 예를 도시한 예시도이다.

도 2에 도시된 바와 같이, 시선추적장치(100)는 카메라(110)를 통해 눈 영상을 취득한다(S101). 시선 추적부(130)는 카메라(110)를 통해 사용자 영상을 취득하고, 그 사용자 영상에서 얼굴 영역을 검출한다. 그리고, 시선 추적부(130)는 검출한 얼굴 영역에서 좌측 눈 영역과 우측 눈 영역을 검출한다.

시선추적장치(100)는 눈 영상에서 좌우 안구 중심점 및 좌우 동공 중심점을 추출(검출)한다(S103). 시선 추적부(140)는 좌우 눈 영역에서 각각 안구 중심점과 동공 중심점을 검출한다.

시선추적장치(100)의 정확도 산출부(140)는 좌우 안구 중심점과 좌우 동공 중심점으로 구성되는 평면을 생성한다(S105). 다시 말해서, 정확도 산출부(140)는 좌우 안구 중심점과 좌우 동공 중심점 즉, 4개의 중심점의 공분산 행렬을 생성한다. 도 3에 도시된 바와 같이, 좌우 동공 중심점과 좌우 안구 중심점을 이용하여 평면을 생성한다.

시선추적장치(100)는 좌우 안구 중심점과 좌우 동공 중심점의 고유벡터 및 고유치를 산출한다(S107). 정확도 산출부(140)는 4개의 중심점의 공분산 행렬에 대한 고유벡터 및 고유치를 산출한다.

시선추적장치(100)의 정확도 산출부(140)는 산출한 고유치 중 가장 작은 고유치를 선택한다(S109).

시선추적장치(100)는 선택한 고유치를 신뢰도값으로 변환한다(S111). 정확도 산출부(140)는 선택한 고유치를 이용하여 시선 추적부(130)에 의해 연산된 시선벡터의 신뢰도(시선 신뢰도)를 판정한다.

도 3에 도시된 바와 같이, 시선추적장치(100)는 좌우 안구 중심점과 좌우 동공 중심점이 동일한 좌표평면 상에 존재하면 시선 신뢰도가 높다고 판정하고 좌우 안구 중심점과 좌우 동공 중심점이 동일한 좌표평면 상에 존재하지 않으면 시선 신뢰도가 낮다고 판정한다.

상기한 실시예는 시선 정보를 이용하여 동작을 제어하는 장치에서 시선벡터의 신뢰도를 측정하여 높은 신뢰도를 가진 시선벡터만 사용할 수 있게 한다.

또한, 상기한 실시예는 안경 반사, 동공 검출 오차 등으로 인한 오차 발생 시 신뢰도를 통한 부정확한 시선 벡터를 제거하여 시선추적장치의 성능을 향상시킬 수 있다.

이상에서 설명된 실시예들은 본 발명의 구성요소들과 특징들이 소정 형태로 결합된 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려되어야 한다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시예를 구성하는 것도 가능하다. 본 발명의 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다. 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함시킬 수 있음은 자명하다.

본 발명에 따른 실시예는 다양한 수단, 예를 들어, 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 본 발명의 일 실시예는 하나 또는 그 이상의 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 메모리 유닛은 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고 받을 수 있다.

본 발명은 본 발명의 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. 따라서, 상술한 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

100: 시선추적장치 110: 카메라
120: 조명 130: 시선 추적부
140: 정확도 산출부

Claims (7)

1. 사용자의 눈 영상을 취득하는 카메라와,
   상기 사용자를 향해 광을 조사하는 조명과,
   상기 눈 영상에서 좌우 동공 중심점 및 좌우 안구 중심점을 검출하고, 상기 좌우 동공 중심점 및 좌우 안구 중심점을 이용하여 시선을 추적하는 시선 추적부와,
   상기 동공 중심점과 안구 중심점의 기하학적 관계를 이용하여 시선추적의 정확도를 산출하는 정확도 산출부를 포함하는 것을 특징으로 하는 시선추적장치.
2. 제1항에 있어서,
   상기 정확도 산출부는,
   상기 좌우 동공 중심점과 좌우 안구 중심점으로 구성되는 좌표평면을 생성하는 것을 특징으로 하는 시선추적장치.
3. 제2항에 있어서,
   상기 정확도 산출부는,
   상기 좌우 동공 중심점과 좌우 안구 중심점의 공분산 행렬을 생성하고, 그 생성한 공분산 행렬의 고유벡터와 고유치를 산출하는 것을 특징으로 하는 시선추적장치.
4. 제3항에 있어서,
   상기 정확도 산출부는,
   상기 산출한 고유치 중 가장 작은 고유치를 선택하여 시선벡터의 신뢰도값으로 변환하는 것을 특징으로 하는 시선추적장치.
5. 눈 영상을 취득하는 단계와,
   상기 눈 영상에서 좌우 동공 중심점 및 좌우 안구 중심점을 검출하는 단계와,
   상기 좌우 동공 중심점과 좌우 안구 중심점의 기하학적 관계를 이용하여 시선추적의 정확도를 산출하는 단계를 포함하는 것을 특징으로 하는 시선추적장치의 추적정확도 측정방법.
6. 제5항에 있어서,
   상기 정확도 산출 단계는,
   상기 좌우 동공 중심점과 좌우 안구 중심점으로 구성되는 좌표평면을 생성하는 단계와,
   상기 좌우 동공 중심점과 좌우 안구 중심점이 동일한 좌표평면 상에 존재하는지를 확인하는 단계를 포함하는 것을 특징으로 하는 시선추적장치의 추적정확도 측정방법.
7. 제5항에 있어서,
   상기 정확도 산출 단계는,
   상기 좌우 동공 중심점 및 좌우 안구 중심점의 공분산 행렬을 생성하는 단계와,
   상기 공분산 행렬의 고유벡터 및 고유치를 산출하는 단계와,
   상기 산출한 고유치 중 가장 작은 고유치를 선택하는 단계와,
   상기 선택한 고유치를 시선 신뢰도값으로 변환하는 단계를 포함하는 것을 특징으로 하는 시선추적장치의 추적정확도 측정방법.

Images