KR101213596B1 - 헤드 트랙커 및 아이 트랙커가 통합된 시선 추적 시스템 및 그 방법 - Google Patents

헤드 트랙커 및 아이 트랙커가 통합된 시선 추적 시스템 및 그 방법 Download PDF

Info

Publication number
KR101213596B1
KR101213596B1 KR1020100036073A KR20100036073A KR101213596B1 KR 101213596 B1 KR101213596 B1 KR 101213596B1 KR 1020100036073 A KR1020100036073 A KR 1020100036073A KR 20100036073 A KR20100036073 A KR 20100036073A KR 101213596 B1 KR101213596 B1 KR 101213596B1
Authority
KR
South Korea
Prior art keywords
helmet
tracker
direction information
gaze
eye
Prior art date
Application number
KR1020100036073A
Other languages
English (en)
Other versions
KR20110116580A (ko
Inventor
박찬국
허세종
방효충
백광열
이대우
김정호
이재억
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020100036073A priority Critical patent/KR101213596B1/ko
Publication of KR20110116580A publication Critical patent/KR20110116580A/ko
Application granted granted Critical
Publication of KR101213596B1 publication Critical patent/KR101213596B1/ko

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41G—WEAPON SIGHTS; AIMING
    • F41G3/00—Aiming or laying means
    • F41G3/22—Aiming or laying means for vehicle-borne armament, e.g. on aircraft
    • F41G3/225—Helmet sighting systems
    • A—HUMAN NECESSITIES
    • A42—HEADWEAR
    • A42B—HATS; HEAD COVERINGS
    • A42B3/00—Helmets; Helmet covers ; Other protective head coverings
    • A42B3/04—Parts, details or accessories of helmets
    • A42B3/0406—Accessories for helmets
    • A42B3/0433—Detecting, signalling or lighting devices
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Position Input By Displaying (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 헤드 트랙커 및 아이 트랙커가 통합된 시선 추적 시스템에 관한 것으로서, 사용자의 헬멧의 구조를 인식한 후 상기 헬멧의 동작을 추정하여 제1 삼차원 좌표계 상에서 헬멧 위치 정보 및 헬멧 방향 정보를 산출하고, 산출된 헬멧 위치 정보 및 헬멧 방향 정보를 수신된 동기 신호에 따라 동기화하여 송신하는 헤드 트랙커와, 상기 사용자의 시선 방향을 추적하여 제2 삼차원 좌표계 상에서 시선 방향 정보를 산출하고, 산출된 시선 방향 정보를 수신된 동기 신호에 따라 동기화하여 송신하는 아이 트랙커와, 상기 헬멧 위치 정보, 헬멧 방향 정보 및 시선 방향 정보를 수신하고, 수신된 헬멧 위치 정보, 헬멧 방향 정보 및 시선 방향 정보를 이용하여 상기 사용자의 응시 방향을 상기 제1 삼차원 좌표계 및 상기 제2 삼차원 좌표계가 통합된 제3 삼차원 좌표계 상에서 산출하고 표시하는 통합 제어기를 포함하는 헤드 트랙커 및 아이 트랙커가 통합된 시선 추적 시스템을 구성한다. 이에 따르면, 헬멧의 위치 및 방향 그리고 사용자의 시선 방향을 모두 추적하여 사용자의 응시 방향을 산출함으로써, 정확하고 신속한 응시 방향을 추정할 수 있는 효과가 있다. 그리고 헤드 트랙킹이나 아이 트랙킹 시에 다양한 알고리즘들을 통합하여 이용함으로써, 어느 하나의 알고리즘을 이용할 때 생기는 단점들을 보완하여 보다 정확하고 신속하게 헤드 트랙킹이나 아이 트랙킹을 할 수 있는 효과가 있다.

Description

헤드 트랙커 및 아이 트랙커가 통합된 시선 추적 시스템 및 그 방법{LINE OF SIGHT TRACKING SYSTEM INTEGRATED WITH HEAD TRACKER AND EYE TRACKER AND MEHTOD THEREOF}
본 발명은 시선 추적 시스템 및 그 방법에 관한 것으로서, 좀 더 상세하게는 헤드 트랙커 및 아이 트랙커가 통합된 시선 추적 시스템 및 그 방법에 관한 것이다.
일명 아파치 헬기와 같은 무기 체계에서는 표적을 조준하기 위한 시선 추적 시스템이 이용되고 있다. 시선 추적 시스템은 조종사의 시선을 추적하여 표적을 빠르고 신속하게 조준할 수 있게 해준다.
기존의 시선 추적 시스템은 조종사의 머리의 움직임만을 추적하거나 눈동자의 시선만을 추적하여 조종사의 응시 방향을 추정한다. 그런데, 머리의 움직임으로 목표물을 조준하는 헤드 트랙커(head tracker)의 경우에는 눈동자의 움직임을 고려하지 못하므로 민첩하게 응시점을 변경할 수 없다는 문제점이 있다. 그리고 눈동자의 움직임만을 추적하여 목표물을 조준하는 아이 트랙커(eye tracker)의 경우에는 헬멧에 장착된 장비를 이용하여 조종사의 시선을 추적할 수 있지만 머리가 움직이는 경우에는 응시점 역시 변경되는 문제가 있다.
한편, 기존 헤드 트랙커의 종류에는 광학 방식 헤드 트랙커와 관성 방식 헤드 트랙커가 있다. 광학 방식 헤드 트랙커는 헬멧에 부착된 특징점들의 거리를 광학적으로 인식하여 헬멧의 위치 및 방향을 추정하는 방식으로 운용되며, 비교적 정확하게 헬멧의 위치와 방향을 산출할 수 있다는 장점이 있다. 그러나, 산출 속도는 비교적 느린편이다. 이에 비해, 광학 방식 헤드 트랙커는 헬멧의 움직임을 관성 센서에 의해 감지하여 헬멧의 위치 및 방향을 미리 추정하는 방식으로 운용되기 때문에, 이로 인해 헬멧의 위치와 방향을 비교적 빠르게 추정할 수 있는 장점이 있다. 그러나, 헬멧의 위치와 방향의 산출에서 정확도는 떨어지는 편이다.
이처럼 양 방식은 서로 장단점을 보유하고 있지만, 기존에는 양 방식의 장점을 모두 취하는 그러한 방식은 공지되어 있지 않다.
다른 한편, 기존 아이 트랙커 역시 어느 하나의 아이 트랙킹 알고리즘에 따라 시선 방향을 산출함으로써, 각 아이 트랙킹 알고리즘의 장점들을 모두 취하지는 못하고 있다.
본 발명의 목적은 헤드 트랙커 및 아이 트랙커가 통합된 시선 추적 시스템를 제공하는 데 있다.
본 발명의 다른 목적은 헤드 트랙커 및 아이 트랙커를 통합하여 이용하는 시선 추적 방법을 제공하는 데 있다.
상술한 본 발명의 목적을 달성하기 위한 헤드 트랙커 및 아이 트랙커가 통합된 시선 추적 시스템은, 사용자의 헬멧의 구조를 인식한 후 상기 헬멧의 동작을 추정하여 제1 삼차원 좌표계 상에서 헬멧 위치 정보 및 헬멧 방향 정보를 산출하고, 산출된 헬멧 위치 정보 및 헬멧 방향 정보를 수신된 동기 신호에 따라 동기화하여 송신하는 헤드 트랙커와, 상기 사용자의 시선 방향을 추적하여 제2 삼차원 좌표계 상에서 시선 방향 정보를 산출하고, 산출된 시선 방향 정보를 수신된 동기 신호에 따라 동기화하여 송신하는 아이 트랙커와, 상기 헬멧 위치 정보, 헬멧 방향 정보 및 시선 방향 정보를 수신하고, 수신된 헬멧 위치 정보, 헬멧 방향 정보 및 시선 방향 정보를 이용하여 상기 사용자의 응시 방향을 상기 제1 삼차원 좌표계 및 상기 제2 삼차원 좌표계가 통합된 제3 삼차원 좌표계 상에서 산출하고 표시하는 통합 제어기를 포함하도록 구성될 수 있다. 여기에서, 상기 헤드 트랙커는, 상기 헬멧에 장착된 관성 센서를 이용하여 상기 헬멧의 동작을 추정하고, 추정된 헬멧의 동작에 대한 정보를 상기 헬멧 위치 정보 및 헬멧 방향 정보를 산출하는 데 이용하도록 구성될 수 있다. 그리고 상기 헤드 트랙커는, 상기 헬멧에 부착된 복수의 적외선 LED로 구성되는 특징점들을 적외선 카메라를 통해 인식하여 상기 헬멧 위치 정보 및 헬멧 방향 정보를 산출하도록 구성될 수 있다. 그리고 상기 특징점들은 다수의 삼각형 패턴을 형성하도록 구성될 수 있다. 한편, 상기 헤드 트랙커는, 상기 삼각형 패턴을 형성하는 특징점들 간의 거리를 인식하여 헬멧 위치 정보 및 헬멧 방향 정보를 산출하도록 구성될 수 있다. 다른 한편, 상기 아이 트랙커는, 적외선 동공 영상 획득 방법, 다중 동공 인식 기법 및 응시점 추정 방법을 이용하여 상기 시선 방향 정보를 산출하되, 상기 적외선 동공 영상 획득 방법, 다중 동공 인식 기법 및 응시점 추정 방법에 의한 각 측정치의 양의 비율에 따라 비례 합산하여 상기 시선 방향 정보를 산출하도록 구성될 수 있다. 그리고 상기 아이 트랙커는, 상기 다이크로익 필터로부터 반사된 대상체의 적외선을 적외선 카메라를 통해 인식하여 상기 사용자의 시선 방향을 추적하도록 구성될 수 있다.
상술한 본 발명의 다른 목적을 달성하기 위한 헤드 트랙커 및 아이 트랙커를 통합하여 이용하는 시선 추적 방법은, 통합 제어기가 소정의 동기 신호를 생성하고, 생성된 동기 신호를 헤드 트랙커 및 아이 트랙커로 각각 송신하는 단계와, 상기 헤드 트랙커가 제1 삼차원 좌표계 상에서 사용자의 헬멧의 헬멧 위치 정보 및 헬멧 방향 정보를 산출하고, 상기 아이 트랙커가 제2 삼차원 좌표계 상에서 상기 사용자의 시선 방향 정보를 산출하는 단계와, 상기 헤드 트랙커가 상기 동기 신호를 수신하여 수신된 동기 신호에 따라 상기 헬멧 위치 정보 및 헬멧 방향 정보를 상기 통합 제어기로 송신하고, 상기 아이 트랙커가 상기 동기 신호를 수신하여 수신된 동기 신호에 따라 상기 시선 방향 정보를 상기 통합 제어기로 송신하는 단계와, 상기 통합 제어기가 상기 헬멧 위치 정보, 헬멧 방향 정보 및 시선 방향 정보를 수신하고, 수신된 헬멧 위치 정보, 헬멧 방향 정보 및 시선 방향 정보를 이용하여 상기 사용자의 응시 방향을 상기 제1 삼차원 좌표계 및 상기 제2 삼차원 좌표계가 통합된 제3 삼차원 좌표계 상에서 산출하고 표시하는 단계를 포함하도록 구성될 수 있다. 여기에서, 상기 헤드 트랙커가 제1 삼차원 좌표계 상에서 사용자의 헬멧의 헬멧 위치 정보 및 헬멧 방향 정보를 산출하고, 상기 아이 트랙커가 제2 삼차원 좌표계 상에서 상기 사용자의 시선 방향 정보를 산출하는 단계는, 상기 헤드 트랙커가 상기 헬멧에 장착된 관성 센서를 이용하여 상기 헬멧의 동작을 추정하고, 추정된 헬멧의 동작에 대한 정보를 상기 헬멧 위치 정보 및 헬멧 방향 정보를 산출하는 데 이용하도록 구성될 수 있다. 그리고 상기 헤드 트랙커가 제1 삼차원 좌표계 상에서 사용자의 헬멧의 헬멧 위치 정보 및 헬멧 방향 정보를 산출하고, 상기 아이 트랙커가 제2 삼차원 좌표계 상에서 상기 사용자의 시선 방향 정보를 산출하는 단계는, 상기 헤드 트랙커가 상기 헬멧에 부착된 복수의 적외선 LED로 구성되는 특징점들을 적외선 카메라를 통해 인식하여 상기 헬멧 위치 정보 및 헬멧 방향 정보를 산출하도록 구성될 수 있다. 그리고 상기 특징점들은 다수의 삼각형 패턴을 형성하도록 구성될 수 있다. 한편, 상기 헤드 트랙커가 제1 삼차원 좌표계 상에서 사용자의 헬멧의 헬멧 위치 정보 및 헬멧 방향 정보를 산출하고, 상기 아이 트랙커가 제2 삼차원 좌표계 상에서 상기 사용자의 시선 방향 정보를 산출하는 단계는, 상기 헤드 트랙커가 상기 삼각형 패턴을 형성하는 특징점들 간의 거리를 인식하여 헬멧 위치 정보 및 헬멧 방향 정보를 산출하도록 구성될 수 있다. 다른 한편, 상기 헤드 트랙커가 제1 삼차원 좌표계 상에서 사용자의 헬멧의 헬멧 위치 정보 및 헬멧 방향 정보를 산출하고, 상기 아이 트랙커가 제2 삼차원 좌표계 상에서 상기 사용자의 시선 방향 정보를 산출하는 단계는, 적외선 동공 영상 획득 방법, 다중 동공 인식 기법 및 응시점 추정 방법을 이용하여 상기 시선 방향 정보를 산출하되, 상기 적외선 동공 영상 획득 방법, 다중 동공 인식 기법 및 응시점 추정 방법에 의한 각 측정치의 양의 비율에 따라 비례 합산하여 상기 시선 방향 정보를 산출하도록 구성될 수 있다. 그리고 상기 헤드 트랙커가 제1 삼차원 좌표계 상에서 사용자의 헬멧의 헬멧 위치 정보 및 헬멧 방향 정보를 산출하고, 상기 아이 트랙커가 제2 삼차원 좌표계 상에서 상기 사용자의 시선 방향 정보를 산출하는 단계는, 상기 아이 트랙커가 상기 다이크로익 필터로부터 반사된 대상체의 적외선을 적외선 카메라를 통해 인식하여 상기 사용자의 시선 방향을 추적하도록 구성될 수 있다.
상기와 같은 시선 추적 시스템 및 그 방법에 관한 것으로서, 좀 더 상세하게는 헤드 트랙커 및 아이 트랙커가 통합된 시선 추적 시스템 및 그 방법에 따르면, 헬멧의 위치 및 방향 그리고 사용자의 시선 방향을 모두 추적하여 사용자의 응시 방향을 산출함으로써, 정확하고 신속한 응시 방향을 추정할 수 있는 효과가 있다. 그리고 헤드 트랙킹이나 아이 트랙킹 시에 다양한 알고리즘들을 통합하여 이용함으로써, 어느 하나의 알고리즘을 이용할 때 생기는 단점들을 보완하여 보다 정확하고 신속하게 헤드 트랙킹이나 아이 트랙킹을 할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 헤드 트랙커 및 아이 트랙커가 통합된 시선 추적 시스템의 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 헤드 트랙커의 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른 아이 트랙커의 블록 구성도이다.
도 4는 본 발명의 일 실시예에 따른 시선 추적 시스템의 실물도이다.
도 5는 본 발명의 일 실시예에 따른 헬멧의 전방 이동 시 헬멧 위치 정보 및 헬멧 방향 정보의 추정도이다.
도 6은 본 발명의 일 실시예에 따른 헬멧의 요(yaw) 45° 회전 시 헬멧 위치 정보 및 헬멧 방향 정보의 추정도이다.
도 7은 본 발명의 일 실시예에 따른 아이 트랙커의 동작 개념도이다.
도 8은 본 발명의 일 실시예에 따른 아이 트랙커의 실물도이다.
도 9는 본 발명의 일 실시예에 따른 아이 트랙커의 동공 인식과 시선 방향 추정 결과도이다.
도 10은 본 발명의 일 실시예에 따른 헤드 트랙커 및 아이 트랙커를 통합하여 이용하는 시선 추적 방법의 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 헤드 트랙커 및 아이 트랙커가 통합된 시선 추적 시스템의 블록 구성도이다. 좀 더 세부적인 구성을 나타내는 도면으로서, 도 2는 본 발명의 일 실시예에 따른 헤드 트랙커의 블록 구성도이고, 도 3은 본 발명의 일 실시예에 따른 아이 트랙커의 블록 구성도이다.
도 1 내지 도 3을 참조하면, 본 발명에 따른 헤드 트랙커 및 아이 트랙커가 통합된 시선 추적 시스템(100)(이하 '시선 추적 시스템'이라 함)은 헤드 트랙커(110), 아이 트랙커(120), 통합 제어기(130)를 포함하도록 구성될 수 있다. 여기에서, 통합 제어기(130)는 동기 신호 발생부(131), 신호 검출부(132), 정보 취합부(133)및 정보 출력부(134)를 포함하도록 구성될 수 있다. 그리고 헤드 트랙커(110)는 헬멧 외부에 부착된 적외선 LED(111), 헬멧 내부에 장착된 관성 센서(112), 제1 적외선 카메라(113), 제2 적외선 카메라(114) 및 헬멧 위치 및 방향 산출부(115)를 포함하도록 구성될 수 있다. 그리고 아이 트랙커(120)는 헬멧의 사용자 눈 앞 위치에 장착된 다이크로익 필터(121), 헬멧 앞쪽면에 장착된 적외선 카메라(122) 및 시선 방향 산출부(123)를 포함하도록 구성될 수 있다.
시선 추적 시스템(100)은 헤드 트랙커(110) 및 아이 트랙커(120)의 출력치를 통합하여 이용함으로써, 보다 정확하고 신속하게 사용자의 응시 방향을 추정한다.한편, 헤드 트랙커(110)는 기존과 달리 광학 방식에 의한 헤드 트랙킹과 관성 센서에 의한 헤드 트랙킹을 모두 수행하여 이용할 수 있도록 하고, 아이 트랙커(120) 역시 다양한 아이 트랙킹 기법을 모두 수행하여 이용할 수 있도록 함을 특징으로 한다. 이하, 각 구성에 대하여 좀 더 상세하게 설명한다.
먼저, 헤드 트랙커(110)는 사용자의 헬멧의 구조를 인식한 후 상기 헬멧의 동작을 추정하여 제1 삼차원 좌표계 상에서 헬멧 위치 정보 및 헬멧 방향 정보를 산출하고, 산출된 헬멧 위치 정보 및 헬멧 방향 정보를 수신된 동기 신호에 따라 동기화하여 송신하도록 구성될 수 있다. 헤드 트랙커(110)는 사용자(조종사)가 착용한 헬멧의 위치와 방향을 추정하기 위한 장치이다. 이때, 광학 방식과 관성 센서에 의한 방식 모두 이용된다. 광학 방식은 헤드 트랙커(110)의 외부에 부착된 복수 개의 적외선 LED(111)의 위치와 거리를 계산하여 헬멧의 위치 및 방향을 인식하는 방식이다. 그러므로, 헬멧에 부착된 적외선 LED(111)들은 특징점들로서, 미리 그 위치가 지정되어 있어야 한다. 한편, 관성 센서에 의한 방식은 헬멧 내부에 장착된 관성 센서가 헬멧의 움직임을 감지하여 헬멧의 동작을 미리 추정하는 방식이다. 광학 방식은 그 결과치의 정확도에서 우수한 반면, 계산량이 많아 복잡하고 속도가 느리다. 그러나, 관성 센서에 의한 방식은 계산량이 적고 계산 속도는 빠르나 정확도는 비교적 떨어지는 편이다.
본 발명에서는 양 방식을 접목하여 이용한다. 즉, 상기 헤드 트랙커(110)는, 상기 헬멧에 장착된 관성 센서(112)를 이용하여 상기 헬멧의 동작을 추정하고, 추정된 헬멧의 동작에 대한 정보를 상기 헬멧 위치 정보 및 헬멧 방향 정보를 산출하는 데 이용하도록 구성될 수 있다. 다시 말하면, 최초에는 광학 방식에 의해 헬멧의 구조를 인식하지만, 이후에는 관성 센서에 의한 방식에 의해 헬멧의 동작을 감지하여 헬멧의 위치와 방향을 추정하는데 이용할 수 있도록 한다. 즉, 헬멧 위치 정보와 헬멧 방향 정보를 광학 방식에 의해 산출하지만, 관성 센서에 의한 방식에 따라 헬멧의 동작을 추정함으로써 광학 방식에 의한 계산량을 줄이고 계산 속도를 높일 수 있다.
한편, 상기 동기 신호는 주기적으로 미리 수신되고 있어야 한다. 후술하겠지만, 동기 신호는 통합 제어기(130)로부터 수신되며, 산출된 헬멧 위치 정보 및 헬멧 방향 정보는 수신된 동기 신호에 따라 동기화되어 통합 제어기(130)로 송신된다.
여기에서, 상기 헤드 트랙커(110)는 상기 헬멧에 부착된 복수의 적외선 LED(111)로 구성되는 특징점들을 제1 적외선 카메라(113) 및 제2 적외선 카메라(114)를 통해 인식하여 상기 헬멧 위치 정보 및 헬멧 방향 정보를 산출하도록 구성될 수 있다. 헬멧 외부에는 전체적으로 적외선 LED(111)가 분포되도록 하여 헬멧의 위치나 방향의 변화에도 제1 적외선 카메라(113) 및 제2 적외선 카메라(114)가 헬멧의 구조를 인식할 수 있어야 한다.
이때, 상기 특징점들은 다수의 삼각형 패턴을 형성하도록 구성될 수 있다. 바람직하게는, 하나의 헬멧에 총 15개의 특징점 즉, 적외선 LED(111)가 부착되도록 구성될 수 있으며, 특징점들은 모두 5개의 삼각형 패턴을 형성하도록 구성될 수 있다.
그리고 헤드 트랙커(110)는 제1 적외선 카메라(113)와 제2 적외선 카메라(114)에 의해 인식된 특징점들을 이용하여 헬멧의 구조를 인식한다. 특히, 특히, 헬멧 위치 및 방향 산출부(115)는 상기 삼각형 패턴을 형성하는 특징점들 간의 거리를 인식하여 헬멧 위치 정보 및 헬멧 방향 정보를 산출하도록 구성될 수 있다. 특징점들은 다양한 형상의 패턴으로 분포되도록 구성될 수 있으나, 삼각형 패턴의 경우 특징점들 간의 거리 계산을 위한 계산량이 적기 때문에 매우 유용하다.
다음으로, 아이 트랙커(120)는 상기 사용자의 시선 방향을 추적하여 제2 삼차원 좌표계 상에서 시선 방향 정보를 산출하고, 산출된 시선 방향 정보를 수신된 동기 신호에 따라 동기화하여 송신하도록 구성될 수 있다. 아이 트랙커(120)는 다양한 아이 트랙킹 알고리즘을 모두 이용하여 사용자의 시선 방향을 추적하도록 구성될 수 있다.
예를 들면, 아이 트랙커(120)는 적외선 동공 영상 획득 방법, 다중 동공 인식 기법 및 응시점 추정 방법을 이용하여 상기 시선 방향 정보를 산출하도록 구성될 수 있으며, 이때, 상기 적외선 동공 영상 획득 방법, 다중 동공 인식 기법 및 응시점 추정 방법에 의한 각 측정치의 양의 비율에 따라 비례 합산하여 상기 시선 방향 정보를 산출하도록 구성될 수 있다. 각 아이 트랙킹 알고리즘은 각각의 장단점이 있으며, 각각 특이한 조건에서 효율성이 달라질 수 있다. 이에, 아이 트랙커(120) 좀 더 상세하게는 시선 방향 산출부(123)는 위 3가지 아이 트랙킹 알고리즘을 모두 적용하되, 가장 측정이 잘된 알고리즘에 의한 측정치 순으로 칼만 필터에 의해 비례 합산하여 시선 방향 정보를 산출하도록 구성될 수 있다. 이에, 좀 더 정확한 시선 방향 정보를 얻을 수 있다.
한편, 상기 동기 신호 역시 주기적으로 미리 수신되고 있어야 한다. 이 동기 신호는 앞서 설명한 헤드 트랙커(110)에서 수신하는 동기 신호와 동일한 동기 신호이다. 이 동기 신호는 통합 제어기(130)로부터 수신되며, 산출된 시선 방향 정보 역시 수신된 동기 신호에 따라 동기화되어 통합 제어기(130)로 송신된다. 이에, 통합 제어기(130)는 동기화된 헤드 트랙커(110)의 출력 신호 및 아이 트랙커(120)의 출력 신호를 수신할 수 있다.
다른 한편, 상기 아이 트랙커(120)는, 다이크로익 필터(121)로부터 반사된 대상체의 적외선을 적외선 카메라(122)를 통해 인식하여 상기 사용자의 시선 방향을 추적하도록 구성될 수 있다. 적외선은 사용자의 눈에 자극을 주지 않고 시야를 방해하지 않으므로 유용하다.
다음으로, 통합 제어기(130)는 상기 헬멧 위치 정보, 헬멧 방향 정보 및 시선 방향 정보를 수신하고, 수신된 헬멧 위치 정보, 헬멧 방향 정보 및 시선 방향 정보를 이용하여 상기 사용자의 응시 방향을 상기 제1 삼차원 좌표계 및 상기 제2 삼차원 좌표계가 통합된 제3 삼차원 좌표계 상에서 산출하고 표시하도록 구성될 수 있다. 즉, 통합 제어기(130)는 기존과 달리 헤드 트랙커(110)에 의한 출력치와 아이 트랙커(120)에 의한 출력치를 모두 반영하여 사용자의 응시 방향을 산출 내지는 추정함으로써, 보다 정확하게 표적을 조준할 수 있도록 한다. 좀 더 구체적으로 설명한다.
통합 제어기(130)의 동기 신호 발생부(131)는 동기 신호를 발생시켜 헤드 트랙커(110)와 아이 트랙커(120)에 주기적으로 송신한다. 동기 신호 발생부(131)는 실시간 운영 체제의 경우에는 기본적으로 동기 신호 생성이 지원되지만, 비실시간 운영 체제의 경우에는 통신 담당 스레드(thread), 정보 취합 스레드, 동기화 신호 전송 스레드 등의 스레드 별로 정해진 순서에 따라 구동되도록 구성될 수 있다.
헤드 트랙커(110)와 아이 트랙커(120)가 동기 신호에 따라 동기화하여 출력 신호를 송신하면, 통합 제어기(130)의 신호 검출부(132)가 출력 신호를 수신한다. 그리고 수신된 출력 신호가 제대로 수신되었는지 확인한다. 체크섬(checksum)을 이용하여 전송 오류를 체크하도록 구성될 수 있다.
한편, 통합 제어기(130)의 정보 취합부(133)는 헤드 트랙커(110)의 헬멧 위치 정보 및 헬멧 방향 정보 그리고 아이 트랙커(120)의 시선 방향 정보를 하나의 동일한 삼차원 공간 좌표계에서 통합한다. 이에, 사용자의 응시 방향이 정확하게 추정된다.
그리고 통합 제어기(130)의 정보 출력부(134)는 사용자의 응시 방향을 출력하여 사용자가 표적을 조준할 수 있도록 한다.
도 4는 본 발명의 일 실시예에 따른 시선 추적 시스템의 실물도이다.
도 4의 (a)는 헬멧과 헬멧의 외부에 부착된 다수의 적외선 LED(111), 헬멧 앞쪽에 장착된 다이크로익 필터(121)와 적외선 카메라(122)를 나타낸다. 도 4의 (b)는 조종석의 전방에 조종석을 향해 설치된 제1 적외선 카메라(113)와 제2 적외선 카메라(114)를 나타낸다. 그리고 도 4의 (c)는 조종석을 나타낸다.
도 5는 본 발명의 일 실시예에 따른 헬멧의 전방 이동 시 헬멧 위치 정보 및 헬멧 방향 정보의 추정도이고, 도 6은 본 발명의 일 실시예에 따른 헬멧의 요(yaw) 45° 회전 시 헬멧 위치 정보 및 헬멧 방향 정보의 추정도이다.
도 5를 참조하면, 헬멧이 병진 운동하는 경우 시선 추적의 결과 그래프가 도시되어 있음을 알 수 있다. 여기에서, 녹색 점선은 산출되어야 할 사용자의 응시 방향에 대한 정보를 나타낸다. 그리고 붉은색 점섬은 광학 방식에 의해 산출된 사용자의 응시 방향에 대한 정보를 나타내고, 파란색 실선은 광학 방식 및 관성 센서에 의한 방식이 모두 적용되었을 때 산출되는 사용자의 응시 방향에 대한 정보를 나타낸다. 도 5를 통해서 알 수 있듯이, 기존의 광학 방식에만 의존할 때보다 관성 센서에 의한 방식이 가미되었을 때 더 빠르고 정확하게 사용자의 응시 방향을 산출해 낼 수 있음을 알 수 있다.
도 6을 참조하면, 헬멧이 회전 운동하는 경우 시선 추적의 결과 그래프가 도시되어 있음을 알 수 있다. 도 5와 마찬가지로 녹색 점선은 산출되어야 할 사용자의 응시 방향에 대한 정보를 나타낸다. 그리고 붉은색 점섬은 광학 방식에 의해 산출된 사용자의 응시 방향에 대한 정보를 나타내고, 파란색 실선은 광학 방식 및 관성 센서에 의한 방식이 모두 적용되었을 때 산출되는 사용자의 응시 방향에 대한 정보를 나타낸다. 도 6에서도 광학 방식과 관성 센서에 의한 방식이 통합되었을 때 더 정확하고 빠르게 사용자의 응시 방향을 산출할 수 있음을 알 수 있다. 롤(Roll) 그래프에서, 파란 실선의 진동은 관성 보정 동작을 나타낸다.
도 7은 본 발명의 일 실시예에 따른 아이 트랙커의 동작 개념도이다.
도 7을 참조하면, 다이크로익 필터는 사용자의 전방 가시성을 확보하며, 적외선만을 반사하여 적외선 카메라에서 사용자의 시선 방향을 추적할 수 있도록 한다.
도 8은 본 발명의 일 실시예에 따른 아이 트랙커의 실물도이다.
도 8의 (a) 및 (b)는 사용자의 아이 트랙커(120) 착용 모습을 나타낸다. 그리고 도 8의 (c)는 사용자가 아이 트랙커(120)의 착용 후 각 응시점을 응시하여 응시점 보정 실험을 하는 모습을 나타낸다.
도 9는 본 발명의 일 실시예에 따른 아이 트랙커의 동공 인식과 시선 방향 추정 결과도이다.
도 9에는 도 8의 (c)에서 한 실허메서 아이 트랙커(120)가 사용자의 동공의 방향을 인식하여 시선 방향을 추적한 결과가 도시되어 있다.
도 10은 본 발명의 일 실시예에 따른 헤드 트랙커 및 아이 트랙커를 통합하여 이용하는 시선 추적 방법의 흐름도이다. 상기 시선 추적 방법은 도 1의 시선 추적 시스템을 이용하여 구현될 수 있다. 이하, 세부적인 구성에 대하여 설명한다.
먼저, 통합 제어기(130)가 소정의 동기 신호를 생성하고, 생성된 동기 신호를 헤드 트랙커(110) 및 아이 트랙커(120)로 각각 송신하도록 구성될 수 있다(S110).
다음으로, 상기 헤드 트랙커(110)가 제1 삼차원 좌표계 상에서 사용자의 헬멧의 헬멧 위치 정보 및 헬멧 방향 정보를 산출하고, 상기 아이 트랙커(120)가 제2 삼차원 좌표계 상에서 상기 사용자의 시선 방향 정보를 산출하도록 구성될 수 있다(S120). 여기에서, 상기 헤드 트랙커(110)가 상기 헬멧에 장착된 관성 센서를 이용하여 상기 헬멧의 동작을 추정하고, 추정된 헬멧의 동작에 대한 정보를 상기 헬멧 위치 정보 및 헬멧 방향 정보를 산출하는 데 이용하도록 구성될 수 있다. 그리고 상기 헤드 트랙커(110)가 상기 헬멧에 부착된 복수의 적외선 LED(111)로 구성되는 특징점들을 제1 적외선 카메라(113) 및 제2 적외선 카메라(114)를 통해 인식하여 상기 헬멧 위치 정보 및 헬멧 방향 정보를 산출하도록 구성될 수 있다. 이때, 상기 특징점들은 다수의 삼각형 패턴을 형성하도록 구성될 수 있다. 그리고 상기 헤드 트랙커(110)는 상기 삼각형 패턴을 형성하는 특징점들 간의 거리를 인식하여 헬멧 위치 정보 및 헬멧 방향 정보를 산출하도록 구성될 수 있다. 한편, 아이 트랙커(120)는 적외선 동공 영상 획득 방법, 다중 동공 인식 기법 및 응시점 추정 방법을 이용하여 상기 시선 방향 정보를 산출하되, 상기 적외선 동공 영상 획득 방법, 다중 동공 인식 기법 및 응시점 추정 방법에 의한 각 측정치의 양의 비율에 따라 비례 합산하여 상기 시선 방향 정보를 산출하도록 구성될 수 있다. 그리고 상기 아이 트랙커(120)가 상기 다이크로익 필터(121)로부터 반사된 대상체의 적외선을 적외선 카메라(122)를 통해 인식하여 상기 사용자의 시선 방향을 추적하도록 구성될 수 있다.
다음으로, 상기 헤드 트랙커(110)가 상기 동기 신호를 수신하여 수신된 동기 신호에 따라 상기 헬멧 위치 정보 및 헬멧 방향 정보를 상기 통합 제어기(130)로 송신하고, 상기 아이 트랙커(120)가 상기 동기 신호를 수신하여 수신된 동기 신호에 따라 상기 시선 방향 정보를 상기 통합 제어기(130)로 송신하도록 구성될 수 있다(S130).
다음으로, 상기 통합 제어기(130)가 상기 헬멧 위치 정보, 헬멧 방향 정보 및 시선 방향 정보를 수신하고, 수신된 헬멧 위치 정보, 헬멧 방향 정보 및 시선 방향 정보를 이용하여 상기 사용자의 응시 방향을 상기 제1 삼차원 좌표계 및 상기 제2 삼차원 좌표계가 통합된 제3 삼차원 좌표계 상에서 산출하고 표시하도록 구성될 수 있다(S140).
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 시선 추적 시스템 110: 헤드 트랙커
111: 적외선 LED 112: 관성 센서
113: 제1 적외선 카메라 114: 제2 적외선 카메라
115: 헬멧 위치 및 방향 산출부 120: 아이 트랙커
121: 다이크로익 필터 122: 적외선 카메라
123: 시선 방향 산출부 130: 통합 제어기
131: 동기 신호 발생부 132: 신호 검출부
133: 정보 취합부 134: 정보 출력부

Claims (14)

  1. 사용자의 헬멧에 부착된 복수의 적외선 LED로 구성되는 특징점들을 적외선 카메라를 통해 인식하여 산출된 상기 헬멧의 위치 정보 및 자세 정보와, 상기 헬멧에 장착된 관성 센서를 이용하여 감지된 상기 헬멧의 동작을 이용하여 제1 삼차원 좌표계 상에서 헬멧 위치 정보 및 헬멧 방향 정보를 산출하고, 산출된 헬멧 위치 정보 및 헬멧 방향 정보를 수신된 동기 신호에 따라 동기화하여 송신하는 헤드 트랙커와,
    상기 사용자의 시선 방향을 추적하여 제2 삼차원 좌표계 상에서 시선 방향 정보를 산출하고, 산출된 시선 방향 정보를 수신된 동기 신호에 따라 동기화하여 송신하는 아이 트랙커와,
    상기 헬멧 위치 정보, 헬멧 방향 정보 및 시선 방향 정보를 수신하고, 수신된 헬멧 위치 정보, 헬멧 방향 정보 및 시선 방향 정보를 이용하여 상기 사용자의 응시 방향을 상기 제1 삼차원 좌표계 및 상기 제2 삼차원 좌표계가 통합된 제3 삼차원 좌표계 상에서 산출하고 표시하는 통합 제어기를 포함하는 헤드 트랙커 및 아이 트랙커가 통합된 시선 추적 시스템.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 특징점들은 다수의 삼각형 패턴을 형성하는 것을 특징으로 하는 헤드 트랙커 및 아이 트랙커가 통합된 시선 추적 시스템.
  5. 제4항에 있어서,
    상기 헤드 트랙커는,
    상기 삼각형 패턴을 형성하는 특징점들 간의 거리를 인식하여 헬멧 위치 정보 및 헬멧 방향 정보를 산출하는 것을 특징으로 하는 헤드 트랙커 및 아이 트랙커가 통합된 시선 추적 시스템.
  6. 제5항에 있어서,
    상기 아이 트랙커는,
    적외선 동공 영상 획득 방법, 다중 동공 인식 기법 및 응시점 추정 방법을 이용하여 상기 시선 방향 정보를 산출하되, 상기 적외선 동공 영상 획득 방법, 다중 동공 인식 기법 및 응시점 추정 방법에 의한 각 측정치의 양의 비율에 따라 비례 합산하여 상기 시선 방향 정보를 산출하는 것을 특징으로 하는 헤드 트랙커 및 아이 트랙커가 통합된 시선 추적 시스템.
  7. 제6항에 있어서,
    상기 아이 트랙커는,
    다이크로익 필터로부터 반사된 대상체의 적외선을 적외선 카메라를 통해 인식하여 상기 사용자의 시선 방향을 추적하는 것을 특징으로 하는 헤드 트랙커 및 아이 트랙커가 통합된 시선 추적 시스템.
  8. 통합 제어기가 소정의 동기 신호를 생성하고, 생성된 동기 신호를 헤드 트랙커 및 아이 트랙커로 각각 송신하는 단계와,
    상기 헤드 트랙커가 사용자의 헬멧에 부착된 복수의 적외선 LED로 구성되는 특징점들을 적외선 카메라를 통해 인식하여 산출된 상기 헬멧의 위치 정보 및 자세 정보와, 상기 헬멧에 장착된 관성 센서를 이용하여 추정된 상기 헬멧의 동작을 이용하여 제1 삼차원 좌표계 상에서 사용자의 헬멧의 헬멧 위치 정보 및 헬멧 방향 정보를 산출하고, 상기 아이 트랙커가 제2 삼차원 좌표계 상에서 상기 사용자의 시선 방향 정보를 산출하는 단계와,
    상기 헤드 트랙커가 상기 동기 신호를 수신하여 수신된 동기 신호에 따라 상기 헬멧 위치 정보 및 헬멧 방향 정보를 상기 통합 제어기로 송신하고, 상기 아이 트랙커가 상기 동기 신호를 수신하여 수신된 동기 신호에 따라 상기 시선 방향 정보를 상기 통합 제어기로 송신하는 단계와,
    상기 통합 제어기가 상기 헬멧 위치 정보, 헬멧 방향 정보 및 시선 방향 정보를 수신하고, 수신된 헬멧 위치 정보, 헬멧 방향 정보 및 시선 방향 정보를 이용하여 상기 사용자의 응시 방향을 상기 제1 삼차원 좌표계 및 상기 제2 삼차원 좌표계가 통합된 제3 삼차원 좌표계 상에서 산출하고 표시하는 단계를 포함하는 헤드 트랙커 및 아이 트랙커를 통합하여 이용하는 시선 추적 방법.
  9. 삭제
  10. 삭제
  11. 제8항에 있어서,
    상기 특징점들은 다수의 삼각형 패턴을 형성하는 것을 특징으로 하는 헤드 트랙커 및 아이 트랙커를 통합하여 이용하는 시선 추적 방법.
  12. 제11항에 있어서,
    상기 헤드 트랙커가 제1 삼차원 좌표계 상에서 사용자의 헬멧의 헬멧 위치 정보 및 헬멧 방향 정보를 산출하고, 상기 아이 트랙커가 제2 삼차원 좌표계 상에서 상기 사용자의 시선 방향 정보를 산출하는 단계는,
    상기 헤드 트랙커가 상기 삼각형 패턴을 형성하는 특징점들 간의 거리를 인식하여 헬멧 위치 정보 및 헬멧 방향 정보를 산출하는 것을 특징으로 하는 헤드 트랙커 및 아이 트랙커를 통합하여 이용하는 시선 추적 방법.
  13. 제12항에 있어서,
    상기 헤드 트랙커가 제1 삼차원 좌표계 상에서 사용자의 헬멧의 헬멧 위치 정보 및 헬멧 방향 정보를 산출하고, 상기 아이 트랙커가 제2 삼차원 좌표계 상에서 상기 사용자의 시선 방향 정보를 산출하는 단계는,
    적외선 동공 영상 획득 방법, 다중 동공 인식 기법 및 응시점 추정 방법을 이용하여 상기 시선 방향 정보를 산출하되, 상기 적외선 동공 영상 획득 방법, 다중 동공 인식 기법 및 응시점 추정 방법에 의한 각 측정치의 양의 비율에 따라 비례 합산하여 상기 시선 방향 정보를 산출하는 것을 특징으로 하는 헤드 트랙커 및 아이 트랙커를 통합하여 이용하는 시선 추적 방법.
  14. 제13항에 있어서,
    상기 헤드 트랙커가 제1 삼차원 좌표계 상에서 사용자의 헬멧의 헬멧 위치 정보 및 헬멧 방향 정보를 산출하고, 상기 아이 트랙커가 제2 삼차원 좌표계 상에서 상기 사용자의 시선 방향 정보를 산출하는 단계는,
    상기 아이 트랙커가 다이크로익 필터로부터 반사된 대상체의 적외선을 적외선 카메라를 통해 인식하여 상기 사용자의 시선 방향을 추적하는 것을 특징으로 하는 헤드 트랙커 및 아이 트랙커를 통합하여 이용하는 시선 추적 방법.
KR1020100036073A 2010-04-19 2010-04-19 헤드 트랙커 및 아이 트랙커가 통합된 시선 추적 시스템 및 그 방법 KR101213596B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100036073A KR101213596B1 (ko) 2010-04-19 2010-04-19 헤드 트랙커 및 아이 트랙커가 통합된 시선 추적 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100036073A KR101213596B1 (ko) 2010-04-19 2010-04-19 헤드 트랙커 및 아이 트랙커가 통합된 시선 추적 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20110116580A KR20110116580A (ko) 2011-10-26
KR101213596B1 true KR101213596B1 (ko) 2012-12-24

Family

ID=45030830

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100036073A KR101213596B1 (ko) 2010-04-19 2010-04-19 헤드 트랙커 및 아이 트랙커가 통합된 시선 추적 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101213596B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102019217B1 (ko) 2019-05-08 2019-09-06 노순석 안구 이미지 정보에 기초한 시야 교란 시스템
RU2730727C1 (ru) * 2019-12-03 2020-08-25 Акционерное общество "Научно-производственное объединение Русские базовые информационные технологии" Общевойсковая нашлемная система отображения информации, управления и целеуказания

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8929589B2 (en) * 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
CN103336580B (zh) * 2013-07-16 2016-08-24 卫荣杰 一种头戴装置的光标控制方法
CN106132284B (zh) 2013-11-09 2019-03-22 深圳市汇顶科技股份有限公司 光学眼动追踪
KR101855196B1 (ko) * 2013-11-27 2018-06-08 선전 구딕스 테크놀로지 컴퍼니, 리미티드 아이 트래킹 및 사용자 반응 검출
EP3371973B1 (en) * 2015-11-06 2023-08-09 Facebook Technologies, LLC Eye tracking using a diffraction pattern of coherent light on the surface of the eye
KR20190109720A (ko) 2019-09-06 2019-09-26 엘지전자 주식회사 차량의 주행 안내 방법 및 장치
KR102331256B1 (ko) * 2020-01-29 2021-11-24 금오공과대학교 산학협력단 헬멧 방위각 추적 장치 및 이를 이용한 헬멧 방위각 추적 방법
CN112633128A (zh) * 2020-12-18 2021-04-09 上海影创信息科技有限公司 余光区域中感兴趣对象信息的推送方法和***
CN115111964A (zh) * 2022-06-02 2022-09-27 中国人民解放军东部战区总医院 一种用于单兵训练的mr全息智能头盔

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
헤드/아이 통합 트랙커 개발 및 통합성능 검증 (제어？로봇？시스템학회 논문지 제16권, 제1호 2010.1)
헤드/아이 트랙커를 위한 항공기와 목표물과의 관계해석(한국군사과학기술학회지 2007)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102019217B1 (ko) 2019-05-08 2019-09-06 노순석 안구 이미지 정보에 기초한 시야 교란 시스템
RU2730727C1 (ru) * 2019-12-03 2020-08-25 Акционерное общество "Научно-производственное объединение Русские базовые информационные технологии" Общевойсковая нашлемная система отображения информации, управления и целеуказания

Also Published As

Publication number Publication date
KR20110116580A (ko) 2011-10-26

Similar Documents

Publication Publication Date Title
KR101213596B1 (ko) 헤드 트랙커 및 아이 트랙커가 통합된 시선 추적 시스템 및 그 방법
US10679360B2 (en) Mixed motion capture system and method
US10094910B2 (en) Location estimation system
CN105850113B (zh) 虚拟现实***的校准
US9747697B2 (en) System and method for tracking
Foxlin et al. Flighttracker: A novel optical/inertial tracker for cockpit enhanced vision
JP2020034919A (ja) 構造化光を用いた視線追跡
CN110023884B (zh) 可穿戴运动跟踪***
US20080048931A1 (en) Helmet System for Information or Weapon Systems
US9489045B2 (en) Methods and apparatus for providing a snapshot truthing system for a tracker
US10802606B2 (en) Method and device for aligning coordinate of controller or headset with coordinate of binocular system
US11567528B2 (en) LED synchronization for virtual and augmented reality devices
JP7319303B2 (ja) レーダ頭部姿勢位置特定
CN107014378A (zh) 一种视线跟踪瞄准操控***及方法
CN104685541A (zh) 用于确定三维对象上注视点的方法和装置
EP3631600B1 (en) Dynamic control of performance parameters in a six degrees-of-freedom sensor calibration subsystem
JP6555279B2 (ja) ヘッドマウントディスプレイ用の動画像処理装置、ヘッドマウントディスプレイ用の動画像処理方法およびヘッドマウントディスプレイシステム
WO2007140155A2 (en) Beacon-augmented pose estimation
US11712619B2 (en) Handle controller
KR101438948B1 (ko) 시선 추적 제어 장치 및 방법
US20220107415A1 (en) Light direction detector systems and methods
TWI697811B (zh) 追蹤定位系統及其掃描裝置、頭戴式顯示器、運算裝置的定位與校正方法
EP2544039A1 (en) Display system
CN107344019B (zh) 一种虚拟现实***
JP5292725B2 (ja) モーショントラッカ装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160519

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161202

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171204

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181204

Year of fee payment: 7