KR20020044750A - 영상을 이용한 머리의 위치 및 방향을 추적하는 방법 - Google Patents

영상을 이용한 머리의 위치 및 방향을 추적하는 방법 Download PDF

Info

Publication number
KR20020044750A
KR20020044750A KR1020000073914A KR20000073914A KR20020044750A KR 20020044750 A KR20020044750 A KR 20020044750A KR 1020000073914 A KR1020000073914 A KR 1020000073914A KR 20000073914 A KR20000073914 A KR 20000073914A KR 20020044750 A KR20020044750 A KR 20020044750A
Authority
KR
South Korea
Prior art keywords
head
image
tracking
computer
user
Prior art date
Application number
KR1020000073914A
Other languages
English (en)
Other versions
KR100374346B1 (ko
Inventor
박경수
임창주
Original Assignee
윤덕용
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤덕용, 한국과학기술원 filed Critical 윤덕용
Priority to KR10-2000-0073914A priority Critical patent/KR100374346B1/ko
Publication of KR20020044750A publication Critical patent/KR20020044750A/ko
Application granted granted Critical
Publication of KR100374346B1 publication Critical patent/KR100374346B1/ko

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Position Input By Displaying (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상을 이용한 머리의 위치 및 방향을 추적하는 방법에 관한 것이다. 보다 상세하게는 주시선과 의도적인 눈깜박임을 이용하여 인간과 컴퓨터간의 상호 인터페이스를 눈으로 조종할 수 있는 시스템을 보다 실용적으로 적용할 수 있도록 하는 머리의 움직임 추적방법에 관한 것이다.
본 발명에 따르면, CCD 카메라를 머리에 부착시키고 마커를 컴퓨터장치의 모니터에 부착시켜서 모니터 화면에 대한 머리의 상대적인 3차원 위치와 방향을 추적하는 방법에 있어서, 영상의 중심을 독립적으로 보정하는 단계와; 카메라를 고정시키는 단계와; 마커가 실세계 좌표로부터 컴퓨터 영상의 좌표로 변환되는 관계를 나타내는 변환행렬을 구하는 단계와; 상기 변환행렬로부터 카메라의 내부 파라메타를 구하는 단계와; 상기 변환행렬로부터 외부 파라메타를 구하는 단계를 포함하여 이루어진 것을 특징으로 하는 영상을 이용한 머리의 위치 및 방향을 추적하는 방법이 제시된다.
따라서, 본 발명은 컴퓨터 사용자의 머리의 3차원 위치와 방향을 각각 영상을 이용하여 실시간으로 추적할 수 있도록 하고 마커들을 기준점으로 인식하여 머리의 위치와 방향을 계산하는 알고리즘이 제공됨으로서 눈으로 조정하는 인간/컴퓨터 인터페이스 뿐만 아니라 가상현실 기술에서도 다양하게 적용될 수 있다.

Description

영상을 이용한 머리의 위치 및 방향을 추적하는 방법{HEAD POSE TRACKING METHOD USING IMAGE PROCESSING}
본 발명은 영상을 이용한 머리의 위치 및 방향을 추적하는 방법에 관한 것이다. 보다 상세하게는 주시선과 의도적인 눈깜박임을 이용하여 인간과 컴퓨터간의 상호 인터페이스를 눈으로 조종할 수 있는 시스템을 보다 실용적으로 적용할 수 있도록 하는 머리의 움직임 추적방법에 관한 것이다.
최근 컴퓨터의 성능이 향상됨에 따라 컴퓨터 관련 연구자들의 관심은 인간과 컴퓨터와의 인터페이스에 집중되고 있다. 인간/컴퓨터 인터페이스는 사용자와 컴퓨터와의 대화방법으로 이에 대한 연구가 전 세계적으로 활발히 진행되고 있다. 특히, 인간/컴퓨터 인터페이스 연구의 목적 중의 하나는 사용자와 컴퓨터 사이의 의사전달경로(communication bandwidth)를 증가시키는 것이다.
이러한 추세를 반영하여 근래에는 손이나 머리의 움직임, 음성 또는 눈동자의 움직임을 이용한 인간/컴퓨터 인터페이스가 제안되고 있다. 이러한 연구들은 머리의 움직임을 전혀 또는 충분히 고려해 주지 못하였기 때문에 사용자가 머리를 고정시킨 상태에서만 컴퓨터를 조종할 수 있었다.
현재에는 사용자의 머리를 자유스럽게 움직이는 것을 보장하기 위해 전자기적 방법으로 머리의 위치와 방향을 추적하는 시스템이 제안되고 있는 실정이다. 즉, 움직이는 물체의 위치와 방향을 추적하는 방법은 기계적인 방법과, 전자기적인 방법과, 광학적인 방법들이 있다. 그 중에서 전자기적 방법과 광학적 방법이 가장 일반적이다.
전자기적 추척방법은 정확도가 높은 반면 주위의 자기장으로부터 간섭을 받아 왜곡된 정보가 얻어질 수 있고 시스템이 복잡하고 고가이다. 반면에 광학적 추척방법은 제한된 영역(카메라의 시각역)에서만 정보를 얻을 수 있다는 단점이 있지만 자기장의 영향이 없고 시스템이 간단하고 저가이므로 실용화가 가능하다.
최근에는 해상도가 높고 크기가 작은 CCD(Charge Coupled Device) 카메라의 개발로 인해 머리밴드에 카메라를 부착하는 것이 용이해 졌고, 컴퓨터 비젼 기술의 발달로 실시간 영상처리가 가능해졌다.
이러한 컴퓨터의 비젼 기술을 이용하여 양 손을 못쓰는 장애인 또는 양 손을 쓸 수 없을 정도로 바쁜 작업을 수행하는 작업자를 위해 머리의 움직임으로 컴퓨터를 조종할 수 있도록 함으로서 작업자의 작업 능률 및 편리함을 제공할 수 있다.
그러나, 종래 머리의 움직임을 추적하는 시스템에 있어서 추적시스템의 구현 수단으로 자기장을 이용 하였으나, 이는 주위의 자기장, 철금속 등의 영향으로 왜곡된 데이터가 검출되었다. 따라서, 시스템의 신뢰성을 저하시켰다.
본 발명은 상기한 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 1) 컴퓨터 사용자의 머리의 3차원 위치와 방향을 각각 영상을 이용하여 실시간으로 추적할 수 있도록 하며; 2) 마커들을 기준점으로 인식하여 머리의 위치와 방향을 계산하는 알고리즘을 제공하는데 그 목적이 있다.
상기한 본 발명의 목적을 달성하기 위한 기술적 사상으로써 본 발명은
영상의 중심을 독립적으로 보정하는 제 1단계와;
카메라를 고정시키는 제 2단계와;
마커가 실세계 좌표로부터 컴퓨터 영상의 좌표로 변환되는 관계를 나타내는 변환행렬을 구하는 제 3단계와;
상기 변환행렬로부터 카메라의 내부 파라메타를 구하는 제 4단계와;
상기 변환행렬로부터 외부 파라메타를 구하는 제 5단계를 포함하여 이루어진 것을 특징으로 하는 영상을 이용한 머리의 위치 및 방향을 추적하는 방법이 제시된다.
도 1은 본 발명의 실시예에 따라 CCD카메라를 사용자의 머리에 부착시켜 머리의 위치와 방향을 추척하는 시스템을 개략적으로 나타낸 도면
도 2는 본 발명에 따른 추적 시스템에서 CCD 카메라의 위치 및 방향을 추적과정을 나타낸 플로우차트
도 3은 본 발명의 다른 실시예에 따라 마커를 사용자의 머리에 부착시켜 머리의 위치와 방향을 추척하는 시스템을 개략적으로 나타낸 도면
<도면의 주요부분에 대한 부호의 설명>
10 : 적외선 발생기 20 : CCD 카메라
30 : 이미지프로세싱 모듈 40 : 컴퓨터장치
40a∼40h : 마커 50 : 안경
50a∼40c : 마커
이하, 본 발명의 실시예에 대한 구성 및 그 작용을 첨부한 도면을 참조하면서 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따라 CCD카메라를 사용자의 머리에 부착시켜 머리의 위치와 방향을 추척하는 시스템을 개략적으로 나타낸 것이다.
도 1를 살펴보면, 소정의 각도를 포함하는 범위내에서 전방을 향해 적외선을 발생시키는 적외선발생기(10)와, 사용자의 머리에 부착되어 모니터에 장착된 마커의 이미지를 촬상하는 CCD카메라(20)와, 컴퓨터장치에 내장되어 상기 촬상된 마커의 이미지를 신호처리하는 이미지프로세싱 모듈(30)과, 사용자의 주시선 움직임 즉, 머리의 3차원 위치와 방향을 추적하여 계산하는 컴퓨터장치(40)로 이루어져 있다.
상기 시스템의 작용을 살펴보면, CCD카메라(20)를 사용자의 머리에 헤드밴드에 달고 컴퓨터장치(40)의 모니터에 부착시킨 8개의 마커(40a ∼ 40h)의 영상을 얻어 CCD카메라(20)의 3차원 위치와 좌표, 즉 머리의 3차원 위치와 좌표를 구하게 된다.
즉, 사용자의 주시선의 움직임을 추적하여 컴퓨터장치(40)의 모니터 화면상의 특정 메뉴를 응시하면 마치 커서가 그 메뉴에 놓여 있는 상태가 되고, 그 상태에서 눈을 깜박거리면 그 메뉴를 선택하는 눈으로 조종하는 인간/컴퓨터 인터페이스가 보다 실용적이 될 수 있도록 머리의 움직임으로 영상처리 기법을 이용하였다.
여기서, 주시선의 움직임은 머리의 움직임과 눈동자의 움직임의 조합으로 계산되며, 머리의 움직임을 실시간으로 추적할 수 있다. 즉, 사용자 머리의 3차원 위치와 방향을 각각 영상을 이용하여 실시간으로 추적할 수 있다.
실시간으로 영상을 이용해서 머리의 3차원 위치와 방향을 알아내기 위해서는 마커를 이용해서 영상처리를 간단히 처리해야 한다. 마커들을 기준점으로 인식하여 머리의 위치와 방향을 계산하는 알고리즘이 필요하다.
도 2는 본 발명에 따른 추적 시스템에서 CCD 카메라의 위치 및 방향을 추적과정을 나타낸 알고리즘이다.
영상의 중심을 독립적으로 보정하는 단계(S100)와;
카메라를 고정시키는 단계(S110)와;
마커가 실세계 좌표로부터 컴퓨터 영상의 좌표로 변환되는 관계를 나타내는 변환행렬을 구하는 단계(S120)와;
상기 변환행렬로부터 카메라의 내부 파라메타를 구하는 단계(S130)와;
상기 변환행렬로부터 외부 파라메타를 구하는 단계(S140)로 이루어져 있다.
도 3은 본 발명의 다른 실시예에 따라 마커를 사용자의 안경에 부착시켜 머리의 위치와 방향을 추척하는 시스템을 개략적으로 나타낸 도면이다.
도 3를 살펴보면, 소정의 각도를 포함하는 범위내에서 전방을 향해 적외선을발생시키는 적외선발생기(10)와, 컴퓨터장치의 모니터 상단에 부착되어 사용자 마커의 이미지를 촬상하는 CCD카메라(20)와, 컴퓨터장치에 내장되어 상기 촬상된 마커의 이미지를 신호처리하는 이미지프로세싱 모듈(30)과, 사용자의 주시선 움직임을 추적하여 계산하는 컴퓨터장치(40)와, 보정점으로 3개의 마커(50a,50b,50c)가 부착되는 사용자의 안경(50)으로 이루어져 있다.
여기서, 도 3을 도 1과 비교하여 살펴보면 도 1에서는 사용자의 머리에 CCD 카메라(20)가 부착되었으나, 도 3은 컴퓨터장치(40)의 모니터 상단에 부착되어 있다. 또한, 도 1에서는 컴퓨터장치(40)의 모니터에 8개의 마커가 부착되었으나 도 3은 보정점으로 3개의 마커를 사용자의 안경(50)에 부착시켰다.
상기 시스템의 작용을 살펴보면, 도 1에서와 같이 CCD카메라(20)를 머리에 부착시키는 방법보다 간단하고 편리하여 실용적 가치가 더 높다. 모니터 상단에 부착된 CCD카메라(20)는 안경에 부착되어 있는 3개의 마커의 영상을 찍는다.
즉, 컴퓨터장치(40)에 내장된 이미지 프로세싱 모듈(30)은 영상을 이산화시키고 마커의 무게 중심점의 영상좌표를 얻게 되며, 컴퓨터장치(40)는 머리의 3차원 위치와 방향(6 degree of freedom)을 계산하게 된다.
상기에서와 같이, 본 발명에서 주시선의 절대좌표는 눈동자의 움직임과 머리 및 몸의 움직임이 결합되어 결정되므로 머리의 움직임을 실시간으로 추적하는 것은 주시선의 이동을 파악하기 위해 중요하다. 따라서, 사용자의 자유로운 머리의 움직임 보장은 보다 자연스럽고 유연한 사용환경을 위해 매우 중요하다.
이상에서와 같이 본 발명에 의한 영상을 이용한 머리의 위치 및 방향을 추적하는 방법에 따르면, 컴퓨터 사용자의 머리의 3차원 위치와 방향을 각각 영상을 이용하여 실시간으로 추적할 수 있도록 하고 마커들을 기준점으로 인식하여 머리의 위치와 방향을 계산하는 알고리즘이 제공됨으로서 눈으로 조정하는 인간/컴퓨터 인터페이스 뿐만 아니라 가상현실 기술에서도 다양하게 적용될 수 있다.

Claims (2)

  1. CCD 카메라를 머리에 부착시키고 마커를 컴퓨터장치의 모니터에 부착시켜서 모니터 화면에 대한 머리의 상대적인 3차원 위치와 방향을 추적하는 방법에 있어서,
    영상의 중심을 독립적으로 보정하는 단계와;
    CCD 카메라를 고정시키는 단계와;
    마커가 실세계 좌표로부터 컴퓨터 영상의 좌표로 변환되는 관계를 나타내는 변환행렬을 구하는 단계와;
    상기 변환행렬로부터 CCD 카메라의 내부 파라메타를 구하는 단계와;
    상기 변환행렬로부터 외부 파라메타를 구하는 단계를 포함하여 이루어진 것을 특징으로 하는 영상을 이용한 머리의 위치 및 방향을 추적하는 방법.
  2. 청구항 1에 있어서, 상기 머리의 상대적인 3차원의 위치 및 방향을 추적하는 방법은 마커를 사용자의 안경에 부착시키고 CCD 카메라를 모니터의 상단에 부착시킨 상태에서 머리의 위치와 방향을 추적하는 것을 특징으로 하는 영상을 이용한 머리의 위치 및 방향을 추적하는 방법.
KR10-2000-0073914A 2000-12-06 2000-12-06 영상을 이용한 머리의 위치 및 방향을 추적하는 방법 KR100374346B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2000-0073914A KR100374346B1 (ko) 2000-12-06 2000-12-06 영상을 이용한 머리의 위치 및 방향을 추적하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2000-0073914A KR100374346B1 (ko) 2000-12-06 2000-12-06 영상을 이용한 머리의 위치 및 방향을 추적하는 방법

Publications (2)

Publication Number Publication Date
KR20020044750A true KR20020044750A (ko) 2002-06-19
KR100374346B1 KR100374346B1 (ko) 2003-03-04

Family

ID=27680042

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2000-0073914A KR100374346B1 (ko) 2000-12-06 2000-12-06 영상을 이용한 머리의 위치 및 방향을 추적하는 방법

Country Status (1)

Country Link
KR (1) KR100374346B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100480780B1 (ko) * 2002-03-07 2005-04-06 삼성전자주식회사 영상신호로부터 대상물체를 추적하는 방법 및 그 장치
KR100677294B1 (ko) * 2001-04-23 2007-02-05 엘지전자 주식회사 이동통신 단말기의 메뉴 선택 인터페이스 장치
KR102251544B1 (ko) * 2019-11-13 2021-05-13 한국과학기술연구원 사용자의 동작에 따른 3d 오브젝트 제어 장치 및 방법
CN113240732A (zh) * 2014-05-29 2021-08-10 株式会社高迎科技 光学跟踪***及光学跟踪***的标记部姿势及位置算出方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101145454B1 (ko) * 2010-11-26 2012-05-15 한국산업기술대학교산학협력단 적외선 마커를 이용한 컨텐츠 제어 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0468340A3 (en) * 1990-07-24 1992-12-16 Biocontrol Systems, Inc. Eye directed controller
JPH05108252A (ja) * 1991-10-11 1993-04-30 Nec Corp カーソル位置制御方式
JPH06242883A (ja) * 1993-02-19 1994-09-02 Fujitsu General Ltd 入力装置
JPH0884280A (ja) * 1994-09-12 1996-03-26 Sanyo Electric Co Ltd 頭部固定型ビデオカメラ

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100677294B1 (ko) * 2001-04-23 2007-02-05 엘지전자 주식회사 이동통신 단말기의 메뉴 선택 인터페이스 장치
KR100480780B1 (ko) * 2002-03-07 2005-04-06 삼성전자주식회사 영상신호로부터 대상물체를 추적하는 방법 및 그 장치
CN113240732A (zh) * 2014-05-29 2021-08-10 株式会社高迎科技 光学跟踪***及光学跟踪***的标记部姿势及位置算出方法
CN113240732B (zh) * 2014-05-29 2024-04-19 株式会社高迎科技 光学跟踪***及光学跟踪***的标记部姿势及位置算出方法
KR102251544B1 (ko) * 2019-11-13 2021-05-13 한국과학기술연구원 사용자의 동작에 따른 3d 오브젝트 제어 장치 및 방법

Also Published As

Publication number Publication date
KR100374346B1 (ko) 2003-03-04

Similar Documents

Publication Publication Date Title
CN110794958B (zh) 在增强/虚拟现实环境中使用的输入设备
CN108153424B (zh) 头显设备的眼动和头动交互方法
JP5016175B2 (ja) 顔画像処理システム
CN116324680A (zh) 用于操纵环境中的对象的方法
JP2019523663A (ja) ロボット外科手術装置および視聴者適合型の立体視ディスプレイの態様を制御するためのシステム、方法、およびコンピュータ可読記憶媒体
WO2022005860A1 (en) Integration of artificial reality interaction modes
WO2015180497A1 (zh) 一种基于立体视觉的动作采集和反馈方法及***
WO2014071254A4 (en) Wireless wrist computing and control device and method for 3d imaging, mapping, networking and interfacing
JP2016507805A (ja) 複合現実環境のための直接インタラクション・システム
Leibe et al. Toward spontaneous interaction with the perceptive workbench
Maimon-Mor et al. Towards free 3D end-point control for robotic-assisted human reaching using binocular eye tracking
Hennessey et al. Fixation precision in high-speed noncontact eye-gaze tracking
CN206650796U (zh) 虚拟现实装置
US20210278671A1 (en) Head wearable device with adjustable image sensing modules and its system
WO2021246134A1 (ja) デバイス、制御方法及びプログラム
WO2018146922A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN111947650A (zh) 基于光学追踪与惯性追踪的融合定位***及方法
EP3399738B1 (en) Omnidirectional image capturing method and device for performing method
KR100374346B1 (ko) 영상을 이용한 머리의 위치 및 방향을 추적하는 방법
US11743447B2 (en) Gaze tracking apparatus and systems
CN110895433A (zh) 用于增强现实中用户交互的方法和装置
WO2003003185A1 (en) System for establishing a user interface
CN105828021A (zh) 基于增强现实技术的特种机器人图像采集控制方法及***
Yang et al. Head-free, human gaze-driven assistive robotic system for reaching and grasping
GB2345538A (en) Optical tracker

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20090130

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee