KR101956073B1 - 시각적 인디케이터를 이용하여 사용자 인터페이스를 제공하는 3차원 입체 영상 표시 장치 및 그 장치를 이용한 방법 - Google Patents

시각적 인디케이터를 이용하여 사용자 인터페이스를 제공하는 3차원 입체 영상 표시 장치 및 그 장치를 이용한 방법 Download PDF

Info

Publication number
KR101956073B1
KR101956073B1 KR1020120149788A KR20120149788A KR101956073B1 KR 101956073 B1 KR101956073 B1 KR 101956073B1 KR 1020120149788 A KR1020120149788 A KR 1020120149788A KR 20120149788 A KR20120149788 A KR 20120149788A KR 101956073 B1 KR101956073 B1 KR 101956073B1
Authority
KR
South Korea
Prior art keywords
visual indicator
stereoscopic image
dimensional
image display
input
Prior art date
Application number
KR1020120149788A
Other languages
English (en)
Other versions
KR20140080221A (ko
Inventor
한재준
이현정
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120149788A priority Critical patent/KR101956073B1/ko
Priority to US13/937,911 priority patent/US10120526B2/en
Priority to EP13196905.7A priority patent/EP2746897B1/en
Publication of KR20140080221A publication Critical patent/KR20140080221A/ko
Application granted granted Critical
Publication of KR101956073B1 publication Critical patent/KR101956073B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

시각적 인디케이터를 이용하여 사용자 인터페이스를 제공하는 3차원 입체 영상 표시 장치가 개시된다. 일 실시예는 미리 정해진 3차원 인식 공간 내에서 입력 객체를 인식하는 인식부, 인식된 입력 객체에 기초하여 시각적 인디케이터의 위치를 결정하는 결정부; 및 결정된 시각적 인디케이터의 위치에 기초하여 미리 정해진 3차원 입체 영상 표시 공간에 해당 시각적 인디케이터를 표시하는 표시부를 포함한다.

Description

시각적 인디케이터를 이용하여 사용자 인터페이스를 제공하는 3차원 입체 영상 표시 장치 및 그 장치를 이용한 방법{3D VOLUMETRIC DISPLAY DEVICE FOR PROVIDING USER INTERFACE USING VISUAL INDICATOR AND METHOD THEREOF}
아래 실시예들은 시각적 인디케이터를 이용하여 사용자 인터페이스를 제공하는 3차원 입체 영상 표시 장치 및 그 장치를 이용한 방법에 관한 것이다.
3차원 입체 영상 표시 장치는 3차원으로 렌더링 된 입체 영상 객체를 3차원 입체 영상 표시 공간 상에 표시할 수 있다.
이 경우, 이용자가 실제 물건을 만지듯이 3차원 입체 영상 표시 공간 상에 표시된 입체 영상 객체를 자연스럽게 조작할 수 있는 인터페이스가 필요하다.
일 측에 따른 시각적 인디케이터를 이용하여 사용자 인터페이스를 제공하는 3차원 입체 영상 표시 장치는 미리 정해진 3차원 인식 공간 내에서 입력 객체를 인식하는 인식부; 상기 입력 객체에 기초하여 미리 정해진 3차원 입체 영상 표시 공간 내 상기 시각적 인디케이터의 위치를 결정하는 결정부; 및 상기 시각적 인디케이터의 위치에 기초하여 상기 미리 정해진 3차원 입체 영상 표시 공간에 상기 시각적 인디케이터를 표시하는 표시부를 포함한다.
이 때, 상기 결정부는 상기 입력 객체에 포함된 유효 입력 포인트를 추출하는 추출부; 상기 유효 입력 포인트의 위치를 추정하는 추정부; 및 상기 유효 입력 포인트의 위치 및 상기 시각적 인디케이터를 위한 보정 값에 기초하여 상기 시각적 인디케이터의 위치를 계산하는 시각적 인디케이터 위치 계산부를 포함할 수 있다.
또한, 상기 추출부는 상기 입력 객체에 포함된 유효 관절 포인트를 더 추출하고, 상기 추정부는 상기 유효 관절 포인트의 위치를 더 추정하며, 상기 시각적 인디케이터 위치 계산부는 상기 유효 관절 포인트의 위치로부터 상기 유효 입력 포인트의 위치로 향하는 벡터의 방향에 더 기초하여 상기 시각적 인디케이터의 위치를 계산할 수 있다.
또한, 상기 결정부는 상기 입력 객체에 포함된 유효 입력 곡면을 추출하는 추출부; 상기 유효 입력 곡면을 복수의 평면들로 분할하는 분할부; 상기 복수의 평면들의 노멀 벡터들을 추정하는 추정부; 및 상기 복수의 평면들의 중심점들, 상기 노멀 벡터들의 방향들 및 상기 시각적 인디케이터를 위한 보정 값에 기초하여 상기 시각적 인디케이터의 위치를 계산하는 시각적 인디케이터 위치 계산부를 포함할 수 있다.
또한, 상기 3차원 입체 영상 표시 장치는 상기 입력 객체가 상기 미리 정해진 3차원 입체 영상 표시 공간으로 진입하는 것을 감지하는 감지부; 및 상기 감지 결과에 따라 상기 시각적 인디케이터를 표시할지 여부를 판단하는 판단부를 더 포함하고, 상기 미리 정해진 3차원 인식 공간은 상기 미리 정해진 3차원 입체 영상 표시 공간보다 클 수 있다.
또한, 상기 3차원 입체 영상 표시 장치는 상기 시각적 인디케이터의 위치에 기초하여 상기 시각적 인디케이터가 입체 영상 객체와 접촉되는지 여부를 판단하는 판단부; 및 상기 판단 결과에 따라 상기 입체 영상 객체를 제어하는 제어부를 더 포함하고, 상기 표시부는 상기 제어 결과에 기초하여 상기 입체 영상 객체와 상기 시각적 인디케이터를 포함하는 3차원 입체 영상을 생성할 수 있다.
다른 일 측에 따른 시각적 인디케이터를 이용하여 사용자 인터페이스를 제공하는 3차원 입체 영상 표시 방법은 미리 정해진 3차원 인식 공간 내에서 입력 객체를 인식하는 단계; 상기 입력 객체에 기초하여 미리 정해진 3차원 입체 영상 표시 공간 내 상기 시각적 인디케이터의 위치를 결정하는 단계; 및 상기 시각적 인디케이터의 위치에 기초하여 상기 미리 정해진 3차원 입체 영상 표시 공간에 상기 시각적 인디케이터를 표시하는 단계를 포함한다.
도 1은 일 실시예에 따른 시각적 인디케이터를 이용하여 사용자 인터페이스를 제공하는 3차원 입체 영상 표시 장치를 나타낸 블록도.
도 2는 일 실시예에 따른 시각적 인디케이터를 이용하여 사용자 인터페이스를 제공하는 3차원 입체 영상 표시 장치의 동작을 설명하기 위한 도면.
도 3 내지 도 5는 일 실시예에 따른 시각적 인디케이터의 위치를 계산하는 방법을 설명하기 위한 도면.
도 6은 일 실시예에 따른 입력 객체를 감지하는 경우 시각적 인디케이터를 표시하는 방법을 설명하기 위한 도면.
도 7은 일 실시예에 따른 시각적 인디케이터를 이용하여 입체 영상 객체를 선택하는 방법을 설명하기 위한 도면.
도 8은 일 실시예에 따른 시각적 인디케이터를 이용하여 입체 영상 객체를 이동시키는 방법을 설명하기 위한 도면.
도 9는 일 실시예에 따른 시각적 인디케이터를 이용하여 입체 영상 객체와의 근접 여부를 표시하는 방법을 설명하기 위한 도면.
도 10은 일 실시예에 따른 입력 객체의 자세에 따라 시각적 인디케이터의 유형을 변경하는 3차원 입체 영상 표시 방법을 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 시각적 인디케이터를 이용하여 사용자 인터페이스를 제공하는 3차원 입체 영상 표시 방법을 나타낸 동작 흐름도.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일 실시예에 따른 시각적 인디케이터를 이용하여 사용자 인터페이스를 제공하는 3차원 입체 영상 표시 장치를 나타낸 블록도이다.
도 1을 참조하면, 일 실시예에 따른 3차원 입체 영상 표시 장치(100)는 인식부(110), 결정부(120) 및 표시부(130)를 포함한다. 여기서, 3차원 입체 영상 표시 장치(100)는 이용자에게 3차원 입체 영상을 표시하는 장치로, 고정형 디바이스 또는 휴대형 디바이스 등 다양한 형태로 구현될 수 있다.
인식부(110)는 미리 정해진 3차원 인식 공간 내에서 입력 객체를 인식할 수 있다. 여기서, 입력 객체는 3차원 입체 영상과 관련된 입력을 수행하는 객체로, 예를 들어 사람의 손, 볼펜, 다양한 형태의 도구 등을 포함할 수 있다. 또한, 3차원 인식 공간은 인식부(110)가 입력 객체를 인식할 수 있는 3차원 공간으로, 인식부(110)가 이용하는 센서에 따라 다양한 형태로 변경될 수 있다.
예를 들어, 인식부(110)는 이미지 센서를 이용하여 입력 객체를 인식할 수 있다. 또는, 인식부(110)는 깊이 센서를 이용하여 입력 객체를 인식할 수 있다. 이 경우, 3차원 인식 공간은 이미지 센서 또는 깊이 센서에 의하여 센싱 가능한 공간으로 정해질 수 있다.
결정부(120)는 인식부(110)에 의해 인식된 입력 객체에 기초하여 미리 정해진 3차원 입체 영상 표시 공간 내 표시될 시각적 인디케이터의 위치를 결정할 수 있다.
여기서, 3차원 입체 영상 표시 공간은 3차원 입체 영상 표시 장치(100)에 의하여 3차원 입체 영상이 표시될 수 있는 공간이다. 시각적 인디케이터는 입력 객체의 이용자에게 입력 동작과 관련된 시각적 피드백을 주기 위하여 3차원 입체 영상 표시 공간 상에 표시되는 인디케이터를 포함한다.
이 때, 결정부(120)는 시각적 인디케이터가 입력 객체의 끝부분에 위치되도록 시각적 인디케이터의 위치를 결정할 수 있다. 또는, 결정부(120)는 시각적 인디케이터가 입력 객체의 끝부분으로부터 일정 거리가 떨어져서 표시되도록 시각적 인디케이터의 위치를 결정할 수 있다.
표시부(130)는 결정부(120)에 의해 결정된 시각적 인디케이터의 위치에 기초하여 미리 정해진 3차원 입체 영상 표시 공간 내 시각적 인디케이터를 표시할 수 있다.
이로 인하여, 일 실시예에 따른 3차원 입체 영상 표시 장치(100)는 3차원 입체 영상을 대상으로 실제 물건을 만지듯이 조작하는 기술을 제공할 수 있다. 특히, 일 실시예에 따른 3차원 입체 영상 표시 장치(100)는 입력 객체에 의하여 특정 조작이 입력되는 지점 또는 영역을 시각적 인디케이터를 이용하여 이용자에게 피드백을 줌으로써, 이용자가 보다 자연스럽게 3차원 입체 영상을 조작할 수 있도록 하는 인터페이스를 제공한다.
이 때, 표시부(130)는 시각적 인디케이터를 다양한 형태로 표시할 수 있다. 예를 들어, 시각적 인디케이터는 점의 형태, 특정 모양의 2차원 평면의 형태, 특정 모양의 3차원 곡면의 형태, 또는 특정 모양의 3차원 볼륨(Volume)의 형태 등으로 표시될 수 있다. 뿐만 아니라, 표시부(130)는 시각적 인디케이터를 다양한 색상으로 표시할 수 있다.
도 2는 일 실시예에 따른 시각적 인디케이터를 이용하여 사용자 인터페이스를 제공하는 3차원 입체 영상 표시 장치의 동작을 설명하기 위한 도면이다.
도 2를 참조하면, 일 실시예에 따른 3차원 입체 영상 표시 장치(210)는 입력 객체(220)를 인식한다. 이하, 입력 객체(220)가 이용자의 손인 경우를 가정한다.
3차원 입체 영상 표시 장치(210)는 입력 객체(220)에 포함된 복수의 손가락들을 인식할 수 있다. 3차원 입체 영상 표시 장치(210)는 복수의 손가락들에 대응되는 복수의 시각적 인디케이터들을 표시할 수 있다. 뿐만 아니라, 3차원 입체 영상 표시 장치(210)는 입체 영상 객체(240)을 복수의 시각적 인디케이터들과 함께 표시할 수 있다.
이용자가 입력 객체(220)를 움직이는 경우, 3차원 입체 영상 표시 장치(210)는 입력 객체(220)의 움직임을 추적함으로써 복수의 시각적 인디케이터들의 위치들을 갱신할 수 있다.
또한, 3차원 입체 영상 표시 장치(210)는 복수의 시각적 인디케이터들의 위치들에 기초하여 입체 영상 객체(240)가 특정 시각적 인디케이터(230)에 의해 선택되는지 여부를 감지할 수 있다.
이 경우, 3차원 입체 영상 표시 장치(210)는 특정 시각적 인디케이터(230)에 의해 선택된 입체 영상 객체(250)의 외관을 변경시킬 수 있다. 예를 들어, 3차원 입체 영상 표시 장치(210)는 선택된 입체 영상 객체(250)의 색상을 하이라이트 하거나, 선택된 입체 영상 객체(250)를 특정 주기로 깜박거리게 만들 수 있다.
이하, 도 3 내지 도 5를 참조하여 시각적 인디케이터의 위치를 결정하는 다양한 실시예들을 상세하게 설명한다.
도 3 내지 도 5는 일 실시예에 따른 시각적 인디케이터의 위치를 계산하는 방법을 설명하기 위한 도면이다.
도 3을 참조하면, 일 실시예에 따른 3차원 입체 영상 표시 장치(310)는 입력 객체(320)에 기초하여 3차원 입체 영상 표시 공간 내 시각적 인디케이터의 위치를 결정한다.
보다 구체적으로, 3차원 입체 영상 표시 장치(310)는 입력 객체(320)를 인식하고, 인식된 입력 객체(320)에 포함된 유효 입력 포인트(325)를 추출할 수 있다. 여기서, 유효 입력 포인트(325)는 입력 객체에 포함되는 복수의 포인트들 중 유효한 입력으로 인식될 수 있는 포인트로, 예를 들어 입력 객체의 끝에 해당하는 포인트를 포함할 수 있다. 입력 객체가 사람의 손가락인 경우 유효 입력 포인트는 손가락 끝에 해당하는 포인트일 수 있고, 입력 객체가 볼펜인 경우 유효 입력 포인트는 볼펜의 끝에 해당하는 포인트일 수 있다.
3차원 입체 영상 표시 장치(310)는 추출된 유효 입력 포인트(325)의 위치를 추정할 수 있다. 이 때, 유효 입력 포인트(325)의 위치는 3차원 입체 영상 표시 공간 내 3차원 좌표로 표현될 수 있다.
3차원 입체 영상 표시 장치(310)는 추정된 유효 입력 포인트(325)의 위치로부터 시각적 인디케이터를 위한 보정 값(335)만큼 떨어진 위치를 시각적 인디케이터(330)의 위치로 결정할 수 있다.
여기서, 보정 값(335)은 3차원 입체 영상 표시 장치(310)가 유효 입력 포인트(325)의 위치를 추정할 때 발생된 추정 오차에 기초하여 결정될 수 있다.
예를 들어, 유효 입력 포인트(325)의 실제 위치가 3차원 입체 표시 공간 내 (x, y, z)일 때, 3차원 입체 영상 표시 장치(310)가 추정한 유효 입력 포인트(325)의 위치가 (x', y', z')인 경우를 가정하자. 이 경우, 하기 수학식 1이 성립될 수 있다.
Figure 112012106068389-pat00001
여기서, (nx, ny, nz)는 3차원 입체 영상 표시 장치(310)가 유효 입력 포인트(325)의 위치를 추정할 때 발생된 추정 오차이다.
3차원 입체 영상 표시 장치(310)는 보정 값(335)을 하기 수학식 2를 이용하여 선택할 수 있다.
Figure 112012106068389-pat00002
여기서, Delta는 보정 값(335)이다.
이로 인하여, 일 실시예에 따른 3차원 입체 영상 표시 장치(310)는 추정 오차가 존재하는 경우에도 시각적 인디케이터(330)가 입력 객체(320)의 바깥에 표시되는 것을 보장하는 기술을 제공할 수 있다.
다른 실시예에 따르면 3차원 입체 영상 표시 장치(310)는 복수의 유효 입력 포인트들의 위치들을 추정할 수 있고, 이 경우 3차원 입체 영상 표시 장치(310)는 하기 수학식 3을 이용하여 보정 값(335)을 선택할 수 있다.
Figure 112012106068389-pat00003
나아가, 3차원 입체 영상 표시 장치(310)는 3차원 입체 표시 공간의 x축, y축, z축을 기준으로 보정 값(335)을 이용함으로써 시각적 인디케이터(330)의 위치를 결정할 수 있다.
예를 들어, 3차원 입체 영상 표시 장치(310)는 하기 수학식 4를 이용하여 시각적 인디케이터(330)의 위치를 계산할 수 있다.
Figure 112012106068389-pat00004
여기서, (x_hat, y_hat, z_hat)은 시각적 인디케이터(330)의 위치이다.
다른 실시예에 따른 3차원 입체 영상 표시 장치(310)는 복수의 시각적 인디케이터들 각각의 위치를 계산할 수 있고, 이 경우 3차원 입체 영상 표시 장치(310)는 각각의 시각적 인디케이터를 서로 구분되도록 표시할 수 있다. 예를 들어, 3차원 입체 영상 표시 장치(310)는 각각의 시각적 인디케이터를 서로 다른 색상 또는 서로 다른 모양으로 표시할 수 있다.
도 4를 참조하면, 일 실시예에 따른 3차원 입체 영상 표시 장치(410)는 입력 객체(420)에 포함된 유효 입력 포인트(421) 및 유효 관절 포인트(422)를 추출할 수 있다. 여기서, 입력 객체(420)는 적어도 하나의 관절을 포함하고, 유효 관절 포인트(422)는 유효 입력 포인트(421)와 가장 인접한 관절에 해당하는 포인트를 포함할 수 있다.
또한, 3차원 입체 영상 표시 장치(410)는 유효 입력 포인트(421)의 위치와 유효 관절 포인트(422)의 위치를 추정할 수 있다. 3차원 입체 영상 표시 장치(410)는 유효 입력 포인트(421)의 위치와 유효 관절 포인트(422)의 위치를 이용하여 입력 객체(420)의 마지막 마디의 오리엔테이션을 추정할 수 있다.
예를 들어, 입력 객체(420)가 사람의 손가락인 경우 3차원 입체 영상 표시 장치(410)는 유효 입력 포인트(421)의 위치로부터 유효 관절 포인트(422)의 위치로 향하는 벡터를 생성함으로써 손가락의 마지막 마디의 오리엔테이션을 모델링 할 수 있다.
나아가, 3차원 입체 영상 표시 장치(410)는 추정된 유효 입력 포인트(421)의 위치로부터 벡터의 방향(423)으로 보정 값(435)만큼 떨어진 위치를 시각적 인디케이터(430)의 위치로 결정할 수 있다.
예를 들어, 3차원 입체 영상 표시 장치(410)는 하기 수학식 5를 이용하여 시각적 인디케이터(430)의 위치를 계산할 수 있다.
Figure 112012106068389-pat00005
여기서, (x'', y'', z'')는 입력 객체(420)의 마지막 마디의 모델링 결과 생성된 벡터의 방향(423)을 가지는 단위 벡터이다.
다른 실시예에 따른 3차원 입체 영상 표시 장치(410)는 복수의 시각적 인디케이터들 각각의 위치를 계산할 수 있고, 이 경우 3차원 입체 영상 표시 장치(410)는 각각의 시각적 인디케이터를 서로 구분되도록 표시할 수 있다. 예를 들어, 3차원 입체 영상 표시 장치(410)는 각각의 시각적 인디케이터를 서로 다른 색상 또는 서로 다른 모양으로 표시할 수 있다.
도 5를 참조하면, 일 실시예에 따른 3차원 입체 영상 표시 장치(510)는 입력 객체(520)에 포함된 유효 입력 곡면(525)를 추출할 수 있다. 여기서, 유효 입력 곡면(525)은 입력 객체(520)의 끝부분에 해당하는 표면으로, 예를 들어 입력 객체(520)가 사람의 손가락인 경우 해당 손가락의 끝부분에 해당하는 곡면을 포함할 수 있다.
3차원 입체 영상 표시 장치(510)는 추출된 유효 입력 곡면(525)을 복수의 평면들로 분할할 수 있다. 예를 들어, 3차원 입체 영상 표시 장치(510)는 삼각측량법을 통해 유효 입력 곡면(525)을 위한 복수의 메쉬(mesh)들을 생성할 수 있다.
또한, 3차원 입체 영상 표시 장치(510)는 분할된 복수의 평면들의 노멀 벡터들을 추정할 수 있다. 예를 들어, 3차원 입체 영상 표시 장치(510)는 삼각측량법을 통해 생성된 복수의 메쉬들 각각의 노멀 벡터를 계산할 수 있다.
나아가, 3차원 입체 영상 표시 장치(510)는 복수의 평면들 각각의 중심점으로부터 해당 노멀 벡터의 방향으로 보정 값만큼 떨어진 위치를 시각적 인디케이터 (530)의 위치로 결정할 수 있다.
이 경우, 3차원 입체 영상 표시 장치(510)는 유효 입력 곡면(525)과 평행하고 유효 입력 곡면(525)의 면적보다 더 큰 면적을 가지는 시각적 인디케이터(530)를 표시할 수 있다.
다른 실시예에 따른 3차원 입체 영상 표시 장치(510)는 복수의 입력 객체들에 대응되는 복수의 유효 입력 곡면들을 추출할 수 있다. 3차원 입체 영상 표시 장치(510)는 각각의 유효 입력 곡면들에 대응되는 시각적 인디케이터를 서로 구분되도록 표시할 수 있다. 예를 들어, 3차원 입체 영상 표시 장치(510)는 각각의 시각적 인디케이터를 서로 다른 색상으로 표시할 수 있다.
도 6은 일 실시예에 따른 입력 객체를 감지하는 경우 시각적 인디케이터를 표시하는 방법을 설명하기 위한 도면이다.
도 6을 참조하면, 일 실시예에 따른 3차원 입체 영상 표시 장치(610)는 입력 객체(620)가 미리 정해진 3차원 입체 영상 표시 공간(615)으로 진입하는 것을 감지할 수 있다.
이 때, 3차원 입체 영상 표시 장치(610)는 입력 객체(620)가 미리 정해진 3차원 입체 영상 표시 공간(615)으로 진입하는 것을 감지함에 따라 시각적 인디케이터(630)를 표시할지 여부를 판단할 수 있다.
이로 인해서, 3차원 입체 영상 표시 장치(610)는 3차원 인식 공간이 아닌 3차원 입체 영상 표시 공간(615)을 인터액션 영역(interaction region)으로 설정할 수 있다. 인터액션 영역은 입력 객체를 이용하여 입체 영상 객체를 조작할 수 있는 인터페이스가 제공되는 영역이다.
일 실시예에 따르면, 3차원 인식 공간은 3차원 입체 영상 표시 공간(615)보다 더 클 수 있다. 이 경우, 3차원 입체 영상 표시 장치(610)는 입력 객체(620)가 인터액션 영역인 3차원 입체 영상 표시 공간(615)으로 진입하기 이전부터 3차원 인식 공간 내에 진입한 입력 객체(620)를 인식할 수 있다.
도 7은 일 실시예에 따른 시각적 인디케이터를 이용하여 입체 영상 객체를 선택하는 방법을 설명하기 위한 도면이다.
도 7을 참조하면, 일 실시예에 따른 3차원 입체 영상 표시 장치(710)는 시각적 인디케이터(730)의 위치에 기초하여 시각적 인디케이터(730)가 입체 영상 객체(740)와 접촉되는지 여부를 판단할 수 있다.
이로 인하여, 일 실시예에 따른 3차원 입체 영상 표시 장치(710)는 입력 객체(720)가 아닌 시각적 인디케이터(730)를 이용하여 입체 영상 객체(740)를 제어하는 기술을 제공할 수 있다.
보다 구체적으로, 일 실시예에 따른 3차원 입체 영상 표시 장치(710)는 이용자에게 시각적 인디케이터(730)를 피드백 함으로써, 입력 객체(720)의 위치 추정 오차가 존재하는 상황에서 이용자가 입체 영상 객체(740)를 조작할 때 느낄 수 있는 접촉 괴리감을 감소시키는 기술을 제공할 수 있다.
이 때, 3차원 입체 영상 표시 장치(710)는 시각적 인디케이터(730)와 입체 영상 객체 사이의 거리를 계산하고, 계산된 거리가 미리 정해진 문턱 값 이하인 경우 시각적 인디케이터(730)와 입체 영상 객체(740)가 접촉되었다고 판단할 수 있다.
3차원 입체 영상 표시 장치(710)는 시각적 인디케이터(730)와 입체 영상 객체(740)가 접촉되었다는 판단에 따라 입체 영상 객체(740)를 제어할 수 있다.
보다 구체적으로, 3차원 입체 영상 표시 장치(710)는 시각적 인디케이터(730)와 입체 영상 객체(740)가 접촉되었다는 판단에 따라 입체 영상 객체(740)가 선택되도록 제어할 수 있다.
이 경우, 3차원 입체 영상 표시 장치(710)는 시각적 인디케이터(730) 또는 선택된 입체 영상 객체(750) 중 적어도 하나에 시각적 효과를 부가할 수 있다. 예를 들어, 3차원 입체 영상 표시 장치(710)는 선택된 입체 영상 객체(750)의 표면의 색상을 시각적 인디케이터(730)에 대응되는 색상이 강조되도록 변경시킬 수 있다. 또는, 3차원 입체 영상 표시 장치(710)는 시각적 인디케이터(730)의 크기, 모양, 색상 등을 변경시킬 수 있다. 또는, 3차원 입체 영상 표시 장치(710)는 이용자의 시선 방향을 추정하고, 추정된 시선 방향을 기준으로 가시적인 영역에 해당하는 표면에만 시각적 효과를 부가할 수 있다.
3차원 입체 영상 표시 장치(710)는 제어된 입체 영상 객체(750)와 시각적 인디케이터(730)를 포함하는 3차원 입체 영상을 생성할 수 있고, 생성된 3차원 입체 영상을 3차원 입체 영상 표시 공간에 표시할 수 있다.
도면에 표시하지 않았으나, 다른 실시예에 따른 3차원 입체 영상 표시 장치는 복수의 입력 객체들을 인식할 수 있다. 3차원 입체 영상 표시 장치는 복수의 입력 객체들에 대응되는 복수의 시각적 인디케이터들의 위치를 결정할 수 있다.
이 경우, 3차원 입체 영상 표시 장치는 복수의 시각적 인디케이터들을 서로 구별되도록 표시할 수 있다. 예를 들어, 3차원 입체 영상 표시 장치는 복수의 시각적 인디케이터들 각각의 색상, 모양, 크기 등을 다르게 표시할 수 있다.
나아가, 3차원 입체 영상 표시 장치는 복수의 시각적 인디케이터들과 복수의 입체 영상 객체들이 접촉되는지 여부를 판단할 수 있고, 상이한 시각적 인디케이터에 의해 접촉된 입체 영상 객체들 각각에 서로 다른 시각적 효과를 부가할 수 있다.
예를 들어, 3차원 입체 영상 표시 장치는 제1 시각적 인디케이터와 접촉된 입체 영상 객체에 제1 시각적 인디케이터에 대응되는 시각적 효과를 부가하고, 제2 시각적 인디케이터와 접촉된 입체 영상 객체에는 제2 시각적 인디케이터에 대응되는 시각적 효과를 부가할 수 있다. 간단하게는, 3차원 입체 영상 표시 장치는 제1 시각적 인디케이터에 대응되는 시각적 효과로 빨간색을 강조하는 효과를 이용할 수 있고, 제2 시각적 인디케이터에 대응되는 시각적 효과로 파란색을 강조하는 효과를 이용할 수 있다.
나아가, 3차원 입체 영상 표시 장치는 상이한 시각적 인디케이터에 의해 접촉된 입체 영상 객체들 각각을 해당 시각적 인디케이터에 종속시킴으로써, 다양한 유저 인터페이스를 제공할 수 있다.
또 다른 실시예에 따른 3차원 입체 영상 표시 장치는 시각적 인터페이스가 입체 영상 객체와 접촉되었다는 판단에 따라 입력 객체로 햅틱(haptic) 피드백을 제공할 수 있다. 예를 들어, 3차원 입체 영상 표시 장치는 공기 팬(air fan)이나 초음파 어레이(array)를 이용하여 해당 입력 객체로 햅틱 피드백을 제공할 수 있다.
또 다른 실시예에 따른 3차원 입체 영상 표시 장치는 시각적 인터페이스가 입체 영상 객체와 접촉되었다는 판단에 따라 오디오 피드백을 제공할 수 있다. 예를 들어, 3차원 입체 영상 표시 장치는 미리 정해진 효과음을 재생할 수 있다.
도 8은 일 실시예에 따른 시각적 인디케이터를 이용하여 입체 영상 객체를 이동시키는 방법을 설명하기 위한 도면이다.
도 8을 참조하면, 일 실시예에 따른 3차원 입체 영상 표시 장치는 복수의 시각적 인디케이터들(831, 832, 833) 각각과 입체 영상 객체(810)가 접촉되는지 여부를 판단할 수 있다.
3차원 입체 영상 표시 장치는 입체 영상 객체(810)와 접촉된 시각적 인디케이터(832, 833)와 접촉되지 않은 시각적 인디케이터(831)에 상이한 시각적 효과를 부가할 수 있다. 예를 들어, 3차원 입체 영상 표시 장치는 입체 영상 객체(810)와 접촉된 시각적 인디케이터(832, 833)를 하이라이트 함으로써, 이용자에게 해당 시각적 인디케이터가 특정 입체 영상 객체에 접촉되었음을 알릴 수 있다.
도 7을 통하여 전술한 바와 같이, 3차원 입체 영상 표시 장치는 입력 객체(820)와 입체 영상 객체(810) 사이의 접촉을 판단하는 대신 시각적 인디케이터들(831, 832, 833)과 입체 영상 객체(810) 사이의 접촉을 판단할 수 있다.
뿐만 아니라, 3차원 입체 영상 표시 장치는 적어도 두 개의 시각적 인디케이터들이 입체 영상 객체와 접촉되는 경우 해당 입체 영상 객체가 이동되도록 제어할 수 있다.
이 경우, 3차원 입체 영상 표시 장치는 해당 입체 영상 객체와 접촉된 적어도 두 개의 시각적 인디케이터들의 위치 변화에 따라 해당 입체 영상 객체를 이동시킬 수 있다.
예를 들어, 이용자는 중지에 대응되는 시각적 인디케이터(832)와 엄지 손가락에 대응되는 시각적 인디케이터(833)를 입체 영상 객체(810)에 접촉시킨 뒤, 접촉을 유지하면서 중지와 엄지를 움직임으로써 해당 입체 영상 객체(810)를 3차원 입체 영상 표시 공간 내에서 이동시킬 수 있다.
도면에 표시하지 않았으나, 다른 실시예에 따른 3차원 입체 영상 표시 장치는 시각적 인디케이터가 입체 영상 객체와 충돌되는지 여부를 판단할 수 있다. 3차원 입체 영상 표시 장치는 시각적 인디케이터가 입체 영상 객체와 충돌되었다는 판단에 따라 해당 입체 영상 객체가 물리 법칙에 따라 이동 또는 변형되도록 제어할 수 있다.
이 경우, 3차원 입체 영상 표시 장치는 시각적 인디케이터와 입체 영상 객체 사이의 충돌과 관련된 정보에 기초하여 해당 입체 영상 객체를 이동시키거나 변형시킬 수 있다. 예를 들어, 3차원 입체 영상 표시 장치는 물리 엔진에 시각적 인디케이터와 입체 영상 객체 사이의 충돌과 관련된 정보를 입력함으로써 해당 입체 영상 객체가 물리학적으로 어떤 영향을 받을지 여부를 시뮬레이션 할 수 있고, 그 결과를 표시할 수 있다.
도 9는 일 실시예에 따른 시각적 인디케이터를 이용하여 입체 영상 객체와의 근접 여부를 표시하는 방법을 설명하기 위한 도면이다.
도 9를 참조하면, 일 실시예에 따른 3차원 입체 영상 표시 장치는 시각적 인디케이터의 위치에 기초하여 시각적 인디케이터와 입체 영상 객체 사이의 거리를 계산할 수 있다.
나아가, 3차원 입체 영상 표시 장치는 계산된 거리에 따라 해당 시각적 인디케이터의 외관을 제어할 수 있다. 이로 인하여, 일 실시예에 따른 3차원 입체 영상 표시 장치는 시각적 인디케이터의 외관을 통해 시각적 인디케이터와 입체 영상 객체 사이의 거리를 표시할 수 있다.
예를 들어, 3차원 입체 영상 표시 장치는 시각적 인디케이터의 크기를 통해 입력 객체와 입체 영상 객체 사이의 근접 여부를 표시할 수 있다.
이용자의 왼손(920) 엄지보다 이용자의 오른손(940) 엄지가 입체 영상 객체(910)에 더 가까이 접근해 있는 경우를 가정하자. 이 경우, 이용자의 왼손(920) 엄지에 대응되는 시각적 인디케이터(930)의 크기보다 이용자의 오른손(940) 엄지에 대응되는 시각적 인디케이터(950)의 크기가 더 크게 표시될 수 있다.
도 10은 일 실시예에 따른 입력 객체의 자세에 따라 시각적 인디케이터의 유형을 변경하는 3차원 입체 영상 표시 방법을 설명하기 위한 도면이다.
도 10을 참조하면, 일 실시예에 따른 3차원 입체 영상 표시 장치는 입력 객체의 자세를 인식할 수 있다. 여기서, 3차원 입체 영상 표시 장치는 이용자의 손을 입력 객체로 인식한 이후, 미리 정해진 다양한 패턴의 손 모양을 인식할 수 있다. 예를 들어, 3차원 입체 영상 표시 장치는 주먹을 쥐고 있는 손 모양, 펜을 쥐고 있는 손 모양, 총의 형상을 묘사한 손 모양 등 다양한 패턴의 손 모양을 인식할 수 있다.
이 경우, 3차원 입체 영상 표시 장치는 인식한 입력 객체의 자세에 대응되는 시각적 인디케이터의 유형을 결정할 수 있다. 여기서, 3차원 입체 영상 표시 장치는 시각적 인디케이터의 유형에 따라 시각적 인디케이터의 형태 또는 시각적 인디케이터의 기능을 달리할 수 있다.
예를 들어, 3차원 입체 영상 표시 장치는 펜을 쥐고 있는 손 모양(1010)을 인식하는 경우, 시각적 인디케이터를 펜 모양으로 결정할 수 있다. 나아가, 3차원 입체 영상 표시 장치는 펜 모양의 시각적 인디케이터(1020)가 움직이는 궤적을 따라 선(1030)이 그려지도록 할 수 있다.
도 11은 일 실시예에 따른 시각적 인디케이터를 이용하여 사용자 인터페이스를 제공하는 3차원 입체 영상 표시 방법을 나타낸 동작 흐름도이다.
도 11을 참조하면, 일 실시예에 따른 3차원 입체 영상 표시 방법은 입력 객체를 인식하는 단계(1110), 시각적 인디케이터의 위치를 결정하는 단계(1120) 및 시각적 인디케이터를 표시하는 단계(1130)를 포함한다.
입력 객체를 인식하는 단계(1110)는 미리 정해진 3차원 인식 공간 내에서 입력 객체를 인식할 수 있다. 시각적 인디케이터의 위치를 결정하는 단계(1120)는 인식된 입력 객체에 기초하여 미리 정해진 3차원 입체 영상 표시 공간 내 시각적 인디케이터의 위치를 결정할 수 있다. 시각적 인디케이터를 표시하는 단계(1130)는 결정된 시각적 인디케이터의 위치에 기초하여 미리 정해진 3차원 입체 영상 표시 공간에 해당 시각적 인디케이터를 표시할 수 있다.
도 11에 도시된 각 단계들에는 도 1 내지 도 10을 통하여 기술된 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (28)

  1. 시각적 인디케이터를 이용하여 사용자 인터페이스를 제공하는 3차원 입체 영상 표시 장치에 있어서,
    미리 정해진 3차원 인식 공간 내에서 입력 객체를 인식하는 인식부;
    상기 입력 객체에 포함된 유효 입력 포인트의 위치를 추정하고, 상기 유효 입력 포인트의 위치 및 상기 시각적 인디케이터를 위한 보정 값에 기초하여 미리 정해진 3차원 입체 영상 표시 공간 내 상기 시각적 인디케이터의 위치를 결정하는 결정부;
    상기 시각적 인디케이터의 위치에 기초하여 상기 미리 정해진 3차원 입체 영상 표시 공간에 상기 시각적 인디케이터를 표시하는 표시부;
    상기 시각적 인디케이터와 상기 3차원 입체 영상 표시 공간 내 배치된 입체 영상 객체 사이의 제1 거리를 계산하고, 상기 제1 거리가 임계 값보다 작은지 여부를 판단함으로써, 상기 시각적 인디케이터가 상기 입체 영상 객체와 접촉하였는지 여부를 판단하는 판단부; 및
    상기 시각적 인디케이터가 상기 입체 영상 객체와 접촉함에 반응하여, 상기 입체 영상 객체를 제어하는 제어부
    를 포함하고,
    상기 시각적 인디케이터의 위치는 상기 유효 입력 포인트의 위치로부터 상기 시각적 인디케이터를 위한 보정 값에 대응하는 제2 거리만큼 이격되도록 결정되는 3차원 입체 영상 표시 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 유효 입력 포인트는 상기 입력 객체의 끝에 해당하는 포인트를 포함하는 3차원 입체 영상 표시 장치.
  4. 제1항에 있어서,
    상기 보정 값은 제1 축에 대응하는 제1 추정 오차, 제2 축에 대응하는 제2 추정 오차, 및 제3 축에 대응하는 제3 추정 오차에 기초하여 결정되는 3차원 입체 영상 표시 장치.
  5. 제1항에 있어서,
    상기 결정부에 포함된 추출부는 상기 입력 객체에 포함된 유효 관절 포인트를 더 추출하고,
    상기 결정부에 포함된 추정부는 상기 유효 관절 포인트의 위치를 더 추정하며,
    상기 시각적 인디케이터 위치 계산부는 상기 유효 관절 포인트의 위치로부터 상기 유효 입력 포인트의 위치로 향하는 벡터의 방향에 더 기초하여 상기 시각적 인디케이터의 위치를 계산하는 3차원 입체 영상 표시 장치.
  6. 제5항에 있어서,
    상기 입력 객체는 적어도 하나의 관절을 포함하고, 상기 유효 관절 포인트는 상기 유효 입력 포인트와 가장 인접한 관절에 해당하는 포인트를 포함하는 3차원 입체 영상 표시 장치.
  7. 시각적 인디케이터를 이용하여 사용자 인터페이스를 제공하는 3차원 입체 영상 표시 장치에 있어서,
    미리 정해진 3차원 인식 공간 내에서 입력 객체를 인식하는 인식부;
    상기 입력 객체에 기초하여 미리 정해진 3차원 입체 영상 표시 공간 내 상기 시각적 인디케이터의 위치를 결정하는 결정부; 및
    상기 시각적 인디케이터의 위치에 기초하여 상기 미리 정해진 3차원 입체 영상 표시 공간에 상기 시각적 인디케이터를 표시하는 표시부
    를 포함하고,
    상기 결정부는
    상기 입력 객체에 포함된 유효 입력 곡면을 추출하는 추출부;
    상기 유효 입력 곡면을 복수의 평면들로 분할하는 분할부;
    상기 복수의 평면들의 노멀 벡터들을 추정하는 추정부; 및
    상기 복수의 평면들의 중심점들, 상기 노멀 벡터들의 방향들 및 상기 시각적 인디케이터를 위한 보정 값에 기초하여 상기 시각적 인디케이터의 위치를 계산하는 시각적 인디케이터 위치 계산부
    를 포함하는 3차원 입체 영상 표시 장치.
  8. 제7항에 있어서,
    상기 유효 입력 곡면은 상기 입력 객체의 끝부분에 해당하는 표면을 포함하는 3차원 입체 영상 표시 장치.
  9. 제1항에 있어서,
    상기 입력 객체가 상기 미리 정해진 3차원 입체 영상 표시 공간으로 진입하는 것을 감지하는 감지부; 및
    상기 감지 결과에 따라 상기 시각적 인디케이터를 표시할지 여부를 판단하는 판단부
    를 더 포함하고,
    상기 미리 정해진 3차원 인식 공간은 상기 미리 정해진 3차원 입체 영상 표시 공간보다 큰 3차원 입체 영상 표시 장치.
  10. 제1항에 있어서,
    상기 표시부는 상기 제어 결과에 기초하여 상기 입체 영상 객체와 상기 시각적 인디케이터를 포함하는 3차원 입체 영상을 생성하는 3차원 입체 영상 표시 장치.
  11. 제10항에 있어서,
    상기 제어부는 상기 시각적 인디케이터가 상기 입체 영상 객체와 접촉되었다는 판단에 따라 상기 입체 영상 객체가 선택되도록 제어하고,
    상기 표시부는 상기 입체 영상 객체가 선택되도록 제어되는 경우 상기 시각적 인디케이터 또는 상기 입체 영상 객체 중 적어도 하나에 시각적 효과가 부가된 3차원 입체 영상을 생성하는 3차원 입체 영상 표시 장치.
  12. 제10항에 있어서,
    상기 인식부는 상기 입력 객체와 구별되는 제2 입력 객체를 더 인식하고,
    상기 결정부는 상기 제2 입력 객체에 대응되는 제2 시각적 인디케이터의 위치를 더 결정하며,
    상기 표시부는 상기 시각적 인디케이터와 상기 제2 시각적 인디케이터를 서로 구별되도록 표시하는 3차원 입체 영상 표시 장치.
  13. 제12항에 있어서,
    상기 판단부는 상기 제2 시각적 인디케이터의 위치에 더 기초하여 상기 제2 시각적 인디케이터가 상기 입체 영상 객체와 구별되는 제2 입체 영상 객체에 접촉되는지 여부를 더 판단하고,
    상기 제어부는 상기 제2 시각적 인디케이터가 상기 제2 입체 영상 객체와 접촉되었다는 판단에 따라 상기 제2 입체 영상 객체가 상기 제2 시각적 인디케이터에 의해 선택되도록 제어하며,
    상기 표시부는 상기 제2 입체 영상 객체가 상기 제2 시각적 인디케이터에 의해 선택되도록 제어되는 경우 상기 제2 시각적 인디케이터 또는 상기 제2 입체 영상 객체 중 적어도 하나에 상기 제2 시각적 인디케이터에 대응되는 시각적 효과가 부가된 3차원 입체 영상을 생성하는 3차원 입체 영상 표시 장치.
  14. 제12항에 있어서,
    상기 판단부는 상기 제2 시각적 인디케이터의 위치에 더 기초하여 상기 시각적 인디케이터와 상기 제2 시각적 인디케이터가 상기 입체 영상 객체와 접촉되는지 여부를 판단하고,
    상기 제어부는 상기 시각적 인디케이터와 상기 제2 시각적 인디케이터가 상기 입체 영상 객체와 접촉되었다는 판단에 따라 상기 입체 영상 객체가 이동되도록 제어하며,
    상기 표시부는 상기 입체 영상 객체가 이동되도록 제어되는 경우 상기 시각적 인디케이터의 위치 변화와 상기 제2 시각적 인디케이터의 위치 변화에 따라 이동된 입체 영상 객체를 포함하는 3차원 입체 영상을 생성하는 3차원 입체 영상 표시 장치.
  15. 제10항에 있어서,
    상기 판단부는 상기 시각적 인디케이터가 상기 입체 영상 객체와 충돌되는지 여부를 판단하고,
    상기 제어부는 상기 시각적 인디케이터가 상기 입체 영상 객체와 충돌되었다는 판단에 따라 상기 입체 영상 객체가 물리 법칙에 따라 이동 또는 변형되도록 제어하며,
    상기 표시부는 상기 입체 영상 객체가 물리 법칙에 따라 이동 또는 변형되도록 제어되는 경우 상기 충돌과 관련된 정보에 기초하여 이동 또는 변형된 입체 영상 객체를 포함하는 3차원 입체 영상을 생성하는 3차원 입체 영상 표시 장치.
  16. 제10항에 있어서,
    상기 시각적 인디케이터가 상기 입체 영상 객체와 접촉되었다는 판단에 따라 상기 입력 객체로 햅틱 피드백을 제공하는 햅틱 피드백부; 또는
    상기 시각적 인디케이터가 상기 입체 영상 객체와 접촉되었다는 판단에 따라 오디오 피드백을 제공하는 오디오 피드백부
    중 적어도 하나를 더 포함하는 3차원 입체 영상 표시 장치.
  17. 제1항에 있어서,
    상기 시각적 인디케이터의 위치에 기초하여 상기 시각적 인디케이터와 입체 영상 객체 사이의 거리를 계산하는 거리 계산부; 및
    상기 거리에 따라 상기 시각적 인디케이터의 외관을 제어하는 제어부
    를 더 포함하는 3차원 입체 영상 표시 장치.
  18. 제1항에 있어서,
    상기 인식부는
    상기 입력 객체의 자세를 인식하는 자세 인식부
    를 포함하고,
    상기 결정부는
    상기 입력 객체의 자세에 대응되는 시각적 인디케이터의 유형을 결정하는 인디케이터 유형 결정부
    를 포함하는 3차원 입체 영상 표시 장치.
  19. 시각적 인디케이터를 이용하여 사용자 인터페이스를 제공하는 3차원 입체 영상 표시 방법에 있어서,
    미리 정해진 3차원 인식 공간 내에서 입력 객체를 인식하는 단계;
    상기 입력 객체에 포함된 유효 입력 포인트의 위치를 추정하는 단계;
    상기 유효 입력 포인트의 위치 및 상기 시각적 인디케이터를 위한 보정 값에 기초하여 미리 정해진 3차원 입체 영상 표시 공간 내 상기 시각적 인디케이터의 위치를 결정하는 단계;
    상기 시각적 인디케이터의 위치에 기초하여 상기 미리 정해진 3차원 입체 영상 표시 공간에 상기 시각적 인디케이터를 표시하는 단계;
    상기 시각적 인디케이터와 상기 3차원 입체 영상 표시 공간 내 배치된 입체 영상 객체 사이의 제1 거리를 계산하는 단계;
    상기 제1 거리가 임계 값보다 작은지 여부를 판단함으로써, 상기 시각적 인디케이터가 상기 입체 영상 객체와 접촉하였는지 여부를 판단하는 단계; 및
    상기 시각적 인디케이터가 상기 입체 영상 객체와 접촉함에 반응하여, 상기 입체 영상 객체를 제어하는 단계
    를 포함하고,
    상기 시각적 인디케이터의 위치는 상기 유효 입력 포인트의 위치로부터 상기 시각적 인디케이터를 위한 보정 값에 대응하는 제2 거리만큼 이격되도록 결정되는 3차원 입체 영상 표시 방법.
  20. 삭제
  21. 제19항에 있어서,
    상기 결정하는 단계는
    상기 입력 객체로부터 유효 입력 포인트 및 유효 관절 포인트를 추출하는 단계;
    상기 유효 입력 포인트의 위치 및 상기 유효 관절 포인트의 위치를 추정하는 단계; 및
    상기 유효 관절 포인트의 위치로부터 상기 유효 입력 포인트의 위치로 향하는 벡터의 방향, 상기 유효 입력 포인트의 위치 및 상기 시각적 인디케이터를 위한 보정 값에 기초하여 상기 시각적 인디케이터의 위치를 계산하는 단계
    를 포함하는 3차원 입체 영상 표시 방법.
  22. 시각적 인디케이터를 이용하여 사용자 인터페이스를 제공하는 3차원 입체 영상 표시 방법에 있어서,
    미리 정해진 3차원 인식 공간 내에서 입력 객체를 인식하는 단계;
    상기 입력 객체에 기초하여 미리 정해진 3차원 입체 영상 표시 공간 내 상기 시각적 인디케이터의 위치를 결정하는 단계; 및
    상기 시각적 인디케이터의 위치에 기초하여 상기 미리 정해진 3차원 입체 영상 표시 공간에 상기 시각적 인디케이터를 표시하는 단계
    를 포함하고,
    상기 결정하는 단계는
    상기 입력 객체에 포함된 유효 입력 곡면을 추출하는 단계;
    상기 유효 입력 곡면을 복수의 평면들로 분할하는 단계;
    상기 복수의 평면들의 노멀 벡터들을 추정하는 단계; 및
    상기 복수의 평면들의 중심점들, 상기 노멀 벡터들의 방향들 및 상기 시각적 인디케이터를 위한 보정 값에 기초하여 상기 시각적 인디케이터의 위치를 계산하는 단계
    를 포함하는 3차원 입체 영상 표시 방법.
  23. 제19항에 있어서,
    상기 입력 객체가 상기 미리 정해진 3차원 입체 영상 표시 공간으로 진입하는 것을 감지하는 단계; 및
    상기 감지 결과에 따라 상기 시각적 인디케이터를 표시할지 여부를 판단하는 단계
    를 더 포함하고,
    상기 미리 정해진 3차원 인식 공간은 상기 미리 정해진 3차원 입체 영상 표시 공간보다 큰 3차원 입체 영상 표시 방법.
  24. 제19항에 있어서,
    상기 입체 영상 객체를 제어하는 단계는
    상기 시각적 인디케이터가 상기 입체 영상 객체와 접촉되었다는 판단에 따라 상기 입체 영상 객체가 선택되도록 제어하는 단계; 및
    상기 입체 영상 객체가 선택되도록 제어되는 경우 상기 시각적 인디케이터 또는 상기 입체 영상 객체 중 적어도 하나에 시각적 효과를 부가하는 단계
    를 포함하는 3차원 입체 영상 표시 방법.
  25. 제19항에 있어서,
    상기 입력 객체와 구별되는 제2 입력 객체를 인식하는 단계;
    상기 제2 입력 객체에 대응되는 제2 시각적 인디케이터의 위치를 결정하는 단계; 및
    상기 제2 시각적 인디케이터를 상기 시각적 인디케이터와 구별되도록 표시하는 단계
    를 더 포함하는 3차원 입체 영상 표시 방법.
  26. 제25항에 있어서,
    상기 시각적 인디케이터의 위치와 상기 제2 시각적 인디케이터의 위치에 기초하여 상기 시각적 인디케이터와 상기 제2 시각적 인디케이터가 입체 영상 객체와 접촉되는지 여부를 판단하는 단계;
    상기 시각적 인디케이터와 상기 제2 시각적 인디케이터가 상기 입체 영상 객체와 접촉되었다는 판단에 따라 상기 입체 영상 객체가 이동되도록 제어하는 단계; 및
    상기 입체 영상 객체가 이동되도록 제어되는 경우 상기 시각적 인디케이터의 위치 변화와 상기 제2 시각적 인디케이터의 위치 변화에 따라 이동된 입체 영상 객체를 포함하는 3차원 입체 영상을 생성하는 단계
    를 더 포함하는 3차원 입체 영상 표시 방법.
  27. 제19항에 있어서,
    상기 시각적 인디케이터가 상기 입체 영상 객체와 충돌되는지 여부를 판단하는 단계;
    상기 시각적 인디케이터가 상기 입체 영상 객체와 충돌되었다는 판단에 따라 상기 입체 영상 객체가 물리 법칙에 따라 이동 또는 변형되도록 제어하는 단계; 및
    상기 입체 영상 객체가 물리 법칙에 따라 이동 또는 변형되도록 제어되는 경우 상기 충돌과 관련된 정보에 기초하여 이동 또는 변형된 입체 영상 객체를 포함하는 3차원 입체 영상을 생성하는 단계
    를 더 포함하는 3차원 입체 영상 표시 방법.
  28. 제19항, 제21항 내지 제27항 중에서 어느 하나의 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
KR1020120149788A 2012-12-20 2012-12-20 시각적 인디케이터를 이용하여 사용자 인터페이스를 제공하는 3차원 입체 영상 표시 장치 및 그 장치를 이용한 방법 KR101956073B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020120149788A KR101956073B1 (ko) 2012-12-20 2012-12-20 시각적 인디케이터를 이용하여 사용자 인터페이스를 제공하는 3차원 입체 영상 표시 장치 및 그 장치를 이용한 방법
US13/937,911 US10120526B2 (en) 2012-12-20 2013-07-09 Volumetric image display device and method of providing user interface using visual indicator
EP13196905.7A EP2746897B1 (en) 2012-12-20 2013-12-12 Volumetric image display device and method of providing user interface using visual indicator

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120149788A KR101956073B1 (ko) 2012-12-20 2012-12-20 시각적 인디케이터를 이용하여 사용자 인터페이스를 제공하는 3차원 입체 영상 표시 장치 및 그 장치를 이용한 방법

Publications (2)

Publication Number Publication Date
KR20140080221A KR20140080221A (ko) 2014-06-30
KR101956073B1 true KR101956073B1 (ko) 2019-03-08

Family

ID=49911159

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120149788A KR101956073B1 (ko) 2012-12-20 2012-12-20 시각적 인디케이터를 이용하여 사용자 인터페이스를 제공하는 3차원 입체 영상 표시 장치 및 그 장치를 이용한 방법

Country Status (3)

Country Link
US (1) US10120526B2 (ko)
EP (1) EP2746897B1 (ko)
KR (1) KR101956073B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130257692A1 (en) 2012-04-02 2013-10-03 Atheer, Inc. Method and apparatus for ego-centric 3d human computer interface
US10241638B2 (en) * 2012-11-02 2019-03-26 Atheer, Inc. Method and apparatus for a three dimensional interface
DE102014009701B4 (de) * 2014-06-26 2024-05-29 Audi Ag Verfahren zum Betreiben einer Virtual-Reality-Brille und System mit einer Virtual-Reality-Brille
KR101807512B1 (ko) 2015-02-05 2018-01-18 한국전자통신연구원 맵핑형 3차원 상호작용 장치 및 방법
KR102449838B1 (ko) 2015-09-01 2022-09-30 삼성전자주식회사 사용자의 인터랙션에 기초하여 3차원 오브젝트를 처리하는 방법 및 장치
US10402043B1 (en) * 2017-08-10 2019-09-03 Gopro, Inc. Systems and methods for indicating highlights within spherical videos
US10270967B1 (en) 2017-11-30 2019-04-23 Gopro, Inc. Auto-recording of media data
KR102582863B1 (ko) * 2018-09-07 2023-09-27 삼성전자주식회사 사용자 의도 기반 제스처 인식 방법 및 장치
JP2021026260A (ja) * 2019-07-31 2021-02-22 セイコーエプソン株式会社 表示装置、表示方法、および、コンピュータープログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010522380A (ja) * 2007-03-19 2010-07-01 ゼブラ・イメージング・インコーポレイテッド ユーザ入力により動的３次元ディスプレイをアップデートするシステム及び方法
US20110267265A1 (en) * 2010-04-30 2011-11-03 Verizon Patent And Licensing, Inc. Spatial-input-based cursor projection systems and methods

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5454043A (en) * 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
EP0905644A3 (en) * 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6512838B1 (en) * 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
US20110090047A1 (en) * 2001-02-20 2011-04-21 Patel Pankaj B Biometric switch and indicating means
KR20020073890A (ko) 2001-03-16 2002-09-28 한국전자통신연구원 손의 주물거림을 이용한 3 차원 모델링 시스템 및 그 방법
JP4136859B2 (ja) * 2003-01-10 2008-08-20 キヤノン株式会社 位置姿勢計測方法
JP4048999B2 (ja) 2003-04-15 2008-02-20 セイコーエプソン株式会社 画像処理装置及び画像処理方法
KR20050047329A (ko) 2003-11-17 2005-05-20 한국전자통신연구원 손가락 움직임을 이용한 정보 입력장치 및 방법
JP2006059180A (ja) 2004-08-20 2006-03-02 Nidec Copal Corp 撮像装置
JP2006077203A (ja) 2004-09-13 2006-03-23 Toray Ind Inc フィルムの製造方法
KR100670792B1 (ko) 2004-12-07 2007-01-17 한국전자통신연구원 핸드 인터페이스를 이용한 가상 생산 시스템 및 그 방법
KR20060083187A (ko) 2006-06-28 2006-07-20 김민식 페트병 압착 및 절단기
EP2153377A4 (en) * 2007-05-04 2017-05-31 Qualcomm Incorporated Camera-based user input for compact devices
US8112722B2 (en) * 2008-02-21 2012-02-07 Honeywell International Inc. Method and system of controlling a cursor in a three-dimensional graphical environment
JP4318056B1 (ja) 2008-06-03 2009-08-19 島根県 画像認識装置および操作判定方法
CN102150072B (zh) 2008-07-10 2013-08-21 实景成像有限公司 宽视角显示和用户接口
US20100053151A1 (en) 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
US8253801B2 (en) * 2008-12-17 2012-08-28 Sony Computer Entertainment Inc. Correcting angle error in a tracking system
US9393691B2 (en) * 2009-02-12 2016-07-19 Mitsubishi Electric Corporation Industrial robot system including action planning circuitry for temporary halts
KR101545736B1 (ko) * 2009-05-04 2015-08-19 삼성전자주식회사 휴대용 단말기에서 3차원 컨텐츠를 생성하기 위한 장치 및 방법
JP5535585B2 (ja) * 2009-11-10 2014-07-02 株式会社ソニー・コンピュータエンタテインメント プログラム、情報記憶媒体、情報入力装置、及びその制御方法
KR101114750B1 (ko) 2010-01-29 2012-03-05 주식회사 팬택 다차원 영상을 이용한 사용자 인터페이스 장치
US8690887B2 (en) * 2010-02-08 2014-04-08 Jeffrey B. Kleiner Method and system for identification of a center of a vertebral disc space and corresponding central axis of a spinal column
JP5513973B2 (ja) 2010-05-11 2014-06-04 日本放送協会 仮想力覚提示装置及び仮想力覚提示プログラム
JP2011253292A (ja) * 2010-06-01 2011-12-15 Sony Corp 情報処理装置および方法、並びにプログラム
US9489040B2 (en) * 2010-07-19 2016-11-08 Smart Technologies Ulc Interactive input system having a 3D input space
JP2012247936A (ja) * 2011-05-26 2012-12-13 Sony Corp 情報処理装置、表示制御方法及びプログラム
JP5756704B2 (ja) * 2011-07-27 2015-07-29 京セラ株式会社 表示機器および制御プログラム
US20130100334A1 (en) * 2011-10-20 2013-04-25 Broadcom Corporation Method and System for an Adaptive Auto-Focus Algorithm
US8791913B2 (en) * 2012-01-26 2014-07-29 Honeywell International Inc. Adaptive gesture recognition system and method for unstable work environments
US9423877B2 (en) * 2012-02-24 2016-08-23 Amazon Technologies, Inc. Navigation approaches for multi-dimensional input
US9448636B2 (en) * 2012-04-18 2016-09-20 Arb Labs Inc. Identifying gestures using gesture data compressed by PCA, principal joint variable analysis, and compressed feature matrices
US20140045593A1 (en) * 2012-08-07 2014-02-13 Microsoft Corporation Virtual joint orientation in virtual skeleton
US8836768B1 (en) * 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010522380A (ja) * 2007-03-19 2010-07-01 ゼブラ・イメージング・インコーポレイテッド ユーザ入力により動的３次元ディスプレイをアップデートするシステム及び方法
US20110267265A1 (en) * 2010-04-30 2011-11-03 Verizon Patent And Licensing, Inc. Spatial-input-based cursor projection systems and methods

Also Published As

Publication number Publication date
KR20140080221A (ko) 2014-06-30
US20140181755A1 (en) 2014-06-26
EP2746897B1 (en) 2023-06-21
US10120526B2 (en) 2018-11-06
EP2746897A3 (en) 2016-10-19
EP2746897A2 (en) 2014-06-25

Similar Documents

Publication Publication Date Title
KR101956073B1 (ko) 시각적 인디케이터를 이용하여 사용자 인터페이스를 제공하는 3차원 입체 영상 표시 장치 및 그 장치를 이용한 방법
KR101646616B1 (ko) 객체 제어 장치 및 방법
KR102110811B1 (ko) Hci 시스템 및 방법
CN107077197B (zh) 3d可视化图
US9927869B2 (en) Apparatus for outputting virtual keyboard and method of controlling the same
CN109313502B (zh) 利用选择装置的敲击事件定位
JP2013205983A (ja) 情報入力装置及び情報入力方法、並びにコンピューター・プログラム
KR102347248B1 (ko) 터치 제스쳐 인식 방법 및 장치
US9501138B2 (en) Systems and methods for remapping three-dimensional gestures onto a finite-size two-dimensional surface
US9916043B2 (en) Information processing apparatus for recognizing user operation based on an image
TWI694360B (zh) 輸入介面裝置、控制方法及非暫態電腦可讀取媒體
KR20130082296A (ko) 가상 공간 이동 장치 및 방법
KR101824532B1 (ko) 가상 손 모델에 의한 파지 및 해제를 위한 가상 모델 제어 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체
KR101548872B1 (ko) 영상처리를 이용한 손가락 인식 방법 및 시스템
US20170168584A1 (en) Operation screen display device, operation screen display method, and non-temporary recording medium
CN105759955B (zh) 输入装置
KR20210045898A (ko) 혼합현실에서의 손 자세 기반 가상 메뉴 제어 장치 및 방법
JP6033061B2 (ja) 入力装置およびプログラム
KR101535738B1 (ko) 비접촉 동작 제어가 가능한 스마트 디바이스 및 이를 이용한 비접촉 동작 제어 방법
KR101517001B1 (ko) 입력 장치 및 방법
JP2015191250A (ja) 情報処理装置、及びその制御方法、プログラム、記録媒体
KR101370830B1 (ko) 사용자 인터페이스 구현 시스템 및 구현 방법
JP4922266B2 (ja) 入力装置及び入力方法
JP6933584B2 (ja) 移動モデルを用いた物体への位置測定のマッピング
KR101558094B1 (ko) 직관적인 핸드 모션에 기반한 멀티-모달 시스템 및 그 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant