KR101121746B1 - 3차원 사용자 인터페이스를 위한 손동작 기반 사용자 인터랙션 방법 및 장치 - Google Patents

3차원 사용자 인터페이스를 위한 손동작 기반 사용자 인터랙션 방법 및 장치 Download PDF

Info

Publication number
KR101121746B1
KR101121746B1 KR1020100035933A KR20100035933A KR101121746B1 KR 101121746 B1 KR101121746 B1 KR 101121746B1 KR 1020100035933 A KR1020100035933 A KR 1020100035933A KR 20100035933 A KR20100035933 A KR 20100035933A KR 101121746 B1 KR101121746 B1 KR 101121746B1
Authority
KR
South Korea
Prior art keywords
metaphor
input
user
dimensional
hand gesture
Prior art date
Application number
KR1020100035933A
Other languages
English (en)
Other versions
KR20110116487A (ko
Inventor
박진아
김재일
Original Assignee
한국전자통신연구원
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 한국과학기술원 filed Critical 한국전자통신연구원
Priority to KR1020100035933A priority Critical patent/KR101121746B1/ko
Publication of KR20110116487A publication Critical patent/KR20110116487A/ko
Application granted granted Critical
Publication of KR101121746B1 publication Critical patent/KR101121746B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 손동작 기반 사용자 인터랙션 방법은 사용자가 손동작 입력으로 3차원 사용자 인터페이스(UI)를 통해 컴퓨터 기반의 3차원 응용 시스템을 조작하는 손동작 기반 사용자 인터랙션 방법으로서, 적어도 하나의 메타포 템플릿들을 제공하는 단계, 사용자의 손동작 입력을 메타포 템플릿에 정의된 변환 규칙에 따라 UI 입력으로 변환하는 단계 및 UI 입력을 3차원 사용자 인터페이스를 통해 3차원 응용 시스템에 제공하는 단계를 포함할 수 있다.

Description

3차원 사용자 인터페이스를 위한 손동작 기반 사용자 인터랙션 방법 및 장치{METHOD AND APPARATUS FOR HAND-GESTURE BASED USER INTERACTION TECHNIQUE FOR 3-DIMENSIONAL USER INTERFACE}
본 발명은 3차원 사용자 인터페이스에 관한 것으로, 더욱 상세하게는, 사용자의 손동작 인식 기술을 이용한 3차원 사용자 인터페이스에 관한 것이다.
손동작 인식 및 활용에 관련된 기존 3차원 인터페이스 기술들은 손동작 인식을 위한 장치 및 인식 알고리즘 혹은 인식된 손동작 입력 저장 및 특정 패턴으로 변형하는 방법에 관한 것으로, 손동작 입력을 다양한 사용자 인터페이스를 조작하기 위해 처리하거나 응용하는 방법은 제대로 정의되어 있지 않았다.
설령 그러한 방법이 정의되어 있더라도 특정한 사용자 인터페이스를 위하여 손동작을 정의하거나, 손동작 입력에 의존하여 사용자 인터페이스를 설계하는 방법으로 구성되어 있어, 개발된 사용자 인터페이스가 해당 분야나 해당 기술에만 제한적으로 사용 가능한 문제점이 있다.
이에 대해 다양한 손동작 인식 장치와 3차원 사용자 인터페이스마다 손동작 처리 및 피드백 전달 방식을 개발해야 하는 단점이 있어 왔다.
본 발명이 해결하고자 하는 과제는 다양한 손동작 인식 장치와 3차원 사용자 인터페이스마다 손동작 처리 및 피드백 전달 방식을 개발하는 대신에, 손동작 처리 및 피드백 전달을 수행하는 부분을 템플릿 형태로 3차원 사용자 인터페이스와 분리함으로써 위와 같은 단점들을 해결할 수 있는 방법 및 장치를 제공하는 데에 있다.
본 발명의 일 측면에 따른 손동작 기반 사용자 인터랙션 방법은,
사용자가 손동작 입력으로 3차원 사용자 인터페이스(UI)를 통해 컴퓨터 기반의 3차원 응용 시스템을 조작하는 손동작 기반 사용자 인터랙션 방법으로서,
적어도 하나의 메타포 템플릿들을 제공하는 단계;
상기 사용자의 손동작 입력을 상기 메타포 템플릿에 정의된 변환 규칙에 따라 UI 입력으로 변환하는 단계; 및
상기 UI 입력을 상기 3차원 사용자 인터페이스를 통해 상기 3차원 응용 시스템에 제공하는 단계를 포함할 수 있다.
일 실시예에서, 상기 메타포 템플릿은 사용자의 손동작 입력과 상기 3차원 사용자 인터페이스의 UI 입력들 사이의 변환 규칙일 수 있다.
일 실시예에서, 상기 사용자의 손동작 입력은 손가락의 굽힘 여부, 손목의 롤(roll), 피치(pitch) 및 요(yaw) 회전 동작의 각도 측정값 중 적어도 하나의 정보를 포함하고,
상기 UI 입력은 상기 손동작 입력의 각각에 상응하는 기본 UI 입력과, 상기 기본 입력들을 조합한 확장 UI 입력을 포함할 수 있다.
일 실시예에서, 상기 사용자의 손동작 입력을 메타포 템플릿에 정의된 변환 규칙에 따라 UI 입력으로 변환하는 단계는,
상기 사용자의 적어도 하나의 손동작 입력을 손가락의 굽힘 여부에 관한 논리 값과, 손목의 롤, 피치 및 요 회전 동작 중 적어도 한 동작의 회전 각도에 관한 스칼라 값으로 입력받아, 상기 선택된 메타포 템플릿에 정의된 변환 규칙에 따라, 상기 3차원 응용 시스템이 구동 중인 3차원 가상 공간 및 가상 물체를 조작하기 위해 요구되는, 위치, 회전, 크기 정보 및 각각의 변화 정보에 관한 스칼라 값 또는 선택/해제에 관한 논리 값 및 이들의 조합을 포함하는 UI 입력으로 변환하는 단계를 포함할 수 있다.
일 실시예에서, 상기 손동작 기반 사용자 인터랙션 방법은
상기 적어도 하나의 메타포 템플릿 중에 상기 UI 입력을 생성하기에 적합한 메타포 템플릿을 상기 3차원 사용자 인터페이스에 의해 선택하는 단계; 및
상기 UI 입력을 생성하기에 적합하도록 상기 선택된 메타포 템플릿을 상기 3차원 사용자 인터페이스에 의해 설정하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 3차원 사용자 인터페이스에 의한 메타포 템플릿의 설정은 상기 손동작 입력 값의 범위, 정밀도, 차원에 관한 설정을 포함할 수 있다.
일 실시예에서, 상기 손동작 기반 사용자 인터랙션 방법은,
상기 3차원 응용 시스템이 상기 UI 입력에 따라 구동되고 그 구동 결과가 상기 3차원 사용자 인터페이스에 피드백될 경우에, 상기 3차원 사용자 인터페이스로부터 상기 피드백을 스칼라 값의 형태로 출력하는 단계; 및
상기 스칼라 값 형태의 피드백을 가중치로 하는 감각적 효과를 사용자에게 전달하는 단계를 더 포함할 수 있다.
본 발명의 다른 측면에 따른 손동작 기반 사용자 인터랙션 방법은, 사용자가 손동작 입력으로 3차원 사용자 인터페이스(UI)를 통해 컴퓨터 기반의 3차원 응용 시스템을 조작하는 손동작 기반 사용자 인터랙션 방법으로서,
적어도 하나의 메타포 템플릿들을 제공하는 단계;
상기 사용자의 적어도 하나의 손동작 입력을 손가락의 굽힘 여부에 관한 논리 값과, 손목의 롤, 피치 및 요 회전 동작 중 적어도 한 동작의 회전 각도에 관한 스칼라 값으로 입력받아, 상기 선택된 메타포 템플릿에 정의된 변환 규칙에 따라, 상기 3차원 응용 시스템이 구동 중인 3차원 가상 공간 및 가상 물체를 조작하기 위해 요구되는, 위치, 회전, 크기 정보 및 각각의 변화 정보에 관한 스칼라 값 또는 선택/해제에 관한 논리 값 및 이들의 조합을 포함하는 UI 입력으로 변환하는 단계;
상기 UI 입력을 상기 3차원 사용자 인터페이스를 통해 상기 3차원 응용 시스템에 제공하는 단계;
상기 UI 입력에 따른 상기 3차원 응용 시스템의 구동 결과가 상기 3차원 사용자 인터페이스에 피드백될 경우에, 상기 3차원 사용자 인터페이스로부터 상기 피드백을 스칼라 값의 형태로 출력하는 단계; 및
상기 스칼라 값 형태의 피드백을 가중치로 하는 감각적 효과를 사용자에게 전달하는 단계를 포함할 수 있다.
일 실시예에서, 상기 메타포 템플릿은 사용자의 손동작 입력과 상기 3차원 사용자 인터페이스의 UI 입력들 사이의 변환 규칙일 수 있다.
일 실시예에서, 상기 손동작 기반 사용자 인터랙션 방법은
상기 적어도 하나의 메타포 템플릿 중에 상기 UI 입력을 생성하기에 적합한 메타포 템플릿을 상기 3차원 사용자 인터페이스에 의해 선택하는 단계; 및
상기 UI 입력을 생성하기에 적합하도록 상기 선택된 메타포 템플릿을 상기 3차원 사용자 인터페이스에 의해 설정하는 단계를 더 포함할 수 있다.
본 발명의 일 측면에 따른 기록 매체는 컴퓨터에서 본 발명의 다양한 실시예들에 따른 손동작 기반 사용자 인터랙션 방법의 각 단계들을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체일 수 있다.
본 발명의 일 측면에 따른 손동작 기반 사용자 인터랙션 장치는, 사용자가 손동작 입력으로 3차원 사용자 인터페이스(UI)를 통해 컴퓨터 기반의 3차원 응용 시스템을 조작하는 손동작 기반 사용자 인터랙션 장치로서,
상기 사용자의 손동작 입력을 적어도 하나의 메타포 템플릿 중에서 선택된 메타포 템플릿에 정의된 변환 규칙에 따라 UI 입력으로 변환하는 메타포 변환부; 및
상기 UI 입력을 상기 3차원 응용 시스템에 제공하는 3차원 사용자 인터페이스를 포함할 수 있다.
일 실시예에서, 상기 메타포 템플릿은 사용자의 손동작 입력과 상기 3차원 사용자 인터페이스의 UI 입력들 사이의 변환 규칙일 수 있다.
일 실시예에서, 상기 사용자의 손동작 입력은 손가락의 굽힘 여부, 손목의 롤(roll), 피치(pitch) 및 요(yaw) 회전 동작의 각도 측정값 중 적어도 하나의 기본 입력을 포함하고, 상기 UI 입력은 상기 기본 입력과, 상기 기본 입력들을 조합한 확장 입력을 포함할 수 있다.
일 실시예에서, 상기 메타포 변환부는,
상기 사용자의 적어도 하나의 손동작 입력을 손가락의 굽힘 여부에 관한 논리 값과, 손목의 롤, 피치 및 요 회전 동작 중 적어도 한 동작의 회전 각도에 관한 스칼라 값으로 입력받고, 또한
상기 선택된 메타포 템플릿에 정의된 변환 규칙에 따라, 상기 3차원 응용 시스템이 구동 중인 3차원 가상 공간 및 가상 물체를 조작하기 위해 요구되는, 위치, 회전, 크기 정보 및 각각의 변화 정보에 관한 스칼라 값 또는 선택/해제에 관한 논리 값 및 이들의 조합을 포함하는 UI 입력으로 변환하도록 동작할 수 있다.
일 실시예에서, 상기 3차원 사용자 인터페이스는
상기 적어도 하나의 메타포 템플릿 중에 상기 UI 입력을 생성하기에 적합한 메타포 템플릿을 선택하고, 또한 상기 UI 입력을 생성하기에 적합하도록 상기 선택된 메타포 템플릿을 설정할 수 있는 설정 정보를 상기 메타포 변환부에 제공하는 메타포 설정부를 포함할 수 있다.
일 실시예에서, 상기 3차원 사용자 인터페이스에 의한 메타포 템플릿의 설정 정보는 상기 손동작 입력 값의 범위, 정밀도, 차원에 관한 설정 정보를 포함할 수 있다.
일 실시예에서, 상기 3차원 사용자 인터페이스는,
상기 3차원 응용 시스템이 상기 UI 입력에 따라 구동되고 그 구동 결과가 상기 3차원 사용자 인터페이스에 피드백될 경우에, 상기 피드백을 상기 선택된 메타포 템플릿에 전달하도록 동작하고,
상기 메타포 변환부는,
상기 피드백을 감각적으로 인지할 수 있는 형태로 사용자에게 전달하도록 동작할 수 있다.
일 실시예에서, 상기 컴퓨터 기반의 3차원 응용 시스템은
가상 환경을 3차원 가상 공간 안에 구현하고, 가상 물체를 가상 환경 안에 구현하며, 상기 3차원 사용자 인터페이스를 통해 사용자가 가상 물체, 가상 환경 및 상기 3차원 응용 시스템의 상태를 선택하고 조작할 수 있도록 동작할 수 있다.
본 발명의 일 측면에 따른 기록 매체는 컴퓨터를 본 발명의 다양한 실시예들에 따른 손동작 기반 사용자 인터랙션 장치로서 기능시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체일 수 있다.
본 발명의 장치 및 방법에 따르면, 3차원 사용자 인터페이스 설계와 손동작 처리 방법 설계를 분리하고, 3차원 사용자 인터페이스가 자신의 목적에 맞도록 사전에 정의/개발된 메타포 템플릿들을 선택하고 활용함으로써, 3차원 사용자 인터랙션 시스템 개발의 효율성을 향상시켰다.
또한 사용자는 사전에 정의되고 개발된 몇 개의 메타포 템플릿에 대한 손동작 입력 방식을 학습하면, 해당 메타포 템플릿을 사용하는 다양한 3차원 사용자 인터페이스를 일관된 손동작으로 조작하게 됨으로써 사용자의 3차원 응용 시스템에 대한 학습 시간을 줄이고, 사용자는 손동작 입력에 대한 결과(3차원 사용자 인터페이스의 반응)를 직관적으로 예측할 수 있게 되어, 편리성이 증대될 수 있다.
도 1은 본 발명의 일 실시예에 따른 3차원 사용자 인터페이스를 이용한 손동작 기반 사용자 인터랙션 방법을 예시한 개념도이다.
도 2, 도 3, 도 4 및 도 5는 본 발명의 일 실시예에 따른 손동작 메타포가 각각 두 종류의 그리드 선택 메타포, 위치 이동 메타포, 조그 다이얼 메타포일 경우에 사용자의 손동작 입력과 3차원 사용자 인터페이스에 입력되는 UI 입력을 각각 예시한 개념도이다.
도 6은 본 발명의 일 실시예에 따른 3차원 사용자 인터페이스를 이용한 손동작 기반 사용자 인터랙션 방법을 예시한 순서도이다.
도 7 및 8은 본 발명의 일 실시예에 따라 각각 위치 입력 메타포와 그리드 선택 메타포를 통해 사용자가 손동작으로 의료 영상 컨텐츠를 조작하는 동작을 구체적으로 예시한 도면이다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 3차원 사용자 인터페이스를 이용한 손동작 기반 사용자 인터랙션 방법을 예시한 개념도이다.
도 1을 참조하면, 먼저 사용자가 손동작 입력 장치(11), 예를 들어 장갑형 센서 장치, 센서 위치 인식 카메라 장치를 통해 손동작을 취함으로써 손동작 입력을 생성한다. 장갑형 센서 장치의 경우에는, 장갑의 각 관절 부위에 손가락 굽힘 여부를 판정할 수 있는 센서와 손목 부위에 손목의 방위를 판정할 수 있는 센서가 장착되어 사용자가 장갑형 센서 장치를 손에 끼우고 손을 움직이면 손동작을 입력할 수 있다. 센서 위치 인식 카메라 장치의 경우에는, 카메라로 손을 촬영한 영상에서 손의 형태와 방향을 추출하여 사용자가 카메라 앞에서 손을 움직이면 손동작을 입력할 수 있다.
손동작 입력 장치(11)는 사용자가 특정 손동작을 취하면 사용자의 손동작 입력을 디지털 정보로 획득한다. 예시적으로, 손동작 입력은 간략화 골격 기반 모델(simplified skeleton based)인 경우 5 개 손가락의 굽힘 여부, 3 개 축방향(롤(roll), 피치(pitch), 요(yaw))을 가지는 연속적인 손목 회전 정보, 손 위치 정보로 표현될 수 있다. 본 발명은 이러한 손동작 입력 데이터를 취득하기 위한 손동작의 모델링 방식에 의존적이지 않으며, 손목 대신 손등의 회전 정보를 이용하는 등 다른 모델링 방식도 적용 가능하다.
본 발명에서, 실시예에 따라, 손 전체의 위치 정보는 이용하지 않을 수도 있다. 이 경우, 손가락 굽힘 및 손목 회전 정보는 사용자 인터랙션을 필요로 하는 응용 시스템(14)과 손동작 입력 장치(11)의 물리적이고 상대적인 위치에 관계없이 어느 위치에서나 같은 데이터를 응용 시스템(14)에 전달할 수 있다.
손동작 입력 데이터는 손동작 입력 장치(11)로부터 메타포(metaphor) 인터페이스(12)로 입력된다. 메타포 변환부(12)는, 3차원 응용 시스템(14)의 기능과 목적에 적합하도록, 미리 설정된 변환 규칙에 따라 손동작 입력을 3차원 사용자 인터페이스(13)가 이해하고 필요로 하는 기본 UI 입력 및 확장 UI 입력으로 변환하여, 3차원 사용자 인터페이스(13)에 제공한다.
본 발명에서 3차원 사용자 인터페이스(13)는 컴퓨터 기반 3차원 응용 시스템에 구현된 가상 환경 및 그 안의 가상 물체들에 대한 사용자의 탐색, 선택 및 조작, 시스템 컨트롤의 기능을 제공하는 역할을 담당하는 소프트웨어를 의미한다.
3차원 응용 시스템(14)에서 하나의 가상 물체를 선택하는 3차원 사용자 인터페이스(13)는 물체와 사용자가 동작시키는 포인터의 접촉 여부를 판단하기 위해 3차원 공간의 X, Y, Z 축에 따른 값으로 표현되는 포인터의 위치 정보와 사용자의 지시를 요구한다. 다른 예로, 다수의 가상 물체를 선택하는 경우 다수의 가상 물체가 포함되는 3차원 공간의 영역 정보를 입력으로 요구한다. 일반적으로 영역 정보는 위치 정보를 조합하여 생성할 수 있다.
응용 시스템(14)의 3차원 사용자 인터페이스(13)에서 요구하는 기본 및 확장 입력을 생성하기 위해, 본 발명에서는 사용자의 손동작 입력을 3차원 공간에서의 위치, 회전, 크기 정보와 그에 대한 변화 정보, 선택/해제, 스칼라 값 등으로 분류하고, 메타포 변환부(12)에서 위와 같이 분류된 정보를 조합하여 3차원 사용자 인터페이스(13)에 제공한다.
본 발명에서, 메타포 변환부(12)는 손동작 입력 장치(11)로부터 제공되는 손동작 입력을 기본 UI 입력 및 확장 UI 입력으로 변환하기 위해 메타포 템플릿(metaphor templates)을 이용한다. 메타포 템플릿들은 사용자의 손동작의 의미와 3차원 사용자 인터페이스에 입력될 디지털화된 UI 입력 사이의 변환 규칙을 정의해 놓은 일종의 라이브러리이다.
손동작 입력으로부터 기본 UI 입력을 생성하는 메타포 템플릿은 위치 메타포(position selection metaphor), 위치 이동 메타포(position movement metaphor), 확대-축소 메타포(scale metaphor), 회전 메타포(rotation metaphor) 등이 있으며, 손가락의 굽힘 정보와 손목 회전 정보과 같은 사용자의 손동작 입력을 단편적으로 이용한다.
예를 들어, 위치 선택 메타포는 사용자가 검지와 같은 손가락 하나가 순간적으로 굽혀졌다가 펴지는 손동작(클릭 동작)을 하면 그러한 손동작 입력을 해당 포인터의 위치를 선택하는 기본 UI 입력으로 변환하여 3차원 사용자 인터페이스(13)에 제공하라는 메타포 템플릿이다.
위치 이동 메타포는 사용자가 손목을 몸통 쪽 또는 바깥쪽으로 회전하는 손동작(요)을 하면 그러한 손동작 입력 정보를 해당 포인터의 위치를 회전각에 비례하는 소정의 거리만큼 이동시키라는 기본 UI 입력으로 변환하는 메타포 템플릿이다.
확대-축소 메타포는, 사용자가 엄지와 검지가 함께 굽혀졌다가 펴지거나 또는 함께 펴져있다가 굽혀지는 손동작을 하면, 그러한 손동작 입력 정보를 해당 포인터의 위치에서 확대 또는 축소하라는 기본 UI 입력으로 변환하는 메타포 템플릿이다.
회전 메타포는 사용자가 손목이 손목 축을 중심으로 돌아가는 손동작(롤), 손목이 손등 쪽과 손바닥 쪽으로 회전하는 손동작(피치), 손목이 몸통 쪽과 바깥쪽으로 회전하는 손동작(요)을 하면, 그러한 손동작 입력 정보를 해당 포인터의 위치에서 물체 또는 시각을 3차원으로 회전하라는 기본 UI 입력으로 변환하는 메타포 템플릿이다.
앞서 위치 이동 메타포와 회전 메타포는 요 회전 손동작을 이용하는 부분적인 공통점이 있는데, 이러한 예에서 알 수 있듯이, 동일한 손동작이라도 메타포 변환부(12)에서 어떤 메타포 템플릿이 이용되느냐에 따라 전혀 다른 기본 UI 입력으로 변환되어 3차원 사용자 인터페이스(13)에 제공될 수 있다.
손동작 입력을 확장 UI 입력으로 변환하는 메타포 템플릿들은 손동작들의 조합을 통해 복잡한 UI 입력으로 해석하기 위한 템플릿으로서, 예를 들어, 조그 다이얼 메타포(jog dial metaphor)는 사용자가 조그 다이얼을 회전시키는 손동작을 하면 손목의 롤 동작과 손가락들의 굽힘을 조합하여 소정의 범위 내에서 어떤 값을 증감시키는 확장 UI 입력으로 변환하여 3차원 사용자 인터페이스(13)에 제공하는 메타포 템플릿이다.
그리드 선택 메타포(grid selection metaphor)는 m*n 격자로 배열된 선택 아이템들 중 원하는 아이템을 예를 들어 손목의 요 동작, 손 위치 및 검지 손가락의 굽힘을 이용하여 포인터로 선택하거나 드래그(drag)하는 확장 UI 입력으로 변환하는 메타포 템플릿이다. 특히, 이 경우 사용자의 손동작은 위치 이동 메타포와 같은 기본 입력 메타포와 다르지 않지만, 메타포 변환부(12)에서 손동작 입력뿐 아니라, 그리드의 좌표와 같은 부가 정보도 함께 3차원 사용자 인터페이스(13)에 전달할 수 있다.
이러한 메타포 템플릿들은 앞서 예시된 것을 포함하여 3차원 사용자 인터페이스(13) 및 응용 시스템(14)이 필요로 하는 바에 따라 다양하게 구성될 수 있다.
메타포 변환부(12)는 이렇듯 다양하게 정의된 메타포 템플릿들을 포함하고 있고, 선택된 메타포 템플릿에 따라 사용자가 입력한 손동작 입력을 3차원 사용자 인터페이스(13)가 이해하는 기본 및 확장 UI 입력으로 변환하여 제공한다.
한편, 메타포 변환부(12)가 사용자의 손동작 입력을 변환하기 위해 선택되는 메타포 템플릿은 사용자에 의해 선택될 수도 있지만, 바람직하게는 3차원 사용자 인터페이스(13)가 요구하는 UI 입력에 따라 선택될 수 있다. 예를 들어, 응용 시스템(14)에서 현재 어떤 두 3차원 지점 사이의 거리를 측정하고자 한다면, 3차원 사용자 인터페이스(13)는 사용자로부터 먼저 첫 3차원 지점을 지정받고 두 번째 3차원 지점까지 포인터를 이동시켜기 위한 회전 지시를 받아야 것이며 두 번째 3차원 지점을 지정받아야 할 것이다. 이 경우, 3차원 사용자 인터페이스(13)는 메타포 변환부(12)에 대해 예를 들어 위치 메타포, 회전 메타포, 위치 메타포를 차례로 준비할 것을 요구할 수 있다. 이때, 3차원 사용자 인터페이스(13)의 메타포 설정부(131)는 위치 메타포와 회전 메타포에 적절한 설정 정보들, 예를 들어 최초의 축적비, 사용자 손동작 입력과 회전 각도의 관계, 손동작 입력의 제한 범위 등의 설정 정보들을 제공할 수 있다.
예를 들어, 손동작 입력을 위치 이동 지시로 변환하는 위치 이동 메타포 템플릿은 손목 회전 손동작(요 동작)을 포인터의 3차원 위치 이동을 위한 UI 입력으로 직접 변환할 수 있다. 사용자의 손목 회전 손동작 입력은 손동작 입력 장치(11)에 의해 손목 중심의 수직축들에 대한 회전 상태를 나타내는 스칼라 값으로 표현될 수 있다. 이 스칼라 손동작 입력은 손목 관절이 움직이는 범위를 맵핑하기 위해 손동작 입력 장치(11)에 설정된 설정 범위(예를 들어 -180° ~ 180° 회전) 안에 존재하게 된다. 메타포 변환부(12)는 이러한 스칼라 손동작 입력를 손동작 입력 장치(11)가 받아들일 수 있는 입력 범위의 크기로 나누어 예를 들어 -1.0 ~ 1.0의 범위의 값으로 정규화(normalization)한다. 메타포 변환부(12)는 이러한 정규화된 값에 3차원 사용자 인터페이스(13)가 설정한 위치 정보의 범위 크기와 지정된 가중치(weight)를 곱함으로써 위치 이동 정보를 생성한다. 위치의 변화(속도)나 가속도 정보도 회전의 변화 정보나 다른 기본 UI 입력들로부터 위의 같은 과정으로 변환하여 생성할 수 있다.
다시 말해, 3차원 사용자 인터페이스(13)는 메타포 설정부(131)에서 자신이 요구하는 UI 입력을 생성하는 메타포 템플릿을 선택하고, 선택된 메타포 템플릿에 상응하는 설정 정보들을 제공한다. 상기 3차원 사용자 인터페이스에 의해 제공되는 메타포 템플릿의 설정 정보는 상기 손동작 입력 값의 범위, 정밀도, 차원에 관한 설정을 포함한다. 메타포 변환부(12)는 선택된 메타포 템플릿을 제공된 설정 정보에 따라 설정하고, 선택된 메타포 템플릿에 의해 사용자의 손동작 입력 정보를 UI 입력으로 변환하여 3차원 사용자 인터페이스(13)에 제공한다.
이어서, 3차원 사용자 인터페이스(13)는 메타포 변환부(12)로부터 제공된 UI 입력을 응용 시스템(14)에 인가한다.
응용 시스템(14)이 소정의 3차원 조작을 수행하고 그 결과에 따른 피드백 정보를 3차원 사용자 인터페이스(13)에 전달하고, 이어서 3차원 사용자 인터페이스(13)는 피드백 정보를 메타포 변환부(12)에 전달한다. 피드백 정보는 예를 들어, 일정한 위치 변화마다 사용자에게 시각, 진동, 촉감, 소리 등의 감각을 통해 알리기 위한 정보로서, 스칼라 값이거나 논리 값일 수 있다. 3차원 사용자 인터페이스(13)는 적절한 피드백 정보를 메타포 변환부(12)에 전달한다.
메타포 변환부(12)는 전달된 피드백 정보의 값에 따라 예를 들어 손목에 부착한 촉감 전달 장치를 통해 힘을 발생시키거나, 진동 모터에서 진동을 일으키거나, 크기에 따라 다른 소리를 내는 등의 효과를 이용하여 사용자에게 3차원 조작의 결과를 전달한다.
이렇게 하여, 사용자의 손동작은 손동작 입력 장치(11)에서 손동작 입력 정보로 취득되고, 메타포 변환부(12)에서 기본 또는 확장 UI 입력으로 변환되어 3차원 사용자 인터페이스(13)에 인가되며, UI 입력은 3차원 사용자 인터페이스(13)를 통해 응용 시스템(14)에 인가된다. 응용 시스템(14)의 구동 결과로서 소정의 피드백이 있을 경우, 사용자 인터페이스(13)는 피드백 정보를 메타포 변환부(12)에 전달하고, 사용자에게 적절한 감각 효과를 통해 조작의 결과를 인지시킨다.
본 발명의 손동작 기반 사용자 인터랙션 방법은 사용자는 서로 다른 응용 시스템(14)마다 서로 다른 손동작, 즉 3차원 조작을 익히지 않고도, 메타포 변환부(12)에 간단한 기본적이고 공통적인 손동작을 입력하는 것만으로, 메타포 변환부(12)가 그러한 기본적 손동작을 적절하게 선택된 메타포 템플릿을 통해 기본 또는 확장 3차원 UI 입력으로 변환함으로써, 3차원 사용자 인터페이스(13) 및 응용 시스템(14)에 맞는 3차원 조작을 수행할 수 있다.
도 2, 도 3, 도 4 및 도 5는 본 발명의 일 실시예에 따른 손동작 메타포가 각각 두 종류의 그리드 선택 메타포, 위치 이동 메타포, 조그 다이얼 메타포일 경우에 사용자의 손동작 입력과 3차원 사용자 인터페이스에 입력되는 UI 입력을 각각 예시한 개념도이다.
도 2를 참조하면, 화면을 m*n의 구획으로 나눈 그리드에서 포인터를 이동시키고 한 그리드 영역을 선택하는 손동작을 사용자로부터 입력받는 그리드 물체 선택 메타포가 나타나 있다. 사용자는 메타포 변환부(12)가 보여주는 그리드를 보고 손동작을 입력하지만, 이 그리드는 3차원 사용자 인터페이스(13)나 응용 시스템(14)이 직접 사용자에게 표시한 것이 아니다.
사용자로부터 손동작을 입력받기 전에, 3차원 사용자 인터페이스(13)가 그리드의 가로 및 세로 구획 수나, 그리드에 할당될 항목들을 결정하여 메타포 변환부(12)에 전달한다. 사용자는 화면에 나타난 그리드 메타포를 보면서 손동작 입력 장치(11)에 예를 들어 손목의 회전을 입력하여 포인터를 이동시키고, 손가락 굽힘을 입력하여 특정 그리드 영역을 선택한다. 그리드 물체 선택 메타포를 동작시키는 메타포 변환부(12)는 그러한 사용자의 손동작 입력을 조합하여 포인터의 이동 경로, 그리드 영역의 식별값(스칼라 인덱스)과 그리드 영역의 선택 여부에 관한 논리 값 등을 확장 UI 입력으로서 3차원 사용자 인터페이스(13)에 전달한다.
예를 들어, 도 2에서 가상 공간에 구, 직각육각형, 원뿔 등이 배치되어 있고 사용자가 그 중 한 물체를 선택하는 경우에, 3차원 사용자 인터페이스(13)는 사용자에게 보이는 2차원 렌더링 화면을 5*5 그리드로 나누고 메타포 변환부(12)로 하여금 그리드 물체 선택 메타포를 준비하도록 한다. 사용자가 메타포 변환부(12)가 제공하는 5*5 그리드 중의 한 그리드 영역으로 포인터를 움직이고 그 그리드 영역을 선택하면, 메타포 변환부(12)는 포인터의 이동, 포인터가 위치한 그리드 영역의 좌표, 선택된 그리드 영역의 좌표 등의 3차원 UI 입력으로 변환하여 3차원 사용자 인터페이스(13)에 전달한다. 3차원 사용자 인터페이스(13)는 3차원 UI 입력으로부터 생성한 3차원 조작 명령을 응용 시스템(14)에 제공한다. 도 2에서, 사용자는 그리드 물체 선택 메타포를 통해 2차원 렌더링된 화면의 좌표 (2,3)에 있는 그리드 영역을 선택할 뿐이지만, 응용 시스템(14)은 마치 사용자가 3차원 사용자 인터페이스(13)를 통해 3차원 가상 공간의 가운데에 있는 직육면체를 직접 선택한 것과 동일한 조작 명령을 받을 수 있다.
이어서 도 3을 참조하면, m*n의 구획으로 나뉜 그리드의 각 영역에 아이템을 할당하고, 포인터를 이동시켜 메뉴 아이템을 선택하는 손동작을 사용자로부터 입력받는 그리드 메뉴 선택 메타포가 나타나 있다.
사용자는 메타포 변환부(12)가 보여주는 그리드 메뉴를 보고 손동작을 입력하지만, 이 그리드 메뉴는 3차원 사용자 인터페이스(13)나 응용 시스템(14)이 직접 사용자에게 표시한 것은 아니다. 다만 3차원 사용자 인터페이스(13)가 그리드 메뉴의 버튼 아이콘, 메뉴, 격자 형태 등을 설정하여 메타포 변환부(12)에 그러한 그리드 메뉴를 사용자에게 표시할 것을 요청하고, 요청에 따라 메타포 변환부(12)가 그리드 메뉴를 사용자에게 표시한다. 화면에 그리드 메뉴가 표시되면 사용자는 표시된 그리드 메뉴의 메뉴 아이템을 선택함으로써 궁극적으로 3차원 응용 시스템(14)을 제어할 수 있을 것임을 직감할 수 있다.
사용자로부터 손동작을 입력받기 전에, 그리드의 가로 및 세로 구획 수나 그리드마다 그려질 이미지는 3차원 사용자 인터페이스(13)가 결정하여 메타포 변환부(12)에 전달한다. 사용자는 손동작 입력 장치(11)에 예를 들어 손목의 회전을 입력하여 포인터를 이동시키고, 손가락 굽힘을 입력하여 특정 그리드 영역을 선택한다. 그리드 메뉴 선택 메타포로 동작하는 메타포 변환부(12)는 그러한 사용자의 손동작 입력을 조합하여 포인터의 이동 경로, 그리드 영역의 식별값(스칼라 인덱스)과 메뉴 선택의 여부에 관한 논리 값 등을 UI 입력으로서 생성하고 3차원 사용자 인터페이스(13)에 전달한다.
도 3에서, 사용자는 그리드 메뉴 선택 메타포를 통해 2차원 렌더링된 화면의 좌표 (1,3)에 있는 그리드 영역을 선택할 뿐이지만, 응용 시스템(14)은 마치 사용자가 3차원 사용자 인터페이스(13)를 통해 3차원 가상 공간에서 해당 아이템을 직접 선택한 것과 동일한 조작 명령을 수신할 수 있다.
도 4를 참조하면, 손목의 요 회전 손동작을 입력받아 3차원 가상 공간의 한 위치에서 다른 위치로 포인터를 이동하는 3차원 UI 입력으로 변환하는 위치 이동 메타포가 예시되어 있다. 사용자가 손목을 수평으로 놓고 회전하면 그 요 회전 각도를 손동작 입력 장치(11)가 입력받고, 그러한 손동작 입력을 위치 입력 메타포에서 위치 변화에 관한 스칼라 값을 가진 UI 입력으로 변환하여 3차원 사용자 인터페이스(13)에 전달하면, 3차원 사용자 인터페이스(13)는 이를 포인터의 3차원 가상 공간 내의 위치 이동에 관한 3차원 조작 명령으로 변환하여 응용 시스템(14)에 인가한다.
다음으로 도 5를 참조하면, 엄지 및 검지의 손가락 폄 동작과 손목의 롤 회전 손동작을 입력받아 조그 다이얼(jog dial)을 회전시킴으로써 소정 범위 내의 어떤 값 또는 가상 공간의 다수의 개별 객체들 중 하나를 선택하는 조그 다이얼 메타포가 예시되어 있다. 사용자가 조그 다이얼을 쥐듯이 엄지와 검지를 펴고 손목을 돌리면, 손동작 입력 장치(11)가 그 롤 회전 각도를 입력받고, 메타포 변환부(12)가 회전 각도를 특정 스칼라 값으로 변환하여 3차원 사용자 인터페이스(13)에 전달한다. 3차원 사용자 인터페이스(12)는 이를 소정 범위 중의 어떤 입력 값 또는 가상 공간 내 여러 개별 객체들 중 하나를 선택하는 3차원 조작 명령으로 변환하여 응용 시스템(14)에 인가한다.
도 6은 본 발명의 일 실시예에 따른 3차원 사용자 인터페이스를 이용한 손동작 기반 사용자 인터랙션 방법을 예시한 순서도이다.
도 6을 참조하면 손동작 기반 사용자 인터랙션 방법은 단계(S61)에서 3차원 사용자 인터페이스(13)가 현재 필요한 메타포 템플릿을 선택하고, 선택된 메타포 템플릿을 설정할 수 있는 설정 정보를 메타포 변환부(12)에 전달하는 단계로 시작한다.
이어서, 단계(S62)에서 메타포 변환부(12)가 선택된 메타포 템플릿을 상기 설정 정보로 설정한다.
단계(S63)에서, 사용자가 선택된 메타포 템플릿에 맞춰 손동작을 취하면, 사용자의 손동작을 손동작 입력 장치(11)가 입력받아 손동작 입력을 생성한다. 손동작 입력은 손가락 굽힘, 세 축의 손목 회전과 같은 손동작 입력으로 생성될 수 있다. 생성된 손동작 입력은 메타포 변환부(12)에 인가된다.
단계(S64)에서, 메타포 변환부(12)는 사용자의 손동작 입력을 메타포 템플릿에 따라 3차원 사용자 인터페이스(13)가 요구하는 기본 UI 또는 확장 UI 입력으로 변환하여 전달한다.
단계(S65)에서, 3차원 사용자 인터페이스(13)는 전달된 UI 입력을 기초로 3차원 조작 명령을 생성하여 응용 시스템(14)에 인가한다. 단계(S66)에서 3차원 사용자 인터페이스(13)는 응용 시스템(14)으로부터 처리 결과의 피드백이 있을 경우에 그 피드백을 수신하고, 단계(S67)에서 상기 수신한 피드백을 메타포 변환부(12)에 전달한다. 메타포 변환부(12)는 전달된 피드백을 선택된 메타포 템플릿에 따라 적절히 변환하여 사용자에게 시각, 촉각, 음향, 진동 등을 통해 인지시킬 수 있다.
도 7 및 도 8은 본 발명의 일 실시예에 따라 각각 위치 입력 메타포와 그리드 선택 메타포를 통해 사용자가 손동작으로 의료 영상 컨텐츠를 조작하는 동작을 구체적으로 예시한 도면이다.
도 7을 참조하면, 3차원 가상 공간에 인체 일부를 묘사한 3차원 볼륨 모델이 놓여 있고, 사용자가 특정한 두 부위(A, B) 사이의 거리를 측정하고자 하는 화면이 나타나 있다. 3차원 사용자 인터페이스(13)는 위치 입력 메타포를 가동시킬 것을 메타포 변환부(12)에 통지하고, 메타포 변환부(12)는 위치 입력 메타포를 통해 사용자가 두 부위의 위치를 선택할 수 있도록 손동작 입력 장치(11)로부터 손동작 입력을 입력받는다.
도 8을 참조하면, 3차원 가상 공간에 인체 일부를 묘사한 3차원 볼륨 모델이 렌더링되어 있고, 사용자가 특정한 각도의 단면을 보고자 하는 화면이 나타나 있다. 3차원 사용자 인터페이스(13)는 화면에 그리드 선택 메타포를 가동할 것과 그리드 이미지들을 메타포 변환부(12)에 통지한다. 메타포 변환부(12)는 화면 좌측 상부에 그리드를 나타내고 그리드 선택 메타포를 통해 사용자가 한 그리드 영역을 선택할 수 있도록 손동작 입력 장치(11)로부터 손동작 입력을 입력받는다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명이 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이와 균등하거나 또는 등가적인 변형 모두는 본 발명 사상의 범주에 속한다 할 것이다.
또한, 본 발명에 따른 장치는 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, 광학 디스크, 자기 테이프, 플로피 디스크, 하드 디스크, 비휘발성 메모리 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
11 손동작 입력 장치
12 메타포 변환부
13 3차원 사용자 인터페이스
14 3차원 응용 시스템

Claims (20)

  1. 사용자가 손동작 입력으로 3차원 사용자 인터페이스(UI)를 통해 컴퓨터 기반의 3차원 응용 시스템을 조작하는 손동작 기반 사용자 인터랙션 방법에 있어서,
    상기 사용자의 손동작 입력을 메타포 템플릿에 정의된 변환 규칙에 따라 UI 입력으로 변환하는 단계; 및
    상기 UI 입력을 상기 3차원 사용자 인터페이스를 통해 상기 3차원 응용 시스템에 제공하는 단계를 포함하며,
    상기 메타포 템플릿은
    상기 사용자의 손동작 입력과 상기 3차원 사용자 인터페이스의 UI 입력들 사이의 변환 규칙인 것을 특징으로 하는 손동작 기반 사용자 인터랙션 방법.
  2. 청구항 1에 있어서, 상기 메타포 템플릿은 위치 메타포, 위치 이동 메타포, 확대-축소 메타포, 회전 메타포, 조그 다이얼 메타포, 그리드 선택 메타포 중 적어도 하나를 포함하는 것을 특징으로 하는 손동작 기반 사용자 인터랙션 방법.
  3. 청구항 1에 있어서, 상기 사용자의 손동작 입력은 손가락의 굽힘 여부, 손목의 롤(roll), 피치(pitch) 및 요(yaw) 회전 동작의 각도 측정값 중 적어도 하나의 정보를 포함하고,
    상기 UI 입력은 상기 손동작 입력의 각각에 상응하는 기본 UI 입력과, 상기 기본 입력들을 조합한 확장 UI 입력을 포함하는 것을 특징으로 하는 손동작 기반 사용자 인터랙션 방법.
  4. 청구항 1에 있어서, 상기 사용자의 손동작 입력을 메타포 템플릿에 정의된 변환 규칙에 따라 UI 입력으로 변환하는 단계는,
    상기 사용자의 적어도 하나의 손동작 입력을 손가락의 굽힘 여부에 관한 논리 값과, 손목의 롤, 피치 및 요 회전 동작 중 적어도 한 동작의 회전 각도에 관한 스칼라 값으로 입력받아, 상기 선택된 메타포 템플릿에 정의된 변환 규칙에 따라, 상기 3차원 응용 시스템이 구동 중인 3차원 가상 공간 및 가상 물체를 조작하기 위해 요구되는, 위치, 회전, 크기 정보 및 각각의 변화 정보에 관한 스칼라 값 또는 선택/해제에 관한 논리 값 및 이들의 조합을 포함하는 UI 입력으로 변환하는 단계를 포함하는 것을 특징으로 하는 손동작 기반 사용자 인터랙션 방법.
  5. 청구항 1에 있어서,
    상기 3차원 사용자 인터페이스가 상기 사용자의 손동작 입력을 메타포 템플릿에 정의된 변환 규칙에 따라 UI 입력으로 변환하는 단계에서 이용될 메타포 템플릿을 선택 및 설정하는 단계를 더 포함하는 것을 특징으로 하는 손동작 기반 사용자 인터랙션 방법.
  6. 청구항 1에 있어서, 상기 3차원 사용자 인터페이스에 의한 메타포 템플릿의 설정은 상기 손동작 입력 값의 범위, 정밀도, 차원에 관한 설정을 포함하는 것을 특징으로 하는 손동작 기반 사용자 인터랙션 방법.
  7. 청구항 1에 있어서, 상기 3차원 응용 시스템이 상기 UI 입력에 따라 구동되고 그 구동 결과가 상기 3차원 사용자 인터페이스에 피드백될 경우에, 상기 3차원 사용자 인터페이스로부터 상기 피드백을 스칼라 값의 형태로 출력하는 단계; 및
    상기 스칼라 값 형태의 피드백을 가중치로 하는 감각적 효과를 사용자에게 전달하는 단계를 더 포함하는 것을 특징으로 하는 손동작 기반 사용자 인터랙션 방법.
  8. 사용자가 손동작 입력으로 3차원 사용자 인터페이스(UI)를 통해 컴퓨터 기반의 3차원 응용 시스템을 조작하는 손동작 기반 사용자 인터랙션 방법에 있어서,
    상기 사용자의 적어도 하나의 손동작 입력을 손가락의 굽힘 여부에 관한 논리 값과, 손목의 롤, 피치 및 요 회전 동작 중 적어도 한 동작의 회전 각도에 관한 스칼라 값으로 입력받아, 메타포 템플릿에 정의된 변환 규칙에 따라, 상기 3차원 응용 시스템이 구동 중인 3차원 가상 공간 및 가상 물체를 조작하기 위해 요구되는, 위치, 회전, 크기 정보 및 각각의 변화 정보에 관한 스칼라 값 또는 선택/해제에 관한 논리 값 및 이들의 조합을 포함하는 UI 입력으로 변환하는 단계;
    상기 UI 입력을 상기 3차원 사용자 인터페이스를 통해 상기 3차원 응용 시스템에 제공하는 단계;
    상기 UI 입력에 따른 상기 3차원 응용 시스템의 구동 결과가 상기 3차원 사용자 인터페이스에 피드백될 경우에, 상기 3차원 사용자 인터페이스로부터 상기 피드백을 스칼라 값의 형태로 출력하는 단계; 및
    상기 스칼라 값 형태의 피드백을 가중치로 하는 감각적 효과를 사용자에게 전달하는 단계를 포함하며,
    상기 메타포 템플릿은
    상기 사용자의 손동작 입력과 상기 3차원 사용자 인터페이스의 UI 입력들 사이의 변환 규칙인것을 특징으로 하는 손동작 기반 사용자 인터랙션 방법.
  9. 청구항 8에 있어서, 상기 메타포 템플릿은 위치 메타포, 위치 이동 메타포, 확대-축소 메타포, 회전 메타포, 조그 다이얼 메타포, 그리드 선택 메타포 중 적어도 하나를 포함하는 것을 특징으로 하는 손동작 기반 사용자 인터랙션 방법.
  10. 청구항 8에 있어서,
    상기 3차원 사용자 인터페이스가 상기 사용자의 손동작 입력을 메타포 템플릿에 정의된 변환 규칙에 따라 UI 입력으로 변환하는 단계에서 이용될 메타포 템플릿을 선택 및 설정하는 단계를 더 포함하는 것을 특징으로 하는 손동작 기반 사용자 인터랙션 방법.
  11. 청구항 11은(는) 설정등록료 납부시 포기되었습니다.
    컴퓨터에서 청구항 1 내지 청구항 10 중 어느 한 청구항의 손동작 기반 사용자 인터랙션 방법의 각 단계들을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  12. 사용자가 손동작 입력으로 3차원 사용자 인터페이스(UI)를 통해 컴퓨터 기반의 3차원 응용 시스템을 조작하는 손동작 기반 사용자 인터랙션 장치에 있어서,
    상기 사용자의 손동작 입력을 적어도 하나의 메타포 템플릿 중에서 선택된 메타포 템플릿에 정의된 변환 규칙에 따라 UI 입력으로 변환하는 메타포 변환부; 및
    상기 UI 입력을 상기 3차원 응용 시스템에 제공하는 3차원 사용자 인터페이스를 포함하며,
    상기 메타포 템플릿은 사용자의 손동작 입력과 상기 3차원 사용자 인터페이스의 UI 입력들 사이의 변환 규칙인 것을 특징으로 하는 손동작 기반 사용자 인터랙션 장치.
  13. 청구항 12에 있어서, 상기 메타포 템플릿은 위치 메타포, 위치 이동 메타포, 확대-축소 메타포, 회전 메타포, 조그 다이얼 메타포, 그리드 선택 메타포 중 적어도 하나를 포함하는 것을 특징으로 하는 손동작 기반 사용자 인터랙션 장치.
  14. 청구항 12에 있어서, 상기 사용자의 손동작 입력은 손가락의 굽힘 여부, 손목의 롤(roll), 피치(pitch) 및 요(yaw) 회전 동작의 각도 측정값 중 적어도 하나의 기본 입력을 포함하고, 상기 UI 입력은 상기 기본 입력과, 상기 기본 입력들을 조합한 확장 입력을 포함하는 것을 특징으로 하는 손동작 기반 사용자 인터랙션 장치.
  15. 청구항 12에 있어서, 상기 메타포 변환부는,
    상기 사용자의 적어도 하나의 손동작 입력을 손가락의 굽힘 여부에 관한 논리 값과, 손목의 롤, 피치 및 요 회전 동작 중 적어도 한 동작의 회전 각도에 관한 스칼라 값으로 입력받고, 또한
    상기 선택된 메타포 템플릿에 정의된 변환 규칙에 따라, 상기 3차원 응용 시스템이 구동 중인 3차원 가상 공간 및 가상 물체를 조작하기 위해 요구되는, 위치, 회전, 크기 정보 및 각각의 변화 정보에 관한 스칼라 값 또는 선택/해제에 관한 논리 값 및 이들의 조합을 포함하는 UI 입력으로 변환하도록 동작하는 것을 특징으로 하는 손동작 기반 사용자 인터랙션 장치.
  16. 청구항 12에 있어서, 상기 3차원 사용자 인터페이스는
    상기 사용자의 상기 메타포 변환부에서 이용할 메타포 템플릿을 선택하고, 상기 선택된 메타포 템플릿을 설정할 수 있는 설정 정보를 상기 메타포 변환부에 제공하는 메타포 설정부를 포함하는 것을 특징으로 하는 손동작 기반 사용자 인터랙션 장치.
  17. 청구항 12에 있어서, 상기 3차원 사용자 인터페이스에 의한 메타포 템플릿의 설정 정보는 상기 손동작 입력 값의 범위, 정밀도, 차원에 관한 설정 정보를 포함하는 것을 특징으로 하는 손동작 기반 사용자 인터랙션 장치.
  18. 청구항 12에 있어서, 상기 3차원 사용자 인터페이스는,
    상기 3차원 응용 시스템이 상기 UI 입력에 따라 구동되고 그 구동 결과가 상기 3차원 사용자 인터페이스에 피드백될 경우에, 상기 피드백을 상기 선택된 메타포 템플릿에 전달하도록 동작하고,
    상기 메타포 변환부는,
    상기 피드백을 감각적으로 인지할 수 있는 형태로 사용자에게 전달하도록 동작하는 것을 특징으로 하는 손동작 기반 사용자 인터랙션 장치.
  19. 청구항 12에 있어서, 상기 컴퓨터 기반의 3차원 응용 시스템은
    가상 환경을 3차원 가상 공간 안에 구현하고, 가상 물체를 가상 환경 안에 구현하며, 상기 3차원 사용자 인터페이스를 통해 사용자가 가상 물체, 가상 환경 및 상기 3차원 응용 시스템의 상태를 선택하고 조작할 수 있도록 동작하는 것을 특징으로 하는 손동작 기반 사용자 인터랙션 장치.
  20. 청구항 20은(는) 설정등록료 납부시 포기되었습니다.
    컴퓨터를 청구항 12 내지 청구항 19의 어느 한 청구항의 손동작 기반 사용자 인터랙션 장치로서 기능시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020100035933A 2010-04-19 2010-04-19 3차원 사용자 인터페이스를 위한 손동작 기반 사용자 인터랙션 방법 및 장치 KR101121746B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100035933A KR101121746B1 (ko) 2010-04-19 2010-04-19 3차원 사용자 인터페이스를 위한 손동작 기반 사용자 인터랙션 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100035933A KR101121746B1 (ko) 2010-04-19 2010-04-19 3차원 사용자 인터페이스를 위한 손동작 기반 사용자 인터랙션 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20110116487A KR20110116487A (ko) 2011-10-26
KR101121746B1 true KR101121746B1 (ko) 2012-03-22

Family

ID=45030756

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100035933A KR101121746B1 (ko) 2010-04-19 2010-04-19 3차원 사용자 인터페이스를 위한 손동작 기반 사용자 인터랙션 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101121746B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210021720A (ko) * 2019-08-19 2021-03-02 한국과학기술연구원 인터랙션 인터페이스의 제어 방법 및 이를 지원하는 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101927150B1 (ko) 2012-10-30 2018-12-10 삼성전자주식회사 3차원 디스플레이 장치 및 그의 사용자 인터페이스 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100244523B1 (ko) 1997-05-02 2000-02-01 정선종 가상현실용 실시간 인터페이싱 시스템의 구성 및 그 동작 방법(Real-time interfacing for virtual environment)
KR20000032308A (ko) * 1998-11-13 2000-06-15 정선종 장갑장치를 이용한 연속된 손제스처 명령어 생성방법 및 그 시스테뮤
US6498628B2 (en) 1998-10-13 2002-12-24 Sony Corporation Motion sensing interface
KR20090124172A (ko) * 2008-05-29 2009-12-03 고려대학교 산학협력단 손의 모양 변화에 기초하여 제어되는 가상 마우스 장치 및그 구동 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100244523B1 (ko) 1997-05-02 2000-02-01 정선종 가상현실용 실시간 인터페이싱 시스템의 구성 및 그 동작 방법(Real-time interfacing for virtual environment)
US6498628B2 (en) 1998-10-13 2002-12-24 Sony Corporation Motion sensing interface
KR20000032308A (ko) * 1998-11-13 2000-06-15 정선종 장갑장치를 이용한 연속된 손제스처 명령어 생성방법 및 그 시스테뮤
KR20090124172A (ko) * 2008-05-29 2009-12-03 고려대학교 산학협력단 손의 모양 변화에 기초하여 제어되는 가상 마우스 장치 및그 구동 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210021720A (ko) * 2019-08-19 2021-03-02 한국과학기술연구원 인터랙션 인터페이스의 제어 방법 및 이를 지원하는 장치
KR102306392B1 (ko) 2019-08-19 2021-09-30 한국과학기술연구원 인터랙션 인터페이스의 제어 방법 및 이를 지원하는 장치
US11656687B2 (en) 2019-08-19 2023-05-23 Korea Institute Of Science And Technology Method for controlling interaction interface and device for supporting the same

Also Published As

Publication number Publication date
KR20110116487A (ko) 2011-10-26

Similar Documents

Publication Publication Date Title
KR102219912B1 (ko) 원격 호버 터치 시스템 및 방법
CN110603509B (zh) 计算机介导的现实环境中直接和间接交互的联合
US20190265803A1 (en) User-Defined Virtual Interaction Space and Manipulation of Virtual Cameras with Vectors
KR101318244B1 (ko) 3차원 사용자 인터페이스 구현 시스템 및 구현 방법
Telkenaroglu et al. Dual-finger 3d interaction techniques for mobile devices
Smith et al. Digital foam interaction techniques for 3D modeling
KR101392936B1 (ko) 사용자 맞춤형 인터페이스 시스템 및 그 구현 방법
Menzner et al. Above surface interaction for multiscale navigation in mobile virtual reality
KR101121746B1 (ko) 3차원 사용자 인터페이스를 위한 손동작 기반 사용자 인터랙션 방법 및 장치
Chen et al. An integrated framework for universal motion control
Liu et al. COMTIS: Customizable touchless interaction system for large screen visualization
Messaci et al. Zoom‐fwd: Efficient technique for 3D gestual interaction with distant and occluded objects in virtual reality
Decle et al. A study of direct versus planned 3d camera manipulation on touch-based mobile phones
JPH04257014A (ja) 入力装置
Kulik et al. The groovepad: ergonomic integration of isotonic and elastic input for efficient control of complementary subtasks
EP3374847B1 (en) Controlling operation of a 3d tracking device
CN116204945B (zh) 基于三维观察体的对象观察方法、装置、终端及介质
KR102438736B1 (ko) 제스처 기반의 비접촉 멀티미디어 장치 제어 시스템 및 이를 이용한 제스처 기반의 비접촉 멀티미디어 장치 제어 방법
Burkhardt et al. Classifying interaction methods to support intuitive interaction devices for creating user-centered-systems
Ughini et al. EyeScope: a 3D interaction technique for accurate object selection in immersive environments
Wang et al. A Virtual Menu Using Gesture Recognition for 3D Object Manipulation in Mixed Reality
Donchyts et al. Benefits of the use of natural user interfaces in water simulations
Jarsaillon et al. Flexible visualization framework for head-mounted display with gesture interaction interface
Güneş Viewpoint manipulations for 3D visualizations of smart buildings
JP4513620B2 (ja) 情報処理装置、情報処理装置におけるデータ呈示方法

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160128

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190201

Year of fee payment: 8