KR102508924B1 - 증강 또는 가상 현실 환경에서의 객체의 선택 - Google Patents

증강 또는 가상 현실 환경에서의 객체의 선택 Download PDF

Info

Publication number
KR102508924B1
KR102508924B1 KR1020170144693A KR20170144693A KR102508924B1 KR 102508924 B1 KR102508924 B1 KR 102508924B1 KR 1020170144693 A KR1020170144693 A KR 1020170144693A KR 20170144693 A KR20170144693 A KR 20170144693A KR 102508924 B1 KR102508924 B1 KR 102508924B1
Authority
KR
South Korea
Prior art keywords
gesture
user
objects
environment
gestures
Prior art date
Application number
KR1020170144693A
Other languages
English (en)
Other versions
KR20180055697A (ko
Inventor
뱅쌍 알롬
삐에릭 쥬에
마띠유 프라데
Original Assignee
인터디지털 매디슨 페턴트 홀딩스 에스에이에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 filed Critical 인터디지털 매디슨 페턴트 홀딩스 에스에이에스
Publication of KR20180055697A publication Critical patent/KR20180055697A/ko
Application granted granted Critical
Publication of KR102508924B1 publication Critical patent/KR102508924B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

복수의 실제 및/또는 가상 객체들(8, 10, 12, 14, 16, 18, 20)을 포함하는 환경에서 객체를 선택하는 방법이 개시되는데, 환경은 디스플레이 디바이스(4)를 통해 사용자(2)에게 디스플레이되고, 이 방법은, 복수의 객체들(8, 10, 12, 14, 16, 18, 20) 중의 각각의 객체에 제스처 경로를 할당하는 단계를 포함하고, 제스처 경로는 객체를 선택하기 위해 사용자(2)에 의해 수행될 일련의 제스처들을 포함한다.

Description

증강 또는 가상 현실 환경에서의 객체의 선택{SELECTION OF AN OBJECT IN AN AUGMENTED OR VIRTUAL REALITY ENVIRONMENT}
본 발명은 일반적으로 인간-컴퓨터 상호작용의 분야에 관한 것이다.
더 상세하게는, 본 발명은 실제 객체들 및/또는 가상 객체들을 포함하는 증강 또는 가상 현실 환경에서 객체들과의 사용자 상호작용을 다룬다.
따라서, 본 발명은 환경 내에서 객체의 선택 방법 및 대응하는 선택 디바이스에 관한 것이다. 본 발명은 추가로, 본 발명의 선택 방법을 구현하는 컴퓨터 프로그램에 관한 것이다.
이 섹션에서 설명된 접근법들은 추구될 수 있지만, 반드시 이전에 착안되거나 추구된 접근법들인 것은 아니다. 따라서, 본원에서 달리 표시되지 않는 한, 이 섹션에서 설명되는 접근법들은 본 출원의 청구항들에 대한 종래 기술이 아니고, 이 섹션에 포함됨으로써 종래 기술로 인정되지는 것도 아니다.
컴퓨터들, 스마트폰들 및 태블릿들과 같은 멀티미디어 디바이스들과의 통상적인 사용자 상호작용은 통상적으로 키보드 이벤트들, 마우스 이벤트들, 및 핀치, 줌, 터치 등과 같은 스크린 터치 이벤트들과 같은 사용자 입력들에 의존한다.
음성 및 제스처 커맨드들과 같은 다른 상호작용들이 또한 통상적이 되고, 이는 일반적으로 간접 트리거들로서 사용되는데, 사용자에 의해 예상되는 동작과 관련시키기 위해 관련된 콘텍스트의 분석이 통상적으로 요구되기 때문이다.
이러한 콘텍스트는, 사용자에 의해 현재 사용되는 특정 애플리케이션과 통상적으로 관련될 수 있고, 가능하게는 그에 제한될 수 있다. 이러한 경우, 고려되는 콘텍스트는 예를 들어, 사용자에 의해 행해진 최근의 문의들 또는 마지막으로 열린 메뉴를 포함한다.
콘텍스트는 또한, 방 안의 사용자의 물리적 위치 및 방에 존재하는 아이템들과 같이 즉각적인 사용자 환경을 포함할 수 있는데, 이는, 사용자가 자신의 육안을 통해 또는 시스루(see-through) 디바이스 또는 헤드-장착 디스플레이(HMD)를 사용하여 이들을 인지할 수 있기 때문이다. 즉각적인 사용자 환경에서 실제 객체들을 포함하는 콘텍스트의 예는 도 1에 도시되어 있다.
도 1의 예에서, 헤드-장착 디스플레이(4)를 구비한 사용자(2)는 방(6)에 위치된 다수의 실제 객체들과 상호작용할 수 있다. 예를 들어, 이러한 객체들은 카메라(8) 및 신문(10)과 같은 테이블(7) 상에 배치된 객체들을 포함한다.
또한, 변경된 현실 또는 가상 현실 애플리케이션들과 같은 일부 경우들에서, 콘텍스트는 사용자의 환경들로부터의 실제 및/또는 가상 객체(들)를 포함할 수 있다. 이러한 콘텍스트의 예는 도 2에 도시되어 있다.
변경된 현실이란, 증강 현실(또한 복합 현실로 지칭됨)의 경우, 즉 실제 객체들 플러스 장면에 존재하는 일부 가상 객체들, 및 사용자에 의해 직접적으로 보여지거나 또는 시스루 안경과 같은 디바이스를 사용하여 보여질 때 실제 객체가 예를 들어, 크기, 색상, 존재 또는 위치에서 변경되는 경우 둘 모두를 의미한다.
도 2의 예에서, 헤드-장착 디스플레이(4)를 구비한 사용자(2)는 실제 객체들(8, 10)과 상호작용할 수 있다. 사용자(2)는 또한 방(6)에 위치된 가상 객체들과 상호작용할 수 있다. 예를 들어, 가상 객체들은 장갑(12), 게임 패드(14), 등화기(16), 캐릭터(18) 및 기어(20)를 포함한다. 이러한 가상 객체들은 헤드-장착 디스플레이(4)의 애플리케이션과 관련될 수 있다. 예를 들어, 가상 객체들은 이용가능한 애플리케이션들의 아바타, 또는 예를 들어, 게임 개시를 위한 게임 패드(14)와 같은 일부 관련된 애플리케이션을 트리거링하도록 활성화될 수 있는 엘리먼트들의 아바타들로서 기능할 수 있다.
사용자의 즉각적인 환경에서 다수의 실제 및/또는 가상 객체들의 경우, 사용자는 상호작용하고자 하는 객체를 구체적으로 표시할 필요가 있을 수 있다. 객체의 이러한 선택은 잘못된 객체를 선택함으로써 사용자의 의도를 오해하는 것을 회피하기 위해 매우 정확할 필요가 있다.
통상적인 게임 접근법들에서, 상호작용의 이러한 트리거링은 한 번에 몇 개의 객체들로 제한된다. 객체들의 수는 통상적으로 플레이어에 의해 사용되는 게임 패드의 버튼들 수와 관련된다. 예를 들어, Play Station 3 및 Play Station 4 콘솔들의 Heavy Rain Move Edition과 같은 일부 게임들은 특정 제어 디바이스, 및 플레이 장면에서 객체들에 대한 미세 튜닝된 레이아웃을 사용한다.
문헌 US2013/0328925는 복합 현실 환경에서 가상 객체들에 대한 사용자 포커스를 해석하기 위한 시스템을 설명한다. 이러한 시스템은 하나 이상의 프로세싱 유닛들에 커플링된 시스루 헤드-장착 디스플레이 디바이스를 포함한다. 헤드 장착 디스플레이 유닛(들)과 협력하는 프로세싱 유닛들은 홀로그램 객체들로 또한 지칭되는 하나 이상의 가상 객체들을 사용자에게 디스플레이할 수 있다. 사용자는 디스플레이된 가상 객체들과 상호작용할 수 있다. 추론, 표현 제스처들 및 휴리스틱 규칙들을 사용하면, 시스템은, 사용자가 집중하고 상호작용할 가능성이 큰 가상 객체들을 결정한다. 그 시점에, 시스템은 선택된 가상 객체를 다른 가상 객체들보다 강조하고, 선택된 가상 객체와 다양한 방식들로 상호작용할 수 있다.
본 문헌에서, 사용자가 상호작용하기를 원하는 객체의 선택은, 가상 객체에 대한 사용자의 머리 또는 눈 또는 손의 위치를 결정함으로써 또는 가상 객체에 대한 사용자의 손의 이동을 결정함으로써 이루어진다.
종래 기술의 솔루션들에 대한 하나의 문제는, 이들이 가까운 이웃에 있는 그룹화된 객체들의 경우 정확하게 객체 선택을 관리하지 않는다는 점이다. 또한 기존 솔루션들은 사용자 시점에서 실제 및/또는 가상 객체들의 부분적 또는 전체적 중첩을 정확하게 핸들링할 수 없다.
도 3은 다수의 가상 객체(들)를 갖는 사실적인 증강 장면의 예를 도시한다. 이러한 장면은 기존 시스템들을 통해서는 쉽게 관리되지 않을 것이다.
도 3의 장면에 존재하는 객체들은 도 2의 장면에 존재하는 객체들과 동일하고, 카메라(8)는, 카메라가 부분적으로 커버하는 신문(10)에 너무 가깝다.
사용자(2)는 예를 들어 테이블(7) 상의 카메라(8) 또는 신문(10)과 같은 도 3의 장면에서 예를 들어 이들이 너무 가깝거나 심지어 부분적으로 또는 전체적으로 은폐된 경우 특정 객체와 함께 예를 들어, 자신의 손(22)을 이동시킴으로써 일부 상호작용을 어떻게 용이하게 트리거할 수 있을 것인가?
본 발명은 상황을 개선하기 위한 솔루션을 제안한다.
따라서, 본 발명은 복수의 실제 및/또는 가상 객체들을 포함하는 환경에서 객체를 선택하는 방법을 제공하며, 환경은 디스플레이 디바이스를 통해 사용자에게 디스플레이되고, 방법은 복수의 객체들의 각각의 객체에 제스처 경로를 할당하는 것을 포함하고, 제스처 경로는 객체를 선택하기 위해 사용자에 의해 수행될 일련의 제스처들을 포함한다.
따라서, 환경의 각각의 객체를 고유하게 구별하는 제스처 경로의 할당에 의해, 사용자의 시점에서 다른 객체에 의해 부분적으로 또는 전체적으로 덮여 커버되는 경우에도 임의의 객체를 선택하는 것이 가능하다.
일 실시예에 따르면, 방법은 각각의 객체의 제스처 경로를 객체 상에 또는 객체 근처에 중첩된 태그로서 디스플레이하는 단계를 포함한다.
예를 들어, 사용자의 시점에서 가시적인 객체의 경우, 태그는 객체 상에 중첩된 반투명의 커버 텍스처를 갖는다. 사용자가 자신의 시점에서 볼 수 없는 객체의 경우, 태그는 가시적이 되도록 객체 근처에 배치된다. 대안적으로, 은폐된 객체는 반투명한 텍스처로 디스플레이되고, 태그는 스스로 준-가시적이 되도록 객체 상에 중첩된다.
유리하게는, 제스처 경로의 각각의 제스처는 제스처 방향에 따라 지향된 화살표의 형태로 디스플레이된다.
일 실시예에 따르면, 방법은,
- 사용자에 의해 수행된 제스처를 검출하는 단계;
- 객체를 선택하기 위해 여전히 수행될 제스처 경로의 나머지 제스처들을 디스플레이하는 단계를 포함한다.
따라서, 사용자는 각각의 제스처 이후, 각각의 객체를 선택하기 위해 여전히 수행될 나머지 제스처들을 알고 있다.
제1 실시예에 따르면, 방법은,
- 사용자의 검출된 제스처가 달성될 나머지 제스처들 중의 제1 제스처에 대응하지 않는 객체들을 검출하는 단계;
- 검출된 객체들을 폐기하는 단계를 포함한다.
바람직하게는, 검출된 객체는 사용자에 의해 선택불가능하게 되는 검출된 객체들 상에 십자 형태로 태그를 중첩함으로써 폐기된다.
제2 실시예에 따르면, 방법은,
- 상기 사용자의 검출된 제스처가 달성될 나머지 제스처들 중의 제1 제스처에 대응하지 않는 객체들을 검출하는 단계;
- 검출된 객체들의 나머지 제스처들을 변경하는 단계를 포함하고, 환경의 각각의 객체의 나머지 제스처들은 환경의 임의의 다른 객체의 나머지 제스처들과 상이하다.
따라서, 이러한 제2 실시예에 따르면, 사용자가 선택하기를 원하는 타겟 객체의 제스처 경로에 대응하지 않는 제스처를 사용자가 잘못하여 수행하는 경우에도, 대응하는 제스처 경로가 동적으로 변경되기 때문에 이러한 객체를 선택하는 것이 여전히 가능하다.
유리하게는, 객체는, 객체에 할당된 제스처 경로가 완전히 달성된 경우에 선택된다.
일 실시예에 따르면, 제스처들은 손 제스처들이다.
이는, 손 제스처들의 방향들이 검출하기 용이하기 때문에 유리하다.
유리하게는, 제스처 경로의 할당은 사용자의 안락함을 고려한다.
예를 들어, 객체를 선택하기 위해 달성될 제스처들을 결정하는 경우 사용자의 물리적 손 제한이 고려된다.
본 발명은 또한 복수의 실제 및/또는 가상 객체들을 포함하는 환경에서 객체를 선택하기 위한 선택 디바이스를 제공하며, 환경은 디스플레이를 통해 사용자에게 디스플레이되고, 선택 디바이스는 적어도 하나의 프로세서를 포함하고, 선택 디바이스는 복수의 객체들의 각각의 객체에 제스처 경로를 할당하도록 구성되는 할당 모듈을 포함하고, 제스처 경로는 객체를 선택하기 위해 사용자에 의해 수행될 일련의 제스처들을 포함한다.
일 실시예에 따르면, 할당 모듈은,
- 사용자의 검출된 제스처가 달성될 나머지 제스처들 중의 제1 제스처에 대응하지 않는 객체들을 검출하고;
- 검출된 객체들의 나머지 제스처들을 변경하도록 구성되고, 환경의 각각의 객체의 나머지 제스처들은 환경의 임의의 다른 객체의 나머지 제스처들과 상이하다.
일 실시예에 따르면, 선택 디바이스는, 환경을 분석하고 환경의 복수의 객체들을 검출하도록 구성되는 환경 분석 모듈을 포함한다.
유리하게는, 환경 분석 모듈은 사용자의 시점으로부터 부분적으로 또는 전체적으로 은폐된 객체들을 검출하도록 구성된다.
일 실시예에 따르면, 선택 디바이스는 사용자에 의해 달성되는 제스처를 분석하도록 구성되는 제스처 분석 모듈을 포함한다.
본 발명에 따른 방법은 프로그래밍가능 장치 상의 소프트웨어로 구현될 수 있다. 이는 단지, 하드웨어 또는 소프트웨어, 또는 이들의 조합으로 구현될 수 있다.
본 발명은 소프트웨어로 구현될 수 있기 때문에, 본 발명은 임의의 적절한 캐리어 매체 상에서 프로그래밍가능 장치로의 제공을 위한 컴퓨터 판독가능 코드로서 구현될 수 있다. 캐리어 매체는 플로피 디스크, CD-ROM, 하드 디스크 드라이브, 자기 테이프 디바이스 또는 솔리드 스테이트 메모리 디바이스 등과 같은 저장 매체를 포함할 수 있다.
따라서, 본 발명은 컴퓨터로 하여금 본 발명의 선택 방법을 수행할 수 있게 하는 컴퓨터 실행가능 명령어들을 포함하는 컴퓨터 판독가능 프로그램을 제공한다.
도 7의 도면은 이러한 컴퓨터 프로그램에 대한 일반적인 알고리즘의 예를 예시한다.
본 발명은, 유사한 참조 번호들이 유사한 엘리먼트들을 지칭하는 첨부된 도면들의 도면들에 제한의 방식이 아닌 예시의 방식으로 예시된다.
이미 설명된 도 1은 오직 실제 객체들만을 포함하는 환경의 개략도이다.
이미 설명된 도 2는 실제 및 가상 객체들을 포함하는 증강 현실 환경의 개략도이다.
이미 설명된 도 3은 서로 가까운 많은 객체들을 포함하는 증강 현실 환경의 예를 도시한다.
도 4는 도 3의 환경에서 본 발명의 구현예를 도시한다.
도 5는 도 3의 환경에서 본 발명의 제1 실시예의 구현예를 도시한다.
도 6은 도 3의 환경에서 본 발명의 제2 실시예의 구현예를 도시한다.
도 7은 본 발명의 일 실시예에 따른 선택 방법의 단계들을 도시하는 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 선택 디바이스를 예시하는 개략도이다.
본 발명의 실시예들은 도 3을 참조하여 이미 설명된 증강 현실 환경에서 구현된다.
이러한 환경은 또한 도 4에 표현되어 있다. 이러한 환경에서, 헤드-장착 디스플레이(4)를 구비한 사용자(2)는 실제 객체들(8, 10)과 상호작용할 수 있다. 사용자(2)는 또한 가상 객체들(12, 14, 16, 18, 20)과 상호작용할 수 있다. 예를 들어, 이러한 가상 객체들은 예를 들어, 게임과 같은 헤드-장착 디스플레이(4)의 애플리케이션과 관련될 수 있다. 장면으로 또한 지칭되는 도 4에 표현된 환경은 헤드-장착 디스플레이(4)를 구비한 사용자(2)의 시야에 대응한다.
바람직하게는, 사용자(2)는 자신의 손(22)을 이동시켜 객체들(8, 10, 12, 14, 16, 18, 20) 중의 객체와 상호작용한다. 손(22)은 화살표들(24)로 표현된 복수의 이동들에 따라 이동될 수 있다.
다음의 설명에서, 제스처는 2D 또는 3D 공간에서, 즉, 사용자의 커맨드 검출을 담당하는 분석 시스템에 의해 검출가능한 신체 부분, 바람직하게는 손의 최소 이동을 의미한다. 예를 들어, 사용자는 자신의 오른손을 정지 위치로부터 우측으로 4cm만큼 약간 이동시킨 후 다시 정지한다. 이는 제스처 이동 단위를 표현할 수 있다.
제스처 경로란, 위에서 정의된 바와 같은 단위 제스처들의 조합, 즉 시간적 시퀀스를 의미한다.
통상적으로 사용자의 손의 현재 위치 주변에 정의되는 2D 공간에서, 손의 깊이 변화는 통상적으로 무시되고, 깊이는 손으로부터 시간에 따른 손의 변화를 추정하는 관측 디바이스까지의 거리이다. 이러한 관측 디바이스는 예를 들어, 카메라와 같은 감지 디바이스를 포함한다.
3D 공간에서, 관측 디바이스에 대한 손의 깊이 위치의 변화는, 예를 들어, 일부 "압박" 제스처(손 제스처들을 추정하는 것을 담당하는 관측 디바이스에 손이 약간 더 가깝게 이동함) 또는 일부 "해제" 제스처(손이 그 디바이스로부터 약간 멀리 이동함)와 같은 추가적인 단위 제스처들을 허용하기 위해, 또한 고려될 수 있다.
제스처의 시작과 종료(각각 제스처 경로)는 이동 추정 프로세스에서 검출된 이동의 부존재일 수 있다. 제스처의 종료는 또한 지속기간 시간 임계치로서 정의될 수 있거나(예를 들어, 단위 제스처는 최대 3초 길이로 설정될 수 있음), 또는 제스처 경로는, 누적된 제스처 단위들이 어떠한 공지된 제스처들(즉, 시스템이 커맨드들로서 인식하려 시도하는 제스처들)에도 속하지 않는 즉시 종료되도록 설정될 수 있다.
또한, "손" 제스처들은 예를 들어, 리모컨과 같은 제어기로서 사용되는 임의의 객체로 행해진 제스처들을 포함한다.
유리하게는, 표현된 실시예에서, 사용자의 손(22)에 의해 실행되는 제스처들은 2D 제스처들, 즉, 사용자의 손(22)에 가까운 평면 영역에 있는 제스처들이다.
다른 에에 따르면, 여전히 사용자 생리학적 제한 또는 사용자의 안락 요건과 관련하여, 사용자(2)의 손(22) 주위의 경계 영역에서 3D 제스처(들)가 또한 고려된다. 실제로, 손(22)은 이의 초기 제스처 시작에 가까이 있어야 하고, 예를 들어 사용자 위치로부터 멀리 이동할 수 없다.
도 4에 도시된 실시예에 따르면, 객체의 선택이 관련되는 동안, 장면의 각각의 후보 객체는 예를 들어 반투명 커버링 텍스처를 사용함으로써 다소 부분적으로 태깅되는 것으로 일시적으로 렌더링된다. 태그는 유리하게는, 일련의 화살표들의 형태로 표현된 동적 정보를 포함하여, 최종적으로 각각의 객체를 선택하기 위해 사용자(2)가 달성할 필요가 있는 나머지 제스처들을 디스플레이한다. 이러한 나머지 제스처들은 사용자(2)가 객체를 선택하기 위해 손(22)을 사용하여 달성할 필요가 있는 제스처 경로를 제공한다.
의도된 선택 목적을 위해, 각각의 순간에 제스처 경로를 구성하는 나머지 제스처들은 차별적이 되도록 구축되는데, 즉, 도 4에 도시된 바와 같이 장면으로부터 어떠한 적합한 객체들도 동시에 제시된 동일한 나머지 제스처 경로를 갖지 않고, 여기서 장면의 객체들 각각은 다른 객체들의 제스처 경로들과 상이한 제스처 경로를 갖는다.
제스처 경로를 각각의 객체와 연관시킴으로써, 예를 들어, 객체들이 전체적으로 또는 부분적으로 다른 객체들에 의해 숨겨져 있기 때문에, 환경의 모든 객체들은 사용자(2)에게 가시적이 아니더라도 선택될 수 있다. 마스크된 객체들의 선택의 이러한 가능성을 개선하기 위해, 관련 제스처 경로를 디스플레이하도록 기능하는 반투명 텍스처 객체의 오버레이 크기가 감소될 수 있다.
도 5에 표현된 제1 실시예에 따르면, 사용자(2)가 주어진 객체에 대해 달성될 나머지 제스처들 중의 제1 제스처에 대응하지 않는 손(22)으로 제스처를 생성하는 경우, 이러한 객체는 선택으로부터 폐기되는데, 즉 사용자(2)는 이러한 객체를 더 이상 선택할 수 없다.
예를 들어, 사용자(2)가 객체들(18 및 20) 중 오직 제스처 경로의 제1 제스처에 대응하는 화살표(26)에 의해 표현된 제스처에 따라 손(22)을 방금 이동시켰을 때, 모든 다른 객체들(8, 10, 12, 14, 16)은 선택으로부터 폐기된다.
이러한 폐기는 예를 들어 선택불가능하게 되는 객체들(8, 10, 12, 14, 16) 상에 십자 형태의 태그를 중첩시킴으로써 사용자(2)에게 나타난다. 객체의 크기를 감소시킴으로써 객체가 폐기되는 것을 나타내는 것이 또한 가능하다.
이러한 제1 실시예는 원하는 객체의 신속한 선택을 달성하기 위해 유리하다. 그러나, 이러한 제1 실시예는 에러 허용적이 아니다. 실제로, 사용자(2)는 예를 들어 게임 패드(14)를 선택하는데 흥미를 가질 수 있지만, 안타깝게도 이러한 게임 패드(14)와 연관된 나머지 제스처 경로의 제1 제스처에 대응하지 않는 잘못된 제스처를 생성하였다.
유리하게는, 제2 실시예에 따르면, 사용자(2)에 의해 생성되는 잘못된 제스처들 후에도 객체들을 선택하는 것이 여전히 가능하다.
도 6에 표현된 이러한 제2 실시예에 따르면, 사용자(2)가 객체에 대해 달성될 나머지 제스처들 중의 제1 제스처에 대응하지 않는 제스처를 생성하는 경우, 이러한 객체의 나머지 제스처들은 변경되는 한편 여전히 환경의 임의의 다른 객체의 나머지 제스처들과 상이하다. 이러한 제2 실시예는 사용자(2)에 의해 달성된 임의의 잘못된 제스처로부터의 복원을 허용한다.
따라서, 제1 실시예에서와 같이 폐기되는 대신에, 객체들(8, 10, 12, 14, 16)은 여전히 선택가능하지만 새로운 제스처 경로를 갖는다.
객체들(8, 10, 12, 14, 16)의 제스처 경로들만이 변경된다는 점을 주목하는 것이 중요하다. 사용자(2)의 제스처가 제스처 경로의 제1 제스처와 매칭하는 객체들(18, 20)의 제스처 경로들은 변경되지 않는다. 이는, 선택 프로세스가 이러한 객체들에 대해 동일하게 유지되고, 제2 실시예에 따른 복원 옵션의 활성화에도 불구하고 사용자가 어떠한 과도한 선택 시간에 직면하지 않기 때문에 유리하다.
잘못된 제스처의 경우, 도 7을 참조하여 후술하는 바와 같이, 사용자(2)는 완전한 제스처 검출에 다시 관여할 필요없이 원하는 객체를 여전히 선택할 수 있다. 따라서, 제2 실시예는 객체 선택의 시간 실행에 관한 최소의 비용으로 잘못된 제스처를 정정하는 것을 허용한다.
본 발명의 제2 실시예의 접근법은 각각의 존재하지만 잠재적으로 폐기된 객체의 각각의 제스처 경로의 동적 실시간 업데이트를 도출한다.
유리하게는, 제스처 경로의 변경은 예를 들어 새로운 적색 또는 불연속적인 화살표들을 사용하여, 임의의 수단에 의해 사용자(2)에게 시각적으로 시그널링될 수 있다.
제스처 경로의 변경이 존재하는 경우, 물리적 손 제한 및 사용자의 안락함이 또한 고려된다. 따라서, 제스처 경로가 초기 위치로부터 멀리 또는 사용자(2)에게 잠재적으로 불편한 영역으로 손(22)을 유도하는 경우, 재계산된 제스처 경로는 사용자의 손(22)을 다시 초기 위치에 가깝게 또는 심지어 더 안락한 위치로 유도하는 경로를 선호하는 한편, 모든 객체들에 대해 차별적인 제스처 경로들을 유지할 것이다.
또한, 유리하게는, 오직 2D 제스처들만이 고려되고 사용자(2)가 3D 제스처를 생성하는 경우, 제스처 경로들은 재계산된다. 대안적으로, 사용자의 제스처가 평가되는 2D 평면 배향은 예를 들어 사용자가 자신의 원하는 제스처 영역을 정의하게 하기 위해 사용자의 제1 3D 제스처로부터 먼저 추정될 수 있다.
도 7의 흐름도는 본 발명의 바람직한 실시예에 따른 객체의 선택 방법의 단계들을 도시한다.
제1 단계(30) 동안, 바람직하게는 3D 스캐닝을 통해 환경 레이아웃이 추정된다. 이러한 3D 스캐닝은 다음 단계들 중 하나 또는 이들의 조합을 포함할 수 있다:
- 깊이 감지;
- 색상 스테레오 캡처;
- 예를 들어 사용자(2)의 위치 및/또는 배향에 특정된 특징들을 추출하기 위해, 가능하게는 데이터베이스 특징 추출에 의해 완성되는 이미지 특징 추출. 사용자의 환경의 레이아웃을 추정하는 것을 돕기 위해, 객체들이 공간/크기 특징들, 색상 특징들, 깊이 특징들 등을 통해 설명되는, 공지된 객체들의 사전-학습된 데이터베이스가 사용될 수 있다. 예를 들어, 의자, 소파, 테이블의 데이터베이스가 그러한 목적으로 사용될 수 있다.
예를 들어, 추정은, 사용자(2)가 집의 특정 방에 있음을 식별할 수 있고, 관련된 객체들, 예를 들어, 거실의 소파, TV, 커피 테이블을 인식할 수 있다.
실제 객체들의 검출 이후, 가상 객체들은 동일한 위치, 예를 들어, 같은 방에서, 또는 다른 방과 같은 다른 위치에서 장면에 추가된다.
단계(32)에서, 환경의 하나 이상의 객체들의 부분적 또는 전체적 은폐가 검출된다. 이러한 은폐는 일반적으로 실제 및/또는 가상 객체들 사이의 부분적 또는 전체적 커버로 인한 것이다.
그 다음, 검출된 은폐는 사용자에게 제시되는 객체들의 외관을 변경함으로써 단계(34)에서 프로세싱된다. 예를 들어, 사용자로의 시점으로부터 볼 때 완전히 은폐하는 객체(들)는, 예를 들어, 이러한 객체들 각각에 대해 일부 디스플레이 할당을 허용하기 위해 반투명 오버레이에 의해 시각적으로 배열된다. 예를 들어, 2개의 다른 객체를 완전히 은폐하는 객체는, 이의 원래의 뷰가 3개로 분리되어 나타날 수 있고, 2개의 다른 객체들은 그 원래의 은폐하는 객체 영역 내에서 일부 디스플레이 영역을 할당받을 것이다. 사용자 인터페이스에서 렌더링된 디스플레이의 반투명 및/또는 착색된 서브 영역들은 이러한 은폐 프로세싱의 가능한 출력이다.
단계(36)에서, 제스처 경로는 선택가능한 객체로 지칭되는, 사용자에 의해 선택될 수 있는 각각의 객체에 할당된다. 이러한 제스처 경로는 헤드-장착 디바이스(4) 상에 태그로서 디스플레이된다.
단계(38)에서, 사용자의 제스처의 시작이 검출된다. 그 다음, 제스처 달성이 추정된다.
단계(40)에서, 본 발명의 제2 실시예에 따르면, 제스처가 하나 이상의 객체(들)의 하나 이상의 제스처 경로(들)와 매칭하지 않는 것으로 검출되는 경우, 제스처 경로(들)가 업데이트된다.
단계(42)에서, 사용자(2)가 주어진 객체의 제스처 경로를 완료하면, 객체가 선택된다.
유리하게는, 사용자가 선택된 객체들을 사용하여 수행할 수 있는 동작들의 목록이 사용자에게 디스플레이된다.
일 실시예에 따르면, 오디오 피드백이 디스플레이 대신에 또는 디스플레이와 함께 구현된다.
그 다음, 사용자는 원하는 동작을 선택할 수 있다. 이러한 동작은 줌과 같은 사용자 인터페이스 동작일 수 있다. 이는 또한, 선택한 객체를 사용한 콘텐츠 재생 또는 임의의 다른 동작일 수 있다.
단계(44)에서, 원하는 동작이 실행된다.
도 8은 본 발명의 실시예에 따른 선택 디바이스(50)를 예시한다.
선택 디바이스(50)는 특히 헤드-장착 디스플레이가 충분한 프로세싱 능력 및 감지 하드웨어 능력들을 갖는 경우, 예를 들어 헤드-장착 디스플레이(4) 자체이다. 이는 또한 PC, 스마트폰, 셋톱 박스, 게이트웨이 또는 하나 이상의 프로세서들, 네트워크 접속 및 장면(3D) 감지 능력들을 갖는 임의의 다른 디바이스일 수 있다.
선택 디바이스(50)는 환경 분석 모듈(52)을 포함한다. 이러한 환경 분석 모듈(52)은 유리하게는 3D 장면 스캐너를 포함한다.
선택 디바이스(50)는 또한 환경 분석 모듈(52)에 의해 검출된 각각의 선택가능한 객체에 제스처 경로를 할당하도록 구성되는 할당 모듈(54)을 포함한다. 할당 모듈(54)은 본 발명의 제2 실시예에 따라 필요할 때 제스처 경로들을 업데이트하도록 구성된다.
일 실시예에 따르면, 선택 디바이스(50)는 사용자(2)에 의해 달성되는 제스처를 분석하도록 구성되는 제스처 분석 모듈(56)을 포함한다. 이러한 제스처 분석 모듈(56)은 바람직하게는 계획에서 사용자의 손(22)의 제스처들(2D 제스처들)을 검출하도록 구성된다.
3D 장면 스캐닝 및 사용자의 제스처들의 식별/추적은, 예를 들어 헤드-장착 디스플레이(4)에 내장된 그리고/또는 정확한 사용자의 손 추적 및 장면 레이아웃 추정을 허용하기 위해 사용자의 환경에서 공간적으로 국부화된 카메라로부터 이미지 세그먼트화와 같은 시각적 단서 추정 상에서 수행될 수 있다.
대안적으로, 3D 장면 스캐닝 및 사용자의 제스처들의 식별/추적은, 비행 시간 선택에 의한 순수 깊이 감지 또는 적외선 광에서 투영된 패턴으로부터의 깊이 추정에 기초한 DEPTH 카메라, 또는 스테레오 비전 카메라 또는 이들의 조합을 사용하는 3D 특징 추출에 의해 구현될 수 있다.
본 발명의 바람직한 실시예들인 것으로 현재 고려되는 것이 예시되고 설명되었지만, 본 기술분야의 통상의 기술자는 본 발명의 진정한 범위를 벗어남이 없이 다양한 다른 수정들이 행해질 수 있고 균등물들이 대체될 수 있음을 이해할 것이다. 추가적으로, 본원에 설명된 중심 발명 개념을 벗어남이 없이 특정 상황을 본 발명의 교시들에 적응시키기 위해 많은 수정들이 행해질 수 있다. 또한, 본 발명의 실시예는 상술한 특징들 모두를 포함하지는 않을 수 있다. 따라서, 본 발명은 개시된 특정 실시예들로 제한되는 것이 아니라, 본 발명은 첨부된 청구항들의 범위 내에 속하는 모든 실시예들을 포함하는 것으로 의도된다.
포함하다("comprise", "include", "incorporate", "contain"), 이다("is") 및 갖는다("have")와 같은 표현들은 설명 및 그와 연관된 청구항들을 해석할 때 비배타적인 방식으로 해석되어야 하는데, 즉 명시적으로 정의되지 않은 다른 항목들 또는 컴포넌트들이 또한 존재하도록 허용하는 것으로 해석되어야 한다. 단수형에 대한 참조는 또한 복수형에 대한 참조로 해석되어야 하며 그 반대도 마찬가지이다.
본 기술분야의 통상의 기술자는 본 발명의 범위를 벗어남이 없이 설명에 개시된 다양한 파라미터들이 수정될 수 있고, 개시되고 그리고/또는 청구된 다양한 실시예들이 결합될 수 있음을 쉽게 인식할 것이다.

Claims (15)

  1. 복수의 실제 및/또는 가상 객체들(8, 10, 12, 14, 16, 18, 20)을 포함하는 환경에서의 객체의 선택 방법으로서,
    상기 환경은 디스플레이 디바이스(4)를 통해 사용자(2)에게 디스플레이되고, 상기 방법은, 상기 복수의 객체들(8, 10, 12, 14, 16, 18, 20) 중의 각각의 객체에 제스처 경로(gesture path)를 할당하는 단계(36)를 포함하고, 상기 제스처 경로는 상기 객체를 선택하기 위해 상기 사용자(2)에 의해 수행될 일련의 제스처들을 포함하고,
    상기 방법은,
    상기 사용자의 검출된 제스처가 달성될 상기 제스처 경로의 나머지 제스처들 중의 제1 제스처에 대응하지 않는 객체들을 검출하는 단계; 및
    상기 검출된 객체들의 상기 제스처 경로의 나머지 제스처들을 변경하는 단계를 더 포함하고,
    상기 환경의 각각의 객체의 상기 제스처 경로의 나머지 제스처들은 상기 환경의 임의의 다른 객체의 상기 제스처 경로의 나머지 제스처들과는 상이한 선택 방법.
  2. 제1항에 있어서,
    각각의 객체의 상기 제스처 경로를 상기 객체 상에 중첩된 태그로서 또는 상기 객체 근처에 배치된 태그로서 디스플레이하는 단계(36)를 포함하는 선택 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 제스처 경로의 각각의 제스처는 제스처 방향에 따라 지향된 화살표의 형태로 디스플레이되는 선택 방법.
  4. 제1항 또는 제2항에 있어서,
    상기 사용자(2)에 의해 수행된 제스처를 검출하는 단계(38); 및
    상기 객체를 선택하기 위해 여전히 수행될 상기 제스처 경로의 나머지 제스처들을 디스플레이하는 단계
    를 포함하는 선택 방법.
  5. 제1항 또는 제2항에 있어서,
    상기 객체는, 상기 객체에 할당된 제스처 경로가 완전히 달성되었을 때 선택되는(42) 선택 방법.
  6. 제1항 또는 제2항에 있어서,
    상기 제스처들은 손 제스처들인 선택 방법.
  7. 제1항 또는 제2항에 있어서,
    상기 제스처 경로의 할당은 상기 사용자의 안락함(comfort)에 기초하는 선택 방법.
  8. 복수의 실제 및/또는 가상 객체들(8, 10, 12, 14, 16, 18, 20)을 포함하는 환경에서 객체를 선택하기 위한 선택 디바이스(50)로서,
    상기 환경은 디스플레이(4)를 통해 사용자(2)에게 디스플레이되고, 상기 선택 디바이스(50)는 적어도 하나의 프로세서를 포함하고, 상기 선택 디바이스(50)는 상기 복수의 객체들(8, 10, 12, 14, 16, 18, 20) 중의 각각의 객체에 제스처 경로를 할당하도록 구성된 할당 모듈(54)을 포함하고, 상기 제스처 경로는 상기 객체를 선택하기 위해 상기 사용자(2)에 의해 수행될 일련의 제스처들을 포함하고,
    상기 할당 모듈은,
    상기 사용자의 검출된 제스처가 달성될 상기 제스처 경로의 나머지 제스처들 중의 제1 제스처에 대응하지 않는 객체들을 검출하고; 및
    상기 검출된 객체들의 상기 제스처 경로의 나머지 제스처들을 변경하도록 구성되고,
    상기 환경의 각각의 객체의 상기 제스처 경로의 나머지 제스처들은 상기 환경의 임의의 다른 객체의 상기 제스처 경로의 나머지 제스처들과는 상이한 선택 디바이스.
  9. 제8항에 있어서,
    상기 환경을 분석하고, 상기 환경의 상기 복수의 객체들을 검출하도록 구성된 환경 분석 모듈(52)을 포함하는 선택 디바이스.
  10. 제9항에 있어서,
    상기 환경 분석 모듈(52)은 상기 사용자의 시점으로부터 부분적으로 또는 전체적으로 은폐된 객체들을 검출하도록 구성되는 선택 디바이스.
  11. 제8항에 있어서,
    상기 사용자(2)에 의해 달성된 제스처를 분석하도록 구성된 제스처 분석 모듈(56)을 포함하는 선택 디바이스.
  12. 기록 매체에 저장된 컴퓨터 판독가능 프로그램으로서, 컴퓨터가 제1항 또는 제2항의 선택 방법을 수행할 수 있게 하는 컴퓨터 실행가능 명령어들을 포함하는, 기록 매체에 저장된 컴퓨터 판독가능 프로그램.
  13. 삭제
  14. 삭제
  15. 삭제
KR1020170144693A 2016-11-16 2017-11-01 증강 또는 가상 현실 환경에서의 객체의 선택 KR102508924B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16306497.5 2016-11-16
EP16306497.5A EP3324270A1 (en) 2016-11-16 2016-11-16 Selection of an object in an augmented reality environment

Publications (2)

Publication Number Publication Date
KR20180055697A KR20180055697A (ko) 2018-05-25
KR102508924B1 true KR102508924B1 (ko) 2023-03-13

Family

ID=57442612

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170144693A KR102508924B1 (ko) 2016-11-16 2017-11-01 증강 또는 가상 현실 환경에서의 객체의 선택

Country Status (5)

Country Link
US (1) US10747307B2 (ko)
EP (2) EP3324270A1 (ko)
JP (1) JP7093174B2 (ko)
KR (1) KR102508924B1 (ko)
CN (1) CN108073280B (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018005091A (ja) * 2016-07-06 2018-01-11 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
CN110554770A (zh) * 2018-06-01 2019-12-10 苹果公司 静态遮挡物
US11500452B2 (en) 2018-06-05 2022-11-15 Apple Inc. Displaying physical input devices as virtual objects
US11570017B2 (en) * 2018-06-06 2023-01-31 Sony Corporation Batch information processing apparatus, batch information processing method, and program
US20210181864A1 (en) * 2018-06-18 2021-06-17 Sony Corporation Information processing device, information processing method, and program
CN109246286B (zh) * 2018-07-13 2021-02-02 深圳超多维科技有限公司 智能终端应用操作的控制方法、***、设备及存储介质
US10942577B2 (en) 2018-09-26 2021-03-09 Rockwell Automation Technologies, Inc. Augmented reality interaction techniques
US10809910B2 (en) 2018-09-28 2020-10-20 Apple Inc. Remote touch detection enabled by peripheral device
KR102629330B1 (ko) 2018-11-28 2024-01-26 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
KR20200080047A (ko) 2018-12-26 2020-07-06 삼성전자주식회사 진정 사용자의 손을 식별하는 방법 및 이를 위한 웨어러블 기기
CN111124136A (zh) * 2019-12-31 2020-05-08 维沃移动通信有限公司 虚拟画面同步方法及穿戴式设备
CN111665936A (zh) * 2020-05-19 2020-09-15 维沃移动通信有限公司 音乐收藏方法、装置、电子设备及介质
JP7446943B2 (ja) 2020-08-18 2024-03-11 株式会社日立製作所 情報表現作成支援装置、情報表現作成支援方法およびコンピュータプログラム
CN112843706B (zh) * 2021-03-16 2024-05-28 网易（杭州）网络有限公司 Vr游戏中虚拟物体的处理方法、装置以及电子设备
WO2023153220A1 (ja) * 2022-02-09 2023-08-17 ソニーグループ株式会社 情報処理装置及び情報処理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011513847A (ja) * 2008-02-27 2011-04-28 ジェスチャー テック，インコーポレイテッド 認識されたジェスチャーを用いた高機能化入力
JP2014186361A (ja) * 2013-03-21 2014-10-02 Sony Corp 情報処理装置、操作制御方法及びプログラム

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7093202B2 (en) * 2002-03-22 2006-08-15 Xerox Corporation Method and system for interpreting imprecise object selection paths
US7886236B2 (en) * 2003-03-28 2011-02-08 Microsoft Corporation Dynamic feedback for gestures
JP4883774B2 (ja) 2006-08-07 2012-02-22 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
US8130211B2 (en) * 2007-09-24 2012-03-06 Microsoft Corporation One-touch rotation of virtual objects in virtual workspace
US9767681B2 (en) * 2007-12-12 2017-09-19 Apple Inc. Handheld electronic devices with remote control functionality and gesture recognition
CN101349944A (zh) * 2008-09-03 2009-01-21 宏碁股份有限公司 手势引导***及以触控手势控制计算机***的方法
US9256282B2 (en) 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
US8009022B2 (en) * 2009-05-29 2011-08-30 Microsoft Corporation Systems and methods for immersive interaction with virtual objects
US8682489B2 (en) * 2009-11-13 2014-03-25 Intuitive Sugical Operations, Inc. Method and system for hand control of a teleoperated minimally invasive slave surgical instrument
US8812990B2 (en) * 2009-12-11 2014-08-19 Nokia Corporation Method and apparatus for presenting a first person world view of content
EP2575007A1 (en) * 2011-09-27 2013-04-03 Elo Touch Solutions, Inc. Scaling of gesture based input
CN102508651B (zh) * 2011-09-29 2015-04-15 深圳超多维光电子有限公司 用户界面的实现方法及***、电子设备
US9182815B2 (en) * 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Making static printed content dynamic with virtual data
JP2013123970A (ja) * 2011-12-14 2013-06-24 Toshiba Corp 表示装置
US8812994B2 (en) * 2011-12-29 2014-08-19 Apple Inc. Device, method, and graphical user interface for configuring restricted interaction with a user interface
US9448635B2 (en) * 2012-04-16 2016-09-20 Qualcomm Incorporated Rapid gesture re-engagement
US8880336B2 (en) * 2012-06-05 2014-11-04 Apple Inc. 3D navigation
US20130328925A1 (en) 2012-06-12 2013-12-12 Stephen G. Latta Object focus in a mixed reality environment
JP6360050B2 (ja) * 2012-07-13 2018-07-18 ソフトキネティック ソフトウェア 手の上の特異な注目すべき点を使用した人間−コンピュータ・ジェスチャ・ベース同時相互作用のための方法及びシステム
CN103809735B (zh) * 2012-11-12 2017-06-30 腾讯科技（深圳）有限公司 一种手势识别的方法及装置
KR20140089049A (ko) * 2013-01-02 2014-07-14 삼성전자주식회사 3ｄ 초음파 영상 분석 지원 장치 및 방법
US20150029092A1 (en) * 2013-07-23 2015-01-29 Leap Motion, Inc. Systems and methods of interpreting complex gestures
US10914951B2 (en) 2013-08-19 2021-02-09 Qualcomm Incorporated Visual, audible, and/or haptic feedback for optical see-through head mounted display with user interaction tracking
JP6144596B2 (ja) * 2013-09-30 2017-06-07 Dmg森精機株式会社 表示装置
JP6201770B2 (ja) * 2014-01-15 2017-09-27 富士通株式会社 ジェスチャｕｉ装置、ジェスチャｕｉ方法及びプログラム
US20150248166A1 (en) * 2014-01-26 2015-09-03 Shangkar Meitei Mayanglambam System for spontaneous recognition of continuous gesture input
TWI511029B (zh) * 2014-01-28 2015-12-01 Acer Inc 觸控顯示裝置及其操作方法
US9836760B2 (en) * 2014-01-31 2017-12-05 Apple Inc. Representative user journeys for content sessions
EP2916099B1 (en) * 2014-03-07 2020-09-30 Hexagon Technology Center GmbH Articulated arm coordinate measuring machine
EP3007029B1 (en) * 2014-10-07 2017-12-27 LG Electronics Inc. Mobile terminal and wearable device
US20160148558A1 (en) * 2014-11-26 2016-05-26 Fos Labs, Inc. Personal display systems
KR102388130B1 (ko) * 2015-01-12 2022-04-19 삼성메디슨 주식회사 의료 영상 표시 방법 및 장치
US10222976B2 (en) * 2015-06-23 2019-03-05 Sap Se Path gestures

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011513847A (ja) * 2008-02-27 2011-04-28 ジェスチャー テック，インコーポレイテッド 認識されたジェスチャーを用いた高機能化入力
JP2014186361A (ja) * 2013-03-21 2014-10-02 Sony Corp 情報処理装置、操作制御方法及びプログラム

Also Published As

Publication number Publication date
CN108073280A (zh) 2018-05-25
KR20180055697A (ko) 2018-05-25
US10747307B2 (en) 2020-08-18
JP7093174B2 (ja) 2022-06-29
JP2018081694A (ja) 2018-05-24
EP3324271B1 (en) 2022-07-27
EP3324271A1 (en) 2018-05-23
CN108073280B (zh) 2022-08-19
US20180136721A1 (en) 2018-05-17
EP3324270A1 (en) 2018-05-23

Similar Documents

Publication Publication Date Title
KR102508924B1 (ko) 증강 또는 가상 현실 환경에서의 객체의 선택
US9939914B2 (en) System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
TWI524210B (zh) 基於自然姿勢之使用者介面方法及系統
AU2024202163A1 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US20130342568A1 (en) Low light scene augmentation
WO2022022036A1 (zh) 一种展示方法、装置、设备、存储介质及计算机程序
JP7092028B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20140049558A1 (en) Augmented reality overlay for control devices
JP4323180B2 (ja) 自己画像表示を用いたインタフェース方法、装置、およびプログラム
JP7468588B2 (ja) 情報処理装置、情報処理システム、および情報処理方法
JP2013025789A (ja) 現実世界環境におけるジェスチャベースの対話型ホットスポット生成のシステム、方法及びプログラム
CN110968187B (zh) 由***设备启用的远程触摸检测
US11768576B2 (en) Displaying representations of environments
US20190155465A1 (en) Augmented media
CN117980962A (zh) 用于内容应用的设备、方法和图形用户界面
KR20160106653A (ko) 조정된 스피치 및 제스처 입력
US20150123901A1 (en) Gesture disambiguation using orientation information
US20220253808A1 (en) Virtual environment
US20210287330A1 (en) Information processing system, method of information processing, and program
KR20230158505A (ko) 맵들을 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들
US20230221833A1 (en) Methods for displaying user interface elements relative to media content
CN109144598A (zh) 基于手势的电子面罩人机交互方法与***
CN108829478A (zh) 窗口显示方法及电子设备、计算机存储介质
EP2887183B1 (en) Augmented reality display of scene behind surface
CN114296551A (zh) 目标对象的呈现方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant