KR101717604B1 - 제스처를 이용하는 삼차원 그래픽 생성 - Google Patents

제스처를 이용하는 삼차원 그래픽 생성 Download PDF

Info

Publication number
KR101717604B1
KR101717604B1 KR1020147026930A KR20147026930A KR101717604B1 KR 101717604 B1 KR101717604 B1 KR 101717604B1 KR 1020147026930 A KR1020147026930 A KR 1020147026930A KR 20147026930 A KR20147026930 A KR 20147026930A KR 101717604 B1 KR101717604 B1 KR 101717604B1
Authority
KR
South Korea
Prior art keywords
gesture
shape
display
displayed
observing
Prior art date
Application number
KR1020147026930A
Other languages
English (en)
Other versions
KR20140138779A (ko
Inventor
글렌 제이. 앤더슨
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20140138779A publication Critical patent/KR20140138779A/ko
Application granted granted Critical
Publication of KR101717604B1 publication Critical patent/KR101717604B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

제스처들을 이용하여 삼차원 가상 객체들이 생성된다. 일례에서, 형상의 선택을 수신한다. 선택된 형상을 디스플레이 상에 표시한다. 표시된 형상의 적어도 일부를 디스플레이로부터 멀어지게 이동시키기 위한 제스처를 관찰하고, 관찰된 제스처에 기초하여, 표시된 형상을 관찰된 제스처에 대응하는 디스플레이로부터 멀어지는 방향으로 변경한다. 관찰된 제스처에 기초하여 표시된 형상을 변경한 후에 변경된 형상을 삼차원 가상 객체로서 표시한다.

Description

제스처를 이용하는 삼차원 그래픽 생성{CREATION OF THREE-DIMENSIONAL GRAPHICS USING GESTURES}
본원은 컴퓨팅 또는 게임 환경에서의 그래픽 객체 생성의 분야에 관한 것으로서, 구체적으로는 사용자 제스처를 이용하여 객체에 제3 차원을 추가하는 것에 관한 것이다.
삼차원(3D) 그래픽 렌더링의 출현은 컴퓨터 및 비디오 게임의 본질을 바꿨으며, 현재는 더 많은 애플리케이션에서 그리고 심지어 사용자 인터페이스들에서도 사용되고 있다. 사용자가 3D 이미지를 볼 수 있게 해주는 3D 디스플레이들은 기존의 3D 그래픽 렌더링이 렌더링 이미지 내에 숨어 있던 추가적인 깊이를 갖고서 표시되는 것을 가능하게 한다. 핸드헬드 포인팅 장치들에서의 입체 카메라들 및 저렴한 관성 센서들의 출현은 3D 모션들이 3D 렌더링된 객체들에 적용되는 입력으로서 사용되는 것을 가능하게 하였다.
입력 시스템들로서, 모션 및 관성 센서들을 갖는 주변 장치들이 사용되어 왔다. 주변 장치는 모션 감지 글러브 또는 제어기의 형태일 수 있다. 대안으로서, 스크린 상에 나타나는 3D 모델들을 생성 및 조종하기 위해 카메라들이 3D 프리 핸드 또는 에어 제스처들을 검출하는 데 사용되어 왔다.
터치스크린들 및 트랙 패드들도 3D 객체들을 생성 및 조종하는 데 사용된다. 마우스 및 터치패드 입력도 이차원 및 삼차원에서 디자인들을 생성하는 데 사용되어 왔다.
본 발명의 실시예들은, 동일한 참조 번호들이 유사한 요소들을 지시하는 첨부 도면들에서, 한정으로서가 아니라 예로서 도시된다.
도 1a는 본 발명의 일 실시예에 따른, 터치스크린 장치 상에서 2D 형상을 그리는 도면이다.
도 1b는 본 발명의 일 실시예에 따른, 터치스크린 장치 상에 그려진 2D 형상에 대한 도면이다.
도 1c는 본 발명의 일 실시예에 따른, 터치스크린 장치 상에 그려진 2D 형상의 일부를 그래스핑(grasping)하는 도면이다.
도 1d는 본 발명의 일 실시예에 따른, 터치스크린 장치 상에 그려진 2D 형상을 제3 차원으로 풀링(pulling)하는 도면이다.
도 2a는 본 발명의 일 실시예에 따른, 터치스크린 장치 상의 또 다른 2D 형상, 및 2D 형상의 일부를 제3 차원으로 풀링하는 도면이다.
도 2b는 본 발명의 일 실시예에 따른, 3D 디스플레이 상에서 볼 수 있는 바와 같이 3D 형상 아래로 볼이 구르는 도 2a의 확장된 3D의 도면이다.
도 3은 본 발명의 일 실시예에 따른, 양손의 손가락들을 동시에 이용하여 터치스크린 장치 상에서 3D로 형상을 조종하는 도면이다.
도 4a는 본 발명의 일 실시예에 따른, 터치스크린 장치 상의 원 형태의 또 다른 2D 객체의 도면이다.
도 4b는 본 발명의 일 실시예에 따른, 터치스크린 장치 상의 2D 원, 및 장치의 스크린으로부터 떨어진 구의 중심부를 풀링하는 사용자의 도면이다.
도 4c는 본 발명의 일 실시예에 따른, 사용자에 의해 3D 구로 변환되고, 터치스크린 장치 상에 렌더링되는 2D 원의 도면이다.
도 5a는 본 발명의 일 실시예에 따른, 휴대용 컴퓨터의 스크린 상에서의 가상 바인딩의 도면이다.
도 5b는 본 발명의 일 실시예에 따른, 제3 차원에서 스크린 상의 가상 바인딩을 조종하는 도면이다.
도 6은 본 발명의 일 실시예에 따른, 사용자 제스처를 이용하여 2D 형상을 3D 형상으로 변경하는 프로세스 흐름도이다.
도 7a는 본 발명의 일 실시예에 따른, 3개의 차원에서 형상을 증대시키는 프로세스 흐름도이다.
도 7b는 본 발명의 일 실시예에 따른, 렌더링된 3D 객체를 에어 제스처들을 이용하여 조종하는 프로세스 흐름도이다.
도 8은 본 발명의 일 실시예에 따른, 본 발명의 프로세스들을 구현하는 데 적합한 컴퓨터 시스템의 블록도이다.
도 9는 본 발명의 일 실시예에 따른, 본 발명의 프로세스들을 구현하는 데 적합한 도 8의 컴퓨터 시스템의 대안 뷰의 블록도이다.
터치스크린 및 에어 제스처 입력의 조합에 의해 3D 객체들이 생성 및 조종될 수 있다. 터치 및 제스처는 게임들에서 함께 사용될 수 있다. 예를 들어, 터치스크린 또는 다른 입력을 이용하여 디자인들 및 게임 요소들을 생성한 후에, 터치스크린 제스처와 함께 시작되거나 시작되지 않을 수 있는 에어 제스처들을 이용하여 그러한 객체들을 그러한 객체의 3D 표현으로 풀링할 수 있다. 제3 차원의 깊이는 제스처가 가로지르는 거리에 의존할 수 있다.
터치 및 에어 제스처 입력의 이러한 통합 방법은 객체들을 제3 차원으로 풀링하기 전에 다양한 독창적이고 재미있는 컴퓨팅 상호작용들을 가능하게 한다.
일례에서, 사용자는 스크린 상에 디자인을 그린다. 이어서, 사용자는 터치 제스처를 이용하여 디자인의 섹션을 핀칭(pinching)할 수 있다. 이어서, 터치 제스처로부터 시작하여, 사용자는 핀칭된 디자인의 섹션을 풀링하여 디자인을 제3 차원으로 스트레칭한다. 3D 디스플레이는 2D 그래픽을 이용하여 시뮬레이션될 수 있거나, 실제의 3D 디스플레이일 수 있다. 다른 예에서, 사용자는 컴퓨터의 정면에서 에어 내의 경로를 추적하여 게임에서 사용할 3D 경로를 생성한다. 사용자가 3D 경로를 추적한 후, 가상 객체(예로서, 오렌지 볼)가 경로 아래로 구를 수 있다. 또 다른 예에서, 사용자는 형상을 레이아웃한 후에 제스처 입력으로 그것을 제어한다.
3D 에어 제스처의 특성은 상이한 애플리케이션들에 적합하고 상이한 사용자 경험들을 제공하도록 적응될 수 있다. 일례에서, 그려진 또는 가상 객체를 조종 또는 스트레칭함에 있어서 스크린 상에서 더 강하게 푸싱하는 것은 더 깊은 깊이를 형성할 수 있다. 또 다른 예에서, 제1 손가락을 베이스 또는 앵커로 사용하는 경우, 제2 손가락은 z축에서의 객체의 길이를 설정하기 위해 제1 손가락으로부터 멀어질 수 있다. 또 다른 예에서, 사용자는 양손을 이용하여 또는 두 손가락을 이용하여 스트레칭함으로써 3D 조종의 범위를 마킹한다. 사용자는 또한 음성 명령을 이용하여, 3D 조종 전에 형상이 스크린 상에 나타나게 할 수 있다.
생성된 3D 객체는 상이한 사용 카테고리들에 적용될 수 있다. 일례에서, 3D 레이아웃들이 Chutes and Ladders의 온스크린 버전과 같은 게임들을 위해 생성될 수 있다. 또 다른 예에서, 가상 객체들이 미끄러지거나 위로 구르기 위한 경로가 생성될 수 있다. 또 다른 예에서, line rider 또는 다른 경로 추적 게임의 3D 버전이 생성될 수 있다. 예술 및 엔지니어링 생성 및 가시화를 위해 3D 객체들이 또한 생성될 수 있다.
도 1a는 지원 장치(12) 상의 터치스크린(10)의 도면이다. 사용자는 손가락(14)을 이용하여 스크린 상에 형상(16)을 그린다. 도 1b에서, 완성된 2D 형상을 볼 수 있다. 이 형상은 게임 또는 예술 애플리케이션을 위한 트랙 또는 안내, 또는 엔지니어링 또는 과학 애플리케이션을 위한 임의 타입의 금속 또는 분자 코일을 나타낼 수 있다.
도 1c에서, 사용자는 2D 형상의 한 부분(20)에서 손가락(14)과 엄지(18)를 이용하여 형상(16)을 그래스핑한다. 도 1d에서, 사용자는 에어 제스처를 취하여, 그래스핑된 섹션을 터치스크린(10)의 외측 공간으로 제3 차원으로 리프팅한다. 이것은 형상에 대한 제3 차원을 생성한다. 형상은 이제 애플리케이션에 따라 원형 슬라이드 또는 코일 스프링으로 보인다. 제3 차원으로의 확장의 양은 디스플레이 상에 원근법으로 또는 3D 디스플레이로 표시될 수 있고, 추가된 차원은 3D 디스플레이 상에 제3 차원으로서 렌더링될 수 있다.
도시된 예에서, 터치스크린 장치는 스마트폰으로 도시되지만, 본 발명은 그에 한정되지 않는다. 스마트폰 구현과 관련하여, 터치스크린은 손가락 또는 스타일러스를 이용하여 그림들을 생성하는 데 사용될 수 있다. 에어 제스처는 비디오 회의를 위해 통상적으로 사용되는 정면 카메라에 의해 관찰될 수 있다. 에어 제스처를 더 정확하게 관찰하기 위해 장치 상에 스테레오 정면 카메라들이 제공될 수 있다. 스테레오 정면 카메라는 또한 3D 비디오 회의 또는 비디오 레코딩을 위해 사용될 수 있다. 동일한 접근법은 유사하게 장비를 갖춘 터치 패드, 미디어 플레이어, 슬레이트 컴퓨터, 노트북 컴퓨터, 또는 데스크탑 또는 올인원 기계의 디스플레이와 함께 사용될 수 있다. 전용 게임 장치들도 마찬가지로 사용될 수 있다. 그림은 도시된 바와 같이 그림을 표시하는 스크린 상에 위치할 수 있거나, 그림 및 에어 제스처는 개별 터치 패드 및 디스플레이를 갖는 통상적인 노트북 컴퓨터 구성에서와 같이 상이한 표면 상에 디스플레이를 갖는 개별 터치 패드 상에서 행해질 수 있다. 디스플레이(10) 및 장치(12)는 개별 장치로서 또는 추가적인 디스플레이들, 카메라들 및 또한 추가적인 처리 자원들을 갖는 더 큰 시스템에 대한 입력 장치로서 사용될 수 있다.
그림(16)의 특징들은 다른 사용자 제어들에 의해 더 정의될 수 있다. 이러한 제어들은 사용자가 아이템의 특징을 식별하고, 아이템에 대한 애플리케이션 상황을 설정하고, 치수들을 정의하는 것을 가능하게 할 수 있다. 사용자는 예를 들어 코일 스프링이 특정 게이지 및 베이스 반경을 갖는 특정 강철 합금으로 형성된 것을 지시할 수 있다. 이러한 정보는 게임 플레이의 파라미터들을 설정하기 위해 또는 엔지니어링 또는 과학적 목적들을 위해 유용할 수 있다. 사용자는 그러한 파라미터들을 직접 선택할 수 있거나, 파라미터들은 애플리케이션에 의해 암시될 수 있다. 애플리케이션은 예를 들어 애플리케이션에 의해 이미 정의된 파라미터들을 이용하여 특정 아이템을 생성하도록 사용자를 프롬프트할 수 있거나, 사용자는 사전 정의된 파라미터들을 이용하여 특정 아이템을 선택할 수 있다. 아이템이 결정된 후, 그려진 형상은 선택된 아이템에 기초하여 정의될 수 있다.
도 2a는 사용자가 손가락(14)을 이용하여 휴대용 장치(12)의 스크린 또는 터치 표면(10) 상에 상이한 형상(22)을 그리는 또 다른 예를 나타낸다. 이어서, 사용자는 형상(22)의 일부(30) 상에 그래스프(grasp)를 설정하고, 그 부분을 스크린 위로 리프팅한다. 도시된 예에서, 그래스핑 모션이 아니라, 그래스프가 터치 및 홀드 모션을 이용하여 설정된다. 이어서, 형상의 터치된 부분은 "점착(sticky)"되며, 해제시까지 사용자의 손가락(14)을 따라간다.
도 2b는 결과적인 3D 형상을 나타낸다. 이 예에서, 3D 형상은 경로, 트랙 또는 안내로이며, 그 안에서는 추가된 제3 차원이 높이에 대응한다. 이어서, 사용자는 3D 형상 위에 볼, 라이더(rider), 슬레드(sled), 카(car) 또는 다른 객체를 배치하여, 배치된 아이템들이 경로 아래로 이동하게 할 수 있다. 도시된 바와 같이, 사용자는 경로 아래로 구르는 일련의 볼들(24, 26, 28)을 배치하였다.
도 3은 사용자가 양손(32, 34)을 이용하여 장치(12)의 디스플레이(10) 상에서 형상(36)을 그래스핑하는 다른 예를 도시한다. 사용자는 양손을 이용하여 상이한 방향으로 푸싱하거나 풀링함으로써 스크린의 평면에서, 또한 제3 차원에서 형상의 치수들을 정의할 수 있다. 도시된 예에서, 사용자는 형상(36)의 제1 부분의 위치를 고정하기 위해 한 손(34)의 손가락을 붙였다. 사용자는 다른 손(32)으로 형상의 다른 부분을 그래스핑하였다. 사용자가 그래스핑 손(32)으로 리프팅할 때, 그래스핑된 부분은 리프팅되는 반면에 홀딩된 부분은 스크린의 평면에 유지된다. 양손 제스처는 더 많은 다양한 상이한 형상들이 형상들에 대한 더 정확한 제어를 이용하여 생성되는 것을 가능하게 한다.
위의 모든 예에서, 사용자는 형상의 일부를 선택하고 이를 스크린으로부터 리프팅함으로써 이차원 형상에 제3 차원을 추가한다. 이것은 그래스핑 제스처를 이용하여 또는 터치 및 홀드와 같은 그래스핑 명령을 지시함으로써 수행될 수 있다. 풀링 또는 리프팅 제스처는 장치 위나 근처의 하나 이상의 카메라에 의해 관찰되는 에어 제스처이다. 오리지널 형상이 사용자에 의해 그려지는 것으로 지시되지만, 이것은 본 발명에 필수적인 것은 아니다. 사용자는 애플리케이션 라이브러리 또는 외부 위치로부터 사전 정의된 형상을 선택할 수 있다. 형상들은 카메라를 이용하여 획득될 수도 있다.
리프팅 또는 풀링 모션에 대한 대안으로서, 사용자는 대안으로서 또는 추가로 형상의 부분들을 아래로 스크린 내로 푸싱할 수 있다. 푸시의 지속 기간 또는 압력은 스크린의 평면으로부터 떨어지는 거리를 결정하는 데 사용될 수 있다. 지속 기간 또는 압력은 터치스크린 표면에 의해 또는 카메라에 의해 검출될 수 있다. 푸싱은 리프팅과 결합되어, 형상의 부분들을 양 방향으로 이동시키고, 양 방향에서 제3 차원을 정의할 수 있다. 이것은 z축으로 지칭될 수 있으며, 터치스크린은 x축 및 y축을 점유한다. 수평 디스플레이가 아닌 수직 디스플레이의 경우, 제3 차원은 x축 또는 y축에 있을 수 있고, 디스플레이는 z축, 및 x축 또는 y축 중 어느 하나를 점유한다. 사용자가 객체를 조종하는 동안, 스크린 상에서는 3D 변위의 방향, 3D 변위의 정도 및 다른 양태들을 보여주는 피드백이 나타나, 사용자가, 입력이 수신되고 있다는 것과 사용자 입력으로부터 발생하는 변화의 정도를 알 수 있게 한다.
위의 예는 곡선들을 사용했지만, 동일 기술들은 라인들에 그리고 내부 영역을 갖는 닫힌 형상들에 적용될 수 있다. 도 4a는 장치(12)의 터치 표면(10) 상의 원(44)을 도시한다. 도 4b에서, 사용자(46)는 원의 중심을 그래스핑하고, 이를 표면으로부터 위로 리프팅한다. 도 4c의 결과는 3D 구(48)이다. 더 많거나 적은 리프팅을 이용하여, 3D 볼륨이 타원 볼륨으로서 생성될 수 있다. 임의의 닫힌 2D 영역을 이러한 접근법과 함께 사용하여, 제3 차원에서 영역의 특정 부분에 또는 도 4c에 도시된 바와 같이 전체 영역에 균일하게 볼륨을 추가할 수 있다. 삼각형이 피라미드로 변환될 수 있다. 정사각형이 큐브 등으로 변환될 수 있다. 이러한 추가된 차원은 2D 또는 3D 디스플레이 상에 표시될 수 있다.
2D 객체들은 임의의 다양한 상이한 방식으로 사용될 수 있다. 도 2b에서, 볼들은 경사로 또는 활강로 아래로 구른다. 도 5a에서, 노트북 컴퓨터(52)의 디스플레이(50) 상에 새총(54)이 생성되었다. 임의의 타입의 디스플레이 또는 컴퓨팅 장치, 예를 들어 데스크탑 터치스크린 컴퓨터 또는 스탠드 내에 유지되는 슬레이트 컴퓨터가 전술한 바와 같이 사용될 수 있다. 새총은 발사체들을 발사하기 위한 띠(56)를 갖는다. 디스플레이는 x축 및 y축을 점유하는 것으로 간주될 수 있다. 그러나, 모든 예들에서와 같이, 축들의 이름들 및 좌표계의 타입은 임의의 특정 애플리케이션에 맞도록 적응될 수 있다.
도 5b에서, 사용자는 띠를 그래스핑하고, 이를 스크린으로부터 음의 y축 방향으로 풀링하였다. 이것은 일 타입의 가상 바인딩인 띠를 스트레칭한다. 사용자가 띠를 놓을 때, 가상 발사체가 새총으로부터 디스플레이에서 양의 y축에 도시된 객체를 향해 발사될 수 있다. 발사체는 사용자에 의해 선택되거나 띠 내에 배치될 수 있거나, 사용자 입력 없이 애플리케이션에 의해 제공될 수 있다. 사용자의 에어 제스처는 디스플레이 내에 구축되거나 그에 결합된 하나 이상의 카메라(60)에 의해 관찰될 수 있다.
이전 도면들의 동일한 그래스프 및 리프트 에어 제스처가 도 5b에서 객체를 스크린으로부터 멀어지게 이동시키는 데 사용된다. 이 경우, 객체는 새총 띠이다. 유사한 원리가 투석기, 다양한 레버 등에 적용될 수 있다. 사용자의 모션은 띠를 디스플레이로부터 직접 멀어지게 이동시킬 뿐만 아니라 새총을 조준하는 데에도 사용될 수 있다. 사용자는 띠의 그래스핑된 부분을 위아래로 그리고 옆으로뿐만 아니라 앞뒤로도 이동시켜, 가상 바인딩들에 대한 해제 위치를 조정할 수 있다. 새총의 경우, 이것은 새총이 정밀하게 조준되고, 발사체에 가해지는 힘이 제어되는 것을 가능하게 한다. 동일한 방식으로, 도 1c 및 2a의 예들에서, 사용자는 형상의 그래스핑된 부분을 상이한 방향으로 이동시켜, 그의 x 및 y축 치수들은 물론, 그의 z축 치수도 조정할 수 있다.
도 6은 사용자가 삼차원 객체들을 생성하고 사용하기 위해 상호작용하고 있는 시스템의 관점에서 전술한 동작들의 일례를 나타내는 프로세스 흐름도이다. 프로세스 흐름은 또 다른 프로그램의 동작 동안 또는 개별 프로세스의 시작 또는 연속으로서 발생할 수 있다. 프로세서는 특정 구현에 따라 다양한 상이한 방식으로 시작될 수 있다. 602에서, 프로세스는 디스플레이 상에 형상을 그리기 위한 사용자 입력을 수신함으로써 시작된다. 사용자 입력은 터치스크린, 터치 패드 또는 에어 제스처들일 수 있거나, 마우스 또는 전용 그림 장치에 의해 인가되는 입력에 의한 것일 수 있다.
그림 입력의 수신에 대한 대안으로서, 형상이 라이브러리로부터 선택되거나, 상이한 형상들의 소스로부터 수입될 수 있다. 형상은 곡선, 라인, 닫힌 영역(enclosed area), 사진(picture) 또는 임의의 다양한 다른 형상일 수 있다. 형상은 이차원 형상 또는 삼차원 형상일 수 있다.
604에서 형상이 디스플레이 상에 표시되고, 606에서 형상이 사용자에 의해 선택된다. 형상은 통상적으로 편평한 표면 상에 편평한 표면으로서 표시되며, 사용자는 에어 제스처나 터치 제스처에 의해 또는 포인팅 장치를 이용하여 형상을 선택할 수 있다. 그러나, 3D 형상은 그 대신 편평한 스크린 표면 상에 표시될 수 있다.
608에서, 표시된 형상의 적어도 일부를 디스플레이로부터 멀어지게 이동시키기 위한 제스처가 관찰된다. 제스처는 에어 제스처일 수 있거나, 터치 제스처일 수 있다. 일례에서, 제스처는 형상의 일부의 그래스핑에 이어지는 디스플레이로부터 디스플레이 정면의 에어 내로의 풀링이다. 사용자는 또한 트위스팅 모션 또는 다른 모션을 제스처화하여 객체의 회전 또는 왜곡을 유발할 수 있다. 제스처는 3개의 차원 모두에서의 이동일 수 있으며, 따라서 디스플레이로부터의 거리뿐만 아니라 그래스핑 모션의 시작 포인트로부터의 수평 및 수직 거리도 정의한다. 처음에 이차원인 형상에 대해, 제스처는 형상이 어떻게 삼차원이 될지를 지시한다. 삼차원 형상에 대해, 제스처는 그의 삼차원 특성들을 변경할 수 있다.
또 다른 예에서, 제스처는 디스플레이 내로의 푸시이며, 압력의 양 및 시간의 양은 형상의 선택된 부분이 디스플레이의 평면으로부터 얼마나 멀리 이동되는지를 결정한다. 풀링에서와 같이, 푸싱도 수평 및 수직 이동을 가질 수 있다. 전술한 바와 같이, 사용자는 양손 또는 2개의 손가락을 이용하여 오리지널 형상의 한 부분을 홀딩하고 다른 부분을 이동시킬 수 있다. 이것은 어느 부분들이 이동되어야 하고 어느 부분들이 이동되지 않아야 하는지를 더 정확하게 정의한다.
형상의 풀링 또는 푸싱은 사운드 효과들을 동반하여, 수신된 명령의 확인을 제공할 수 있다. 일례에서, 사운드 효과는 디스플레이로부터의 또는 시작 포인트로부터의 이동 범위를 지시하기 위해 피치가 변하는 스트레칭 사운드일 수 있다. 다른 사운드 효과들은 스크래칭 또는 마찰 효과들과 같은 이동을 지시하는 데 사용될 수 있다.
각각의 제스처와 관련하여, 그래스핑 모션과 같은 처음 시작 제스처, 손 또는 기구의 이동과 같은 이동 제스처, 및 이어서 해제와 같은 종료 제스처가 존재할 수 있다. 주변 장치를 이용하여 제스처가 수행되는 경우, 장치 상의 버튼을 사용하여 시작 및 종료를 지시할 수 있다. 제스처가 손을 이용하여 수행되는 경우, 손가락 이동들 또는 음성 명령들이 사용될 수 있으며, 다른 손은 제스처들이나 버튼 누름들을 이용하여 또는 다른 방식들로 시작 및 종료를 지시하는 데 사용될 수 있다.
610에서, 최초로 표시된 형상이 관찰된 제스처에 기초하여 변경된다. 변경은 관찰된 제스처에 대응하는 스크린으로부터 멀어지는 방향에 있을 것이다. 일부 예들에서, 표시된 형상은 최초의 이차원 형상에 제3 차원을 추가하여 삼차원 형상을 생성함으로써 변경될 것이다.
612에서, 변경된 형상이 삼차원 가상 객체로서 표시된다. 변경된 형상은 614에서 3D 디스플레이 상에 표시될 수 있거나, 2D 디스플레이 상에 원근법으로 표시될 수 있다. 형상은 실제 객체가 아니라 표시된 객체라는 점에서 가상 객체로서 표시된다. 이어서, 3D 형상은 전술한 바와 같은 다양한 상이한 이용들에 적용될 수 있다. 3D 형상은 컴퓨터 지원 설계 시스템에서 사용될 수 있다. 이것은 임의의 다양한 엔지니어링 또는 과학 애플리케이션들에서 사용될 수 있다. 이것은 또한 후속 상호작용들을 위해 사용될 수 있다.
일부 예들에서, 616에서와 같이, 3D 형상은 옵션으로서 가상 객체를 발사하는 데 사용될 수 있다. 가상 객체는 변경된 형상과 상호작용할 수 있고, 이러한 상호작용은 디스플레이 상에 표시될 수 있다. 구르는 볼들 및 새총으로 발사된 발사체들은 그러한 상호작용들의 예들이다. 사용자 제스처들은 또한 전술한 새총 발사와 같은 변경된 형상과의 사용자 상호작용으로서 수신될 수 있다. 이러한 상호작용들은 사용자의 사용, 검토 또는 오락을 위해 디스플레이 상에 표시될 수 있다.
도 7a는 전술한 사용 경우들의 더 일반적인 예의 프로세스 흐름도이다. 702에서, 태블릿 또는 슬레이트 컴퓨터, 스마트폰, 미디어 플레이어 또는 게임 콘솔 또는 제어기와 같은 터치스크린 장치가 그의 터치스크린 인터페이스 상에서 객체의 추적을 수신한다. 그림은 손가락의 위치 및 디스플레이를 가로지르는 그의 이동을 검출하는 스크린 상에서의 사용자의 손가락에 의해 그려질 수 있다. 대안으로서, 스타일러스 또는 다른 전용 장치가 사용될 수 있다. 그러한 장치 내의 터치스크린도 통상적으로 디스플레이이다. 704에서, 장치는 추적된 객체를 그의 터치스크린 디스플레이 상에 렌더링한다.
706에서, 장치는 그의 터치스크린 상에서 추적 및 표시된 객체의 일부의 핀칭 제스처를 수신한다. 708에서, 장치는 그의 터치스크린으로부터 멀어지는 핀칭 제스처의 이동을 추적한다. 이동은 일부 터치스크린들과 관련되거나 사용자의 핀칭 제스처를 관찰하는 카메라들과 관련된 근접 센서들에 의해 추적될 수 있다. 터치스크린에 대한 핀칭 제스처의 위치를 결정하기 위한 다른 기술들이 사용될 수 있다.
710에서, 장치는 그의 터치스크린으로부터 멀어지는 추적된 객체의 핀칭된 부분의 3D 확장을 렌더링한다. 이것은 원근법, 앙각 투영 또는 3D 표시를 이용하여 수행될 수 있다. 이러한 렌더링은 코일 스프링, 상승된 트랙, 새총, 비치볼, 또는 전술한 예들에서 설명된 다른 객체들 중 임의의 것을 생성한다.
도 7b는 전술한 가상 바인딩 예를 위해 사용될 수 있는 특정 동작들의 프로세스 흐름도이다. 722에서, 터치스크린 장치는 그의 터치스크린 인터페이스 상에서 가상 바인딩의 추적을 수신한다. 이 장치는 전술한 장치들과 동일한 타입일 수 있다. 가상 바인딩은 전술한 바와 같은 새총, 투석기, 활줄, 공기 대포 또는 임의의 다른 타입의 가상 바인딩일 수 있다. 724에서, 장치는 가상 바인딩을 그의 터치스크린 디스플레이 상에서 렌더링한다.
726에서, 사용자는 렌더링된 가상 바인딩을 사용할 수 있다. 이를 위해, 사용자는 가상 바인딩을 그래스핑한다. 이것은 렌더링에서 띠, 핸들, 레버 또는 장치의 임의의 다른 양태를 그래스핑함에 의한 것일 수 있다. 장치는 그의 터치스크린 상에서 바인딩의 그래스핑 제스처를 수신한다. 통상적으로, 이것은 터치스크린 상에서 검출될 수 있는 손 제스처에 의해 행해진다. 그래스핑 제스처는 706에서의 핀칭 제스처들과 같이 그래스핑될 렌더링의 부분을 식별한다. 728에서, 사용자는 터치스크린으로부터 그래스핑 또는 핀칭 손을 이동시킨다. 장치는 그의 터치스크린으로부터 멀어지는 제스처의 이동을 추적한다. 제스처는 이제 터치스크린과의 직접 접촉을 갖지 않는 에어 제스처이다.
730에서, 장치는 추적된 이동에 기초하여 가상 바인딩의 장력 및 조준을 결정한다. 732에서, 장치는 바인딩에 대한 해제 제스처를 수신한다. 이것은 상황에 따라 해제 제스처를 행하는 사용자에 의해 또는 임의의 다양한 다른 제스처를 행하는 사용자에 의해 전달될 수 있다.
734에서, 장치는 수신된 해제 제스처 및 결정된 장력 및 조준에 기초하여 가상 바인딩의 탄성 응답을 렌더링한다. 이것은 통상적으로 돌 또는 화살과 같은 소정 유형의 발사체의 발사일 것이다. 바인딩 해제의 구체적인 결과는 바인딩이 무엇을 표현하고자 하는지에 의존할 것이다.
도 8은 전술한 동작들을 지원할 수 있는 컴퓨팅 환경의 블록도이다. 모듈들 및 시스템들은 도 9에 도시된 것을 포함하는 다양한 상이한 하드웨어 아키텍처들 및 폼 팩터들로 구현될 수 있다. 도면에서, 외부 인터페이스 프로세스들은 시스템 박스 외측에 표시되며, 내부 계산 프로세스들은 박스 내에 표시되지만, 동작들 및 프로세스들은 다른 구현들에 적합하도록 재배열될 수 있다.
명령 실행 모듈(801)은 명령들을 캐싱 및 실행하고 작업들을 도시된 다른 모듈들 및 시스템들 사이에 분산시키기 위한 중앙 처리 유닛을 포함한다. 이것은 명령어 스택, 중간 및 최종 결과들을 저장하기 위한 캐시 메모리, 및 애플리케이션들 및 운영 체제들을 저장하기 위한 대용량 메모리를 포함할 수 있다. 명령 실행 모듈은 또한 시스템을 위한 중앙 조정 및 작업 할당 유닛으로의 역할을 할 수 있다.
스크린 렌더링 모듈(821)은 사용자가 볼 객체들을 로컬 장치의 하나 이상의 스크린 상에 그린다. 이것은 후술하는 가상 객체 거동 모듈(804)로부터 데이터를 수신하고, 그려진 객체들, 가상 객체들 및 임의의 다른 객체들을 적절한 스크린 또는 스크린들 상에 렌더링하도록 적응될 수 있다. 따라서, 그림 인식 및 렌더링 모듈(808)로부터의 데이터는 스크린 상의 2D 객체의 위치 및 외관을 결정할 것이며, 가상 객체 거동 모듈은 2D 객체가 3D로 되고 제스처들을 이용하여 조종된 후에 대응하는 가상 객체의 위치 및 역학을 결정할 것이다. 예를 들어, 스크린 렌더링 모듈(821)은 가상 객체 및 관련 객체들 및 환경을 스크린 상에 적절히 묘사할 것이다.
사용자 입력 및 제스처 인식 시스템(822)은 사용자의 손 및 팔 제스처들을 포함하는 사용자 입력들 및 명령들을 인식하도록 적응될 수 있다. 그러한 모듈은 손, 손가락, 손가락 제스처, 손 이동 및 디스플레이에 대한 손의 위치를 인식하는 데 사용될 수 있다. 예를 들어, 객체 및 제스처 인식 모듈은 사용자가 제3 차원에서 객체를 확장하고 가상 객체를 이미지 내에 또는 상에 다양한 위치에 떨어뜨리거나 던지기 위한 제스처를 행한 것으로 결정할 수 있다. 사용자 입력 및 제스처 인식 시스템은 카메라 또는 카메라 어레이, 마이크 또는 마이크 어레이, 터치스크린 또는 터치 표면, 또는 포인팅 장치, 또는 이러한 아이템들의 소정 조합에 결합되어, 사용자로부터 제스처들 및 명령들을 검출할 수 있다.
로컬 센서들(823)은 제공되거나 로컬 장치에서 이용 가능할 수 있는 전술한 임의의 센서를 포함할 수 있다. 이들은 스마트폰에서 통상적으로 이용 가능한 것들, 예를 들어 전면 및 배면 카메라, 마이크, 측위 시스템, 와이파이 및 FM 안테나, 가속도계 및 컴퍼스를 포함할 수 있다. 이들 센서는 위치 인식을 제공할 뿐만 아니라, 로컬 장치로 하여금 다른 장치들 또는 환경과 상호작용할 때 그의 배향 및 이동을 결정하는 것도 가능하게 한다.
데이터 통신 모듈(825)은 시스템 내의 모든 장치들이 통신할 수 있게 해주는 유선 또는 무선 데이터 인터페이스들을 포함한다. 각각의 장치와의 다수의 인터페이스가 존재할 수 있다. 일례에서, 메인 컴퓨팅 시스템은 터치 패드, 포인팅 장치, 디스플레이 및 네트워크 자원과 무선 통신한다. 이것은 사용자 명령들을 전송하고, 접속된 장치들을 통해 재생할 오디오를 수신하기 위해 블루투스를 통해 통신할 수 있다. 임의의 적절한 유선 또는 무선 장치 통신 프로토콜들이 사용될 수 있다.
가상 객체 거동 모듈(804)은 다른 모듈들로부터 입력을 수신하고, 생성되어 디스플레이에 표시되고 있는 임의의 가상 객체들에 그러한 입력을 적용하도록 적응된다. 따라서, 예를 들어, 사용자 입력 및 제스처 인식 시스템(822)은 획득된 사용자 손의 이동을 인식된 이동에 맵핑함으로써 사용자 제스처를 해석할 것이고, 가상 객체 거동 모듈(804)은 가상 객체의 위치 및 이동을 사용자 입력과 연관시켜 사용자 입력에 대응할 가상 객체의 이동을 지시하는 데이터를 생성할 것이다.
가상 객체 거동 모듈(804)은 또한 컴퓨터 스크린(들) 주위의 삼차원 공간에서 가상 객체들(생성된 3D 객체들 및 AR 캐릭터들)이 위치해야 하는 장소를 추적하도록 적응될 수 있다. 이 모듈은 또한 가상 객체들이 하나의 디스플레이로부터 다른 디스플레이로 이동할 때 이들을 추적할 수 있다. 이 모듈의 기여는 임의의 가상 객체들의 가상 위치를 추적하는 것이다.
결합 모듈(806)은 렌더링된, 선택된 또는 기록된 2D 이미지를 변경하여, 사용자 또는 소프트웨어 환경에 의해 제공된 상세들 및 파라미터들을 추가하고, 클라이언트 장치 상의 로컬 센서들(823)을 통해 사용자에 의해 제공된 3D 정보를 추가한다. 이 모듈은 클라이언트 장치 상에 또는 "클라우드" 서버 상에 상주할 수 있다.
그림 인식 및 렌더링 모듈(808)은 사용자 입력 및 제스처 인식 시스템(822) 및 로컬 센서들(823)로부터 정보를 수신하고, 사용자에 의해 생성된 래스터 이미지들을 벡터화하거나 라이브러리로부터 이미지들을 제공한다. 이것은 또한 사용자가 터치, 에어 제스처 또는 포인팅 장치 입력을 이용하여 삼차원 중 임의의 차원에서 온스크린 객체들을 스트레칭, 왜곡 및 이동시키는 것을 가능하게 하는, 사용자에 의해 제공된 변경들을 렌더링한다. 이어서, 이것은 이러한 렌더링들을 스크린 렌더링 모듈(821)에 제공하여, 스크린 상에 나타나는 비주얼 요소들을 생성한다.
객체 및 사람 식별 모듈(807)은 수신된 카메라 데이터를 이용하여, 특정 실제 객체들 및 사람들을 식별한다. 사용자는 객체 식별을 이용하여, 이차원 그래픽 객체 또는 제어기 장치를 도입할 수 있다. 객체들을 이미지 라이브러리들과 비교하여 객체를 식별할 수 있다. 사람들은 얼굴 인식 기술들을 이용하여 또는 식별된 사람과 관련된 장치로부터 개인, 로컬 또는 셀룰러 네트워크를 통해 데이터를 수신함으로써 식별될 수 있다. 객체들 및 사람들의 식별 후에, 식별자들을 다른 데이터에 적용하고, 그림 인식 및 렌더링 모듈(808)에 제공하여, 표시할 객체들 및 사람들의 적절한 표현들을 생성할 수 있다. 이 모듈은 또한 사용자 계정들을 인증하는 데 사용될 수 있다.
사용자 입력 맵핑 모듈(803)은 사용자 입력의 타이밍을 조정하고, 사용자 및 라이브러리 그래픽의 벡터화를 조정하고, 이어서 사용자 터치 및 제스처 입력을 추적하여, 생성된 객체를 삼차원에서 조종한다. 이것은 또한 가상 객체 거동 모듈(804)로부터의 입력을 추적하여, 사용자가 생성한 3D 객체와 상호작용하기 위해 사용자가 제공하는 입력을 맵핑할 수 있다.
게임 모듈(802)은 추가적인 상호작용 및 효과들을 제공한다. 게임 모듈(802)은 증대 이미지에 추가할 가상 캐릭터들 및 가상 객체들을 생성할 수 있다. 이것은 또한 임의 수의 게임 효과들을 가상 객체들에 또는 실제 객체들 또는 아바타들과의 가상 상호작용들로서 제공할 수 있다. 예를 들어 도 2b, 5a 및 5b의 게임 플레이는 모두가 게임 모듈에 의해 제공될 수 있다. 게임 모듈(802)은 또한 사운드 효과들을 생성하는 데 사용될 수 있다. 사운드 효과들은 가상 객체들의 생성은 물론 가상 객체들의 사용을 위한 피드백으로서 생성될 수 있다.
3D 이미지 상호작용 및 효과 모듈(805)은 증대된 이미지들 내의 실제 및 가상 객체들과의 사용자 상호작용을 추적하고, (스크린의 평면을 향하거나 그로부터 멀어지는) z축에서의 객체들의 영향을 결정한다. 이것은 이러한 효과들을 삼차원에서의 서로에 대한 객체들의 상대적 영향과 함께 제공하기 위해 추가적인 처리 자원들을 제공한다. 예를 들어, 객체를 던지거나 발사하기 위한 사용자 제스처를 3D에서 추적하여 객체가 어떻게 이동할지를 결정할 수 있다. 이 모듈은 또한 삼차원에서 객체들을 렌더링하기 위한 데이터 및 물리적 특성을 제공할 수 있다. 3D 이미지 상호작용 및 효과 모듈(805)은 또한 사운드 효과를 생성하는 데 사용될 수 있다. 사운드 효과들은 가상 객체들의 생성은 물론 가상 객체들의 사용을 위한 피드백으로서 생성될 수 있다. 형상이 그래스핑되거나 접촉될 때 그리고 형상이 조종될 때 특수 사운드가 생성될 수 있다. 객체의 일부를 디스플레이로부터 멀어지게 하기 위한 에어 제스처에 대해, 이 모듈은 제스처의 시작 및 제스처의 끝을 확인하기 위한 사운드는 물론, 이동의 범위, 스크린으로부터의 변위 및 제스처의 다른 양태들을 지시하는 제스처를 동반하기 위한 사운드도 제공할 수 있다.
도 9는 개인용 컴퓨터, 게임 콘솔, 스마트폰 또는 휴대용 게임 장치와 같은 컴퓨팅 시스템의 블록도이다. 컴퓨터 시스템(900)은 정보를 통신하기 위한 버스 또는 다른 통신 수단(901) 및 정보를 처리하기 위해 버스(901)와 결합되는 마이크로프로세서(902)와 같은 처리 수단을 포함한다. 컴퓨터 시스템은 특히 병렬 파이프라인들을 통해 그래픽을 렌더링하기 위한 그래픽 프로세서(903) 및 전술한 바와 같은 물리 상호작용을 계산하기 위한 물리 프로세서(905)를 이용하여 증대될 수 있다. 이러한 프로세서들은 중앙 프로세서(902) 내에 통합되거나 하나 이상의 개별 프로세서로서 제공될 수 있다.
컴퓨터 시스템(900)은 프로세서(902)에 의해 실행될 명령어들 및 정보를 저장하기 위해 버스(901)에 결합되는 메인 메모리(904), 예를 들어, 랜덤 액세스 메모리(RAM) 또는 다른 동적 데이터 저장 장치를 더 포함한다. 메인 메모리는 또한 프로세서에 의한 명령어들의 실행 동안 임시 변수들 또는 다른 중간 정보를 저장하는 데 사용될 수 있다. 컴퓨터 시스템은 또한 프로세서를 위한 명령어들 및 정적 정보를 저장하기 위해 버스에 결합되는 판독 전용 메모리(ROM) 또는 다른 정적 데이터 저장 장치와 같은 비휘발성 메모리(906)를 포함할 수 있다.
자기 디스크, 광 디스크 또는 고체 상태 어레이 및 그에 대응하는 드라이브와 같은 대용량 메모리(907)도 컴퓨터 시스템의 버스에 결합되어, 정보 및 명령어들을 저장할 수 있다. 컴퓨터 시스템은 또한 사용자에게 정보를 표시하기 위한 디스플레이 장치 또는 모니터(921), 예를 들어 액정 디스플레이(LCD) 또는 유기 발광 다이오드(OLED) 어레이에 버스를 통해 결합될 수 있다. 예를 들어, 전술한 다양한 뷰들 및 사용자 상호작용들에 더하여, 설치 상태, 동작 상태 및 다른 정보의 그래픽 및 텍스트 지시들이 디스플레이 장치 상에서 사용자에게 표시될 수 있다. 디스플레이는 또한 추가 정보를 사용자에게 사운드, 진동 및 다른 효과들로서 제공하기 위해 스피커 및 발진기와 같은 오디오 및 햅틱 컴포넌트들을 포함할 수 있다.
통상적으로, 영숫자, 기능 및 다른 키들을 갖는 키보드와 같은 사용자 입력 장치들(922)은 정보 및 명령 선택들을 프로세서에 전달하기 위해 버스에 결합될 수 있다. 추가적인 사용자 입력 장치들은 커서 제어 입력 장치, 예를 들어 마우스, 트랙볼, 트랙 패드, 또는 커서 방향 키들을 포함할 수 있고, 이들은 버스에 결합되어, 방향 정보 및 명령 선택들을 프로세서에 전달하고, 디스플레이(921) 상에서 커서 이동을 제어할 수 있다.
카메라 및 마이크 어레이들(923)이 버스에 결합되어, 전술한 바와 같이 제스처들을 관찰하고, 오디오 및 비디오를 기록하고, 비주얼 및 오디오 명령들을 수신한다.
통신 인터페이스들(925)도 버스(901)에 결합된다. 통신 인터페이스들은 예를 들어 근거리 또는 광역 네트워크(LAN 또는 WAN)를 지원하기 위한 통신 링크를 제공할 목적으로 모뎀, 네트워크 인터페이스 카드, 또는 다른 공지된 인터페이스 장치들, 예를 들어 이더넷, 토큰 링에 결합하는 데 사용되는 것들, 또는 다른 타입의 물리 유선 또는 무선 부가 장치들을 포함할 수 있다. 이러한 방식으로, 컴퓨터 시스템은 또한 다수의 주변 장치, 클라이언트, 제어 표면, 콘솔 또는 서버에 예를 들어 인트라넷 또는 인터넷을 포함하는 전통적인 네트워크 기반구조를 통해 결합될 수 있다.
전술한 예보다 적게 또는 많이 장비를 갖춘 시스템이 소정 구현들을 위해 선호될 수 있다는 것을 알아야 한다. 따라서, 예시적인 시스템들(800, 900)의 구성은 가격 제약, 성능 요건, 기술적 개량 다른 상황들과 같은 다양한 팩터들에 따라 구현마다 다를 것이다. 전자 장치 또는 컴퓨터 시스템의 예들은 이동 장치, 개인 휴대 단말기, 이동 컴퓨팅 장치, 스마트폰, 셀룰러 전화, 핸드셋, 단방향 페이저, 양방향 페이저, 메시징 장치, 컴퓨터, 개인용 컴퓨터(PC), 데스크탑 컴퓨터, 랩탑 컴퓨터, 노트북 컴퓨터, 핸드헬드 컴퓨터, 태블릿 컴퓨터, 서버, 서버 어레이 또는 서버 팜, 웹 서버, 네트워크 서버, 인터넷 서버, 워크스테이션, 미니 컴퓨터, 메인프레임 컴퓨터, 수퍼 컴퓨터, 네트워크 설비, 웹 설비, 분산 컴퓨팅 시스템, 멀티프로세서 시스템, 프로세서 기반 시스템, 소비자 전자 장치, 프로그래밍 가능 소비자 전자 장치, 텔레비전, 디지털 텔레비전, 셋톱 박스, 무선 액세스 포인트, 기지국, 가입자국, 이동 가입자 센터, 무선 네트워크 제어기, 라우터, 허브, 게이트웨이, 브리지, 스위치, 기계 또는 이들의 조합을 포함할 수 있지만 이에 한정되지 않는다.
실시예들은 부모 보드를 이용하여 상호접속된 하나 이상의 마이크로칩 또는 집적 회로, 하드와이어드 로직, 메모리 장치에 의해 저장되고 마이크로프로세서에 의해 실행되는 소프트웨어, 펌웨어, 주문형 집적 회로(ASIC) 및/또는 필드 프로그래머블 게이트 어레이(FPGA) 중 임의의 것 또는 그들의 조합으로서 구현될 수 있다. 용어 "로직"은 예를 들어 소프트웨어 또는 하드웨어 및/또는 소프트웨어와 하드웨어의 조합들을 포함할 수 있다.
실시예들은 예를 들어 컴퓨터, 컴퓨터들의 네트워크 또는 다른 전자 장치들과 같은 하나 이상의 기계에 의해 실행될 때 하나 이상의 기계가 본 발명의 실시예들에 따른 동작들을 수행하게 할 수 있는 기계 실행 가능 명령어들을 저장한 하나 이상의 기계 판독 가능 매체를 포함할 수 있는 컴퓨터 프로그램 제품으로서 제공될 수 있다. 기계 판독 가능 매체는 플로피 디스켓, 광 디스크, 컴팩트 디스크 판독 전용 메모리(CD-ROM), 광자기 디스크, 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 소거 및 프로그래밍 가능 판독 전용 메모리(EPROM), 전기적으로 소거 및 프로그래밍 가능한 판독 전용 메모리(EEPROM), 자기 또는 광학 카드, 플래시 메모리, 또는 기계 실행 가능 명령어들을 저장하기에 적합한 다른 타입의 매체/기계 판독 가능 매체를 포함할 수 있지만 이에 한정되지 않는다.
더욱이, 실시예들은 컴퓨터 프로그램 제품으로서 다운로드될 수 있으며, 프로그램은 반송파 또는 다른 전파 매체 내에 구현되고/되거나 그에 의해 변조된 하나 이상의 신호에 의해 통신 링크(예로서, 모뎀 및/또는 네트워크 접속)를 통해 원격 컴퓨터(예로서, 서버)로부터 요청 컴퓨터(예로서, 클라이언트)로 전달될 수 있다. 따라서, 본 명세서에서 사용될 때, 기계 판독 가능 매체는 그러한 반송파를 포함할 수 있지만 그럴 책임은 없다.
"하나의 실시예", "일 실시예", "예시적인 실시예", "다양한 실시예" 등에 대한 참조들은 그와 같이 설명되는 본 발명의 실시예(들)가 특정 특징들, 구조들 또는 특성들을 포함할 수 있지만, 모든 실시예가 특정 특징들, 구조들 또는 특성들을 반드시 포함하지는 않는다는 것을 지시한다. 또한, 일부 실시예들은 다른 실시예들에 대해 설명되는 특징들의 일부 또는 모두를 갖거나 전혀 갖지 않을 수 있다.
아래의 설명 및 청구항들에서는 용어 "결합"이 그의 파생어들과 함께 사용될 수 있다. "결합"은 둘 이상의 요소가 서로 협동 또는 상호작용하지만, 그들 사이에 삽입된 물리적 또는 전기적 컴포넌트들을 갖거나 갖지 않을 수 있다는 것을 지시하는 데 사용될 수 있다.
청구항들에서 사용될 때, 달리 상술되지 않는 한, 일반 요소를 설명하기 위한 서수 형용사 "제1", "제2", "제3" 등의 사용은 동일 요소들의 상이한 사례들이 언급되고 있는 것을 지시할 뿐이며, 그와 같이 설명되는 요소들이 시간적으로, 공간적으로, 순위에서 또는 임의의 다른 방식에서 주어진 시퀀스로 존재해야 한다는 것을 암시하는 것을 의도하지 않는다.
아래의 예들은 추가 실시예들과 관련된다. 예들에서의 상세들은 하나 이상의 실시예에서 어느 곳에서나 사용될 수 있다. 일 실시예에서, 방법은 형상의 선택을 수신하는 단계; 상기 선택된 형상을 디스플레이 상에 표시하는 단계; 상기 표시된 형상의 적어도 일부를 상기 디스플레이로부터 멀어지게 이동시키기 위한 제스처를 관찰하는 단계; 상기 관찰된 제스처에 기초하여 상기 표시된 형상을 상기 관찰된 제스처에 대응하는 상기 디스플레이로부터 멀어지는 방향으로 변경하는 단계; 및 상기 관찰된 제스처에 기초하여 상기 표시된 형상을 변경한 후에 상기 변경된 형상을 삼차원 가상 객체로서 표시하는 단계를 포함한다.
실시예들은 위의 방법을 포함하며, 상기 표시된 형상은 이차원 형상이며, 상기 표시된 형상을 변경하는 단계는 상기 이차원 형상에 제3 차원을 추가하여 삼차원 형상을 생성하는 단계를 포함한다.
실시예들은 위의 방법들 중 어느 것을 포함하며, 상기 표시된 형상은 곡선이거나, 상기 표시된 형상은 면적을 갖는 닫힌 형상이며, 상기 삼차원 가상 객체는 볼륨을 갖는다.
실시예들은 위의 방법들 중 임의의 것을 포함하며, 상기 표시된 형상은 이차원 사진이다.
실시예들은 위의 방법들 중 임의의 것을 포함하며, 상기 변경된 형상을 표시하는 단계는 상기 변경된 형상을 삼차원 디스플레이 상에 삼차원으로 표시하는 단계를 포함한다.
실시예들은, 터치스크린 상에서 제스처를 검출함으로써 상기 표시된 형상의 일부의 선택을 수신하는 단계를 더 포함하는 위의 방법들 중 임의의 것을 포함하고, 상기 제스처를 관찰하는 단계는 상기 표시된 형상의 상기 선택된 부분을 이동시키기 위한 상기 제스처를 관찰하는 단계를 포함한다.
실시예들은 위의 방법을 포함하며, 제스처를 관찰하는 단계는 상기 표시된 형상의 상기 선택된 부분을 상기 디스플레이로부터 상기 형상이 표시된 디스플레이의 평면 내로 푸싱(pushing)하기 위한 제스처를 관찰하는 단계를 포함하고, 또는 상기 표시된 형상은 이차원 형상이고, 상기 표시된 형상을 변경하는 단계는 상기 푸싱 제스처에 기초하여 상기 이차원 형상에 제3 차원을 추가하는 단계를 포함하거나, 상기 제3 차원의 범위는 상기 푸싱 제스처에 기초하여 결정된다.
실시예들은 위의 방법들 중 임의의 것을 포함하며, 형상의 선택을 수신하는 단계는 카메라를 이용하여 에어 제스처를 관찰하는 단계, 음성 명령을 수신하는 단계 및 터치스크린 명령을 수신하는 단계 중 적어도 하나를 포함하거나, 제스처를 관찰하는 단계는 상기 표시된 형상의 일부로 지향되는 그래스핑(grasping) 제스처 및 이차원 디스플레이로부터 제3 차원 내로의 상기 표시된 형상의 상기 그래스핑된 부분의 풀링(pulling)을 관찰하는 단계를 포함한다.
실시예들은, 상기 표시된 형상을 상기 디스플레이 상에 그리기 위한 사용자 입력을 수신하는 단계를 더 포함하는 위의 방법들 중 임의의 것을 포함하며, 상기 형상을 상기 디스플레이 상에 표시하는 단계는 상기 그려진 형상을 표시하는 단계를 포함한다.
실시예들은, 상기 관찰된 제스처에 기초하여 사운드 효과들을 제공하여, 상기 디스플레이로부터 멀어지는 이동의 양을 지시하는 단계를 더 포함하는 위의 방법들 중 임의의 것을 포함한다.
실시예들은, 상기 변경된 형상과 상호작용하기 위해 가상 객체를 발사하고 상기 상호작용을 상기 디스플레이 상에 표시하는 단계를 더 포함하는 위의 방법들 중 임의의 것을 포함한다.
실시예들은, 상기 변경된 형상과 상호작용하기 위한 추가적인 제스처들을 관찰하고, 상기 상호작용을 상기 디스플레이 상에 표시하는 단계를 더 포함하는 위의 방법들 중 임의의 것을 포함한다.
또 다른 실시예에서, 컴퓨터에 의해 조작될 때 상기 컴퓨터로 하여금 동작들을 수행하게 하는 명령어들을 갖는 기계 판독 가능 매체는: 형상의 선택을 수신하는 동작; 상기 선택된 형상을 디스플레이 상에 표시하는 동작; 상기 표시된 형상의 적어도 일부를 상기 디스플레이로부터 멀어지게 이동시키기 위한 제스처를 관찰하는 동작; 상기 관찰된 제스처에 기초하여 상기 표시된 형상을 상기 관찰된 제스처에 대응하는 상기 디스플레이로부터 멀어지는 방향으로 변경하는 동작; 및 상기 관찰된 제스처에 기초하여 상기 표시된 형상을 변경한 후에 상기 변경된 형상을 삼차원 가상 객체로서 표시하는 동작을 포함한다.
실시예들은 위의 매체를 포함하며, 상기 동작들은 상기 제스처를 관찰하기 전의 제스처 시작 명령 및 상기 제스처의 관찰의 종료를 유발하기 위한 제스처 종료 명령을 수신하는 동작을 더 포함한다.
실시예들은 위의 매체들 중 어느 것을 포함하며, 제스처를 관찰하는 동작은 그래스핑 제스처를 시작 명령으로서 관찰하고, 해제 제스처를 종료 명령으로서 관찰하는 동작을 포함한다.
또 다른 실시예에서, 장치는 형상의 선택을 수신하기 위한 제스처 입력 및 인식 시스템; 상기 선택된 형상을 디스플레이 상에 표시하기 위한 스크린 렌더링 모듈 - 상기 제스처 입력 및 인식 시스템은 또한 상기 표시된 형상의 적어도 일부를 상기 디스플레이로부터 멀어지게 이동시키기 위한 제스처를 관찰함 -; 및 상기 관찰된 제스처에 기초하여 상기 표시된 형상을 상기 관찰된 제스처에 대응하는 상기 디스플레이로부터 멀어지는 방향으로 변경하기 위한 그림 인식 및 렌더링 모듈 - 상기 스크린 렌더링 모듈은 상기 관찰된 제스처에 기초하여 상기 표시된 형상을 변경한 후에 상기 변경된 형상을 삼차원 가상 객체로서 표시함 -을 포함한다.
실시예들은 위의 장치를 포함하며, 제스처 입력 및 인식 모듈은 상기 디스플레이로부터 멀어지는 이동의 범위를 결정하고, 상기 그림 인식 및 렌더링 모듈은 이동의 상기 범위에 기초하여 상기 제3 차원의 양을 제공한다.
실시예들은 위의 장치들 중 어느 것을 포함하며, 상기 제스처 입력 및 인식 시스템은 에어 제스처들을 관찰하기 위한 카메라 및 터치스크린 명령들을 수신하기 위한 터치스크린 인터페이스를 포함한다.
또 다른 실시예에서, 장치는 전술한 동작들 중 어느 하나 이상을 수행하기 위한 수단을 포함한다.
도면들 및 위의 설명은 실시예들의 예들을 제공한다. 이 분야의 기술자들은 설명된 요소들 중 하나 이상이 단일 기능 요소로 양호하게 결합될 수 있다는 것을 알 것이다. 대안으로서, 소정 요소들은 다수의 기능 요소로 분할될 수 있다. 일 실시예로부터의 요소들은 다른 실시예에 추가될 수 있다. 예를 들어, 본 명세서에서 설명된 프로세스들의 순서들은 변경될 수 있으며, 본 명세서에서 설명된 방식으로 한정되지 않는다. 더욱이, 임의의 흐름도의 액션들은 도시된 순서로 구현될 필요가 없으며, 모든 동작들이 수행될 필요도 없다. 또한, 다른 동작들에 의존하지 않는 동작들은 다른 동작들과 병렬로 수행될 수 있다. 실시예들의 범위는 이러한 특정 예들에 의해 한정되지 않는다. 명세서에서 명시적으로 제공되었는지의 여부에 관계없이 재료의 구조, 치수 및 사용의 차이들과 같은 다양한 변경들이 가능하다. 실시예들의 범위는 적어도 아래의 청구항들에 의해 주어지는 정도로 넓다.

Claims (26)

  1. 방법으로서,
    형상의 선택을 수신하는 단계;
    상기 선택된 형상을 디스플레이 상에 표시하는 단계;
    상기 표시된 형상의 적어도 일부를 상기 디스플레이로부터 멀어지게 이동시키기 위한 제스처를 관찰하는 단계;
    상기 관찰된 제스처에 기초하여 상기 표시된 형상을 상기 관찰된 제스처에 대응하는 상기 디스플레이로부터 멀어지는 방향으로 변경하는 단계;
    상기 관찰된 제스처에 기초하여 상기 표시된 형상을 변경한 후에 상기 변경된 형상을 삼차원 가상 객체로서 표시하는 단계; 및
    상기 삼차원 가상 객체를 이용하여 상기 삼차원 가상 객체로부터 제3 객체를 향해 제2 가상 객체를 발사(launching)하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 표시된 형상은 이차원 형상이며, 상기 표시된 형상을 변경하는 단계는 상기 이차원 형상에 제3 차원을 추가하여 삼차원 형상을 생성하는 단계를 포함하는 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 표시된 형상은 면적을 갖는 닫힌 형상이며, 상기 삼차원 가상 객체는 볼륨을 갖는 방법.
  5. 제1항에 있어서,
    상기 표시된 형상은 이차원 사진인 방법.
  6. 제1항에 있어서,
    상기 변경된 형상을 표시하는 단계는 상기 변경된 형상을 삼차원 디스플레이 상에서 삼차원으로 표시하는 단계를 포함하는 방법.
  7. 제1항에 있어서,
    터치스크린 상에서 제스처를 검출함으로써 상기 표시된 형상의 일부의 선택을 수신하는 단계를 더 포함하고, 상기 제스처를 관찰하는 단계는 상기 표시된 형상의 상기 선택된 부분을 이동시키기 위한 상기 제스처를 관찰하는 단계를 포함하는 방법.
  8. 제7항에 있어서,
    제스처를 관찰하는 단계는 상기 표시된 형상의 상기 선택된 부분을 상기 디스플레이로부터 상기 형상이 표시된 디스플레이의 평면 내로 푸싱(pushing)하기 위한 제스처를 관찰하는 단계를 포함하고, 상기 표시된 형상을 변경하는 단계는 상기 푸싱 제스처에 기초하여 이차원 형상에 제3 차원을 추가하는 단계를 포함하고, 상기 제3 차원의 범위는 상기 푸싱 제스처에 기초하여 결정되는 방법.
  9. 삭제
  10. 삭제
  11. 제1항에 있어서,
    형상의 선택을 수신하는 단계는 카메라를 이용하여 에어 제스처를 관찰하는 단계, 음성 명령을 수신하는 단계 및 터치스크린 명령을 수신하는 단계 중 적어도 하나를 포함하는 방법.
  12. 제1항에 있어서,
    제스처를 관찰하는 단계는 상기 표시된 형상의 일부로 지향되는 그래스핑(grasping) 제스처 및 상기 표시된 형상의 상기 그래스핑된 부분의 이차원 디스플레이로부터 제3 차원 내로의 풀링(pulling)을 관찰하는 단계를 포함하는 방법.
  13. 제1항에 있어서,
    상기 표시된 형상을 상기 디스플레이 상에 그리기 위한 사용자 입력을 수신하는 단계를 더 포함하며, 상기 형상을 상기 디스플레이 상에 표시하는 단계는 상기 그려진 형상을 표시하는 단계를 포함하는 방법.
  14. 제1항에 있어서,
    상기 관찰된 제스처에 기초하여 사운드 효과들을 제공하여, 상기 디스플레이로부터 멀어지는 이동의 양을 지시하는 단계를 더 포함하는 방법.
  15. 제1항에 있어서,
    상기 제2 가상 객체를 발사하는 단계는 상기 변경된 형상과 상호작용하기 위해 가상 객체를 발사하고, 상기 상호작용을 상기 디스플레이 상에 표시하는 단계를 더 포함하는 방법.
  16. 제1항에 있어서,
    상기 변경된 형상과 상호작용하기 위한 추가적인 제스처들을 관찰하고, 상기 상호작용을 상기 디스플레이 상에 표시하는 단계를 더 포함하는 방법.
  17. 컴퓨터에 의해 조작될 때 상기 컴퓨터로 하여금 동작들을 수행하게 하는 명령어들을 갖는 비일시적 기계 판독 가능 저장 매체로서,
    상기 동작들은,
    형상의 선택을 수신하는 동작;
    상기 선택된 형상을 디스플레이 상에 표시하는 동작;
    상기 표시된 형상의 적어도 일부를 상기 디스플레이로부터 멀어지게 이동시키기 위한 제스처를 관찰하는 동작;
    상기 관찰된 제스처에 기초하여 상기 표시된 형상을 상기 관찰된 제스처에 대응하는 상기 디스플레이로부터 멀어지는 방향으로 변경하는 동작;
    상기 관찰된 제스처에 기초하여 상기 표시된 형상을 변경한 후에 상기 변경된 형상을 삼차원 가상 객체로서 표시하는 동작; 및
    상기 삼차원 가상 객체를 이용하여 상기 삼차원 가상 객체로부터 제3 객체를 향해 제2 가상 객체를 발사하는 동작
    을 포함하는 비일시적 기계 판독 가능 저장 매체.
  18. 제17항에 있어서,
    상기 동작들은 상기 제스처를 관찰하기 전의 제스처 시작 명령 및 상기 제스처의 관찰의 종료를 유발하기 위한 제스처 종료 명령을 수신하는 동작을 더 포함하는 비일시적 기계 판독 가능 저장 매체.
  19. 제18항에 있어서,
    제스처를 관찰하는 동작은 그래스핑 제스처를 시작 명령으로서 관찰하고, 해제 제스처를 종료 명령으로서 관찰하는 동작을 포함하는 비일시적 기계 판독 가능 저장 매체.
  20. 장치로서,
    형상의 선택을 수신하기 위한 제스처 입력 및 인식 시스템;
    상기 선택된 형상을 디스플레이 상에 표시하기 위한 스크린 렌더링 모듈 - 상기 제스처 입력 및 인식 시스템은 또한 상기 표시된 형상의 적어도 일부를 상기 디스플레이로부터 멀어지게 이동시키기 위한 제스처를 관찰함 -; 및
    상기 관찰된 제스처에 기초하여 상기 표시된 형상을 상기 관찰된 제스처에 대응하는 상기 디스플레이로부터 멀어지는 방향으로 변경하기 위한 그림 인식 및 렌더링 모듈 - 상기 스크린 렌더링 모듈은 상기 관찰된 제스처에 기초하여 상기 표시된 형상을 변경한 후에 상기 변경된 형상을 삼차원 가상 객체로서 표시하고, 상기 삼차원 가상 객체를 이용하여 상기 삼차원 가상 객체로부터 제3 객체를 향해 제2 가상 객체를 발사하는 것을 표시함 -
    을 포함하는 장치.
  21. 제20항에 있어서,
    제스처 입력 및 인식 모듈은 상기 디스플레이로부터 멀어지는 이동의 범위를 결정하고, 상기 그림 인식 및 렌더링 모듈은 이동의 상기 범위에 기초하여 상기 표시된 형상의 제3 차원의 양을 제공하는 장치.
  22. 제20항에 있어서,
    상기 제스처 입력 및 인식 시스템은 에어 제스처들을 관찰하기 위한 카메라 및 터치스크린 명령들을 수신하기 위한 터치스크린 인터페이스를 포함하는 장치.
  23. 제1항의 동작들 각각을 수행하기 위한 수단
    을 포함하는 장치.
  24. 제1항에 있어서,
    상기 표시된 형상을 변경하는 단계는 가상 바인딩을 추가하는 단계를 포함하고, 상기 변경된 형상을 표시하는 단계는 가상 바인딩을 렌더링하는 단계를 포함하고, 상기 제2 가상 객체를 발사하는 단계는 상기 가상 바인딩으로 상기 제2 가상 객체를 발사하는 단계를 포함하는 방법.
  25. 제24항에 있어서,
    상기 가상 바인딩의 그래스핑 제스처를 수신하는 단계; 및
    상기 그래스핑 제스처를 이용하여 상기 가상 바인딩의 장력 및 조준을 결정하는 단계를 더 포함하고,
    상기 발사하는 단계는 상기 결정된 장력 및 조준을 이용하여 발사하는 단계를 포함하는 방법.
  26. 제25항에 있어서,
    상기 가상 바인딩에 대한 해제 제스처를 수신하는 단계를 더 포함하고, 상기 발사하는 단계는 상기 수신된 해제 제스처에 응답하여 발사하는 단계를 포함하는 방법.
KR1020147026930A 2012-03-29 2012-03-29 제스처를 이용하는 삼차원 그래픽 생성 KR101717604B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2012/031264 WO2013147804A1 (en) 2012-03-29 2012-03-29 Creation of three-dimensional graphics using gestures

Publications (2)

Publication Number Publication Date
KR20140138779A KR20140138779A (ko) 2014-12-04
KR101717604B1 true KR101717604B1 (ko) 2017-03-17

Family

ID=49260866

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147026930A KR101717604B1 (ko) 2012-03-29 2012-03-29 제스처를 이용하는 삼차원 그래픽 생성

Country Status (6)

Country Link
US (1) US20140104206A1 (ko)
EP (1) EP2836888A4 (ko)
JP (1) JP5902346B2 (ko)
KR (1) KR101717604B1 (ko)
CN (1) CN104205034A (ko)
WO (1) WO2013147804A1 (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140002338A1 (en) * 2012-06-28 2014-01-02 Intel Corporation Techniques for pose estimation and false positive filtering for gesture recognition
CN105378593B (zh) 2012-07-13 2019-03-01 索尼深度传感解决方案股份有限公司 利用手上的奇异兴趣点基于手势进行人机同步交互的方法和***
US9904414B2 (en) * 2012-12-10 2018-02-27 Seiko Epson Corporation Display device, and method of controlling display device
US9746926B2 (en) 2012-12-26 2017-08-29 Intel Corporation Techniques for gesture-based initiation of inter-device wireless connections
US9389779B2 (en) 2013-03-14 2016-07-12 Intel Corporation Depth-based user interface gesture control
KR102127640B1 (ko) 2013-03-28 2020-06-30 삼성전자주식회사 휴대 단말 및 보청기와 휴대 단말에서 음원의 위치를 제공하는 방법
US10168873B1 (en) 2013-10-29 2019-01-01 Leap Motion, Inc. Virtual interactions for machine control
US9996797B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Interactions with virtual objects for machine control
US10416834B1 (en) 2013-11-15 2019-09-17 Leap Motion, Inc. Interaction strength using virtual objects for machine control
EP2891950B1 (en) * 2014-01-07 2018-08-15 Sony Depthsensing Solutions Human-to-computer natural three-dimensional hand gesture based navigation method
JP6390277B2 (ja) * 2014-09-02 2018-09-19 ソニー株式会社 情報処理装置、制御方法、およびプログラム
CN107077197B (zh) * 2014-12-19 2020-09-01 惠普发展公司，有限责任合伙企业 3d可视化图
WO2016099559A1 (en) 2014-12-19 2016-06-23 Hewlett-Packard Development Company, Lp 3d navigation mode
US10359905B2 (en) 2014-12-19 2019-07-23 Entit Software Llc Collaboration with 3D data visualizations
KR102335132B1 (ko) * 2015-01-30 2021-12-06 소니 뎁쓰센싱 솔루션즈 에스에이/엔브이 하나의 단일 감지 시스템을 이용하는 멀티 모드 제스처 기반의 상호작용 시스템 및 방법
US10241581B2 (en) * 2015-04-30 2019-03-26 Google Llc RF-based micro-motion tracking for gesture tracking and recognition
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
CN105787971B (zh) * 2016-03-23 2019-12-24 联想(北京)有限公司 一种信息处理方法和电子设备
WO2018151910A1 (en) * 2017-02-16 2018-08-23 Walmart Apollo, Llc Virtual retail showroom system
CN107590823B (zh) * 2017-07-21 2021-02-23 昆山国显光电有限公司 三维形态的捕捉方法和装置
CN108958475B (zh) * 2018-06-06 2023-05-02 创新先进技术有限公司 虚拟对象控制方法、装置及设备
KR102187238B1 (ko) * 2019-02-12 2020-12-07 동국대학교 산학협력단 사용자 참여형 인체 3차원 모델링 장치 및 방법
JP6708917B1 (ja) * 2020-02-05 2020-06-10 リンクウィズ株式会社 形状検出方法、形状検出システム、プログラム
CN116324680A (zh) * 2020-09-11 2023-06-23 苹果公司 用于操纵环境中的对象的方法
US11733861B2 (en) * 2020-11-20 2023-08-22 Trimble Inc. Interpreting inputs for three-dimensional virtual spaces from touchscreen interface gestures to improve user interface functionality

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110107216A1 (en) * 2009-11-03 2011-05-05 Qualcomm Incorporated Gesture-based user interface
US20110164029A1 (en) * 2010-01-05 2011-07-07 Apple Inc. Working with 3D Objects
US20110304541A1 (en) * 2010-06-11 2011-12-15 Navneet Dalal Method and system for detecting gestures

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001307134A (ja) * 2000-04-19 2001-11-02 Sony Corp 三次元モデル処理装置および三次元モデル処理方法、並びにプログラム提供媒体
JP2002083302A (ja) * 2000-09-07 2002-03-22 Sony Corp 情報処理装置、動作認識処理方法及びプログラム格納媒体
JP2003085590A (ja) * 2001-09-13 2003-03-20 Nippon Telegr & Teleph Corp <Ntt> ３次元情報操作方法およびその装置，３次元情報操作プログラムならびにそのプログラムの記録媒体
WO2006040740A1 (en) * 2004-10-15 2006-04-20 Philips Intellectual Property & Standard Gmbh System for 3d rendering applications using hands
WO2007030603A2 (en) * 2005-09-08 2007-03-15 Wms Gaming Inc. Gaming machine having display with sensory feedback
JP2008225985A (ja) * 2007-03-14 2008-09-25 Namco Bandai Games Inc 画像認識システム
JP2010088642A (ja) * 2008-10-08 2010-04-22 Namco Bandai Games Inc プログラム、情報記憶媒体及びゲーム装置
KR20100041006A (ko) * 2008-10-13 2010-04-22 엘지전자 주식회사 3차원 멀티 터치를 이용한 사용자 인터페이스 제어방법
JP2011024612A (ja) * 2009-07-21 2011-02-10 Sony Computer Entertainment Inc ゲーム装置
JP5396620B2 (ja) * 2010-01-08 2014-01-22 任天堂株式会社 情報処理プログラム及び情報処理装置
JP5898842B2 (ja) * 2010-01-14 2016-04-06 任天堂株式会社 携帯型情報処理装置、携帯型ゲーム装置
JP5541974B2 (ja) * 2010-06-14 2014-07-09 任天堂株式会社 画像表示プログラム、装置、システムおよび方法
KR101716151B1 (ko) * 2010-07-30 2017-03-14 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
US8620850B2 (en) * 2010-09-07 2013-12-31 Blackberry Limited Dynamically manipulating an emoticon or avatar
JP5122659B2 (ja) * 2011-01-07 2013-01-16 任天堂株式会社 情報処理プログラム、情報処理方法、情報処理装置及び情報処理システム
US8797288B2 (en) * 2011-03-07 2014-08-05 Lester F. Ludwig Human user interfaces utilizing interruption of the execution of a first recognized gesture with the execution of a recognized second gesture

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110107216A1 (en) * 2009-11-03 2011-05-05 Qualcomm Incorporated Gesture-based user interface
US20110164029A1 (en) * 2010-01-05 2011-07-07 Apple Inc. Working with 3D Objects
US20110304541A1 (en) * 2010-06-11 2011-12-15 Navneet Dalal Method and system for detecting gestures

Also Published As

Publication number Publication date
JP5902346B2 (ja) 2016-04-13
US20140104206A1 (en) 2014-04-17
EP2836888A1 (en) 2015-02-18
CN104205034A (zh) 2014-12-10
EP2836888A4 (en) 2015-12-09
JP2015511043A (ja) 2015-04-13
WO2013147804A1 (en) 2013-10-03
KR20140138779A (ko) 2014-12-04

Similar Documents

Publication Publication Date Title
KR101717604B1 (ko) 제스처를 이용하는 삼차원 그래픽 생성
US11543891B2 (en) Gesture input with multiple views, displays and physics
US9952820B2 (en) Augmented reality representations across multiple devices
US9330478B2 (en) Augmented reality creation using a real scene
LaViola et al. 3D spatial interaction: applications for art, design, and science
US10976819B2 (en) Haptic feedback for non-touch surface interaction
US20170032578A1 (en) Display device
US10001901B2 (en) System and method for texturing in virtual reality and mixed reality environments
US20160375354A1 (en) Facilitating dynamic game surface adjustment
US9535493B2 (en) Apparatus, method, computer program and user interface
JP6450875B1 (ja) ゲームプログラム、ゲーム方法、および情報処理装置
CN108700944A (zh) 与在虚拟现实环境中的运动有关的***和方法
US20240104840A1 (en) Methods for generating virtual objects and sound
CN117765208A (zh) 用于生成虚拟对象和声音的方法
CN116149474A (zh) 近眼显示设备的控制方法、装置及近眼显示设备
Arisandi et al. Implementation of metalworking mode in mixed reality modeling system using ToolDevice
CN114984563A (zh) 云游戏控制***、游戏手柄、游戏手柄的控制方法及装置
JP2019150557A (ja) ゲームプログラム、ゲーム方法、および情報処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant