KR20140100547A - 모바일 장치상의 풀 3d 상호작용 - Google Patents

모바일 장치상의 풀 3d 상호작용 Download PDF

Info

Publication number
KR20140100547A
KR20140100547A KR1020147017681A KR20147017681A KR20140100547A KR 20140100547 A KR20140100547 A KR 20140100547A KR 1020147017681 A KR1020147017681 A KR 1020147017681A KR 20147017681 A KR20147017681 A KR 20147017681A KR 20140100547 A KR20140100547 A KR 20140100547A
Authority
KR
South Korea
Prior art keywords
mobile device
environment
user interaction
logic
movement
Prior art date
Application number
KR1020147017681A
Other languages
English (en)
Other versions
KR101608423B1 (ko
Inventor
레니트라 엠 더햄
데이비드 더햄
산기타 샤르마
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20140100547A publication Critical patent/KR20140100547A/ko
Application granted granted Critical
Publication of KR101608423B1 publication Critical patent/KR101608423B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Telephone Function (AREA)

Abstract

모바일 장치의 스크린을 통해 3-차원 환경을 디스플레이하고, 모바일 장치의 뒤편의 영역과의 사용자 상호작용을 식별하기 위한 시스템 및 방법이 제공될 수 있다. 또한, 3D 환경은 제 1 사용자 상호작용에 적어도 부분적으로 기초하여 조정될 수 있다. 더욱이, 3D 환경은 모바일 장치의 움직임 및 모바일 장치와의 사용자 상호작용에 기초하여 조정될 수 있으며, 사용자는 모바일 장치/휴대 기기를 움직임으로써 가상의 3D 환경을 통해 네비게이팅할 수 있다.

Description

모바일 장치상의 풀 3D 상호작용{FULL 3D INTERACTION ON MOBILE DEVICES}
실시예는 전반적으로 모바일 장치 상호작용성(interactivity)에 관한 것이다. 보다 상세하게, 실시예는 모바일 장치의 상호작용성을 향상시키기 위해 3차원(3D) 환경을 이용하는 것에 관한 것이다.
통상의 스마트 폰들은 스크린 상에 디스플레이되는 콘텐츠에 비해 작은 스크린(디스플레이)을 가질 수 있다. 예를 들면, 전형적인 데스크탑 환경은 여러 윈도우를 포함할 수 있는데, 이것은 전형적인 스마트 폰에서는 보기 어려운 것일 수 있다. 상대적으로 작은 스크린 크기를 위한 공간을 제공하기 위하여 몇 가지 해결책이 개발되었지만, 상당한 개선의 여지가 남아있다. 예를 들면, 디스플레이된 이미지들을 가로질러 패닝(panning)하는 통상의 기술은 사용자 측에서 손가락을 "스와이프(swipe)"하는 것을 필요로 하며, 이때 사용자의 손가락은 스크린 상의 콘텐츠를 가릴 수 있다. 유사하게, 이미지를 줌 확대 및 줌 축소하려면 이 역시 콘텐츠의 적어도 일부분을 사용자에게 보이지 않게 하는 손가락 "핀치(pinches)"를 필요로 할 수 있다.
본 발명의 실시예의 여러 가지 장점은 이하의 명세서와 첨부된 청구범위를 읽고 이하의 도면을 참조함으로써 통상의 지식을 가진 자들에게 자명해질 것이다.
도 1은 실시예에 따른 모바일 장치의 스크린을 통해 디스플레이되는 3차원(3D) 가상 데스크탑의 일예의 사시도이다.
도 2는 실시예에 따른 모바일 장치의 스크린을 통해 디스플레이되는 대안의 3D 가상 환경의 일예의 사시도이다.
도 3은 사용자가 실시예에 따른 모바일 장치와 상호작용할 수 있게 해주는 3D 가상 환경을 이용하는 방법의 일예의 흐름도이다.
도 4는 실시예에 따른 모바일 장치의 일예의 블록도이다.
실시예는 스크린 및 그 스크린을 통해 3차원(3D) 환경을 디스플레이하는 로직을 갖는 모바일 장치를 포함할 수 있다. 로직은 또한 모바일 장치 뒤편의 영역과의 제 1 사용자 상호작용을 식별하고, 제 1 사용자 상호작용에 적어도 부분적으로 기초하여 3D 환경을 조정할 수 있다.
실시예는 또한 모바일 장치의 스크린을 통해 3D 환경을 디스플레이하고, 모바일 장치 뒤편의 구역과의 제 1 사용자 상호작용을 식별하는 로직을 갖는 장치를 포함할 수 있다. 로직은 또한 제 1 사용자 상호작용에 적어도 부분적으로 기초하여 3D 환경을 조정하도록 구성될 수 있다.
또한, 실시예는 일련의 명령어를 갖는 비일시적(non-transitory) 컴퓨터 판독가능 저장 매체를 포함할 수 있으며, 일련의 명령어는, 프로세서에 의해 실행되는 경우, 모바일 장치로 하여금, 모바일 장치의 스크린을 통해 3D 환경을 디스플레이하게 하고 모바일 장치의 뒤편 영역과의 제 1 사용자 상호작용을 식별하게 한다. 이 명령어는 또한 모바일 장치가 적어도 부분적으로 제 1 사용자 상호작용에 기초하여 3D 환경을 조정(modify)하게 할 수 있다.
다른 실시예는 모바일 장치의 스크린을 통해 3D 환경이 디스플레이되는 컴퓨터 구현 방법을 포함할 수 있다. 이 방법은 또한 모바일 장치의 뒤편의 영역과의 제 1 사용자 상호작용을 식별하고 제 1 사용자 상호작용에 적어도 부분적으로 기초하여 3D 환경을 조정하는 단계를 제공할 수 있다.
이제 도 1을 참조하며, 모바일 장치(10)가 도시되며, 이 모바일 장치(10)는 사용자(14)가 시청할 수 있는 스크린(12)(예를 들면, 액정 디스플레이/LCD, 터치 스크린, 스테레오스코픽 디스플레이 등)을 갖는다. 모바일 장치(10)는, 예를 들면, 스마트 폰, 모바일 인터넷 기기(MID), 노트북 컴퓨터, 또는 스크린(12)의 크기가 비교적 작은 기타 유사 장치를 포함할 수 있다. 도시된 예에서, 3D 환경(16)은 모바일 장치(10)의 정면에서 보았을 때 스크린(12) 상에서 모바일 장치(10)의 뒤편에 약간의 거리를 두고 배치되는 것처럼 보이도록 디스플레이된다. 3D 환경(16)은, 예를 들면, 스크린(12)보다 훨씬 더 큰 복수개의 윈도우(18)(18a, 18b)가 나타나는 가상 데스크탑 환경을 포함할 수 있다. 윈도우(18)의 위치는 "공중에 떠서(in-air)" (예를 들면, 떠있는(floating)) 있거나 물리적인 데스크탑, 벽 등과 같이 모바일 장치(10)의 뒤편의 일부 외부 표면에 "고정되어(pinned)" 있을 수도 있다.
일반적으로, 사용자(14)는 모바일 장치(10)를 한 손에 들고 다른 "자유 손(free hand)"(20)을 사용하여 3D 환경(16)과 상호작용할 수 있다. 3D 환경(16)과의 사용자 상호작용은, 예를 들면, 커서 이동 동작, 클릭 동작, 드래그 및 드롭 동작, 핀치 동작, 선택 동작, 및 객체 회전 동작 등과 관련한 행위를 포함할 수 있으며, 이 때 이 동작들을 처리하는 모드는 환경에 따라 변할 수 있다. 예를 들면, 만일 3D 환경(16)이 물리적 데스크탑과 같은 외부 표면에 고정되어 있으면, 사용자(14)는 외부 표면을 자유 손(20)의 집게 (또는 다른) 손가락으로 탭핑함(tapping)으로서 윈도우(18)를 선택할 수 있다. 그러한 경우에, 모바일 장치(10)는 탭핑(예를 들면, 사용자 상호작용)을 검출하고 3D 환경(16)에서 적절한 클릭 및/또는 선택 동작을 수행하는 리어 이미지 센서(rear image sensor) 및/또는 마이크로폰(도시되지 않음)을 포함할 수 있다. 예를 들면, 리어 이미지 센서는 각종 손의 형상 및/또는 탭핑 상호작용에 대응하는 움직임을 식별하는 패턴/객체 인식 기술을 사용할 수 있다. 유사하게, 마이크로폰은 탭핑 상호작용에 대응하는 사운드 주파수 성분(sound frequency content)을 식별할 수 있다. 드래그 및 드롭 움직임 및 핀치 움직임과 같은 다른 사용자 상호작용 또한 리어 이미지 센서 및/또는 마이크로폰을 이용하여 식별될 수 있다.
그래서, 만일 도시된 윈도우(18b)가 현재 (환경의 맨 앞에 있는) 활성 창이고 자유 손(20)의 집게 손가락이 다른 윈도우(18a)에 해당하는 위치에서 외부 표면을 탭 한다면, 모바일 장치(10)는 다른 윈도우(18a)를 활성 창으로 만드는 것으로(예를 들면, 이 창을 환경의 맨 앞으로 이동시키는 것으로) 응답할 수 있다. 특별히 주목할 것은 그러한 접근법은 외부 표면이 사용자(14)에게 촉각 피드백을 제공할 수 있게 해준다는 것이다. 더 상세히 설명되는 바와 같이, 만일 3D 환경(16)이 공중에 떠 있는(예를 들면, 외부 표면에 고정되어 있지 않은) 환경이면, 사용자 상호작용을 검출함에 응답하여 자유 손(20)에 미량의 공기(a puff of air)를 불어넣도록 구성된 장치 상의 에어 노즐과 같은 다른 하나의 컴포넌트에 의해 촉각 피드백이 제공될 수 있다.
사용자(14)는 또한 자유 손(20)의 집게 손가락을 원하는 위치로 이동하여 모바일 장치(10)을 잡고 있는 손을 사용하여 모바일 장치(10)의 사용자 인터페이스(UI), 예를 들면, 3D 환경(16)에서 한 가지 이상의 동작을 트리거하는 버튼(22)과 상호작용하게 할 수도 있다. 따라서, 버튼(22)은 효과적으로 마우스의 좌 및/또는 우 클릭 버튼으로서 기능할 수 있고, 이 때 사용자(14)의 자유 손(20)은 마우스의 좌표 설정 메커니즘으로서 기능할 수 있다. 예를 들면, 버튼(22)은 윈도우(18)을 클릭하기 위해, 아니면 선택하기 위해 외부 표면을 탭핑하는 것의 대안으로서 사용될 수 있다. 그러므로, 사용자(14)는 간단히 자유 손(20)을 움직여 3D 환경(16) 내 원하는 위치를 지시할 수 있으며 다른 손을 이용하여 버튼(22)을 눌러 클릭/선택 동작을 개시할 수 있다. 또한, 버튼(22)은 드래그 및 드롭 또는 핀치 동작과 같이 더 복잡한 동작을 처리하기 위해 사용될 수 있다.
이미 언급한 바와 같이, 대안으로 3D 환경(16)은 특정 외부 표면에 고정되어 있지 않은 공중에 떠 있는 환경으로서 구현될 수 있다. 그러한 경우, 자유 손(20)의 움직임은 윈도우(18) 및 3D 환경(16) 내 타 객체에 대응하는 공중에 떠 있는 위치에 관련하여 이루어질 수 있다. 모바일 장치(10)는 또한 3D 환경(16)과의 사용자 상호작용에 응답하여 촉각 피드백을 제공하는 에어 노즐(도시되지 않음)을 갖추고 있을 수 있다.
도시된 모바일 장치(10)는 또한 패닝 및 줌 동작에 고유한 접근법을 구현가능하게 해줄 수 있다. 특히, 사용자(14)는 간단하게 자유 손(20)을 화면의 에지 쪽의 원하는 방향으로 이동함으로써 3D 환경(16)을 가로질러 패닝(예를 들면, 좌, 우, 위, 아래 방향 스크롤) 동작을 수행할 수 있으며, 이때 리어 이미지 센서는 자유 손(20)의 움직임을 검출할 수 있다. 패닝의 다른 접근법은 사용자(14)가 모바일 장치(10)를 관심 방향으로 틸트/이동하는 것일 수 있으며, 이 때 모바일 장치(10)는 모바일 장치(10)의 움직임을 패닝 동작으로 변환하기 위해 리어 이미지 센서와 함께 작용할 수 있는 움직임 센서 및/또는 프론트 이미지 센서(front image sensor)(도시되지 않음)를 또한 갖추고 있을 수 있다. 어느 접근법이든 스크린(12)을 통해 디스플레이되는 가상 환경이 스크린(12) 보다 더 크게 보이게 해줄 수 있다.
더욱이, 움직임 센서 및/또는 프론트 이미지 센서는 모바일 장치(10)의 움직임을 줌 동작으로 변환하기 위하여 리어 이미지 센서와 함께 동작할 수 있다. 특히, 프론트 이미지 센서는 모바일 장치(10)와 사용자(14)의 얼굴 사이의 거리를 결정할 수 있고, 리어 이미지 센서는 모바일 장치(10)와 사용자(14)의 자유 손(20) 및/또는 외부 표면과의 사이의 거리를 결정할 수 있는데, 이 때 이들 거리의 변동은 줌 동작으로 변환될 수 있다. 그래서, 사용자(14)는 모바일 장치(10)를 사용자(14)의 얼굴에서 멀리 3D 환경 내 관심 영역을 향해 이동함으로써 3D 환경(16)의 특정 구역을 (예를 들면, 확대경 처럼) 줌 확대할 수 있다. 유사하게, 사용자(14)는 모바일 장치를 사용자(14)의 얼굴을 향해 해당 구역에서 멀리 이동함으로써 3D 환경(16)의 특정 구역을 줌 축소할 수 있다. 이렇게 줌 동작을 처리하는 접근법은 또한 비교적 큰 가상 환경이 스크린(12)을 통해 디스플레이되게 해줄 수 있다. 더욱이, 모바일 장치(10)의 뒤편에서 일어나는 사용자 상호작용에 의한 3D 환경 조정을 토대로 하여, 예시된 접근 방법은 사용자 상호작용 중에 자유 손(20)의 손가락들이 디스플레이된 콘텐츠를 가리는 모든 우려를 없애준다.
도 2는 하나 이상의 3D 객체(26)(26a-26f)가 모바일 장치(10)의 스크린(12)을 통해 디스플레이되는 3D 환경(24)을 도시한다. 도시된 예에서, 사용자의 자유 손(20)은 모바일 장치(10) 뒤편의 영역과 상호작용함으로써 객체(26)를 선택하고, 회전시키고 아니면 조작할 수 있다. 게임 환경, 워크플로우 환경 등과 같은 각종 가상 환경이 도시된 방식대로 표현되고 조정될 수 있다.
이제 도 3을 참조하면, 3D 환경을 이용하여 사용자가 모바일 장치와 상호작용하게 해줄 수 있는 방법(30)이 도시된다. 방법(30)은 모바일 플랫폼(10)(도 1 및 도 2)과 같은 모바일 장치에서, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 프로그래머블 ROM(PROM), 펌웨어, 플래시 메모리 등과 같은 머신- 또는 컴퓨터-판독가능 저장 매체에, 예를 들면, 프로그래머블 로직 어레이(PLAs), 필드 프로그래머블 게이트 어레이(FPGAs), 복합 프로그래머블 로직 장치(CPLDs)와 같은 구성가능한 로직에, 예를 들면, 주문형 집적회로(ASIC), 상보형 금속 산화물 반도체(CMOS) 또는 트랜지스터-트랜지스터 로직(TTL) 기술과 같은 회로 기술을 이용한 고정-기능성 로직 하드웨어(fixed-functionality logic hardware)에, 또는 이들의 모든 조합에 저장된 일련의 로직 명령어으로서 구현될 수 있다. 예를 들면, 방법(30)에 도시된 동작을 수행하는 컴퓨터 프로그램 코드는 자바, 스몰토크(Smalltalk), 또는 C++ 등과 같은 객체 지향 프로그래밍 언어 및 "C" 프로그래밍 언어나 유사 프로그래밍 언어와 같은 통상의 절차 프로그래밍 언어를 포함하여, 하나 이상의 프로그래밍 언어의 어떠한 조합으로도 작성될 수 있다.
일반적으로, 방법(30)의 장치 부분(32)은 장치 움직임에 기초하여 3D 환경을 표현하고 조정하는 과정을 포함할 수 있으며, 방법(30)의 상호작용 부분(34)은 사용자 상호작용에 기초하여 3D 환경을 표현하고 조정하는 과정을 포함할 수 있다. 도시된 처리 블록(36)은 프레임 버퍼 데이터를 획득하기 위해 제공되며, 여기서 프레임 버퍼 데이터는 모바일 장치(10)의 스크린을 통해 3D 환경의 하나 이상의 이미지/비디오 프레임을 렌더링하는데 사용된 픽셀 데이터와 연관될 수 있다. 외부 표면의 위치 및 방향은 블록(38)에서 결정될 수 있다. 대안으로, 가상 환경은 블록(38)에서의 결정이 바이패스될 수 있는 공중에 떠 있는 위치에서 렌더링될 수 있다.
블록(40)은 외부 표면의 방향과 일치하도록 프레임 버퍼 데이터의 원근감(perspective)과 위치를 조정하기 위해 제공될 수 있다. 그래서, 예를 들어, 만일 외부 표면이 사용자에 대해 어떤 각도(예를 들면, 45°)에 위치한 물리적 데스크탑이라면, 프레임 버퍼 데이터도 또한 동일한/유사한 각도로 기울여질 수 있다. 모바일 장치의 움직임 및/또는 방향 전환(re-orientation)은 블록(42)에서 검출될 수 있으며, 이 때 움직임의 검출은 이미 설명한 바와 같이 모바일 장치의 움직임 센서, 리어 이미지 센서, 프론트 이미지 센서 등에서 발생한 하나 이상의 신호를 이용하여 성취될 수 있다. 도시된 블록(44)은 장치의 움직임/방향 전환에 기초하여 프레임 버퍼를 업데이트한다. 따라서, 업데이트는 좌/우 패닝, 줌 확대/축소, 및 외부 표면의 방향 등에 대해 적당한 원근감을 유지하기 등을 포함할 수 있다.
방법(10)의 상호작용 부분(34)에서, 블록(46)은 (예를 들면, 공중에 떠 있는, 장치 상에서, 외부 표면 상에서) 손/손가락 위치를 검출하기 위해 제공될 수 있으며, 이때 커서 움직임 동작은 블록(48)에서 손/손가락 위치에 기초하여 처리될 수 있다. 또한, 블록(50)에서, 리어 이미지 센서 마이크로폰 및/또는 모바일 장치 (예를 들면, UI, 버튼 등)로부터의 하나 이상의 신호는 사용자 측의 하나 이상의 손가락 제스처를 식별하는데 사용될 수 있다. 만일 블록(52)에서 어떤 제스처가 검출되었다고 판단되면, 도시된 블록(54)은 3D 환경에서 적절한 행동을 수행한다. 그래서, 블록(54)은 클릭 동작, 드래그 및 드롭 동작, 핀치 동작, 선택 동작, 및 객체 회전 동작 등을 처리하는 과정을 포함할 수 있다. 블록(56)은 가상 환경 상호작용 프로세스를 끝내는 요청이 있었는지 판단하기 위해 제공된다. 만일 아무런 끝내는 요청이 없었다거나 아무 제스처도 검출되지 않았으면, 도시된 방법(30)은 장치의 움직임 및 손의 움직임을 추적하기 위해 반복하고, 그에 따라 3D 환경을 업데이트한다.
도 4는 모바일 장치(60)를 도시한다. 모바일 장치(60)는 컴퓨팅 기능(예를 들면, 개인 휴대 정보 단말기/PDA, 랩탑, 스마트 태블릿), 통신 기능(예를 들면, 무선 스마트 폰), 이미징 기능, 미디어 재생 기능(예를 들면, 스마트 텔레비전/TV), 또는 이들의 모든 조합(예를 들면, 모바일 인터넷 기기/MID)을 가진 플랫폼의 일부분일 수 있다. 모바일 장치(60)는 모바일 장치(10) (도 1 및 도 2)로 쉽게 대체될 수 있다. 도시된 예에서, 장치(60)는 통합된 메모리 컨트롤러(integrated memory controller (IMC))(64)를 갖는 프로세서(62)를 포함하며, 이 프로세서는 시스템 메모리(66)와 통신할 수 있다. 시스템 메모리(66)는, 예를 들면, 듀얼 인라인 메모리 모듈(DIMMs), 스몰 아웃라인 DIMMs(SODIMMs) 등과 같이 하나 이상의 메모리 모듈로서 구성된, 예를 들면, 다이나믹 랜덤 액세스 메모리(DRAM)을 포함할 수 있다.
도시된 장치(60)는 또한 때로는 칩셋의 사우스브릿지(southbridge)라고 불리기도 하고, 호스트 장치로서 기능하며, 예를 들면, 프론트 이미지 센서(70), 리어 이미지 센서(72), 에어 노즐(74), 마이크로폰(76), 스크린(78), 움직임 센서(79), 및 대용량 스토리지(80)(예를 들면, 하드 디스크 드라이브/HDD, 광 디스크, 플래시 메모리 등)과 통신할 수 있는 플랫폼 컨트롤러 허브(platform controller hub (PCH)(68)를 포함한다. 3D 환경을 스크린(78)을 통해 디스플레이하고, 모바일 장치(60)의 뒤편의 영역과의 사용자 상호작용을 식별하며, 사용자 상호작용에 적어도 부분적으로 기초하여 3D 환경을 조정하도록 구성된 로직(82)을 도시된 프로세서(62)가 실행할 수 있다. 3D 환경은 또한 모바일 장치(60)의 움직임에 기초하여 조정될 수 있으며, 이 때 프론트 이미지 센서(70), 리어 이미지 센서(72), 마이크로폰(76) 및/또는 움직임 센서(79)로부터의 하나 이상의 신호는 사용자 상호작용 및/또는 모바일 장치 움직임을 식별하는데 사용될 수 있다. 또한, 모바일 장치(60)와의 사용자 상호작용은, 이미 설명한 바와 같이, 스크린(78)(예를 들면, 터치 스크린)을 통해 구현된 UI 또는 버튼(20)(도 1)과 같은 다른 적절한 인터페이스로부터의 하나 이상의 신호에 기초하여 식별될 수 있다. 더욱이, 로직(82)은 사용자 상호작용에 응답하여 노즐(74)을 사용하여 촉각 피드백을 사용자에게 제공할 수 있다.
그러므로, 본 출원에서 기술된 기술은 스마트 폰과 같은 소형 폼 팩터의 모바일 장치를 이용하여 전체 데스크탑 컴퓨터 경험을 가능하게 해줄 수 있다. 3D 디스플레이 기술 및/또는 3D 렌더링 메커니즘을 이용함으로써, 사용자가 그의 화면을 보고, 장치의 스크린의 위, 뒤, 아래 및 옆 공간과 상호작용하면서, 모바일 장치를 통해 상호작용하게 해줄 수 있는 것이 가능하다. 게다가, 스크린은 그 스크린을 직접 바라보는 개인에게만 보일 수 있으므로, 사용자 상호작용에 대해 (랩탑 디스플레이 용도로 설계될 수 있는 프라이버시 필터처럼) 프라이버시를 향상시킬 수 있다.
본 발명의 실시예는 모든 형태의 반도체 집적 회로("IC") 칩과 함께 사용하는데 적용가능하다. 이들 IC 칩의 예는 프로세서, 컨트롤러, 칩셋 컴포넌트, 프로그래머블 로직 어레이(PLAs), 메모리 칩, 네트워크 칩, 시스템 온 칩(SoCs), 및 SSD/NAND 컨트롤러 ASIC 등을 포함하지만, 이것으로 제한되지 않는다. 그 밖에, 도면의 일부에서, 신호 전송 도체 선들(signal conductor lines)은 선으로 표시된다. 일부는 더 많은 구성 신호 경로를 표시하도록 상이할 수 있고, 복수개의 구성 신호 경로를 표시하기 위해 번호 라벨을 가지고 있을 수 있으며, 및/또는 기본적인 정보 흐름 방향을 표시하기 위해 한 곳 이상의 끝 부분에 화살표를 가질 수 있다. 그러나, 이것은 제한하는 방식으로 해석되지 않아야 한다. 오히려, 그렇게 추가되는 세부사항은 회로의 더 쉬운 이해를 도모하기 위해 하나 이상의 예시적인 실시예와 함께 사용될 수 있다. 임의로 표시된 신호 선들은 부가적인 정보를 가지고 있던 그렇지 않던 간에 복수의 방향으로 진행할 수 있는 하나 이상의 신호를 실제로 포함할 수 있으며 임의의 적절한 형태의 신호 방식, 예를 들면, 차동 쌍으로 구현된 디지털 또는 아날로그 라인, 광섬유 라인, 및/또는 싱글-엔디드 라인(single-ended lines)으로 구현될 수 있다.
예시적인 크기/모델/값/범위가 제시되었는데, 본 발명의 실시예가 그와 동일한 것으로 제한되는 것을 아니다. 제조 기술(예를 들면, 포토리소그래피)은 시간이 지남에 따라 발달하므로, 더 작은 크기의 장치들이 제조될 수 있다고 예상된다. 게다가, IC 칩 및 다른 컴포넌트와의 널리 공지된 전력/접지 접속부는 묘사와 설명의 간략성을 기하기 위해 그리고 본 발명의 실시예의 특정 양태를 방해하지 않기 위해 도면에 도시될 수도 또는 도시되지 않을 수도 있다. 또한, 본 발명의 실시예를 모호하게 하는 것을 피하기 위해, 그리고 그러한 블록도 구성의 구현에 대하여 세부사항은 전적으로 그 실시예가 구현되는 플랫폼에 달려 있다는 사실로 보아서도, 즉, 그러한 세부사항이 당연히 본 기술에서 통상의 지식을 가진 자의 범위 내에 있어야 한다는 사실로 보아서도, 구성은 블록도 형태로 도시될 수 있다. 특정한 세부사항(예를 들면, 회로)이 본 발명의 예시적인 실시예들을 기술하기 위해 설명되는 경우, 본 기술에서 통상의 지식을 가진 자에게는 본 발명의 실시예가 이러한 특정 세부사항 없이 또는 특정 세부사항을 변경하여 실시될 수 있다는 것은 자명한 것이다. 그래서 상세한 설명은 한정적인 것이 아니라 예시적인 것으로 간주될 것이다.
본 출원에서 "결합된"이라는 용어는 해당 컴포넌트들 간의 직접적 또는 간접적인 모든 형태의 관계를 언급하는데 사용될 수 있으며, 전기적, 기계적, 유동적, 광학적, 전자기적, 전자기계적 또는 기타의 접속에 적용할 수 있다. 또한, "제1", "제2" 등의 용어는 본 출원에서 설명을 용이하게 하기 위해서만 사용되며, 달리 지적하지 않는 한 특별한 시간적 또는 연대적인 중요성을 담고 있지는 않다.
본 기술에서 통상의 지식을 가진 자들이라면 전술한 설명으로부터 본 발명의 실시예의 광범위한 기술은 각종 형태로 구현될 수 있음을 인식할 것이다. 그러므로, 본 발명의 실시예가 그의 특정한 예와 관련하여 기술되었지만, 도면, 명세서, 및 하기 청구범위의 학습을 통한 다른 변형도 당업자에게는 당연한 것인 바 본 발명의 실시예의 진정한 범주가 실시예로 한정되는 것은 아니라고 할 것이다.

Claims (35)

  1. 모바일 장치로서,
    스크린과,
    로직을 포함하되,
    상기 로직은
    상기 스크린을 통해 3-차원 (3D) 환경을 디스플레이하고,
    상기 모바일 장치의 뒤편의 영역과의 제 1 사용자 상호작용을 식별하고,
    상기 제 1 사용자 상호작용에 적어도 부분적으로 기초하여 상기 3D 환경을 조정(modify)하는
    모바일 장치.
  2. 제 1 항에 있어서,
    상기 제 1 사용자 상호작용은 공중에 떠 있는(in-air) 위치 및 상기 3D 환경 내 가상 객체와 연관된 외부 표면 중 적어도 하나에 관련한 손의 움직임을 포함하는
    모바일 장치
  3. 제 1 항에 있어서,
    에어 노즐을 더 포함하되, 상기 제 1 사용자 상호작용이 공중에 떠 있는 위치에 관련한 손의 움직임이면 상기 로직이 상기 에어 노즐을 사용하여 촉각 피드백을 제공하는
    모바일 장치.
  4. 제 1 항에 있어서,
    리어 이미지 센서(a rear image sensor)를 더 포함하되, 상기 로직은 상기 리어 이미지 센서로부터의 하나 이상의 신호를 이용하여 상기 제 1 사용자 상호작용을 식별하는
    모바일 장치.
  5. 제 1 항에 있어서,
    마이크로폰을 더 포함하되, 상기 로직은 상기 마이크로폰으로부터의 하나 이상의 신호를 이용하여 상기 제 1 사용자 상호작용을 식별하는
    모바일 장치.
  6. 제 1 항에 있어서,
    상기 로직은 커서 움직임 동작, 클릭 동작, 드래그 및 드롭 동작, 핀치 동작, 선택 동작 및 객체 회전 동작 중 하나 이상을 수행하여 상기 제 1 사용자 상호작용에 적어도 부분적으로 기초하여 상기 3D 환경을 조정하는
    모바일 장치.
  7. 제 1 항에 있어서,
    움직임 센서(a motion sensor)를 더 포함하되, 상기 로직은 상기 움직임 센서로부터의 하나 이상의 신호를 이용하여 상기 모바일 장치의 움직임을 식별하는
    모바일 장치.
  8. 제 1 항에 있어서,
    움직임 센서를 더 포함하되, 상기 로직은 상기 프론트 이미지 센서로부터의 하나 이상의 신호를 이용하여 상기 모바일 장치의 움직임을 식별하는
    모바일 장치.
  9. 제 1 항에 있어서,
    상기 3D 환경은 상기 모바일 장치의 상기 스크린보다 상당히 더 큰 가상의 데스크탑 컴퓨터 환경을 포함하는
    모바일 장치.
  10. 제 1 항에 있어서,
    상기 로직은,
    상기 모바일 장치의 사용자 인터페이스로부터의 하나 이상의 신호를 이용하여 상기 모바일 장치와의 제 2 사용자 상호작용을 식별하고,
    상기 제 2 사용자 상호작용에 적어도 부분적으로 기초하여 클릭 동작, 드래그 및 드롭 동작 및 핀치 동작 중 적어도 하나의 동작으로 상기 3D 환경을 조정하는
    모바일 장치.
  11. 로직을 포함하는 장치로서,
    상기 로직은
    모바일 장치의 스크린을 통해 3-차원 (3D) 환경을 디스플레이하고,
    상기 모바일 장치의 뒤편의 영역과의 제 1 사용자 상호작용을 식별하고,
    상기 제 1 사용자 상호작용에 적어도 부분적으로 기초하여 상기 3D 환경을 조정하는
    장치.
  12. 제 11 항에 있어서,
    상기 제 1 사용자 상호작용은 공중에 떠 있는(in-air) 위치 및 상기 3D 환경 내 가상 객체와 연관된 외부 표면 중 적어도 하나에 관련한 손의 움직임을 포함하는
    장치.
  13. 제 11 항에 있어서,
    상기 로직은 상기 모바일 장치의 리어 이미지 센서 및 마이크로폰 중 적어도 하나로부터의 하나 이상의 신호를 이용하여 상기 제 1 사용자 상호작용을 식별하는
    장치.
  14. 제 11 항에 있어서,
    상기 제 1 사용자 상호작용이 공중에 떠 있는 위치에 관련한 손의 움직임이면 상기 로직이 상기 모바일 장치의 에어 노즐을 사용하여 촉각 피드백을 제공하는
    장치.
  15. 제 11 항에 있어서,
    상기 로직은 커서 움직임 동작, 클릭 동작, 드래그 및 드롭 동작, 핀치 동작, 선택 동작 및 객체 회전 동작 중 하나 이상을 수행하여 상기 제 1 사용자 상호작용에 적어도 부분적으로 기초하여 상기 3D 환경을 조정하는
    장치.
  16. 제 11 항에 있어서,
    상기 로직은
    상기 모바일 장치의 움직임 센서 및 프론트 이미지 센서 중 적어도 하나로부터의 하나 이상의 신호를 이용하여 상기 모바일 장치의 움직임을 식별하고,
    상기 모바일 장치의 상기 움직임에 적어도 부분적으로 기초하여 팬 동작 및 줌 동작 중 적어도 하나의 동작으로 상기 3D 환경을 조정하는
    장치.
  17. 제 11 항에 있어서,
    상기 3D 환경은 상기 모바일 장치의 상기 스크린보다 상당히 더 큰 가상의 데스크탑 컴퓨터 환경을 포함하는
    장치.
  18. 제 11 항에 있어서,
    상기 로직은,
    상기 모바일 장치의 사용자 인터페이스로부터의 하나 이상의 신호를 이용하여 상기 모바일 장치와의 제 2 사용자 상호작용을 식별하고,
    상기 제 2 사용자 상호작용에 적어도 부분적으로 기초하여 클릭 동작, 드래그 및 드롭 동작 및 핀치 동작 중 적어도 하나의 동작으로 상기 3D 환경을 조정하는
    장치.
  19. 제 18 항에 있어서,
    상기 클릭 동작은 컴퓨터 마우스 클릭 동작을 포함하는
    장치.
  20. 일련의 명령어(a set of instructions)를 포함하는 비-일시적 컴퓨터 판독가능 저장 매체로서,
    상기 일련의 명령어는, 프로세서에 의해 실행될 때, 모바일 장치로 하여금,
    상기 모바일 장치의 스크린을 통해 3-차원 (3D) 환경을 디스플레이하게 하고,
    상기 모바일 장치의 뒤편의 영역과의 제 1 사용자 상호작용을 식별하게 하고,
    상기 제 1 사용자 상호작용에 적어도 부분적으로 기초하여 상기 3D 환경을 조정하게 하는
    컴퓨터 판독가능 저장 매체.
  21. 제 20 항에 있어서,
    상기 제 1 사용자 상호작용은 공중에 떠 있는(in-air) 위치 및 상기 3D 환경 내 가상 객체와 연관된 외부 표면 중 적어도 하나에 관련한 손의 움직임을 포함하는
    컴퓨터 판독가능 저장 매체.
  22. 제 20 항에 있어서,
    상기 명령어가 실행되면, 상기 모바일 장치로 하여금, 상기 모바일 장치의 리어 이미지 센서 및 마이크로폰 중 적어도 하나로부터의 하나 이상의 신호를 이용하여 상기 제 1 사용자 상호작용을 식별하게 하는
    컴퓨터 판독가능 저장 매체.
  23. 제 20 항에 있어서,
    상기 명령어가 실행되면, 상기 제 1 사용자 상호작용이 공중에 떠 있는 위치에 관련한 손의 움직임인 경우, 상기 모바일 장치로 하여금 상기 모바일 장치의 에어 노즐을 사용하여 촉각 피드백을 제공하게 하는
    컴퓨터 판독가능 저장 매체.
  24. 제 20 항에 있어서,
    상기 명령어가 실행되면, 상기 모바일 장치로 하여금, 커서 움직임 동작, 클릭 동작, 드래그 및 드롭 동작, 핀치 동작, 선택 동작 및 객체 회전 동작 중 하나 이상의 동작을 수행하여 상기 제 1 사용자 상호작용에 적어도 부분적으로 기초하여 상기 3D 환경을 조정하게 하는
    컴퓨터 판독가능 저장 매체.
  25. 제 20 항에 있어서,
    상기 명령어가 실행되면, 상기 모바일 장치로 하여금, 상기 모바일 장치의 움직임 센서 및 프론트 이미지 센서 중 적어도 하나로부터의 하나 이상의 신호를 이용하여 상기 모바일 장치의 움직임을 식별하게 하고,
    상기 모바일 장치의 상기 움직임에 적어도 부분적으로 기초하여 팬 동작 및 줌 동작 중 적어도 하나의 동작으로 상기 3D 환경을 조정하게 하는
    컴퓨터 판독가능 저장 매체.
  26. 제 20 항에 있어서,
    상기 3D 환경은 상기 모바일 장치의 상기 스크린보다 상당히 더 큰 가상의 데스크탑 컴퓨터 환경을 포함하는
    컴퓨터 판독가능 저장 매체.
  27. 제 20 항에 있어서,
    상기 명령어가 실행되면, 상기 모바일 장치로 하여금,
    상기 모바일 장치의 사용자 인터페이스로부터의 하나 이상의 신호를 이용하여 상기 모바일 장치와의 제 2 사용자 상호작용을 식별하게 하고,
    상기 제 2 사용자 상호작용에 적어도 부분적으로 기초하여 클릭 동작, 드래그 및 드롭 동작 및 핀치 동작 중 적어도 하나의 동작으로 상기 3D 환경을 조정하게 하는
    컴퓨터 판독가능 저장 매체.
  28. 컴퓨터 구현 방법으로서,
    모바일 장치의 스크린을 통해 3-차원 (3D) 환경을 디스플레이하는 단계와,
    상기 모바일 장치 뒤편의 영역과의 제 1 사용자 상호작용을 식별하는 단계와,
    상기 제 1 사용자 상호작용에 적어도 부분적으로 기초하여 상기 3D 환경을 조정하는 단계를 포함하는
    컴퓨터 구현 방법.
  29. 제 28 항에 있어서,
    상기 제 1 사용자 상호작용은 공중에 떠 있는(in-air) 위치 및 상기 3D 환경 내 가상 객체와 연관된 외부 표면 중 적어도 하나에 관련한 손의 움직임을 포함하는
    컴퓨터 구현 방법.
  30. 제 28 항에 있어서,
    상기 모바일 장치의 리어 이미지 센서 및 마이크로폰 중 적어도 하나로부터의 하나 이상의 신호를 이용하여 상기 제 1 사용자 상호작용을 식별하는 단계와,
    상기 제 1 사용자 상호작용이 공중에 떠 있는 위치에 관련한 손의 움직임이면, 상기 모바일 장치의 에어 노즐을 사용하여 촉각 피드백을 제공하는 단계를 더 포함하는
    컴퓨터 구현 방법.
  31. 제 28 항에 있어서,
    상기 모바일 장치의 리어 이미지 센서 및 마이크로폰 중 적어도 하나로부터의 하나 이상의 신호를 이용하여 상기 제 1 사용자 상호작용을 식별하는 단계와,
    상기 제 1 사용자 상호작용이 공중에 떠 있는 위치에 관련한 손의 움직임이면, 상기 모바일 장치의 에어 노즐을 사용하여 촉각 피드백을 제공하는 단계를 더 포함하는
    컴퓨터 구현 방법.
  32. 제 28 항에 있어서,
    상기 3D 환경을 조정하는 단계는 커서 움직임 동작, 클릭 동작, 드래그 및 드롭 동작, 핀치 동작, 선택 동작 및 객체 회전 동작 중 하나 이상을 수행하는 단계를 포함하는
    컴퓨터 구현 방법.
  33. 제 28 항에 있어서,
    상기 모바일 장치의 움직임 센서 및 프론트 이미지 센서 중 적어도 하나로부터의 하나 이상의 신호를 이용하여 상기 모바일 장치의 움직임을 식별하는 단계와,
    상기 모바일 장치의 상기 움직임에 적어도 부분적으로 기초하여 팬 동작 및 줌 동작 중 적어도 하나의 동작으로 상기 3D 환경을 조정하는 단계를 더 포함하는
    컴퓨터 구현 방법.
  34. 제 28 항에 있어서,
    상기 3D 환경은 상기 모바일 장치의 상기 스크린보다 상당히 더 큰 가상의 데스크탑 컴퓨터 환경을 포함하는
    컴퓨터 구현 방법.
  35. 제 28 항에 있어서,
    상기 모바일 장치의 사용자 인터페이스로부터의 하나 이상의 신호를 이용하여 상기 모바일 장치와의 제 2 사용자 상호작용을 식별하는 단계와,
    상기 제 2 사용자 상호작용에 적어도 부분적으로 기초하여 클릭 동작, 드래그 및 드롭 동작 및 핀치 동작 중 적어도 하나의 동작으로 상기 3D 환경을 조정하는 단계를 더 포함하는
    컴퓨터 구현 방법.
KR1020147017681A 2011-12-27 2011-12-27 모바일 디바이스상의 풀 3d 상호작용 KR101608423B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2011/067376 WO2013100900A1 (en) 2011-12-27 2011-12-27 Full 3d interaction on mobile devices

Publications (2)

Publication Number Publication Date
KR20140100547A true KR20140100547A (ko) 2014-08-14
KR101608423B1 KR101608423B1 (ko) 2016-04-01

Family

ID=48698144

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147017681A KR101608423B1 (ko) 2011-12-27 2011-12-27 모바일 디바이스상의 풀 3d 상호작용

Country Status (7)

Country Link
US (1) US9335888B2 (ko)
EP (1) EP2798440A4 (ko)
JP (1) JP6404120B2 (ko)
KR (1) KR101608423B1 (ko)
CN (1) CN104094193B (ko)
TW (1) TWI493388B (ko)
WO (1) WO2013100900A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160087564A (ko) 2015-01-14 2016-07-22 목포대학교산학협력단 교육용 인터랙티브 앱북 화면 구성 방법 및 시스템
KR101879982B1 (ko) * 2017-03-08 2018-07-19 한국과학기술원 비접촉식으로 정보를 표현하기 위한 바람 기반 웨어러블 촉각 디스플레이 장치 및 그 동작 방법
KR20180108786A (ko) * 2016-12-30 2018-10-04 구글 엘엘씨 3d 환경에서 콘텐츠 렌더링
KR20200111119A (ko) * 2019-03-18 2020-09-28 애플 인크. 가상 종이

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9335888B2 (en) 2011-12-27 2016-05-10 Intel Corporation Full 3D interaction on mobile devices
TWI486815B (zh) * 2013-04-08 2015-06-01 鴻海精密工業股份有限公司 顯示設備及其控制系統和方法
US10048762B2 (en) 2013-11-05 2018-08-14 Intuit Inc. Remote control of a desktop application via a mobile device
TWI571767B (zh) * 2014-12-09 2017-02-21 國立臺灣大學 背螢幕式三維互動系統與方法
CN106293444B (zh) 2015-06-25 2020-07-03 小米科技有限责任公司 移动终端、显示控制方法及装置
CN105491365A (zh) * 2015-11-25 2016-04-13 罗军 基于移动终端的图像处理方法、装置及***
TWI637363B (zh) * 2017-07-26 2018-10-01 銘傳大學 擴增實境之人機互動系統
JP2020071641A (ja) * 2018-10-31 2020-05-07 株式会社デンソー 入力操作装置及びユーザインタフェースシステム
US11614797B2 (en) * 2019-11-05 2023-03-28 Micron Technology, Inc. Rendering enhancement based in part on eye tracking
TWI757941B (zh) * 2020-10-30 2022-03-11 幻景啟動股份有限公司 影像處理系統以及影像處理裝置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7098891B1 (en) * 1992-09-18 2006-08-29 Pryor Timothy R Method for providing human input to a computer
US6798429B2 (en) * 2001-03-29 2004-09-28 Intel Corporation Intuitive mobile device interface to virtual spaces
US7107549B2 (en) 2001-05-11 2006-09-12 3Dna Corp. Method and system for creating and distributing collaborative multi-user three-dimensional websites for a computer system (3D Net Architecture)
US7904826B2 (en) * 2002-03-29 2011-03-08 Microsoft Corporation Peek around user interface
JP4375657B2 (ja) 2003-06-13 2009-12-02 日本電信電話株式会社 噴出を利用した力覚提示方法および装置
JP4311190B2 (ja) 2003-12-17 2009-08-12 株式会社デンソー 車載機器用インターフェース
US20070180379A1 (en) * 2006-02-02 2007-08-02 Jerold Osato Virtual desktop in handheld devices
US20080062126A1 (en) 2006-07-06 2008-03-13 Algreatly Cherif A 3D method and system for hand-held devices
US20090102805A1 (en) * 2007-10-18 2009-04-23 Microsoft Corporation Three-dimensional object simulation using audio, visual, and tactile feedback
JP2009187426A (ja) 2008-02-08 2009-08-20 Sony Corp 記録再生装置
JP2009294728A (ja) * 2008-06-02 2009-12-17 Sony Ericsson Mobilecommunications Japan Inc 表示処理装置、表示処理方法、表示処理プログラム、及び携帯端末装置
US9310992B2 (en) * 2008-08-22 2016-04-12 Google Inc. Panning in a three dimensional environment on a mobile device
US20100053151A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
KR20100030968A (ko) * 2008-09-11 2010-03-19 엘지전자 주식회사 단말기 및 그의 메뉴 디스플레이 방법
US20100100853A1 (en) * 2008-10-20 2010-04-22 Jean-Pierre Ciudad Motion controlled user interface
JP4781440B2 (ja) 2009-02-05 2011-09-28 ソニー エリクソン モバイル コミュニケーションズ， エービー 画像撮影装置、画像撮影装置の制御方法及び制御プログラム
KR20110052998A (ko) * 2009-11-13 2011-05-19 삼성전자주식회사 디바이스에서 사용자 인터페이스 제공 방법 및 장치
US20110199387A1 (en) * 2009-11-24 2011-08-18 John David Newton Activating Features on an Imaging Device Based on Manipulations
TWM380818U (en) * 2009-12-25 2010-05-21 Univ Southern Taiwan Tech 3D virtual football game device
JP2011203984A (ja) * 2010-03-25 2011-10-13 Soka Univ ナビゲーション装置、ナビゲーション画像生成方法及びプログラム
US9535493B2 (en) 2010-04-13 2017-01-03 Nokia Technologies Oy Apparatus, method, computer program and user interface
TW201137668A (en) 2010-04-26 2011-11-01 Hon Hai Prec Ind Co Ltd Adjustment system and method for three-dimensional image
US8913056B2 (en) * 2010-08-04 2014-12-16 Apple Inc. Three dimensional user interface effects on a display by using properties of motion
US20120102438A1 (en) * 2010-10-22 2012-04-26 Robinson Ian N Display system and method of displaying based on device interactions
CN102147659A (zh) * 2011-03-21 2011-08-10 中兴通讯股份有限公司 一种终端及其显示内容处理方法
US9335888B2 (en) 2011-12-27 2016-05-10 Intel Corporation Full 3D interaction on mobile devices

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160087564A (ko) 2015-01-14 2016-07-22 목포대학교산학협력단 교육용 인터랙티브 앱북 화면 구성 방법 및 시스템
KR20180108786A (ko) * 2016-12-30 2018-10-04 구글 엘엘씨 3d 환경에서 콘텐츠 렌더링
KR20210002768A (ko) * 2016-12-30 2021-01-08 구글 엘엘씨 3d 환경에서 콘텐츠 렌더링
KR101879982B1 (ko) * 2017-03-08 2018-07-19 한국과학기술원 비접촉식으로 정보를 표현하기 위한 바람 기반 웨어러블 촉각 디스플레이 장치 및 그 동작 방법
KR20200111119A (ko) * 2019-03-18 2020-09-28 애플 인크. 가상 종이
US11328497B2 (en) 2019-03-18 2022-05-10 Apple Inc. Virtual paper
US11748966B2 (en) 2019-03-18 2023-09-05 Apple Inc. Virtual paper

Also Published As

Publication number Publication date
WO2013100900A1 (en) 2013-07-04
EP2798440A4 (en) 2015-12-09
CN104094193A (zh) 2014-10-08
US20140245230A1 (en) 2014-08-28
TW201342135A (zh) 2013-10-16
CN104094193B (zh) 2017-11-17
US9335888B2 (en) 2016-05-10
TWI493388B (zh) 2015-07-21
JP6404120B2 (ja) 2018-10-10
EP2798440A1 (en) 2014-11-05
KR101608423B1 (ko) 2016-04-01
JP2015506033A (ja) 2015-02-26

Similar Documents

Publication Publication Date Title
KR101608423B1 (ko) 모바일 디바이스상의 풀 3d 상호작용
KR102664705B1 (ko) 복수의 카메라들을 이용하여 이미지의 배율을 변경하기 위한 전자 장치 및 방법
US11868543B1 (en) Gesture keyboard method and apparatus
US20190250714A1 (en) Systems and methods for triggering actions based on touch-free gesture detection
US11443453B2 (en) Method and device for detecting planes and/or quadtrees for use as a virtual substrate
EP2972727B1 (en) Non-occluded display for hover interactions
US11360551B2 (en) Method for displaying user interface of head-mounted display device
US20140267049A1 (en) Layered and split keyboard for full 3d interaction on mobile devices
US20100053151A1 (en) In-line mediation for manipulating three-dimensional content on a display device
US10521101B2 (en) Scroll mode for touch/pointing control
CN108073432B (zh) 一种头戴式显示设备的用户界面显示方法
US20140240363A1 (en) Context awareness-based screen scroll method, machine-readable storage medium and terminal therefor
US10114501B2 (en) Wearable electronic device using a touch input and a hovering input and controlling method thereof
US11886643B2 (en) Information processing apparatus and information processing method
KR101488662B1 (ko) Nui 장치를 통하여 사용자와 상호작용하는 인터페이스 제공방법 및 제공장치
US9665249B1 (en) Approaches for controlling a computing device based on head movement
US10585485B1 (en) Controlling content zoom level based on user head movement
US11782548B1 (en) Speed adapted touch detection
WO2013119477A1 (en) Presentation techniques
CN107924276B (zh) 电子设备及其文本输入方法
WO2014166044A1 (en) Method and device for user input

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190227

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200227

Year of fee payment: 5