KR20150090162A - 비-접촉 제스처들을 통한 제스처 인식 모드 및 디바이스 페어링 및 공유를 트리거링하기 위한 방법들, 장치들 및 컴퓨터 판독가능 매체 - Google Patents

비-접촉 제스처들을 통한 제스처 인식 모드 및 디바이스 페어링 및 공유를 트리거링하기 위한 방법들, 장치들 및 컴퓨터 판독가능 매체 Download PDF

Info

Publication number
KR20150090162A
KR20150090162A KR1020157016719A KR20157016719A KR20150090162A KR 20150090162 A KR20150090162 A KR 20150090162A KR 1020157016719 A KR1020157016719 A KR 1020157016719A KR 20157016719 A KR20157016719 A KR 20157016719A KR 20150090162 A KR20150090162 A KR 20150090162A
Authority
KR
South Korea
Prior art keywords
gesture
data
parent device
contact
gesture recognition
Prior art date
Application number
KR1020157016719A
Other languages
English (en)
Inventor
숀 더블유. 반 디켄
푸옹 엘. 톤
수자나 아렐라노
에반 알. 힐드레스
조엘 버나데
가이 페리
키르크 에스. 테일러
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20150090162A publication Critical patent/KR20150090162A/ko

Links

Images

Classifications

    • H04W4/206—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H04W4/001—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/20—Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel
    • H04W4/21—Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel for social networking applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/50—Service provisioning or reconfiguring

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 개시물의 실시예들은 비-접촉 제스처들을 통한 멀티 디바이스 페어링 및 공유에 관한 것이다. 실시예에서, 방법은, 페어런트 디바이스에 의해, 페어런트 디바이스를 향하여 사용자에 의해 수행된 개시 비-접촉 제스처를 검출하는 단계를 포함한다. 또한, 방법은, 검출하는 단계에 기초하여 동작을 개시하는 단계를 포함한다. 방법은, 페어런트 디바이스에 의해, 검출하는 단계에 기초하여 하나 또는 그 초과의 이차 디바이스들 상에 제스처 인식 모드를 트리거링하는 단계를 더 포함한다. 그리고, 방법은, 하나 또는 그 초과의 이차 디바이스들에 의한 포지티브 제스처 인식 시 동작을 완료하는 단계를 더 포함한다.

Description

비-접촉 제스처들을 통한 제스처 인식 모드 및 디바이스 페어링 및 공유를 트리거링하기 위한 방법들, 장치들 및 컴퓨터 판독가능 매체{METHODS, APPARATUSES AND COMPUTER READABLE MEDIUM FOR TRIGGERING A GESTURE RECOGNITION MODE AND DEVICE PAIRING AND SHARING VIA NON-TOUCH GESTURES}
[0001] 본 개시물은 일반적으로 디바이스 페어링 및 공유(device pairing and sharing)에 관한 것이고, 더욱 구체적으로는, 비-접촉 제스처들 또는 상호작용들을 통한 멀티 디바이스 페어링 및 공유에 관한 것이다.
[0002] 주거지 또는 비즈니스 장소와 같은 위치에 있는 페어링 디바이스들의 개수가 급속히 성장했다. 디바이스들의 페어링을 위해, 현재 기술들은, 예컨대, 범프(Bump) 애플리케이션, 블루투스, NFC, WiFi, 다이렉트(Direct) 등등을 포함한다. 또한, 현재 기술들에서는, 페어링 디바이스들의 전용 페어, 예컨대 Apple™ TV와 iPad™의 페어가 메뉴 셋업을 통해 생성될 수 있다.
[0003] 그러나, 페어링 디바이스들의 증가하는 개수 때문에, 페어링을 위한 디바이스를 선택하는 것은 일반적으로 어렵다. 또한, 공유하기 위한 콘텐트를 선택하는 것은 일반적으로 어렵다. 또한, 디바이스들 사이에서 콘텐트를 공유하는 것은 일반적으로 어렵다. 예컨대, 공유 게임을 재생하는 것은 종종 로그인 또는 셋업을 요구할 수 있다.
[0004] 따라서, 기술분야에서는, 개선된 디바이스 페어링 및 공유에 대한 필요가 존재한다.
[0005] 본 개시물의 하나 또는 그 초과의 실시예들에 따라, 디바이스 페어링 및 공유를 위해 멀티 디바이스 비-접촉 제스처들 또는 상호작용들이 사용될 수 있다.
[0006] 실시예에서, 하나의 디바이스로부터 하나 또는 많은 다른 디바이스들로의 동작(예컨대, 콘텐트를 이동시키거나 또는 공유하기 위한 동작)이 구현될 수 있다. 동작은, 제1 또는 페어런트(parent) 디바이스에 대한 비-접촉 제스처들 또는 상호작용들을 통해 개시될 수 있다. 동작은, 제2 디바이스 또는 임의의 이용 가능한 디바이스들에 대한 비-접촉 제스처들 또는 상호작용들을 통해 완료될 수 있다. 용어 "제스처들"이 이후에 비-접촉 제스처들 또는 상호작용들을 지칭할 수 있고, 이 비-접촉 제스처들 또는 상호작용들이 예컨대 비-접촉 손 포즈들 또는 제스처들을 포함할 수 있음이 인식되어야 한다. 이와 같이, 본원의 실시예들에서, 비-접촉 멀티 디바이스 페어링/공유는 손 포즈와 같은 사용자의 대화식 입력을 검출하는 것 또는 인식하는 것을 포함할 수 있다.
[0007] 예컨대, 소스 또는 페어런트 디바이스에 의해 개시된 동작은 하나 또는 그 초과의 이차 디바이스들에게, 제스처 검출 모드를 턴 온(turn on)하고, 제스처 검출 모드 또는 알고리즘을 변경하고, 그리고/또는 대응하는 제스처를 검출하기 위해 정보를 분석하도록 경보할 수 있다. 소스 또는 페어런트 디바이스는, 예컨대 대응하는 제스처가 검출되었음을 표시하는 통지를 이차 디바이스로부터 청취할 수 있고, 그 다음, 이 이차 디바이스에 콘텐트가 이동 또는 복사된다. 다른 예에서, "시크릿 핸드쉐이크(secret handshake)" 또는 시크릿 제스처 포즈와 같은 키 코드(key code)를 이용하여 동시 멀티-디바이스 공유가 수행될 수 있다. 또 다른 예에서, 페어런트 디바이스가 하나 또는 그 초과의 이차 디바이스들 상에 제스처 인식 모드를 트리거링하고, 이차 디바이스들 중 하나의 이차 디바이스 상에서 포지티브 제스처 인식이 존재할 때, 그 다음, 모든 다른 이차 디바이스들 상에서의 제스처 인식은, 즉시 또는 특정된 시간 "t" 이후, 비활성화될 수 있다.
[0008] 본 개시물의 하나 또는 그 초과의 실시예들에 따라, 정보를 프로세싱하는 방법이 제공될 수 있다. 그 점과 관련하여, 방법은, 소스 디바이스가 전송 개시 비-접촉 제스처를 검출했음을 표시하는 메시지를 수신하는 단계를 포함할 수 있다. 방법은, 전송 완료 비-접촉 제스처가 검출됨을 결정하는 단계를 또한 포함할 수 있고, 방법은, 전송 완료 비-접촉 제스처가 검출됨을 결정하는 것에 적어도 부분적으로 기초하여, 수신된 정보를 프로세싱하는 단계를 또한 포함할 수 있다.
[0009] 실시예에서, 방법은, 소스 디바이스로부터 제1 정보를 수신하는 단계, 및 제1 정보를 캐싱하는 단계를 더 포함할 수 있고, 수신된 정보는 적어도 제1 정보를 포함한다.
[0010] 다른 실시예에서, 방법은, 전송 완료 비-접촉 제스처가 검출됨을 표시하는 메시지를 소스 디바이스에 송신하는 단계, 및 메시지를 송신하는 것에 대한 응답으로 소스 디바이스로부터 제1 정보를 수신하는 단계를 더 포함할 수 있고, 수신된 정보는 적어도 제1 정보를 포함한다. 일 실시예에서, 메시지는, 메시지를 송신하는 디바이스의 하나 또는 그 초과의 능력들을 표시할 수 있다. 다른 실시예에서, 제1 정보는 하나 또는 그 초과의 능력들에 적어도 부분적으로 기초한다.
[0011] 또 다른 실시예에서, 제1 정보는, 전송 개시 비-접촉 제스처가 소스 디바이스에서 검출되었을 때 소스 디바이스 상에서 순차적으로 제시되는 프로세스에 있었던 복수의 엘리먼트들을 포함하고, 방법은, 전송 개시 비-접촉 제스처가 소스 디바이스에서 검출되었을 때 제시되고 있었던 엘리먼트를 표시하는 표시자를 수신하는 단계를 더 포함하고, 프로세싱은, 복수의 엘리먼트들 중 표시된 엘리먼트 이후에 남아 있는 엘리먼트들을 순차적으로 제시하는 것을 포함한다.
[0012] 다른 실시예에서, 방법은, 하나 또는 그 초과의 다른 디바이스들에게 그들이 전송의 수신자들이 되지 않을 것임을 경보하기 위한 메시지를 하나 또는 그 초과의 다른 디바이스들에 송신하는 단계를 더 포함할 수 있다.
[0013] 다른 실시예에서, 방법은, 전송 완료 비-접촉 제스처가 전송 개시 제스처와 거의 동시에 또는 임계치 시간량 내에서 검출되었음을 결정하는 단계를 더 포함할 수 있다.
[0014] 다른 실시예에서, 방법은, 수신하는 것에 대한 응답으로, 제스처 인식 프로시저 또는 모드를 활성화하는 단계를 더 포함할 수 있다.
[0015] 다른 실시예에서, 방법은, 수신하는 것에 기초하여, 제스처 인식 모드 또는 알고리즘을 변경하는 단계를 더 포함할 수 있다.
[0016] 다른 실시예에서, 전송 완료 비-접촉 제스처는 실질적으로 전송 개시 비-접촉 제스처와 동일하다.
[0017] 다른 실시예에서, 전송 개시 비-접촉 제스처는 일련의 제스처들에서 하나 또는 그 초과의 제스처들을 포함할 수 있고, 전송 완료 비-접촉 제스처는 일련의 제스처들에서 다음 차례의 제스처를 포함한다.
[0018] 다른 실시예에서, 전송 개시 비-접촉 제스처는 제스처들의 페어 중 제1 제스처이고, 전송 완료 비-접촉 제스처는 제스처들의 페어 중 제2 제스처를 포함한다. 일 실시예에서, 제1 제스처는 그랩 제스처(grab gesture)를 포함하고, 제2 제스처는 드롭 제스처(drop gesture)를 포함한다. 다른 실시예에서, 전송 개시 비-접촉 제스처 또는 전송 완료 비-접촉 제스처는 손 포즈를 포함한다.
[0019] 다른 실시예에서, 방법은, 전송 완료 비-접촉 제스처를 수행하는 사용자가 방법을 수행하는 디바이스를 응시하고 있음을 결정하는 단계를 더 포함할 수 있고, 프로세싱은, 사용자가 디바이스를 응시하고 있음을 결정하는 것에 대한 응답으로 수행된다.
[0020] 다른 실시예에서, 프로세싱은 정보를 디스플레이하는 것을 포함한다.
[0021] 다른 실시예에서, 결정하는 단계는, 방법을 수행하는 디바이스와 연관된 카메라로부터의 정보에 기초하여, 전송 완료 비-접촉 제스처를 수행하는 손을 검출하는 단계를 포함한다.
[0022] 다른 실시예에서, 결정하는 단계는, 초음파 주파수들에 민감하며 방법을 수행하는 디바이스와 연관되는 마이크로폰으로부터의 정보에 기초하여, 전송 완료 비-접촉 제스처를 수행하는 손을 검출하는 단계를 포함한다.
[0023] 본 개시물의 하나 또는 그 초과의 실시예들에 따라, 정보를 송신하는 방법이 제공될 수 있다. 그 점과 관련하여, 방법은, 전송 개시 비-접촉 제스처를 검출하는 단계를 포함할 수 있다. 또한, 방법은, 검출하는 것에 대한 응답으로, 전송 개시 비-접촉 제스처가 검출되었음을 표시하는 메시지를 하나 또는 그 초과의 이차 디바이스들에 송신하는 단계를 포함할 수 있다. 그리고, 방법은, 정보를 하나 또는 그 초과의 이차 디바이스들 중 적어도 하나의 디바이스에 송신하는 단계를 또한 포함할 수 있다.
[0024] 다른 실시예에서, 방법은, 전송 완료 비-접촉 제스처가 적어도 하나의 디바이스에서 검출되었음을 표시하는 메시지를 수신하는 단계를 더 포함할 수 있고, 수신하는 것에 대한 응답으로, 정보를 송신하는 단계가 수행된다.
[0025] 또 다른 실시예에서, 방법은, 송신을 위한 콘텐트를 하나 또는 그 초과의 데이터 스트림들로 디멀티플렉싱하는 단계를 더 포함할 수 있고, 송신된 정보는 하나 또는 그 초과의 데이터 스트림들 중 적어도 하나의 데이터 스트림을 포함한다. 일 실시예에서, 디멀티플렉싱하는 것은 하나 또는 그 초과의 이차 디바이스들의 능력에 기초할 수 있다.
[0026] 다른 실시예에서, 방법은, 적어도 하나의 디바이스가 아닌 하나 또는 그 초과의 이차 디바이스들에, 그들이 전송의 수신자들이 되지 않을 것임을 그들에게 경보하기 위한 메시지를 송신하는 단계를 더 포함할 수 있다.
[0027] 다른 실시예에서, 메시지를 송신하는 것에 대한 응답으로, 메시지가 수신된다.
[0028] 다른 실시예에서, 방법은, 전송 완료 비-접촉 제스처가 전송 개시 제스처와 거의 동시에 또는 임계치 시간량 내에서 검출되었음을 결정하는 단계를 더 포함할 수 있고, 결정하는 것에 대한 응답으로, 정보를 송신하는 단계가 수행된다.
[0029] 다른 실시예에서, 메시지를 이용하여 정보가 송신된다.
[0030] 다른 실시예에서, 방법은, 정보를 수신하는 적어도 하나의 디바이스의 확인응답을 수신하는 단계를 더 포함할 수 있다. 일 실시예에서, 방법은, 임계치 시간량 내에서 확인응답이 수신되지 않았음을 결정하는 단계, 및 확인응답이 수신될 때까지, 정보를 적어도 하나의 디바이스에 재전송하는 단계를 더 포함할 수 있다.
[0031] 다른 실시예에서, 메시지를 송신하는 단계는 메시지를 브로드캐스팅하는 단계를 포함한다.
[0032] 다른 실시예에서, 메시지를 송신하는 단계는 메시지를 하나 또는 그 초과의 미리결정된 그룹들에 송신하는 단계를 포함하고, 하나 또는 그 초과의 미리결정된 그룹들은 하나 또는 그 초과의 이차 디바이스들을 포함한다. 일 실시예에서, 하나 또는 그 초과의 미리결정된 그룹들은 사용자의 소셜 네트워크에 기초하여 정의된다. 다른 실시예에서, 하나 또는 그 초과의 미리결정된 그룹들은 전송 개시 비-접촉 제스처에 기초하여 선택된다.
[0033] 다른 실시예에서, 방법은, 방법을 수행하는 디바이스 상에서 콘텐트가 디스플레이되게 하는 단계를 더 포함할 수 있고, 전송 개시 비-접촉 제스처가 검출될 때 콘텐트가 디스플레이되고, 송신하는 단계는, 디스플레이된 콘텐트의 적어도 일부분을 적어도 하나의 디바이스에 송신하는 단계를 포함한다.
[0034] 도 1은 본 개시물의 실시예에 따른 유스 케이스(use case)를 예시한다.
[0035] 도 1a는 본 개시물의 다른 실시예에 따른 유스 케이스를 예시한다.
[0036] 도 1b-도 1e는 본 개시물의 실시예에 따라 도 1a의 실시예에 예시된 유스 케이스에 대한 흐름을 예시한다.
[0037] 도 1f-도 1i는 본 개시물의 또 다른 실시예에 따른 유스 케이스에 대한 흐름을 예시한다.
[0038] 도 2a-도 2d는 본 개시물의 실시예에 따른 제스처 인식을 구현하기 위한 흐름을 예시한다.
[0039] 도 3은 본 개시물의 실시예에 따른 디바이스를 구현하기 위한 시스템의 블록도를 예시한다.
[0040] 도 4는 본 개시물의 실시예에 따른 메시지 흐름도를 예시한다.
[0041] 도 5는 본 개시물의 실시예에 따른 멀티 디바이스 페어링 및 공유를 위한 방법을 예시하는 흐름도이다.
[0042] 도 6은 본 개시물의 다른 실시예에 따른 멀티 디바이스 페어링 및 공유를 위한 방법을 예시하는 흐름도이다.
[0043] 도 7은 데이터를 전송하기 위한 방법을 예시하는 흐름도이다.
[0044] 도 8은 데이터를 수신하기 위한 방법을 예시하는 흐름도이다.
[0045] 본 개시물의 하나 또는 그 초과의 실시예들에 따라, 멀티 디바이스 제스처들을 이용한 디바이스 페어링 및 공유를 위한 시스템들 및 방법들이 제공된다.
[0046] 본원의 실시예들에서, 디바이스들은 모바일 디바이스들, 태블릿들, 랩톱들, PC들, 텔레비전들, 스피커들, 프린터들, 게임박스들 등등을 포함할 수 있다. 일반적으로, 페어링 디바이스들은, 예컨대, 카메라(예컨대, 가시광 카메라, 깊이(time-of-flight) 카메라와 같은 레인지 이미징 카메라, 구조형 광 카메라, 스테레오 카메라 등등), IR, 초음파 입력부 등등과 같은 이미지 또는 비디오 캡쳐링 컴포넌트들을 통한 제스처 인식부를 포함하는 임의의 디바이스의 일부를 포함할 수 있거나 또는 그 일부일 수 있다. 이와 같이, 몇몇 실시예들에서, 디바이스들은 비전-기반(vision-based) 제스처 능력들을 가질 수 있고, 비전-기반 제스처들은, 디바이스를 접촉하는 것 없는 사용자의 제스처들(즉, 카메라 앞에서의 손 포즈와 같은 비-접촉 제스처들)을 캡쳐하기 위한 카메라들 또는 다른 이미지 추적 기술들을 사용할 수 있다. 또한, 실시예들 중 특정 실시예는, 콘텐트 전송, 또는 보통 스크린과 같은 사용자 인터페이스, 예컨대 스피커, 프린터 등등이 없는 하나 또는 그 초과의 디바이스들과의 정보 공유와 같은 동작들을 구현하는데 사용될 수 있다. 디바이스들은, AllJoyn, WiFi 다이렉트, WiFi 디스플레이, Miracast, 또는 다른 적절한 공유/페어링 프로토콜들 또는 기술들과 같은 프로토콜들을 통해 통신할 수 있다. 또한, 디바이스들은 무선 네트워크, 예컨대 WiFi 네트워크, 블루투스, NFC, RFID 등등과 같은 네트워크를 통해 통신할 수 있다.
[0047] 실시예에서, 하나의 소스 또는 페어런트 디바이스로부터 하나 또는 그 초과의 수신 또는 이차 디바이스들로의 동작(예컨대, 콘텐트를 이동시키거나 또는 공유하기 위한 동작, 디바이스들을 페어링하기 위한 동작 등등)이 구현될 수 있다. 그 점과 관련하여, 동작, 예컨대 멀티 디바이스 공유는, 미리정의된 제스처들을 이용하여 달성될 수 있다. 다양한 실시예들에서, 동작(예컨대, 콘텐트의 이동 또는 공유)은, 비 접촉 통신 방식이 구현될 수 있도록 이미지 또는 비디오 이미지 캡쳐링 컴포넌트들 앞에서의 비-접촉 제스처들을 캡쳐하도록 구성된 이미지 또는 비디오 이미지 캡쳐링 컴포넌트들(예컨대, 카메라)을 포함하는 제스처 인식부를 갖는 이차 디바이스에서 개시될 수 있다.
[0048] 동작은, 소스 또는 페어런트 디바이스에 대한 사용자에 의한 약속 또는 "그랩" 제스처 또는 포즈를 통해 개시될 수 있다. 제스처들은, 예컨대, 손 펴기 또는 손 접기와 같은 핸드 사인(sign), 핸드 피스(peace) 사인, 또는 제스처 키 코드, 예컨대 록-페이퍼(rock-paper)와 같은 "시크릿 핸드쉐이크" 등등을 포함할 수 있다. 페어런트 디바이스는 페어링을 위해 이용 가능한 모든 디바이스들에게, 제스처 인식을 인에이블링하고, 제스처 검출 모드 또는 알고리즘을 변경하고, 그리고/또는 대응하는 제스처를 검출하기 위해, 예컨대 적용 가능한 통신 프로토콜을 통해 "드롭" 제스처의 검출을 찾기 위해 정보를 분석하도록 경보할 수 있다. 페어링을 위해 이용 가능한 근처 수신 디바이스들 상에서 제스처 인식이 개시 또는 구현될 수 있다. 동작은, 임의의 또는 모든 각각의 다른 이용 가능한 수신 디바이스에 대한 약속 또는 "드롭" 제스처를 통해 완료(예컨대, 콘텐트 이동 또는 전송)될 수 있다.
[0049] 다양한 실시예들에서, 미리정의된 제스처는, 수신 디바이스의 수신자 사용자에게만 알려진 고유 식별자인 제스처 키 코드, 예컨대 시크릿 제스처 포즈(예컨대, 행 루즈 심볼(hang lose symbol), 핸드 피스 사인 심볼 등등)를 포함할 수 있다. 수신 또는 이차 디바이스들의 사용자들은, 그들의 개개의 디바이스들 위에서, 예컨대 대응하는 키 코드를 이용하여, 미리정의된 제스처를 수행할 수 있다. 이러한 미리정의된 제스처들은, 예컨대, 그랩, 덮기(cover), 동일한 "시크릿 핸드쉐이크"의 사용, 시크릿 제스처 포즈, 또는 "시크릿 핸드쉐이크"에 대한 파트너(예컨대, 시저스(scirrors)를 포함할 수 있다. 미리정의된 제스처를 수행할 때, 사용자들은 그들의 개개의 디바이스들 상에서 콘텐트를 수신할 수 있다. 하나 또는 그 초과의 실시예들에 따라, 동적인 고유 식별자들이 설정될 수 있는데, 예컨대 시크릿의 대응 제스처가 변경될 수 있다. 이 점과 관련하여, 핸드쉐이크는, 변경될 수 있는 동적 시퀀스를 수반할 수 있다.
[0050] 다른 실시예에서, 페어런트 디바이스는 하나 또는 그 초과의 이차 디바이스들 상에 제스처 인식 모드를 트리거링할 수 있다. "드롭" 제스처를 먼저 검출하는 이차 디바이스는, 페어런트 디바이스에 경보하는 것을 통해 타겟 디바이스가 될 수 있다. 그 다음, 페어런트 디바이스는, 타겟 디바이스를 제외한, 페어링을 위해 이용 가능한 모든 다른 디바이스들에게 제스처 인식을 턴 오프(turn off)하도록 경보할 수 있다. 즉, 이차 디바이스 상에서의 포지티브 제스처 인식은, 즉시 또는 특정된 시간 "t" 이후, 예컨대 약 2초 후, 다른 이차 디바이스들 상에서의 제스처 인식을 비활성화할 수 있다. 하나 또는 그 초과의 실시예들에서, 어떤 시간량 "t" 동안 어떠한 이차 디바이스 상에서도 제스처 검출이 이루어지지 않는다면(타임아웃), 또는 페어런트 디바이스가 취소(cancel) 제스처를 검출한다면, 페어런트 디바이스는 모든 이차 디바이스들에게 제스처 검출을 턴 오프하도록 경보할 수 있다. 페어런트 디바이스는 타겟 디바이스에 대한 동작을 완료(예컨대, 콘텐트 전송)한다.
[0051] 타임-라인 기반 또는 스트리밍 콘텐트를 공유, 예컨대 비디오, 음악 등등을 공유 또는 페어링하기 위한 실시예에서, 페어런트 디바이스의 사용자는 페어런트 디바이스 위에서 "그랩" 제스처를 수행할 수 있고, 따라서 "그랩" 제스처가 검출될 때, 페어런트 디바이스 상에서 스트리밍 콘텐트가 일시정지(pause)된다. 예컨대, "그랩" 제스처는 편 손을 접어 주먹 만들기(open hand closing to make a first)를 포함할 수 있다. 몇몇 실시예들에서, "그랩" 제스처는 사용자를 향한 손의 이동을 또한 포함할 수 있다. 타겟 디바이스가 되는 이차 디바이스에 대해 사용자가 "드롭" 제스처를 수행할 때, 스트리밍 콘텐트는, 타겟 디바이스 상에서 디스플레이될 수 있고, 스트리밍 콘텐트가 페어런트 디바이스 상에서 최종 일시정지되었던 곳부터 스트리밍 또는 재생이 계속된다. 예컨대, "드롭" 제스처는 접은 주먹을 펴 손 쫙펴기(closed first opening into an extended hand)를 포함할 수 있다. 몇몇 실시예들에서, "드롭" 제스처는 타겟 디바이스를 향한 손의 이동을 또한 포함할 수 있다. 이와 같이, 페어런트 디바이스는, 자신의 현재 상태를 포함하는 부가 정보 및 콘텐트에 관한 정보를 송신할 수 있다. 몇몇 실시예들에서, 이 정보는 메타데이터에 포함된다. 예컨대, 송신 데이터에 있는 타임-라인 기반 미디어 또는 스트리밍 콘텐트에서, 페어런트 디바이스는, 페어런트 디바이스 상에서 콘텐트가 일시정지된 경우(예컨대, 콘텐트는 플레이백 15분에 일시정지되었음) 타임스탬프 또는 다른 진행 표시자를 메타데이터에 포함시킬 수 있고, 이차 디바이스는 그 지점부터 스트리밍이 계속될 수 있거나 또는 일시중지할 수 있다.
[0052] 제스처 인식은 작업 또는 동작의 지속기간 동안, 예컨대, 공유를 위한 짧은 지속기간 동안, 또는 게임들 등등을 위한 긴 지속기간 동안, 남아 있을 수 있다. 유리하게, 콘텐트 공유는 재미있고 쉬워 진다. 페어링을 위해 이용 가능한 디바이스들 사이에서의 쉽고 자연스런 선택이 가능해지고, 비-일차 또는 이차 디바이스들 상에서 제스처 검출의 매우 짧은 지속기간이 존재할 수 있다.
[0053] 본 개시물의 실시예들은 많은 사용자 경험들 또는 유스 케이스들에 적용될 수 있고, 이들은 예컨대, 사진 공유와 같은 하나의 사용자 디바이스로부터 많은 디바이스들로의 콘텐트 공유, 비디오 공유와 같은 스트리밍 콘텐트 공유; 카드 게임들, 및 디바이스들 상에서 구현되는 창의성에 의해 결정될 수 있는 많은 다른 용도들을 포함한다.
[0054] 유스 케이스: 사진 공유, 일 대 다
[0055] 일 실시예에서, 하나의 디바이스로부터 많은 디바이스들로의 사진 공유가 구현될 수 있다. 사용자 1이 디바이스 1을 이용하여 사진을 찍을 수 있다. 사용자 1은, 예컨대, 디바이스 1 위에서 제스처를 수행하는 것을 통해, 디바이스 1 상에서 사진 공유를 개시한다. 제스처들은, 예컨대, 플릭(flick), 또는 록-페이퍼와 같은 "시크릿 핸드쉐이크" 등등을 포함할 수 있다. 사용자 2 내지 사용자 X는, 그들의 개개의 디바이스들 위에서 미리정의된 제스처를 수행할 수 있다. 이러한 미리정의된 제스처들은, 예컨대, 그랩, 덮기, 동일한 "시크릿 핸드쉐이크" 또는 제스처의 사용, 또는 "시크릿 핸드쉐이크"에 대한 파트너(예컨대, 시저스)를 포함할 수 있다. 미리정의된 제스처를 수행할 때, 사용자 2 내지 사용자 X는 그들의 디바이스들 상에서 사진을 수신할 수 있다.
[0056] 유스 케이스: 카드 게임
[0057] 예컨대 도 1에 예시된 바와 같은 다른 실시예에서, 유스 케이스는 하나의 디바이스, 예컨대 페어런트 디바이스(102)로부터 여러 이차 디바이스들, 예컨대 이차 디바이스들(104a-104c)로 카드들을 돌리는 것을 수반할 수 있다. 사용자 1이 카드 게임을 위한 딜러이다. 사용자 1은 각각의 플레이어에 카드들을 "플리킹"하여 카드들을 돌릴 수 있다. 각각의 플레이어는 자신들의 카드들을 "그랩한다". 대안적으로, 사용자 1은 플레이어마다 특정 제스처를 사용한다. 예컨대, 사용자 1은 각각의 개개의 플레이어에 대해 1개의 손가락으로 플리킹하거나, 또는 2개의 손가락들로 플리킹하는 식일 수 있다. 각각의 플레이어는 자신의 제스처들 또는 제스처들의 파트너를 이용하여 자신의 카드들을 그랩할 수 있는데, 예컨대 1개의 손가락으로 그랩하고, 2개의 손가락들로 그랩하는 식이다.
[0058] 유스 케이스: 랩톱으로부터 폰으로 지도를 이동시키기
[0059] 예컨대 도 1a에 예시된 바와 같은 다른 실시예에서, 유스 케이스는 하나의 디바이스로부터 다른 디바이스로 콘텐트를 이동시키는 것을 수반할 수 있다. 예컨대, 지도가 페어런트 디바이스(111)(예컨대, PC 또는 랩톱)로부터 타겟 디바이스(112)(예컨대, 모바일 폰)로 이동될 수 있다.
[0060] 그 점과 관련하여, 콘텐트가 지도, 사진, 3D 모델 등등과 같은 이미지에 기초하는 실시예들에서, 페어런트 디바이스는, 예컨대, 이미지가 페어런트 디바이스로부터 타겟 디바이스(예컨대, 타겟 디바이스(112))로 이동될 때 이미지가 페어런트 디바이스(예컨대, 페어런트 디바이스(111)) 상에서 디스플레이되는 상태로 이미지의 포지션 및 뷰(예컨대, 팬, 줌 레벨 등등)를 표시하는 표시자를 포함하는 송신 데이터를 송신할 수 있고, 따라서 타겟 디바이스는 포지션 및 뷰를 포함하는 수신된 데이터에 기초하여 이미지를 디스플레이할 수 있다.
[0061] 예컨대, 도 1a의 실시예에 예시된 바와 같이, 하나의 디바이스로부터 다른 디바이스로 지도(또는 임의의 콘텐트)를 이동시키는 것을 달성하기 위해, 하기의 표 1은 이 유스 케이스에 대해 발생할 수 있는 사용자 동작들 및 시스템 응답 기능들의 개요를 서술한다. 도 1b-도 1e는 표 1의 대응하는 블록들을 예시한다.
[0062]
사용자 동작들 시스템 응답 기능
1. 도 1b는 사용자가 페어런트 디바이스(111)(디바이스 1), 예컨대 랩톱을 통해 예컨대 브라우저에서 지도 영역을 찾아내고 선택할 수 있음을 예시한다. 페어런트 디바이스(111)(예컨대, 랩톱) 상에 지도 스크린이 나타남.
2. 도 1c는, 페어런트 디바이스(111)에 의한 검출을 위해, 사용자가 그랩 제스처와 같은 약속 제스처 또는 전송 개시 제스처(예컨대, 랩톱 스크린/카메라를 마주보며 손을 펴 보여 주고, 약 1-3초 동안 손을 편 포지션을 유지하며, 그리고 그 다음 손을 접는다)를 수행할 수 있음을 예시한다. - 페어런트 디바이스(111)(예컨대, 랩톱) 상의 제스처 인식 모드가 제스처를 인식한다.
- 전송 개시 제스처를 표시하는, 랩톱 상의 사용자 인터페이스(UI) 엘리먼트, 예컨대 사운드 통지, 스크린의 플래시, 콘텐트 축소의 애니메이션, 플로팅 등등이 검출되었다.
- 랩톱은 페어링을 위해 이용 가능한 모든 디바이스들에게, 제스처 인식을 인에이블링하고 대응하는 전송 완료 제스처, 예컨대 "드롭" 제스처의 검출을 찾도록 경보한다. 예컨대, AllJoyn을 통함.
- 페어링을 위해 이용 가능한 근처 디바이스들(예컨대, 폰들, 태블릿들, PC들, TV들, 게임박스들 등등) 상에서 제스처 인식이 개시되거나 또는 다른 방식으로 수행된다.
대안적으로: 페어런트 디바이스(111)(예컨대, 랩톱)가 경보와 함께 콘텐트를 송신하고, 그래서 수신 디바이스들은, "드롭" 형태(conformation)를 기다리면서, 콘텐트를 프리캐싱할 수 있다.
3. 도 1d는, 원하는 타겟 디바이스(112)에 의한 검출을 위해, 사용자가 약속 또는 전송 완료 제스처, 예컨대 "드롭" 제스처를 수행함으로써 전송을 완료할 수 있음을 예시한다. 예컨대, 타겟 디바이스(112), 예컨대 폰 스크린 앞에서 접은 손을 폄으로써. - 전송 완료 제스처를 검출하는 제1 디바이스(예컨대, 폰)는 페어런트 디바이스(111)(예컨대, 랩톱)에 경보하는 것을 통해 타겟 디바이스(112)가 될 수 있다.
- 페어런트 디바이스는 타겟 디바이스(112)를 제외한, 페어링을 위해 이용 가능한 모든 다른 디바이스들에게, 제스처 인식을 턴 오프하도록 경보할 수 있거나 또는 다른 디바이스들이 전송 콘텐트의 수신자들이 되지 않을 것임을 경보할 수 있다. 몇몇 실시예들에서, 부가하여 또는 대신에, 타겟 디바이스(112)가 다른 디바이스들에 경보한다. 몇몇 실시예들에서, 예컨대, 하나보다 많은 디바이스가 전송 콘텐트의 수신자일 수 있을 때, 이러한 경보는 생략될 수 있다. 다른 실시예들에서, 페어런트 디바이스는, 모든 이차 디바이스들 상에 제스처 인식 모드를 비활성화하기 위해 수행될 수 있는 취소 제스처를 검출할 수 있다. 몇몇 실시예들에서, 소정의 시간이 지난 이후 어떠한 이차 디바이스 상에서도 제스처 검출이 이루어지지 않는다면(타임아웃), 페어런트 디바이스는 이차 디바이스들에게 제스처 인식을 비활성화하도록 경보할 수 있다.
- 페어런트 디바이스는 타겟 디바이스(112)로의 콘텐트의 전송을 개시한다. (예컨대, URL 또는 파일)
- 이 실시예에서, 예컨대 지도가 타겟 디바이스(112)(폰) 스크린에 전송되고, 타겟 디바이스(112)(폰) 스크린은 지도가 이용 가능해지자마자 지도를 디스플레이한다.
- 대안적으로: 일단 타겟 디바이스(112)가 전송 완료 제스처를 검출하고, 검출에 관해 페어런트 디바이스(111)에 경보하고, 그리고/또는 페어런트 디바이스(111)로부터 확인을 수신하면, 프리캐싱된 콘텐트가 타겟 디바이스(112) 상에서 디스플레이된다.
4. 도 1e는 사용자가 타겟 디바이스(112)(폰) 상에서 콘텐트를 볼 수 있음을 예시한다 타겟 디바이스(112)가 수신된 콘텐트, 예컨대 지도를 디스플레이한다.
[0063] 유스 케이스: 태블릿으로부터 TV로 비디오를 이동시키기
[0064] 또 다른 실시예에서, 유스 케이스는 태블릿으로부터 TV로 비디오를 이동시키는 것을 수반할 수 있다.
[0065] 태블릿으로부터 TV로 비디오를 이동시키는 것을 달성하기 위해, 하기의 표 2는 이 유스 케이스에 대해 발생할 수 있는 사용자 동작들 및 시스템 응답 기능들의 개요를 서술한다. 도 1f-도 1i는 표 2의 대응하는 블록들을 예시한다.
[0066]
사용자 동작들 시스템 응답 기능
1. 도 1f에서, 사용자는 페어런트 디바이스(121)(예컨대, 태블릿) 상에서 비디오(또는 다른 콘텐트)를 찾아내고 선택한다. 비디오는 페어런트 디바이스(121)(예컨대, 태블릿) 상에서 재생되기를 시작한다. 몇몇 실시예들에서, 먼저 재생되는 것 없이, 비디오가 전송될 수 있다.
2. 도 1g에서, 예컨대 손을 펴게 두고 약 1-3초 동안 손을 편 포지션을 유지하고 그 다음 손을 접음으로써, 사용자는 페어런트 디바이스(121)에 의한 검출을 위한 전송 개시 제스처를 수행한다. - 그랩이 검출될 때, 페어런트 디바이스(121)(예컨대, 태블릿) 상에서 비디오가 일시정지될 수 있다는 점을 제외하고서, 도 1a-도 1e에서 위에서 예시된 유스 케이스: 지도 콘텐트 이동시키기에 대해서와 동일함.
5. 도 1h에서, 타겟 디바이스(122), 즉 TV 스크린에 의한 검출을 위해, 사용자는 전송 완료 제스처를 수행함으로써, 예컨대 손을 편 상태를 유지함으로써 제스처를 완료한다. 몇몇 실시예들에서, 사용자는 또한 타겟 디바이스(122)를 쳐다본다. - 하기를 제외하고서, 도 1a-도 1e에서 위에서 예시된 유스 케이스: 지도 콘텐트 이동시키기에 대해서와 동일함.
- 비디오는 타겟 디바이스(122)(TV) 상에서 수신 및/또는 디스플레이될 수 있고, 비디오는 비디오가 페어런트 디바이스(121)(태블릿) 상에서 최종 일시정지되었던 곳부터 계속 재생될 수 있다. 몇몇 실시예들에서, 디바이스는, 자신이 타겟 디바이스임을 결정하기 이전에, 사용자가 자신을 쳐다보고 있거나 또는 응시하고 있음을 결정한다.
6. 도 1i에서, 사용자는 타겟 디바이스(122)(TV) 상에서 비디오를 시청한다.
[0067] 일반적으로, 위에서 설명된 바와 같이, 디바이스는, 디바이스에 접촉하지 않고 사용자의 제스처들을 캡쳐하기 위해 이미지 또는 비디오 캡쳐링 기술들, 예컨대 카메라들과 같은 다양한 기술들을 사용할 수 있다. 다양한 실시예들에서, 카메라들은 가시광 카메라들, 깊이 카메라들과 같은 레인지 이미징 카메라들, 구조형 광 카메라들, 스테레오 카메라들 등등을 포함할 수 있다. 위에서 설명된 바와 같이, 디바이스는, 제스처를 검출하기 위해, IR, 초음파, UV, EM 방사선 등등과 같은 다른 기술들을 사용할 수 있다. 몇몇 실시예들에서, 제스처는, 디바이스에 접촉하지 않고 수행된 제스처이다. 그 점과 관련하여, 디바이스는, 콘텐트 전송과 같은 동작이 개시될 수 있도록 비-접촉 제스처들을 캡쳐하기 위해 카메라와 같은 이미지 또는 비디오 캡쳐링 컴포넌트를 사용할 수 있다. 예컨대, 몇몇 실시예들에서, 디바이스는, 인터페이스를 거쳐, 데이터를 전송하기 위해 디바이스 카메라 앞에서 미리정의된 포즈로 유지된 손(예컨대, 손 펴기, 손 접기 등등)과 같은 오브젝트를 이용하여 수행된 사용자의 비-접촉 제스처를 검출 또는 캡쳐할 수 있다. 몇몇 실시예들에서, 애플리케이션 또는 백업 서버에서 콘텐트를 공유하기 위하여, 임의의 인터페이스를 통해, 예컨대 카메라의 앞에서 또는 카메라의 시선에서 또는 다른 제스처 캡쳐링 기술을 통해, 비-접촉 제스처들이 캡쳐 또는 검출될 수 있기 때문에, 어떠한 특별한 애플리케이션 또는 사용자 인터페이스도 요구되지 않을 수 있다. 몇몇 실시예들에서, 비-접촉 제스처는, 제스처 검출 디바이스를 유지시키면서 수행되는 제스처를 포함한다. 예컨대, 디바이스의 이동을 결정하는데 가속도계, 자이로스코프, 및/또는 자력계 중 하나 또는 그 초과가 사용될 수 있다.
[0068] 비전-기반 제스처 인식을 위한 기본 프로세스의 예는 하기를 포함할 수 있다: a) 디바이스가 이미지를 캡쳐한다; b) 컴퓨터 비전 소프트웨어가 이미지에서 손/팔/몸 또는 다른 제어 오브젝트를 식별한다; c) 예컨대 소프트웨어 및/또는 하드웨어로 구현된 바와 같은 제스처-인식 모듈이 손/팔/몸 또는 다른 제어 오브젝트 자세 또는 포즈 또는 이동을 분석한다; d) 그 다음, 모듈이 제스처를, 예컨대 모델로 인코딩된 또는 데이터베이스에서 분류된 제스처와 비교한다; 그리고 e) 디바이스가 적절한 동작을 취한다.
[0069] 유리하게, 많은 시나리오들에서 비전-기반 제스처 인식이 유리할 수 있는데, 그 이유는 예컨대 비전-기반 제스처 인식은, 비강제적이고, 감지가 수동적이고 조용하며, 접촉이 현실적이지 않을 경우 유용하고, 몇몇 작업들에 대해 실감나는 사용자 경험들 및 유용성을 증가시키며, 고령 사용자들 또는 장애들을 갖는 사용자들에 유용하고, 비전-기반 제스처 인식의 관련 하드웨어가 낮은 비용으로 상업적으로 이용 가능할 수 있으며, 다른 입력 기술들보다 제스처들이 더욱 자연스러울 수 있고, 그리고/또는 상호작용 영역의 크기가 예컨대 증가될 수 있기 때문이다.
[0070] WiFi 다이렉트, AllJoyn, WiFi 디스플레이, 또는 임의의 다른 기술 또는 공유/페어링 연결 또는 프로토콜과 같은 기술들을 이용하여, 공유 또는 페어링 연결들이 이루어질 수 있다. 다른 실시예들에서, WiFi 네트워크, 블루투스, NFC, RFID 등등과 같은 무선 네트워크를 포함하는 기술들을 사용하여 연결들이 이루어질 수 있다.
[0071] 페어링 디바이스들은, 예컨대, 카메라(예컨대, 가시광 카메라, 깊이 카메라와 같은 레인지 이미징 카메라, 구조형 광 카메라, 스테레오 카메라 등등), IR, 초음파 입력부 등등을 통해, 제스처 인식부를 포함하는 임의의 디바이스일 수 있다. 목적지 디바이스들의 경우, 스크린이 필요하지 않을 수 있다. 다양한 실시예들에서, 목적지 또는 수신 디바이스들은 출력 디바이스, 예컨대 스피커들, 햅틱 피드백, 프린터 등등의 형태만을 취할 필요가 있을 수 있다. 일 예에서, 사용자는 자신의 스마트폰으로부터 노래를 그랩하고 그것을 스피커 상에서 드롭시킬 수 있다. 몇몇 실시예들에서, 사용자는 전화 호 또는 다른 오디오 콘텐트를 그랩할 수 있고, 그것을 스피커폰, 폰 헤드세트, 및/또는 무선 헤드세트 또는 헤드폰들 상에 드롭시킬 수 있다. 이러한 디바이스들은, 예컨대, 카메라, IR, 초음파, 근접성 센서, ALS, 및/또는 다른 엘리먼트 또는 컴포넌트를 사용하여 드롭 제스처를 검출할 수 있다.
[0072] 공유될 수 있는 콘텐트는, 예컨대, 링크(예컨대, URL, 파일 위치 등등), 파일(예컨대, 사진, 지도 데이터, 임의의 애플리케이션(app) 데이터 등등), 스트리밍되는 콘텐트(예컨대, 비디오, 재생되고 있는 노래 등등), 또는 임의의 다른 적절한 콘텐트를 포함할 수 있다. 몇몇 실시예들에서, 링크 또는 파일 위치 등등이 공유된 이후, 타겟 디바이스는 링크 또는 위치로부터 추가 콘텐트를 다운로딩 또는 획득할 수 있다. 따라서, 몇몇 실시예들에서, 추가 콘텐트는, 페어런트 디바이스를 통해 전달되는 것이 아니라, 타겟 디바이스에 의해 직접 액세스될 수 있다. 몇몇 실시예들에서, 페어런트 디바이스를 통해 (예컨대, 비디오, 재생되고 있는 노래 등등의) 콘텐트 및/또는 정보를 스트리밍함으로써 콘텐트가 공유될 수 있다. 몇몇 실시예들에서, 페어런트 디바이스는, 콘텐트의 데이터 스트림들을 디멀티플렉싱(예컨대, 오디오 데이터 스트림과 비디오 데이터 스트림을 분리)하고, 타겟 디바이스의 능력들에 기초하여 데이터 스트림(예컨대, 오디오 또는 비디오)을 선택하고, 그리고/또는 선택된 데이터 스트림만을 타겟 디바이스에 스트리밍할 수 있다. 몇몇 이러한 실시예들에서, 타겟 디바이스는, 전송 완료 제스처가 검출되었음을 확인해주는, 페어런트 디바이스로의 메시지에 하나 또는 그 초과의 능력들을 포함시킬 수 있다. 몇몇 실시예들에서, 능력들은 페어런트 디바이스에 의해 사전에 알려져 있다. 페어런트 디바이스는 콘텐트를 다운샘플링, 다운믹싱, 및/또는 트랜스코딩(예컨대, 콘텐트를 디코딩/압축해제하고, 그리고 타겟 디바이스의 하나 또는 그 초과의 능력들에 기초한 포맷 또는 해상도로 데이터를 리인코딩/재압축)할 수 있다. 예컨대, 페어런트 디바이스는, 비디오로부터 오디오 데이터 스트림을 디멀티플렉싱하고, 오디오 데이터를 압축해제하고, 다섯 개의 (서라운드 사운드) 채널들로부터 두 개의 (스테레오) 채널들로 오디오를 다운믹싱하고, 다운믹싱된 오디오 데이터를 재압축하고, 그리고 재압축된, 다운믹싱된 오디오 데이터를 스테레오 스피커에 스트리밍할 수 있다. 따라서, 몇몇 실시예들에서, 사용자(또는 복수의 사용자들)는 공유 또는 송신될 콘텐트를 표시할 수 있고 ―예컨대, 페어런트 디바이스에 대하여 전송 개시 제스처를 수행하고, 타겟 디바이스에 대하여 전송 완료 제스처를 수행함으로써―, 그리고 그 이후, 사용자로부터의 부가 상호작용 또는 명령 없이, 콘텐츠가 적절하게 공유될 수 있다. 그러므로, 링크 또는 스트리밍 콘텐트가 공유되는지의 여부 및/또는 어느 데이터 스트림을 전송할지에 대한 결정은 예컨대 타겟 디바이스의 하나 또는 그 초과의 능력들, 네트워크 혼잡, 사용자의 데이터 계획 등등에 기초하여 자동화될 수 있다. 몇몇 실시예들에서, 사용자는 어느 데이터 스트림들을 공유할지를 선택할 수 있거나, 또는 정보를 공유하기 위해 하나 또는 그 초과의 구성 파라미터들을 선택할 수 있다. 예컨대, 사용자는 페어런트 디바이스의 터치스크린 상에서 하나 또는 그 초과의 공유 옵션들을 선택할 수 있거나, 또는 사용자는 하나 또는 그 초과의 제스처들을 사용하여 특정 콘텐트를 어떻게 공유할지를 표시할 수 있다. 일 실시예에서, 한 손으로 수행된 전송 개시 제스처는 다수의 데이터 스트림들을 공유할 것임을 표시하고, 두 손들로 수행된 전송 개시 제스처는 상이한 개수의 데이터 스트림들(예컨대, 비디오 및 오디오가 아니라, 단지 비디오만 또는 단지 오디오만)을 공유할 것임을 표시한다.
[0073] 도 2a-도 2d를 참조하면, 도면들은 본 개시물의 실시예에 따른 제스처 인식의 구현을 예시한다.
[0074] 도 2a에서, 사용자(206)는 자신의 사용자 디바이스("디바이스 1"로도 또한 지칭되는 페어런트 디바이스(202)) 상에 원하는 콘텐트를 가질 수 있다. 사용자(206)는 제스처, 예컨대, 그랩 제스처를 개시하기 위한 손 펴기 모션에 의해 예시된 바와 같이, 그랩 제스처를 개시할 수 있다.
[0075] 도 2b에서, 사용자(206)는, 예컨대, 손 접기에 의해 예시된 바와 같이, 그랩 제스처를 완료한다. 제스처의 완료는, 원하는 콘텐트를 이동시키거나 또는 복사하기 위한 이동 시퀀스의 개시일 수 있다. 이동 시퀀스의 개시는, (제스처를 개시하기 위한) 도 2a에 예시된 제스처가 특정 시간 "t"(예컨대, 약 2-3초) 동안 유지될 때 시작될 수 있다. 제스처의 완료는, 그랩 제스처의 사용자의 엔딩을 위한 것일 수 있다.
[0076] 디바이스 1은 이동이 개시되었다는 피드백을 사용자에게 제공할 수 있거나 또는 제공하지 않을 수 있다. 피드백이 제공된다면, 피드백은 임의의 형태, 예컨대 사운드, 스크린의 플래시, 디스플레이된 콘텐트의 시각적 축소와 같은 애니메이션, 진동, 텍스트 노트, 또는 임의의 다른 적절한 형태로 있을 수 있다.
[0077] 디바이스 1은 페어링을 위해 이용 가능한 모든 디바이스들에, 예컨대 그들이 자신들의 제스처 인식을 턴 온하고 "드롭" 제스처를 찾도록 명령하는 요청을 송신할 수 있다.
[0078] 이때, 콘텐트는, 모든 페어링 가능한 디바이스들 상에서의 프리캐싱을 위해, 디바이스 1로부터의 송신을 시작할 수 있거나 또는 시작하지 않을 수 있다.
[0079] 콘텐트가 스트리밍 콘텐트 또는 타임-라인 기반(예컨대, 비디오, 음악 등등)이라면, 콘텐트는 디바이스 1 상에서 일시정지될 수 있고, 일시정지의 타임스탬프가 전환 데이터에 포함될 수 있다.
[0080] 도 2c에서, 페어런트 디바이스(202)는 모든 이용 가능한 디바이스들, 예컨대 이차 디바이스들(204a-204d)에게, 그들의 제스처 인식을 턴 온하고 그리고/또는 캐치 또는 "드롭" 제스처를 지켜보도록 경보할 수 있다. 페어런트 디바이스(202) 및 이차 디바이스들(204a-204d)은 각각 랩톱, 모바일 디바이스, 태블릿, 텔레비전, 스피커 등등일 수 있다.
[0081] 도 2d에서, 사용자(206)는 원하는 타겟 디바이스를 향해, 예컨대 이차 디바이스(204d)(TV)를 향해 캐치 또는 "드롭" 제스처(208)(예컨대, 자신의 손을 폄)를 수행할 수 있다. 타겟 디바이스는 제스처(예컨대, 손 펴기)를 인식하고, 자신이 이제 타겟 디바이스임을 페어런트 디바이스(202)에 송신한다.
[0082] 대안적으로, 디바이스들은, 사용자가 해당 디바이스를 타겟으로 하고 있음을 확인해주기 위해 제스처 검출과 함께 시선 추정(예컨대, 얼굴 방향 및/또는 사용자의 눈들이 보고 있는 방향)을 또한 사용할 수 있다. 이는, 아주 근접한 디바이스들에 대한 오류들을 감소시킬 수 있다. 이 예에서, 사용자(206)는 디바이스(204d)가 타겟이 되고 있음을 표시하기 위해 자신의 얼굴 및/또는 시선을 디바이스(204d) 쪽으로 향할 수 있다.
[0083] 타겟 디바이스는, 드롭이 수신되었다는 피드백을 사용자에 제공할 수 있거나 또는 제공하지 않을 수 있다. 피드백이 제공된다면, 피드백은 임의의 형태, 예컨대 사운드, 스크린의 플래시, 디스플레이될 콘텐트의 시각적 성장과 같은 애니메이션, 진동, 텍스트 노트, 또는 임의의 다른 적절한 형태로 있을 수 있다.
[0084] 디바이스들의 나머지(예컨대, 이차 디바이스들(204a-204c))는, 페어런트 디바이스 또는 타겟 디바이스에 의해, 제스처 인식 모드를 중지하도록, 또는 그들이 전송 콘텐트의 수신자가 되지 않을 것임을 통보받을 수 있다. 대안적으로, 디바이스들의 나머지(예컨대, 이차 디바이스들(204a-204c))는, 예컨대 시간 "t" 동안 또는 타임아웃 전까지, 제스처들을 계속 찾을 수 있다. 또는, 다른 실시예에서, 디바이스들의 나머지(예컨대, 이차 디바이스들(204a-204c))는 제스처 인식 모드를 비활성화하기 위한 취소 제스처를 검출할 수 있다.
[0085] 이 실시예에서, 캐치 또는 "드롭" 제스처(208)는 손 펴기의 형태로 있을 수 있고; 그러나, 캐치 제스처들은 임의의 적절한 형태로 있을 수 있다. 제스처들은 애플리케이션, 위치, 타겟이 된 사용자 또는 디바이스, 콘텐트 등등마다 변할 수 있다. 부가하여, 제스처들은 다양한 제스처들의 페어들일 수 있다. "시크릿 핸드쉐이크"가 가시선 또는 지식-기반 인간 암호화를 허용할 수 있다. 실시예에서, 디바이스는, 특정 사용자가 얼굴 또는 음성 인식에 의해 결정될 수 있는 경우, 특정 사용자에 속하는 제스처 또는 "시크릿 핸드쉐이크"를 캡쳐할 수 있다.
[0086] 마지막으로, 콘텐트는 타겟 디바이스(예컨대, 이차 디바이스(204d)(TV)) 상에서 제시될 수 있다. 콘텐트가 타임-라인 기반인 실시예들에서, 콘텐트가 페어런트 디바이스 상에서 일시정지되었던 곳의 타임스탬프에서 콘텐트가 재생되기를 시작할 수 있다. 대안적으로, 콘텐트는 일시정지 이전 시간 "t"에서 시작될 수 있는데, "t"는 짧은 지속기간, 예컨대 약 2초 내지 5초일 수 있거나, 또는 "t"는 콘텐트에 있는 내츄럴 브레이크(natural break)(예컨대, 장면, 문장, 스탠자(stanza) 등등의 시작)를 표현한다. 기술분야의 당업자들은, 본원에서 특정 시간 또는 시간 기간을 표기하기 위해 "t"가 사용됨과 본원에서 "t"에 대한 모든 참조들이 반드시 동일한 시간 또는 시간 기간을 지칭하는 것이 아님을 인식할 것이다. 따라서, 본원에 설명된 "t"의 값은 변할 수 있다.
[0087] 본 개시물의 실시예들이 활용될 수 있는 많은 상황들이 존재한다. 예컨대, 연결된 홈 환경에서는, 사용자 디바이스(예컨대, 스마트폰, 태블릿, 랩톱 등등)가 사용자 디바이스 상에서 디스플레이된 조리법과 같은 콘텐트를 오븐과 같은 타겟 디바이스에 전송하기 위한 사용자로부터의 제스처를 검출할 수 있고, 그 다음, 오븐은 정확한 온도까지 자동으로 예열될 수 있다. 다른 예에서, 헬스케어 셋팅에서는, 사용자 디바이스가 의사와 같은 사용자로부터의 제스처를 검출하여, 의사의 사용자 디바이스로부터의 명령들을 이후 적절한 양의 약물을 관리할 수 있는 IV와 같은 타겟 디바이스에 또는 사용자 디바이스들 사이에서 X-선들과 같은 파일들 또는 정보를 공유 또는 디스플레이하기 위해 다른 사용자 디바이스, 예컨대, 환자의 사용자 디바이스 또는 더 큰 스크린에 전송할 수 있다.
[0088] 이제 도 3을 참조하면, 본 개시물의 실시예에 따라, 디바이스를 구현하기 위한 시스템의 블록도가 예시된다. 시스템(1500)은, 모바일 디바이스, 스마트폰, PDA(Personal Digital Assistant), 태블릿, 랩톱, 퍼스널 컴퓨터, TV 등등과 같은 유선 또는 무선 디바이스들을 포함하는 임의의 타입의 디바이스를 구현하는데 사용될 수 있다.
[0089] 도 3에 예시된 시스템(1500)은, 페어런트 디바이스들(102, 202, 111 및 121) 및 하나 또는 그 초과의 수신 또는 이차 디바이스들(104a-104c, 112, 122, 204a-204c)을 포함하는 본 개시물의 실시예들을 구현하기에 적절할 수 있다. 시스템(1500), 예컨대 디바이스, 예컨대 스마트폰, 태블릿, 퍼스널 컴퓨터 및/또는 네트워크 서버의 일부는, 정보를 통신하기 위한 버스(1502) 또는 다른 통신 메커니즘을 포함하고, 버스(1502) 또는 다른 통신 메커니즘은, 프로세싱 컴포넌트(1504)(예컨대, 프로세서, 마이크로제어기, DSP(digital signal processor) 등등), 시스템 메모리 컴포넌트(1506)(예컨대, RAM), 정적 스토리지 컴포넌트(1508)(예컨대, ROM), 네트워크 인터페이스 컴포넌트(1512), 디스플레이 컴포넌트(1514)(또는 대안적으로, 외부 디스플레이에 대한 인터페이스), 입력 컴포넌트(1516)(예컨대, 키패드 또는 키보드), 및 커서 제어 컴포넌트(1518)(예컨대, 마우스 패드) 중 하나 또는 그 초과를 포함하는 서브시스템들 및 컴포넌트들을 상호연결한다. 다양한 실시예들에서, 입력 컴포넌트(1516)는, 카메라, IR, 또는 초음파 입력부와 같은, 기술들을 포함할 수 있는 제스처 인식 컴포넌트 또는 모듈을 포함할 수 있다.
[0090] 본 개시물의 실시예들에 따라, 시스템(1500)은, 시스템 메모리 컴포넌트(1506)에 포함된 하나 또는 그 초과의 명령들의 하나 또는 그 초과의 시퀀스들을 실행하는 프로세싱 컴포넌트(1504)에 의해 특정 동작들을 수행한다. 이러한 명령들은 다른 컴퓨터 판독가능 매체, 예컨대 정적 스토리지 컴포넌트(1508)로부터 시스템 메모리 컴포넌트(1506)로 판독될 수 있다. 이들은, 제스처 인식 기술들 등등에 기초하여 메시지들을 송신하거나 또는 메시지들을 수신하기 위한 명령들을 포함할 수 있다. 다른 실시예들에서, 본 개시물의 하나 또는 그 초과의 실시예들의 구현을 위해 소프트웨어 명령들 대신에 또는 소프트웨어 명령들과 결합하여 하드-와이어드 회로가 사용될 수 있다.
[0091] 다양한 실시예들에서, 프로세싱 컴포넌트(1504)는 하나 또는 그 초과의 명령들의 하나 또는 그 초과의 시퀀스들을 실행할 수 있고, 명령들은 제스처들, 예컨대 콘텐트를 전송하는 것과 같은 다양한 동작들과 연관된 제스처들(예컨대, 콘텐트 전송을 개시 또는 완료하는 것에 대응하는 제스처들)을 검출하도록 구성된 애플리케이션에 포함될 수 있다. 실시예에서, 명령들은, 프로세싱 컴포넌트(1504)로 하여금, 예컨대 디스플레이 버퍼에서 전송될 콘텐트, 스크린 샷, 또는 애플리케이션으로부터의 데이터를 캡쳐하도록 구성될 수 있다. 명령들은, 애플리케이션 또는 서비스 또는 백그라운드 프로세스에 의해 개시 또는 실행될 수 있다. 몇몇 실시예들에서, 전송 개시는 HLOS(high-level operating system)에서 구현되는 백그라운드 서비스 또는 작업에 의해 시작될 수 있고, HLOS는 임의의 애플리케이션, 사용자 인터페이스, 또는 가시적 윈도우들과 독립적으로 실행될 수 있다. 이러한 실시예들에서, 어느 애플리케이션이 포어그라운드에서 실행되고 있는지와 관계없이 본원에 설명된 실시예들을 활용하는 것이 가능할 수 있다. 따라서, 제스처를 인식하는 애플리케이션에 종속적이고 잠재적으로 공유할 데이터의 타입들 및 양들에서 제한되는 것이 아니라, 몇몇 실시예들에서, 서비스 및/또는 HLOS에서의 구현은 사용자가 예컨대 이미지 또는 비디오 버퍼를 송신함으로써 임의의 디스플레이된 콘텐트를 공유하도록 허용할 수 있다. 몇몇 실시예들에서, 미디어, 이미지들 등등 이외의 정보가 디바이스들 사이에서 송신된다. 예컨대, 본원에 설명된 실시예들에 따라 파일들 또는 애플리케이션들 또는 다른 정보가 공유될 수 있다.
[0092] 로직이 컴퓨터 판독가능 매체에서 인코딩될 수 있고, 컴퓨터 판독가능 매체는, 실행을 위해 명령들을 프로세싱 컴포넌트(1504)에 제공하는 것에 참여하는 임의의 매체를 지칭할 수 있다. 이러한 매체는, 이에 제한되지는 않지만 비-휘발성 미디어, 휘발성 미디어, 및 송신 미디어를 포함하는 많은 형태들을 취할 수 있다. 다양한 구현들에서, 휘발성 미디어는 동적 메모리, 예컨대 시스템 메모리 컴포넌트(1506)를 포함하고, 송신 미디어는, 버스(1502)를 포함하는 와이어들을 비롯하여, 동축 케이블들, 구리 와이어, 및 광섬유들을 포함한다. 제스처 인식을 위한 상이한 옵션들의 표현들을 저장하는데 메모리가 사용될 수 있다. 예에서, 특정 손 포즈들(또는 다른 적절한 포즈들)이, 콘텐트를 이동시키기 위한 "그랩" 제스처를 표현할 수 있는 손 펴기 포즈와 같은 특정 동작들과 관련하여 저장될 수 있다. 실시예에서, 송신 미디어는 음향 또는 광 파들, 예컨대 라디오 파 및 적외선 데이터 통신들 동안에 생성되는 것들의 형태를 취할 수 있다. 컴퓨터 판독가능 미디어의 몇몇 공통 형태들은, 예컨대, RAM, PROM, EPROM, FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트리지, 반송파, 또는 임의의 다른 매체 ―이 임의의 다른 매체로부터, 컴퓨터가 판독하도록 적응됨― 를 포함한다. 컴퓨터 판독가능 매체는 비-일시적일 수 있다.
[0093] 본 개시물의 다양한 실시예들에서, 본 개시물을 구현하기 위한 명령 시퀀스들의 실행은 시스템(1500)에 의해 수행될 수 있다. 다양한 다른 실시예들에서, 통신 링크(1520)(예컨대, WiFi, 또는 다양한 다른 유선 또는 무선 네트워크들)에 의해 결합된 복수의 시스템들(1500)이 서로 조정되어 본 개시물을 구현하기 위해 명령 시퀀스들을 수행할 수 있다. 시스템(1500)은, 통신 링크(1520) 및 네트워크 인터페이스 컴포넌트(1512)를 통해, 하나 또는 그 초과의 프로그램들(즉, 애플리케이션 코드)을 포함하는 메시지들, 데이터, 정보 및 명령들을 송수신할 수 있다. 실행을 위해 디스크 드라이브 컴포넌트(1510) 또는 어떤 다른 비-휘발성 스토리지 컴포넌트에 수신 및/또는 저장되는 수신된 프로그램 코드가 프로세싱 컴포넌트(1504)에 의해 실행될 수 있다.
[0094] 도 4는 본 개시물의 실시예에 따른 메시지 흐름도를 예시한다. 위에서 설명된 바와 같이, 메시지들은 하나의 디바이스로부터 다른 디바이스로, 예컨대 페어런트 디바이스(402)로부터 하나 또는 그 초과의 이차 디바이스들(404)로 그리고 그 반대로, 또는 이차 디바이스들(404) 사이에서 전달(flow)할 수 있다. 이러한 메시지들은, 특정 시간들에 또는 특정 이벤트들 또는 트리거들 시(예컨대, 콘텐트 전송 제스처가 검출된 이후), 생성 또는 송신될 수 있다. 그 점과 관련하여, 디바이스는, 동작이 구현될 것이라는 메시지, 예컨대 콘텐트 전송이 발생할 수 있다는 메시지를 얻는 것에 대한 응답으로, 제스처 인식 능력들, 예컨대, 디바이스의 이미지 또는 비디오 캡쳐링 능력들(예컨대, 카메라)을 개시할 수 있다. 위에서 설명된 바와 같이, 디바이스들 사이의 연결들은 WiFi 다이렉트, AllJoyn, WiFi 디스플레이 또는 임의의 다른 공유 또는 페어링 연결로 이루어질 수 있다. 몇몇 실시예들에서 페어런트 디바이스(402) 및/또는 이차 디바이스들(404) 중 임의의 디바이스는 시스템(1500)에 의해 구현될 수 있고, 그리고/또는 시스템(1500)의 엘리먼트들은 예컨대 페어런트 디바이스(402) 및/또는 이차 디바이스들(404) 중 임의의 디바이스에 통합될 수 있다.
[0095] 도 4의 실시예에서 예시된 메시지 흐름을 참조하면, 첫째, 페어런트 디바이스(402) 위에서의 제스처의 완료 시, 이용 가능한 페어링 이차 디바이스들(404)에, 그들이 제스처 인식 모드를 턴 온하거나 또는 예컨대 제스처 인식 모드를 변경하고 그리고 "드롭" 제스처를 찾게 명령하는 요청 또는 경보가 (예컨대, 네트워크 인터페이스 컴포넌트(1512) 및/또는 통신 링크(1520)를 사용하여) 송신될 수 있다. 이때, 동작, 예컨대, 콘텐트 이동은, 모든 페어링 가능한 이차 디바이스들(404) 상에서의 프리캐싱을 위해, 페어런트 디바이스(402)로부터 송신을 시작할 수 있거나 또는 시작하지 않을 수 있다.
[0096] 예컨대, 페어런트 디바이스(402)로부터 요청 또는 경보를 브로드캐스팅함으로써, 임의의 또는 모든 이용 가능한 이차 디바이스들(404)로의 송신이 이루어질 수 있다. 다양한 실시예들에서, 송신 또는 브로드캐스팅은, 모든 이용 가능한 디바이스들 또는 그 서브세트에 대해 이루어질 수 있다. 예컨대, 경보는 특정 그룹에 있는 디바이스들(예컨대, 소셜 네트워크, 디바이스의 사용자(예컨대, 바비의 디바이스들, 또는 엄마의 디바이스들) 등등에 따른 친구들)에만 송신될 수 있다. 또한, 경보 또는 요청이 송신되는 이차 디바이스들(404)은, 전송 개시 제스처에 기초하여 결정 또는 선택될 수 있다. 예컨대, 상이한 디바이스들은 상이한 개시 제스처들을 경보받을 수 있다. 몇몇 실시예들에서, 플릭 제스처는 하나의 세트의 디바이스들을 타겟으로 한 것일 수 있는 반면에 "그랩"은 또 다른 세트의 디바이스들을 타겟으로 한 것일 수 있는 식이다.
[0097] 그 점과 관련하여, 이용 가능한 디바이스들은 다양한 방식들로 선택될 수 있다. 예컨대, 하나 또는 그 초과의 타겟 디바이스들(404a)이 하기에 기초하여 선택될 수 있다: a) 예컨대 신호(예컨대, 광학 신호)를 검출함으로써 결정될 수 있는 가시선(line-of-sight) 내의 디바이스들; b) 예컨대, 디바이스-대-디바이스 거리를 측정함으로써 결정될 수 있거나 또는 깊이 또는 신호 강도(예컨대, 광학, 라디오, 또는 음향 신호)에 의해 추정될 수 있는 상대 거리 또는 상대 포지션 내의 디바이스들; c) 예컨대, 방, 랜드마크, 또는 고정된 노드에 대한 디바이스들의 포지션을 결정하기 위해 실내 포지셔닝 시스템(IPS)을 사용하는, 동일한 위치(예컨대, 방) 내의 또는 거리 내의 디바이스들. 또한, 포지션들은, 상대 거리 또는 상대 포지션을 결정하기 위해 비교될 수 있거나, 또는 포지션들은, 각각의 디바이스가 있는 방을 결정하기 위해 레퍼런스(지도)와 비교될 수 있고; 그리고/또는 하나 또는 그 초과의 타겟 디바이스들(404a)이 d) 동일한 통신 허브, 리피터, 라우터 등등을 통해 연결된 디바이스들에 기초하여 선택될 수 있다. 이러한 동작들, 결정들, 및/또는 선택들은 예컨대, 적어도 프로세싱 컴포넌트(1504)에 의해 수행될 수 있다.
[0098] 페어런트 디바이스(402)의 사용자가 예컨대 페어런트 디바이스(402)로부터 하나 또는 그 초과의 이차 디바이스들(404)로 원하는 콘텐트를 이동시키기 위한 동작을 개시하기를 원할 때, 사용자는 예컨대 손 펴기 포즈를 이용하여 "그랩" 제스처와 같은 제스처를 개시할 수 있고, 손 접기 포즈를 이용하여 제스처(예컨대, "그랩" 제스처)를 완료할 수 있다. 제스처의 완료는 동작(예컨대, 시퀀스 이동)을 개시할 수 있다. "그랩" 제스처, 예컨대 손 펴기 포즈가 특정된 시간 기간 "t", 예컨대 약 1-3초 동안 유지될 때, 동작, 예컨대 시퀀스 이동의 개시가 시작될 수 있다. 제스처는 예컨대 입력 컴포넌트(1516)에 의해 검출 또는 수신될 수 있다. 페어런트 디바이스(402)는, 예컨대 디스플레이 컴포넌트(1514) 및/또는 다른 컴포넌트를 이용하여 동작이 개시되었다는 피드백을 사용자에 제공할 수 있거나 또는 제공하지 않을 수 있다.
[0099] 동작이 타임-라인 기반 또는 스트리밍 콘텐트(예컨대, 비디오, 음악 등등)인 콘텐트의 이동을 포함하는 실시예들에서, 콘텐트는 페어런트 디바이스(402) 상에서 일시정지될 수 있고, 일시정지의 타임 스탬프가 송신 데이터에 포함될 수 있다.
[0100] 이차 디바이스들(404)은, 페어런트 디바이스(402)로부터 경보를 수신할 때, 제스처 인식을 턴 온하고 그리고/또는 드롭 제스처를 찾을 수 있다. 다양한 실시예들에서, (예컨대, 카메라를 통한) 제스처 인식은 이미 온(on)일 수 있거나 또는 항상 온이다. 따라서, (몇몇 실시예들에서, 제스처 인식이 턴 온 또는 시작될 수 있지만) 이차 디바이스(404)로의 메시지가 반드시 제스처 인식이 시작되게 하거나 또는 개시되게 하는 것이 아닐 수 있다. 예컨대, 이차 디바이스(404)로의 메시지는 단순히, 이차 디바이스(404)에게 개시 제스처가 무엇이었는지 또는 어떤 대응하는 완료 제스처가 원해지는지를 경보할 수 있다. 실시예에서, 메시지는, (예컨대, 제스처를 더 높은 프레임 레이트에서 검출하려고 시도하기 위해) 제스처 인식의 듀티 사이클을 변경할 수 있거나, 또는 (예컨대, 제스처 인식 알고리즘에서 임계치 레벨들을 조정함으로써, 또는 특정 포즈, 오브젝트, 또는 이동을 발견하기 위해 사용할 모델을 인식 모듈이 결정하도록 허용함으로써) 제스처 인식의 수행을 변경할 수 있다.
[0101] 디바이스의 제스처 인식 시스템(몇몇 실시예들에서, 도 3의 실시예에 예시된 입력 컴포넌트(1516)의 일부일 수 있음)은, 몇몇 실시예들에서 자신이 인식할 수 있는 제스처들의 세트를 가질 수 있고, 이 제스처들의 세트는 "제스처 알파벳"으로 지칭될 수 있다. 제스처 인식 시스템을 턴 온 또는 턴 오프하는 것 대신에, 그 제스처 인식 시스템이 이미 온이라면, 제스처가 제스처 알파벳에 부가될 수 있거나 또는 제스처 알파벳으로부터 제거될 수 있다. 예컨대, 카메라는 "사진 찍기" 제스처를 검출하기 위해 항상 온 제스처 인식 시스템을 가질 수 있고, "그랩" 또는 "드롭" 제스처가 제스처 알파벳에 부가될 수 있다.
[0102] 도 4를 다시 참조하면, 원하는 이차 디바이스("타겟 디바이스")(404a)를 향해 드롭 제스처의 수행 시, 타겟 디바이스(404a)는 (예컨대, 입력 컴포넌트(1516)를 사용하여) 드롭 제스처를 인식하고, (예컨대, 네트워크 인터페이스 컴포넌트(1512) 및/또는 통신 링크(1520)를 사용하여) 자신이 이제 타겟 디바이스임을 페어런트 디바이스(402)에 송신한다.
[0103] 이 점과 관련하여, 사용자가 원하는 타겟 디바이스(404a)를 향해 (예컨대, 손 펴기 포즈를 이용하여) 드롭 제스처를 수행할 수 있다. 몇몇 실시예들에서, 사용자가 그 디바이스를 타겟으로 하고 있음을 확인해주기 위해 제스처 검출과 함께 시선 추정(예컨대, 얼굴 방향 및/또는 사용자의 눈들이 보고 있는 방향)이 사용될 수 있다. 이는, 아주 근접한 디바이스들에서의 오류들을 감소시킬 수 있다. 예컨대, 몇몇 실시예들에서, 타겟 디바이스(404a)는, 자신이 송신 완료 제스처를 검출하고 사용자가 자신을 쳐다보고 있음을 식별할 때에만 자신이 타겟 디바이스임을 검출할 수 있다.
[0104] 페어런트 디바이스(402)가 동시 멀티 디바이스 공유를 위한 제스처 키 코드(예컨대, 시크릿 핸드쉐이크, 시크릿 손 포즈, 특정 이차 디바이스에 대한 특정 손 포즈(예컨대, 하나의 이차 디바이스에 대한 2개의 손가락들의 플리킹, 다른 이차 디바이스에 대한 3개의 손가락들의 플리킹 등등))를 사용하는 실시예들에서, 예컨대, 타겟 디바이스(404a)가 특정 손 포즈를 인식할 때 또는 타겟 디바이스에만 알려져 있는 시크릿 제스처 키 코드에 대한 파트너를 사용할 때, 타겟 디바이스(404a)는 자신이 이제 타겟 디바이스임을 페어런트 디바이스(402)에 송신할 수 있다.
[0105] 타겟 디바이스는, 예컨대 디스플레이 컴포넌트(1514) 또는 다른 컴포넌트, 예컨대 오디오를 생성하는 컴포넌트를 이용하여 드롭이 수신되었다는 피드백을 사용자에 제공할 수 있거나 또는 제공하지 않을 수 있다.
[0106] 몇몇 실시예들에서, 타겟 디바이스의 인식 시, 모든 다른 이차 디바이스들은, 페어런트 디바이스 또는 타겟 디바이스에 의해, 제스처 인식 모드를 중지하도록 통보받을 수 있다. 대안적으로, 사용자가 타겟 디바이스(404a)를 향해 "드롭" 제스처를 수행할 때, 이차 디바이스들의 나머지는 제스처들을 계속 찾을 수 있다. 실시예에서, 이차 디바이스들의 나머지는 시간 "t" 동안 또는 타임아웃 전까지 제스처들을 계속 찾을 수 있다. 또는, 다른 실시예에서, 이차 디바이스들의 나머지는 제스처 인식 모드를 비활성화하기 위한 취소 제스처를 검출할 수 있다. 몇몇 실시예들에서, 페어런트 디바이스는, 취소 제스처를 검출하고, 제스처들에 대한 모니터링을 멈추도록 이차 디바이스들에 통지하도록 구성된다. 다른 실시예들에서, 페어런트 디바이스는, 어떠한 이차 디바이스도 제스처를 검출하지 않은 타임아웃 전까지 또는 어떤 시간 "t" 이후, 모든 이차 디바이스들에게 제스처들을 찾는 것을 멈추도록 통지할 수 있다. 제스처들은 애플리케이션, 위치, 타겟이 된 사용자 등등마다 변할 수 있고, 그리고 변하는 제스처들의 페어들일 수 있다. 시크릿 핸드쉐이크들과 같은 시크릿 손 포즈들이 사용될 수 있고, 그리고 가시선 또는 지식-기반 인간 암호화를 허용할 수 있다.
[0107] 그 이후, (예컨대, 초기에 캐싱을 위해 콘텐트가 전송되지 않았을 경우) 콘텐트가 타겟 디바이스(404a)에 송신될 수 있다. 콘텐트는, 수신 이후 타겟 디바이스(404a)에 의해 프로세싱될 수 있다.
[0108] 콘텐트는 타겟 디바이스 상에 제시될 수 있거나, 또는 콘텐트에 대하여 어떤 다른 형태의 프로세싱이 수행될 수 있다. 콘텐트가 프리캐싱된 실시예에서, 일단 타겟 디바이스(404a)가 전송 완료 제스처를 검출하고, 검출에 관해 페어런트 디바이스(402)에 경보하고, 그리고/또는 페어런트 디바이스(402)로부터의 확인을 수신하면, 프리캐싱된 콘텐트가 타겟 디바이스(404a) 상에서 디스플레이될 수 있다.
[0109] 콘텐트가 타임-라인 기반인 실시예들에서, 콘텐트는, 페어런트 디바이스 상에서 콘텐트가 일시정지되었던 타임스탬프에서 재생되기를 시작할 수 있다. 대안적으로, 콘텐트는 일시정지 이전 시간 "t"에서 재생되기를 시작될 수 있는데, "t"는 짧은 지속기간(예컨대, 약 2초 내지 5초)일 수 있거나, 또는 "t"는 장면, 문장, 스탠자 등등의 시작과 같이 콘텐트에 있는 내츄럴 브레이크를 표현할 수 있다.
[0110] 도 4에 대하여 위에서 설명된 실시예에서, 동작들의 다양한 시퀀스들이 설명된다. 예컨대, 몇몇 실시예들에서, 페어런트 디바이스(402)로부터의 경보가 수신되고 그 이후 전송 완료 제스처가 검출될 때에만, 타겟 디바이스(404a)는 수신된 콘텐트를 프로세싱하거나 또는 콘텐트 전송을 개시할 수 있다. 그러나, 동작들의 이러한 시퀀스가 모든 실시예들에서 요구되는 것은 아니다.
[0111] 예컨대, 몇몇 실시예들에서, 두 개(또는 그 초과)의 디바이스들이 거의 동일한 시간에(또는 임계치 시간량 내에) 동일한(또는 대응하는) 제스처를 검출한다면, 콘텐트 전송 또는 송신이 발생할 수 있다. 대응하는 제스처가 거의 동시에 검출되었는지의 여부의 결정은, 예컨대, 위에서 설명된 페어런트 디바이스(402), 위에서 설명된 타겟 디바이스(404a), 및/또는 디바이스들 둘 다(또는 더 많은 디바이스들)와 통신하는 서버 또는 AP에서 수행될 수 있다. 예컨대, 제1 디바이스가 공유 제스처를 검출할 때, 제1 디바이스는 메시지를 브로드캐스팅할 수 있다. 제2 디바이스가 수신 제스처를 검출할 때, 제2 디바이스는, 다른 디바이스가 대응하는 공유 제스처를 검출했음을 표시하는 메시지를 청취할 수 있고, 그리고/또는 수신 제스처가 검출되었음을 표시하는 자신만의 메시지를 송신할 수 있다. 메시지들은, 예컨대, 제스처가 검출된 시간을 포함할 수 있거나 또는 제스처가 검출된 시간으로 타임스탬핑될 수 있다. 공유 제스처가 (예컨대, 제1 디바이스, 제2 디바이스, 및/또는 서버에 의해, 제1 디바이스 및/또는 제2 디바이스로부터의 메시지(들)에 기초하여 결정되는) 수신 제스처와 거의 동시에 검출되었다면, 콘텐트가 전송될 수 있다.
[0112] 도 5는 본 개시물의 실시예에 따른 멀티 디바이스 페어링 및 공유를 위한 방법을 예시하는 흐름도이다. 도 5에 예시된 방법이 하나 또는 그 초과의 실시예들에 따라 도 3에서 예시된 디바이스에 의해 구현될 수 있음이 인식되어야 한다.
[0113] 블록(502)에서, 페어런트 디바이스, 예컨대 도 3의 실시예에서 예시된 시스템(1500)을 구현하는 디바이스가 페어런트 디바이스를 향해 사용자에 의해 수행되는 개시 비-접촉 제스처를 검출할 수 있다. 디바이스는 일반적으로 입력 컴포넌트(1516)를 통해 비-접촉 제스처들을 검출할 수 있다. 개시 비-접촉 제스처는, 예컨대, 사용자에 의한 그랩 제스처 및 그랩 제스처의 완료를 포함할 수 있고, 따라서 그랩 제스처의 완료는 페어런트 디바이스로부터 하나 또는 그 초과의 이차 디바이스들로 콘텐트를 이동시키는 것과 같은 동작을 개시할 수 있다.
[0114] 블록(504)에서, 페어런트 디바이스는, 프로세싱 컴포넌트(1504)를 통해, 하나 또는 그 초과의 실시예들에 따라 위에서 설명된 바와 같이 사용자에 의해 수행된 개시 비-접촉 제스처를 검출하는 것에 기초하여 동작을 개시(예컨대, 콘텐트를 이동시키기를 시작)할 수 있다.
[0115] 블록(506)에서, 페어런트 디바이스는 개시 비-접촉 제스처를 검출하는 것에 기초하여 하나 또는 그 초과의 이차 디바이스들 상에 제스처 인식 모드를 트리거링할 수 있다. 예컨대, 페어런트 디바이스는, 페어링을 위해 이용 가능한 모든 이차 디바이스들에게, 대응하는 제스처를 검출하기 위해, 예컨대 "드롭" 제스처의 검출을 찾기 위해, 제스처 인식을 인에이블링하도록 경보하기 위한 메시지를 적용 가능한 통신 프로토콜을 통해 네트워크 인터페이스 컴포넌트(1512) 및/또는 통신 링크(1520)를 경유해 송신할 수 있다.
[0116] 블록(508)에서, 페어런트 디바이스는, 이차 디바이스들 중 적어도 하나의 이차 디바이스에 의한 포지티브 인식 시, 동작, 예컨대 콘텐트 전송을 완료할 수 있다. 실시예에서, 페어런트 디바이스는, 타겟 디바이스가 식별되었고, 따라서 프로세싱 컴포넌트(1504)가 적용 가능한 통신 프로토콜을 통해 네트워크 인터페이스 컴포넌트(1512) 및/또는 통신 링크(1520)를 경유해 타겟 디바이스로의 콘텐트의 전송을 완료할 수 있다는 메시지를 수신할 수 있다.
[0117] 도 6은 본 개시물의 다른 실시예에 따른 멀티 디바이스 페어링 및 공유를 위한 방법을 예시하는 흐름도이다. 도 6에 예시된 방법이 하나 또는 그 초과의 실시예들에 따라 도 3에서 예시된 디바이스에 의해 구현될 수 있음이 인식되어야 한다.
[0118] 블록(602)에서, 하나 또는 그 초과의 이차 디바이스들, 예컨대 페어링을 위해 이용 가능하고 그리고 도 3에서 예시된 시스템(1500)에 의해 구현될 수 있는 디바이스들은, 예컨대 콘텐트가 페어런트 디바이스로부터 네트워크 인터페이스 컴포넌트(1512) 및/또는 통신 링크(1520)를 경유해 이차 디바이스에 전송될 경우, 동작을 개시하는 것과 관련된 트리거 데이터를 페어런트 디바이스로부터 수신할 수 있다.
[0119] 블록(604)에서, 이차 디바이스(들)는, 페어런트 디바이스로부터 수신된 트리거 데이터에 기초하여 제스처 인식 모드를 턴 온할 수 있다. 즉, 이차 디바이스는, 페어런트 디바이스로부터 수신된 데이터에 의해 동작이 발생할 수 있음을 경보받을 수 있다. 제스처 인식 모드는 입력 컴포넌트(1516)에 의해 구현될 수 있다.
[0120] 블록(606)에서, 이차 디바이스(들)는, 이차 디바이스(들)를 향해 사용자에 의해 수행되는 완료 비-접촉 제스처를 찾을 수 있다. 이 점과 관련하여, 이차 디바이스(들)는 입력 컴포넌트(1516)를 통해 비-접촉 제스처 능력들을 가질 수 있고, 따라서 이차 디바이스(들)는 사용자에 의해 수행되는 "드롭" 제스처와 같은 비-접촉 완료 제스처들을 검출할 수 있다.
[0121] 블록(608)에서, 완료 비-접촉 제스처, 예컨대 "드롭" 제스처를 입력 컴포넌트(1516)를 통해 검출할 때, 이차 디바이스(들)는 동작을 완료하기 위한 타겟 디바이스가 될 수 있다. 그 점과 관련하여, 페어런트 디바이스로부터 콘텐트를 수신하는 것과 같은 동작이 완료될 수 있고, 콘텐트는 네트워크 인터페이스 컴포넌트(1512) 및/또는 통신 링크(1520)를 경유해 수신될 수 있다.
[0122] 도 7은 본 개시물의 실시예에 따라 데이터를 전송하기 위한 방법을 예시하는 흐름도이다. 도 7에 예시된 방법이 하나 또는 그 초과의 실시예들에 따라 도 3에서 예시된 디바이스에 의해 구현될 수 있음이 인식되어야 한다.
[0123] 블록(702)에서, 페어런트 디바이스, 예컨대 도 3의 실시예에서 예시된 시스템(1500)을 구현하는 디바이스가 사용자에 의해 수행된 개시 비-접촉 제스처를 검출할 수 있다. 디바이스는 일반적으로 입력 컴포넌트(1516)를 통해 비-접촉 제스처들을 검출할 수 있다. 개시 비-접촉 제스처는, 예컨대, 사용자에 의한 그랩 제스처 및 그랩 제스처의 완료를 포함할 수 있고, 따라서 그랩 제스처의 완료는 페어런트 디바이스로부터 하나 또는 그 초과의 이차 디바이스들로 콘텐트를 이동시키는 것과 같은 동작을 개시할 수 있다.
[0124] 블록(704)에서, 페어런트 디바이스는 개시 비-접촉 제스처를 검출하는 것에 기초하여 하나 또는 그 초과의 이차 디바이스들 상에 제스처 인식을 트리거링할 수 있다. 예컨대, 페어런트 디바이스는, 페어링을 위해 이용 가능한 모든 이차 디바이스들에게, 대응하는 제스처를 검출하기 위해, 예컨대 "드롭" 제스처의 검출을 찾기 위해, 제스처 인식을 인에이블링하도록 경보하기 위한 메시지를 적용 가능한 통신 프로토콜을 통해 네트워크 인터페이스 컴포넌트(1512) 및/또는 통신 링크(1520)를 경유해 송신할 수 있다.
[0125] 블록(706)에서, 페어런트 디바이스는, 하나 또는 그 초과의 이차 디바이스들 중 적어도 하나의 디바이스의 제스처 인식이 완료 비-접촉 제스처를 검출했다는 표시를 수신할 수 있다. 예컨대, 페어런트 디바이스는 적용 가능한 통신 프로토콜을 통해 네트워크 인터페이스 컴포넌트(1512) 및/또는 통신 링크(1520)를 경유해 메시지를 수신할 수 있다. 완료 비-접촉 제스처는 개시 비-접촉 제스처에 대응할 수 있고; 예컨대, 완료 비-접촉 제스처는 위에서 설명된 바와 같이 "드롭" 제스처를 포함할 수 있다.
[0126] 블록(708)에서, 페어런트 디바이스는 수신된 통지에 대한 응답으로 데이터를 적어도 하나의 디바이스에 전송할 수 있다. 실시예에서, 페어런트 디바이스는 706에서 수신된 표시자에 기초하여 타겟 디바이스가 식별되었음을 결정할 수 있고, 따라서 프로세싱 컴포넌트(1504)는 적용 가능한 통신 프로토콜을 통해 네트워크 인터페이스 컴포넌트(1512) 및/또는 통신 링크(1520)를 경유해 타겟 디바이스로의 데이터의 전송을 완료할 수 있다.
[0127] 도 8은 데이터를 수신하기 위한 방법을 예시하는 흐름도이다. 도 8에 예시된 방법이 하나 또는 그 초과의 실시예들에 따라 도 3에서 예시된 디바이스에 의해 구현될 수 있음이 인식되어야 한다.
[0128] 블록(802)에서, 하나 또는 그 초과의 이차 디바이스들, 예컨대 페어링을 위해 이용 가능하고 그리고 도 3에서 예시된 시스템(1500)에 의해 구현될 수 있는 디바이스들은, 예컨대 콘텐트가 페어런트 디바이스로부터 네트워크 인터페이스 컴포넌트(1512) 및/또는 통신 링크(1520)를 경유해 이차 디바이스에 전송될 경우, 동작을 개시하는 것과 관련된 트리거 데이터를 페어런트 디바이스로부터 수신할 수 있다.
[0129] 블록(804)에서, 이차 디바이스는, 페어런트 디바이스로부터 수신된 트리거 데이터에 기초하여 제스처 인식부를 턴 온할 수 있다. 즉, 이차 디바이스는, 페어런트 디바이스로부터 수신된 데이터에 의해 동작이 발생할 수 있음을 경보받을 수 있다. 제스처 인식부 및/또는 제스처 인식 모듈은 입력 컴포넌트(1516) 및/또는 프로세싱 컴포넌트(1504)에 의해 구현될 수 있다.
[0130] 블록(806)에서, 입력 컴포넌트(1516)를 통해 완료 비-접촉 제스처, 예컨대 "드롭" 제스처를 검출할 때, 이차 디바이스는 전송을 완료하기 위한 타겟 디바이스가 될 수 있다. 그 점과 관련하여, 이차 디바이스는, 예컨대 네트워크 인터페이스 컴포넌트(1512) 및/또는 통신 링크(1520)를 경유해, 페어런트 디바이스로부터 데이터를 수신할 수 있다.
[0131] 유리하게, 본 개시물의 하나 또는 그 초과의 실시예들에 따른 디바이스들은 비-접촉 제스처 인식 기술들을 포함할 수 있다. 비-접촉 제스처 인식 또는 검출은, 예컨대 하기를 포함하여, 많은 시나리오들에서 유익할 수 있다: 비-접촉 제스처 인식 또는 검출은, 비강제적이고, 몇몇 실시예들에서 검출은 조용할 수 있으며, 접촉이 현실적이지 않을 때 유용하고, 몇몇 작업들에 대해 실감나는 사용자 경험들 및 유용성을 증가시키며, 고령 사용자들, 장애들을 갖는 사용자들, 또는 디바이스에 접촉하기를 원하지 않거나 또는 디바이스에 접촉할 수 없는 사용자들에 유용하고, 비-접촉 제스처 인식 또는 검출의 관련 하드웨어가 낮은 비용으로 상업적으로 이용 가능할 수 있으며, 다른 입력 기술들보다 비-접촉 제스처들이 더욱 자연스러울 수 있고, 그리고/또는 상호작용 영역의 크기가 증가될 수 있다. 또한, 특정 실시예들은, 콘텐트 전송, 또는 보통 스크린과 같은 사용자 인터페이스, 예컨대 스피커, 프린터, 오븐, 어떤 의료 장비 등등이 없는 하나 또는 그 초과의 디바이스들과의 정보 공유와 같은 동작들을 구현하는데 사용될 수 있다. 또한, 전송 개시 메시지에 대한 응답으로 사용자 디바이스의 카메라와 같은 제스처 인식 능력들을 턴 온하는 것 또는 듀티 사이클을 증가시키는 것은 전력을 절약할 수 있다. 추가로, 곧 다가올 전송에 관해 디바이스에 경보하는 것은, 더욱 정확한 비-접촉 제스처 검출을 허용할 수 있는데, 그 이유는 타겟 디바이스가 경보받을 때까지 또는 동작을 예상하도록 알 때까지, 예컨대 자신이 전송을 찾아야 함을 알 때까지, 타겟 디바이스가 사용자의 랜덤 움직임들을 해석하려고 시도하지 않을 수 있기 때문이다. 또한, 본 개시물의 실시예들은 많은 다른 상황들에서 유리할 수 있고, 예컨대, 페어런트 디바이스와 이차 디바이스 사이에서 핸드쉐이크가 사용되는 경우, 서로의 시야에 있는 두 사용자들은 서로의 동작들을 볼 수 있고, 그래서 그들은 다음 차례의 또는 대응하는 제스처를 결정할 수 있다.
[0132] 본 기술분야의 당업자들이 지금쯤은 이미, 그리고 가까이 있는 특정 애플리케이션에 따라, 본 개시물의 사상 및 범위로부터 벗어남 없이, 많은 수정들, 치환들 및 변형들이 본 개시물의 재료들, 장치, 구성들, 및 디바이스들의 사용 방법들에서 그리고 이들에 대해 이루어질 수 있음을 인식할 것이다. 이를 고려하여, 본 개시물의 범위는 본원에서 예시 및 설명된 특정 실시예들의 범위로 제한되지 않아야 하는데, 그 이유는 특정 실시예들이 단지 그들의 몇몇의 예들을 통한 것이고, 그보다는 오히려, 특정 실시예들이 이후에 첨부된 청구항들 및 그들의 기능적 대등물들의 범위에 완전히 상응해야 하기 때문이다.

Claims (56)

  1. 데이터를 전송하기 위한 방법으로서,
    페어런트(parent) 디바이스에 의해, 상기 페어런트 디바이스를 향해 사용자에 의해 수행된 개시 비-접촉 제스처를 검출하는 단계;
    상기 페어런트 디바이스에 의해, 상기 검출에 기초하여, 하나 또는 그 초과의 이차 디바이스들 상에 제스처 인식을 트리거링하는 단계;
    상기 하나 또는 그 초과의 이차 디바이스들 중 적어도 하나의 디바이스의 제스처 인식이 완료 비-접촉 제스처를 검출했다는 표시를 상기 페어런트 디바이스에서 수신하는 단계; 및
    수신된 표시에 대한 응답으로, 상기 페어런트 디바이스로부터 상기 적어도 하나의 디바이스로 데이터를 전송하는 단계
    를 포함하는,
    데이터를 전송하기 위한 방법.
  2. 제 1 항에 있어서,
    상기 개시 비-접촉 제스처는 그랩(grab) 제스처를 포함하는,
    데이터를 전송하기 위한 방법.
  3. 제 1 항에 있어서,
    상기 페어런트 디바이스에 의해, 상기 개시 비-접촉 제스처가 검출되었다는 피드백을 제공하는 단계
    를 더 포함하는,
    데이터를 전송하기 위한 방법.
  4. 제 3 항에 있어서,
    상기 피드백은 사운드, 상기 페어런트 디바이스의 인터페이스 상의 플래시, 애니메이션, 진동 및 텍스트 노트 중 적어도 하나를 더 포함하는,
    데이터를 전송하기 위한 방법.
  5. 제 1 항에 있어서,
    상기 하나 또는 그 초과의 이차 디바이스들 상에 제스처 인식 모드를 트리거링하는 단계는, 상기 제스처 인식을 턴 온(turn on)하도록 상기 하나 또는 그 초과의 이차 디바이스들에 요청을 송신하는 단계를 더 포함하는,
    데이터를 전송하기 위한 방법.
  6. 제 5 항에 있어서,
    상기 송신하는 단계는, 상기 개시 비-접촉 제스처를 표시하는 정보를 송신하는 단계를 포함하는,
    데이터를 전송하기 위한 방법.
  7. 제 1 항에 있어서,
    상기 하나 또는 그 초과의 이차 디바이스들 중 상기 적어도 하나의 디바이스에 의한 상기 완료 비-접촉 제스처의 검출 시, 모든 다른 이차 디바이스들 상에 제스처 인식 모드를 비활성화하기 위한 메시지를 송신하는 단계
    를 더 포함하는,
    데이터를 전송하기 위한 방법.
  8. 제 1 항에 있어서,
    상기 개시 비-접촉 제스처를 검출하는 단계는 키 코드(key code)의 적어도 일부분을 검출하는 단계를 더 포함하는,
    데이터를 전송하기 위한 방법.
  9. 제 8 항에 있어서,
    상기 전송에 앞서 상기 완료 비-접촉 제스처가 상기 키 코드의 적어도 일부분을 포함하는지를 검증하는 단계
    를 더 포함하는,
    데이터를 전송하기 위한 방법.
  10. 제 9 항에 있어서,
    상기 개시 비-접촉 제스처 및 상기 완료 비-접촉 제스처는 동적인,
    데이터를 전송하기 위한 방법.
  11. 제 8 항에 있어서,
    상기 키 코드는, 상기 이차 디바이스들 중 하나의 이차 디바이스 각각에 대해 상이한 완료 제스처를 포함하는,
    데이터를 전송하기 위한 방법.
  12. 제 1 항에 있어서,
    상기 개시 비-접촉 제스처를 검출하기 이전에, 상기 페어런트 디바이스의 사용자를 인식하기 위해 얼굴 인식 기술을 사용하는 단계
    를 더 포함하는,
    데이터를 전송하기 위한 방법.
  13. 제 1 항에 있어서,
    상기 전송하는 단계는 타임-라인 기반 콘텐트를 이동시키는 단계를 포함하고, 상기 방법은,
    상기 개시 비-접촉 제스처의 완료를 검출할 때 상기 페어런트 디바이스에서 상기 타임-라인 기반 콘텐트를 일시정지하는 단계; 및
    상기 타임-라인 기반 콘텐트의 진행을 표시하는 표시자 데이터를 송신하는 단계
    를 더 포함하는,
    데이터를 전송하기 위한 방법.
  14. 제 13 항에 있어서,
    상기 표시자 데이터를 송신하는 단계는, 상기 페어런트 디바이스가 상기 타임-라인 기반 콘텐트를 일시정지했던 곳을 표시하는 타임 스탬프를 송신하는 단계를 더 포함하는,
    데이터를 전송하기 위한 방법.
  15. 제 13 항에 있어서,
    상기 콘텐트를 복수의 데이터 스트림들로 디멀티플렉싱하는 단계를 더 포함하고,
    상기 타임-라인 기반 콘텐트는 복수의 데이터 스트림들을 포함하는,
    데이터를 전송하기 위한 방법.
  16. 제 15 항에 있어서,
    적어도 하나의 디바이스의 하나 또는 그 초과의 능력들에 기초하여 전송할 복수의 스트림들의 서브세트를 선택하는 단계
    를 더 포함하는,
    데이터를 전송하기 위한 방법.
  17. 디바이스로서,
    상기 디바이스를 향해 사용자에 의해 수행된 개시 비-접촉 제스처를 검출하도록 구성된 센서; 및
    상기 센서에 의해 검출된 제스처에 기초하여 하나 또는 그 초과의 이차 디바이스들 상에 제스처 인식을 트리거링하고, 상기 하나 또는 그 초과의 이차 디바이스들 중 적어도 하나의 디바이스의 상기 제스처 인식이 완료 비-접촉 제스처를 검출했다는 표시를 수신하고, 그리고 수신된 표시에 대한 응답으로, 상기 적어도 하나의 디바이스에 데이터를 전송하도록 구성된 트랜시버
    를 포함하는,
    디바이스.
  18. 제 17 항에 있어서,
    상기 개시 비-접촉 제스처는 그랩 제스처를 포함하는,
    디바이스.
  19. 제 17 항에 있어서,
    상기 개시 비-접촉 제스처가 검출되었다는 피드백을 제공하도록 구성된 출력 디바이스
    를 더 포함하는,
    디바이스.
  20. 제 19 항에 있어서,
    상기 피드백은 사운드, 페어런트 디바이스의 인터페이스 상의 플래시, 애니메이션, 진동 및 텍스트 노트 중 적어도 하나를 더 포함하는,
    디바이스.
  21. 제 17 항에 있어서,
    상기 트랜시버는, 상기 제스처 인식을 턴 온하도록 상기 하나 또는 그 초과의 이차 디바이스들에 요청을 송신함으로써 상기 하나 또는 그 초과의 이차 디바이스들 상에 제스처 인식 모드를 트리거링하도록 구성된,
    디바이스.
  22. 제 21 항에 있어서,
    상기 송신은, 상기 개시 비-접촉 제스처를 표시하는 정보를 송신하는 것을 포함하는,
    디바이스.
  23. 제 17 항에 있어서,
    상기 이차 디바이스들 중 상기 적어도 하나의 디바이스에 의한 포지티브 제스처 인식 시, 상기 트랜시버는, 모든 다른 이차 디바이스들 상에 제스처 인식 모드를 비활성화하기 위한 메시지를 송신하도록 구성된,
    디바이스.
  24. 제 17 항에 있어서,
    상기 비-접촉 제스처는 키 코드의 적어도 일부분을 포함하는,
    디바이스.
  25. 제 24 항에 있어서,
    상기 트랜시버가 데이터를 전송하기에 앞서 상기 완료 비-접촉 제스처가 상기 키 코드의 적어도 일부분을 포함하는지를 검증하도록 구성된 프로세서
    를 더 포함하는,
    디바이스.
  26. 제 25 항에 있어서,
    상기 개시 비-접촉 제스처 및 상기 완료 비-접촉 제스처는 동적인,
    디바이스.
  27. 제 24 항에 있어서,
    상기 키 코드는, 상기 이차 디바이스들 중 하나의 이차 디바이스 각각에 대해 상이한 완료 제스처를 포함하는,
    디바이스.
  28. 제 17 항에 있어서,
    상기 개시 비-접촉 제스처를 검출하기 이전에, 상기 디바이스의 사용자를 인식하기 위해 얼굴 인식 기술을 사용하도록 구성된 프로세서
    를 더 포함하는,
    디바이스.
  29. 제 17 항에 있어서,
    상기 전송은 타임-라인 기반 콘텐트를 이동시키는 것을 포함하고, 상기 이동시키는 것은,
    상기 개시 비-접촉 제스처의 완료를 검출할 때 상기 디바이스에서 상기 타임-라인 기반 콘텐트를 일시정지하는 것; 및
    상기 타임-라인 기반 콘텐트의 진행을 표시하는 표시자 데이터를 송신하는 것
    을 포함하는,
    디바이스.
  30. 제 29 항에 있어서,
    상기 표시자 데이터를 송신하는 것은, 페어런트 디바이스가 상기 타임-라인 기반 콘텐트를 일시정지했던 곳을 표시하는 타임 스탬프를 송신하는 것을 더 포함하는,
    디바이스.
  31. 제 29 항에 있어서,
    상기 콘텐트를 복수의 데이터 스트림들로 디멀티플렉싱하도록 구성된 디멀티플렉서를 더 포함하고,
    상기 타임-라인 기반 콘텐트는 복수의 데이터 스트림들을 포함하는,
    디바이스.
  32. 제 31 항에 있어서,
    적어도 하나의 디바이스의 하나 또는 그 초과의 능력들에 기초하여 전송할 복수의 스트림들의 서브세트를 선택하도록 구성된 프로세서
    를 더 포함하는,
    디바이스.
  33. 장치로서,
    페어런트 디바이스에 의해, 상기 페어런트 디바이스를 향해 사용자에 의해 수행된 개시 비-접촉 제스처를 검출하기 위한 수단;
    상기 페어런트 디바이스에 의해, 상기 검출에 기초하여, 하나 또는 그 초과의 이차 디바이스들 상에 제스처 인식을 트리거링하기 위한 수단;
    상기 하나 또는 그 초과의 이차 디바이스들 중 적어도 하나의 디바이스의 제스처 인식이 완료 비-접촉 제스처를 검출했다는 표시를 상기 페어런트 디바이스에서 수신하기 위한 수단; 및
    수신된 표시에 대한 응답으로, 상기 페어런트 디바이스로부터 상기 적어도 하나의 디바이스로 데이터를 전송하기 위한 수단
    을 포함하는,
    장치.
  34. 비-일시적 컴퓨터 판독가능 매체로서,
    상기 비-일시적 컴퓨터 판독가능 매체 상에는 컴퓨터 판독가능 명령들이 저장되고, 상기 컴퓨터 판독가능 명령들은, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,
    페어런트 디바이스에 의해, 상기 페어런트 디바이스를 향해 사용자에 의해 수행된 개시 비-접촉 제스처를 검출하게 하고;
    상기 페어런트 디바이스에 의해, 상기 검출에 기초하여, 하나 또는 그 초과의 이차 디바이스들 상에 제스처 인식을 트리거링하게 하고;
    상기 하나 또는 그 초과의 이차 디바이스들 중 적어도 하나의 디바이스의 제스처 인식이 완료 비-접촉 제스처를 검출했다는 표시를 상기 페어런트 디바이스에서 수신하게 하고; 그리고
    수신된 표시에 대한 응답으로, 상기 페어런트 디바이스로부터 상기 적어도 하나의 디바이스로 데이터를 전송하게 하도록
    하는,
    비-일시적 컴퓨터 판독가능 매체.
  35. 데이터를 수신하기 위한 방법으로서,
    이차 디바이스에 의해, 전송을 개시하는 것과 관련된 트리거 데이터를 페어런트 디바이스로부터 수신하는 단계;
    상기 페어런트 디바이스로부터 수신된 트리거 데이터에 기초하여, 상기 이차 디바이스에 의한 제스처 인식을 턴 온하는 단계; 및
    상기 제스처 인식을 이용하여 완료 비-접촉 제스처를 검출할 때, 메시지를 상기 페어런트 디바이스에 송신하고, 응답으로 데이터를 수신하는 단계
    를 포함하는,
    데이터를 수신하기 위한 방법.
  36. 제 35 항에 있어서,
    상기 완료 비-접촉 제스처를 검출하는 것은 드롭(drop) 제스처를 검출하는 것을 더 포함하는,
    데이터를 수신하기 위한 방법.
  37. 제 35 항에 있어서,
    상기 이차 디바이스에 의해, 상기 이차 디바이스가 임계치 시간 내에 상기 완료 비-접촉 제스처를 검출하지 않는다면, 상기 제스처 인식을 비활성화하는 단계
    를 더 포함하는,
    데이터를 수신하기 위한 방법.
  38. 제 35 항에 있어서,
    상기 이차 디바이스에 의해, 취소 제스처를 검출할 때, 상기 제스처 인식을 비활성화하는 단계
    를 더 포함하는,
    데이터를 수신하기 위한 방법.
  39. 제 35 항에 있어서,
    다른 디바이스가 상기 데이터를 수신한 이후 상기 제스처 인식을 계속 실행하는 단계
    를 더 포함하는,
    데이터를 수신하기 위한 방법.
  40. 제 35 항에 있어서,
    상기 완료 비-접촉 제스처를 검출하는 것은, 상기 페어런트 디바이스에서 수행되고 상기 페어런트 디바이스에서 검출되는 키 코드에 대응하는 미리정의된 제스처를 검출하는 것을 포함하는,
    데이터를 수신하기 위한 방법.
  41. 제 40 항에 있어서,
    상기 미리정의된 제스처 및 상기 키 코드는 동적인,
    데이터를 수신하기 위한 방법.
  42. 제 35 항에 있어서,
    미리정의된 제스처를 검출하는 것은, 특정 사용자를 식별하기 위해 얼굴 또는 음성 인식을 사용하는 것을 더 포함하는,
    데이터를 수신하기 위한 방법.
  43. 제 35 항에 있어서,
    상기 수신하는 단계는 타임-라인 기반 콘텐트를 수신하는 단계를 더 포함하고, 상기 방법은,
    상기 타임-라인 기반 콘텐트의 진행을 표시하는 표시자 데이터를 수신하는 단계; 및
    수신된 표시자 데이터에 기초하여 상기 타임-라인 기반 콘텐트의 제시를 시작하는 단계
    를 더 포함하는,
    데이터를 수신하기 위한 방법.
  44. 제 43 항에 있어서,
    수신된 표시자 데이터에 기초하여 상기 콘텐트의 제시를 시작하는 단계를 더 포함하고,
    상기 표시자 데이터는, 상기 타임-라인 기반 콘텐트가 상기 페어런트 디바이스 상에서 일시정지된 시간, 또는 상기 콘텐트가 일시정지되기 이전 특정된 시간을 더 포함하는,
    데이터를 수신하기 위한 방법.
  45. 디바이스로서,
    이차 디바이스에 의해, 전송을 개시하는 것과 관련된 트리거 데이터를 페어런트 디바이스로부터 수신하도록 구성된 트랜시버; 및
    제스처 인식 모듈 ―상기 제스처 인식 모듈은, 상기 트리거 데이터에 기초하여 선택적으로 트리거링 가능함―
    을 포함하고,
    상기 제스처 인식 모듈을 이용하여 완료 비-접촉 제스처를 검출할 때, 상기 트랜시버는, 메시지를 상기 페어런트 디바이스에 송신하고, 응답으로 데이터를 수신하도록 구성된,
    디바이스.
  46. 제 45 항에 있어서,
    상기 완료 비-접촉 제스처를 검출하는 것은 드롭 제스처를 검출하는 것을 더 포함하는,
    디바이스.
  47. 제 45 항에 있어서,
    상기 완료 비-접촉 제스처가 임계치 시간 내에 검출되지 않는다면, 상기 제스처 인식 모듈은 비활성화되는,
    디바이스.
  48. 제 45 항에 있어서,
    취소 제스처가 검출된다면, 상기 제스처 인식 모듈은 비활성화되는,
    디바이스.
  49. 제 45 항에 있어서,
    상기 제스처 인식 모듈은, 다른 디바이스가 상기 데이터를 수신한 이후 제스처 인식을 계속 실행하도록 구성되는,
    디바이스.
  50. 제 45 항에 있어서,
    상기 완료 비-접촉 제스처를 검출하는 것은, 상기 페어런트 디바이스에서 수행되고 상기 페어런트 디바이스에서 검출되는 키 코드에 대응하는 미리정의된 제스처를 검출하는 것을 포함하는,
    디바이스.
  51. 제 50 항에 있어서,
    상기 미리정의된 제스처 및 상기 키 코드는 동적인,
    디바이스.
  52. 제 45 항에 있어서,
    미리정의된 제스처를 검출하는 것은, 특정 사용자를 식별하기 위해 얼굴 또는 음성 인식을 사용하는 것을 더 포함하는,
    디바이스.
  53. 제 45 항에 있어서,
    상기 트랜시버는,
    타임-라인 기반 콘텐트의 진행을 표시하는 표시자 데이터를 수신하고; 그리고
    수신된 표시자 데이터에 기초하여 상기 타임-라인 기반 콘텐트의 제시를 시작함으로써,
    상기 타임-라인 기반 콘텐트를 수신하도록 구성되는,
    디바이스.
  54. 제 53 항에 있어서,
    수신된 표시자 데이터에 기초하여 상기 콘텐트의 제시를 시작하도록 구성된 프로세서를 더 포함하고,
    상기 표시자 데이터는, 상기 타임-라인 기반 콘텐트가 상기 페어런트 디바이스 상에서 일시정지된 시간, 또는 상기 콘텐트가 일시정지되기 이전 특정된 시간을 더 포함하는,
    디바이스.
  55. 장치로서,
    이차 디바이스에 의해, 전송을 개시하는 것과 관련된 트리거 데이터를 페어런트 디바이스로부터 수신하기 위한 수단;
    상기 이차 디바이스에 의해, 상기 페어런트 디바이스로부터 수신된 트리거 데이터에 기초하여, 제스처 인식을 턴 온하기 위한 수단; 및
    상기 제스처 인식을 이용하여 완료 비-접촉 제스처를 검출할 때, 메시지를 상기 페어런트 디바이스에 송신하고, 응답으로 데이터를 수신하기 위한 수단
    을 포함하는,
    장치.
  56. 비-일시적 컴퓨터 판독가능 매체로서,
    상기 비-일시적 컴퓨터 판독가능 매체 상에는 컴퓨터 판독가능 명령들이 저장되고, 상기 컴퓨터 판독가능 명령들은, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,
    이차 디바이스에 의해, 전송을 개시하는 것과 관련된 트리거 데이터를 페어런트 디바이스로부터 수신하게 하고;
    상기 이차 디바이스에 의해, 상기 페어런트 디바이스로부터 수신된 트리거 데이터에 기초하여, 제스처 인식을 턴 온하게 하고; 그리고
    상기 제스처 인식을 이용하여 완료 비-접촉 제스처를 검출할 때, 메시지를 상기 페어런트 디바이스에 송신하고, 응답으로 데이터를 수신하게 하도록
    하는,
    비-일시적 컴퓨터 판독가능 매체.
KR1020157016719A 2012-11-27 2013-11-26 비-접촉 제스처들을 통한 제스처 인식 모드 및 디바이스 페어링 및 공유를 트리거링하기 위한 방법들, 장치들 및 컴퓨터 판독가능 매체 KR20150090162A (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201261730438P 2012-11-27 2012-11-27
US61/730,438 2012-11-27
US201261745272P 2012-12-21 2012-12-21
US61/745,272 2012-12-21
US13/843,700 2013-03-15
US13/843,700 US9529439B2 (en) 2012-11-27 2013-03-15 Multi device pairing and sharing via gestures
PCT/US2013/071812 WO2014085369A1 (en) 2012-11-27 2013-11-26 Methods, apparatuses and computer readable medium for triggering a gesture recognition mode and device pairing and sharing via non-touch gestures

Publications (1)

Publication Number Publication Date
KR20150090162A true KR20150090162A (ko) 2015-08-05

Family

ID=50774433

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157016719A KR20150090162A (ko) 2012-11-27 2013-11-26 비-접촉 제스처들을 통한 제스처 인식 모드 및 디바이스 페어링 및 공유를 트리거링하기 위한 방법들, 장치들 및 컴퓨터 판독가능 매체

Country Status (6)

Country Link
US (1) US9529439B2 (ko)
EP (1) EP2926532A1 (ko)
JP (1) JP6379103B2 (ko)
KR (1) KR20150090162A (ko)
CN (1) CN104813642B (ko)
WO (1) WO2014085369A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180056973A (ko) * 2016-11-21 2018-05-30 연세대학교 산학협력단 다중 센서감지를 통해 다른 기기로 추가기능 및 피드백을 제공하는 기기 및 방법

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9292310B2 (en) 2011-06-05 2016-03-22 Apple Inc. Systems and methods for displaying notifications received from multiple applications
CN102662576B (zh) * 2012-03-29 2015-04-29 华为终端有限公司 基于触摸的信息发送方法及装置
US20140258880A1 (en) * 2013-03-07 2014-09-11 Nokia Corporation Method and apparatus for gesture-based interaction with devices and transferring of contents
WO2014143776A2 (en) 2013-03-15 2014-09-18 Bodhi Technology Ventures Llc Providing remote interactions with host device using a wireless device
US10243786B2 (en) 2013-05-20 2019-03-26 Citrix Systems, Inc. Proximity and context aware mobile workspaces in enterprise systems
KR101824921B1 (ko) * 2013-06-11 2018-02-05 삼성전자주식회사 제스처 기반 통신 서비스 수행 방법 및 장치
US9389691B2 (en) * 2013-06-21 2016-07-12 Blackberry Limited Devices and methods for establishing a communicative coupling in response to a gesture
KR102090755B1 (ko) 2013-07-02 2020-03-19 삼성전자주식회사 기능 제어 방법 및 그 전자 장치
US9226137B2 (en) * 2013-09-30 2015-12-29 Qualcomm Incorporated Method and apparatus for real-time sharing of multimedia content between wireless devices
US9067135B2 (en) * 2013-10-07 2015-06-30 Voyetra Turtle Beach, Inc. Method and system for dynamic control of game audio based on audio analysis
US20150160819A1 (en) * 2013-12-06 2015-06-11 Microsoft Corporation Crane Gesture
WO2015094280A1 (en) * 2013-12-19 2015-06-25 Intel Corporation Digital charms system and method
US9733714B2 (en) * 2014-01-07 2017-08-15 Samsung Electronics Co., Ltd. Computing system with command-sense mechanism and method of operation thereof
US9417704B1 (en) 2014-03-18 2016-08-16 Google Inc. Gesture onset detection on multiple devices
US11343864B2 (en) * 2014-04-25 2022-05-24 Lenovo (Singapore) Pte. Ltd. Device pairing
US11343335B2 (en) 2014-05-29 2022-05-24 Apple Inc. Message processing by subscriber app prior to message forwarding
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US10782787B2 (en) * 2014-06-06 2020-09-22 Adobe Inc. Mirroring touch gestures
KR102367551B1 (ko) * 2014-06-10 2022-02-25 삼성전자 주식회사 전자 장치의 정보 처리 방법 및 장치
WO2016014601A2 (en) 2014-07-21 2016-01-28 Apple Inc. Remote user interface
US9811164B2 (en) * 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9547419B2 (en) 2014-09-02 2017-01-17 Apple Inc. Reduced size configuration interface
GB201416027D0 (en) * 2014-09-10 2014-10-22 Moo Print Ltd Interaction between users of mobile devices
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
EP3038389A1 (en) * 2014-12-23 2016-06-29 Orange A method for controlling the sharing of at least one electronic content between a first user equipment and at least a second user equipment
US20160198499A1 (en) 2015-01-07 2016-07-07 Samsung Electronics Co., Ltd. Method of wirelessly connecting devices, and device thereof
JP2016130925A (ja) * 2015-01-14 2016-07-21 レノボ・シンガポール・プライベート・リミテッド 複数の電子機器が連携動作をする方法、電子機器およびコンピュータ・プログラム
CN104699244B (zh) * 2015-02-26 2018-07-06 小米科技有限责任公司 智能设备的操控方法及装置
US10216351B2 (en) * 2015-03-08 2019-02-26 Apple Inc. Device configuration user interface
US10016162B1 (en) 2015-03-23 2018-07-10 Google Llc In-ear health monitoring
EP3289432B1 (en) 2015-04-30 2019-06-12 Google LLC Rf-based micro-motion tracking for gesture tracking and recognition
US10310620B2 (en) 2015-04-30 2019-06-04 Google Llc Type-agnostic RF signal representations
CN111880650B (zh) 2015-04-30 2024-07-05 谷歌有限责任公司 基于宽场雷达的手势识别
CN106302953A (zh) * 2015-05-21 2017-01-04 中兴通讯股份有限公司 一种终端的匹配验证方法、装置及设备
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
US9692755B2 (en) * 2015-06-26 2017-06-27 Intel Corporation Electronic data transfer between trust contacts
JP6204477B2 (ja) * 2015-06-29 2017-09-27 ガンホー・オンライン・エンターテイメント株式会社 サーバー装置
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
WO2017098525A1 (en) * 2015-12-09 2017-06-15 Smartron India Private Limited A system and method for controlling miracast content with hand gestures and audio commands
CN105739692A (zh) * 2016-01-28 2016-07-06 青岛海尔智能家电科技有限公司 一种基于AllJoyn的触发方法、装置及触发器
TWI729064B (zh) * 2016-01-28 2021-06-01 日商日本鼎意股份有限公司 包括內置有感應器的球的系統、行動終端的程式及經由行動終端監控球的動向之方法
EP3206121A1 (en) 2016-02-09 2017-08-16 Nokia Technologies Oy Methods and apparatuses relating to the handling of visual virtual reality content
JP6696246B2 (ja) 2016-03-16 2020-05-20 富士ゼロックス株式会社 画像処理装置及びプログラム
US10838502B2 (en) * 2016-03-29 2020-11-17 Microsoft Technology Licensing, Llc Sharing across environments
US10492302B2 (en) 2016-05-03 2019-11-26 Google Llc Connecting an electronic component to an interactive textile
CN109874410A (zh) * 2016-10-14 2019-06-11 三星电子株式会社 用于传输内容的方法和设备
DE102016015371A1 (de) * 2016-12-22 2018-06-28 Drägerwerk AG & Co. KGaA Verfahren zum Zuordnen eines Medizingerätes zu einer Gruppe in einem Medizingerätedatennetzwerk, Dantennetzwerkvorrichtung, Medizingerät sowie Servereinheit
CN106873779B (zh) * 2017-02-24 2020-05-08 苏州佳世达电通有限公司 一种手势识别装置及手势识别方法
US10586434B1 (en) * 2017-10-25 2020-03-10 Amazon Technologies, Inc. Preventing unauthorized access to audio/video recording and communication devices
US10887193B2 (en) 2018-06-03 2021-01-05 Apple Inc. User interfaces for updating network connection settings of external devices
US11000759B2 (en) * 2019-03-29 2021-05-11 Valve Corporation Game controller operable in bluetooth low energy (BLE) mode
KR102354046B1 (ko) 2019-05-06 2022-01-25 애플 인크. 전자 디바이스의 제한된 동작
DK201970533A1 (en) 2019-05-31 2021-02-15 Apple Inc Methods and user interfaces for sharing audio
US11481094B2 (en) 2019-06-01 2022-10-25 Apple Inc. User interfaces for location-related communications
US11477609B2 (en) 2019-06-01 2022-10-18 Apple Inc. User interfaces for location-related communications
US11644902B2 (en) * 2020-11-30 2023-05-09 Google Llc Gesture-based content transfer
CN115278616A (zh) * 2021-04-30 2022-11-01 华为技术有限公司 一种文件分享方法和电子设备
US11711860B2 (en) * 2021-06-06 2023-07-25 Kyndryl, Inc. Device pairing by cognitive computing
US11756034B2 (en) * 2021-06-25 2023-09-12 Verifone, Inc. Systems and methods for alternative payment mechanism payments using ultra-wideband radio technology

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4031255B2 (ja) * 2002-02-13 2008-01-09 株式会社リコー ジェスチャコマンド入力装置
US7107349B2 (en) * 2002-09-30 2006-09-12 Danger, Inc. System and method for disabling and providing a notification for a data processing device
US7532196B2 (en) * 2003-10-30 2009-05-12 Microsoft Corporation Distributed sensing techniques for mobile devices
US7636794B2 (en) * 2005-10-31 2009-12-22 Microsoft Corporation Distributed sensing techniques for mobile devices
US20070144723A1 (en) * 2005-12-12 2007-06-28 Jean-Pierre Aubertin Vehicle remote control and air climate system
US8587526B2 (en) * 2006-04-12 2013-11-19 N-Trig Ltd. Gesture recognition feedback for a dual mode digitizer
US20070274233A1 (en) * 2006-05-25 2007-11-29 Amnon Ptashek Method, apparatus and system for multi peer to peer services
US8564544B2 (en) * 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
CN101952792B (zh) * 2007-11-19 2014-07-02 瑟克公司 与显示器结合且具有接近及触摸感应能力的触摸板
US20120081282A1 (en) * 2008-05-17 2012-04-05 Chin David H Access of an application of an electronic device based on a facial gesture
US8260883B2 (en) 2009-04-01 2012-09-04 Wimm Labs, Inc. File sharing between devices
KR101593598B1 (ko) * 2009-04-03 2016-02-12 삼성전자주식회사 휴대단말에서 제스처를 이용한 기능 실행 방법
US9571625B2 (en) * 2009-08-11 2017-02-14 Lg Electronics Inc. Electronic device and control method thereof
US8756532B2 (en) * 2010-01-21 2014-06-17 Cisco Technology, Inc. Using a gesture to transfer an object across multiple multi-touch devices
JP2011154606A (ja) * 2010-01-28 2011-08-11 Sharp Corp ネットワークシステム、通信方法、サーバ、および通信端末
US8577292B2 (en) 2010-02-03 2013-11-05 Google Inc. Bump validation
US20130328770A1 (en) * 2010-02-23 2013-12-12 Muv Interactive Ltd. System for projecting content to a display surface having user-controlled size, shape and location/direction and apparatus and methods useful in conjunction therewith
US8789131B2 (en) * 2010-05-14 2014-07-22 Lg Electronics Inc. Electronic device and method of sharing contents thereof with other devices
US8593398B2 (en) * 2010-06-25 2013-11-26 Nokia Corporation Apparatus and method for proximity based input
US9110509B2 (en) * 2010-07-28 2015-08-18 VIZIO Inc. System, method and apparatus for controlling presentation of content
US20120083208A1 (en) 2010-09-30 2012-04-05 Apple Inc. Wireless accessory device pairing transfer between multiple host devices
US20120133579A1 (en) * 2010-11-30 2012-05-31 Microsoft Corporation Gesture recognition management
US20120198353A1 (en) 2011-01-28 2012-08-02 Microsoft Corporation Transferring data using a physical gesture
US8666406B2 (en) 2011-05-12 2014-03-04 Qualcomm Incorporated Gesture-based commands for a group communication session on a wireless communications device
US8788947B2 (en) 2011-06-14 2014-07-22 LogMeln, Inc. Object transfer method using gesture-based computing device
CN102866777A (zh) * 2012-09-12 2013-01-09 中兴通讯股份有限公司 一种数字媒体内容播放转移的方法及播放设备及***
US20140229858A1 (en) * 2013-02-13 2014-08-14 International Business Machines Corporation Enabling gesture driven content sharing between proximate computing devices

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180056973A (ko) * 2016-11-21 2018-05-30 연세대학교 산학협력단 다중 센서감지를 통해 다른 기기로 추가기능 및 피드백을 제공하는 기기 및 방법

Also Published As

Publication number Publication date
WO2014085369A1 (en) 2014-06-05
EP2926532A1 (en) 2015-10-07
US9529439B2 (en) 2016-12-27
US20140149859A1 (en) 2014-05-29
CN104813642B (zh) 2018-09-21
JP6379103B2 (ja) 2018-08-22
CN104813642A (zh) 2015-07-29
JP2016506556A (ja) 2016-03-03

Similar Documents

Publication Publication Date Title
US9529439B2 (en) Multi device pairing and sharing via gestures
US11540102B2 (en) Method for function control and electronic device thereof
US10394331B2 (en) Devices and methods for establishing a communicative coupling in response to a gesture
KR102377277B1 (ko) 전자 장치에서 커뮤니케이션 지원 방법 및 장치
TWI839532B (zh) 計算裝置及延伸實境整合
US20190306277A1 (en) Interaction between devices displaying application status information
US11604535B2 (en) Device and method for processing user input
KR20170091913A (ko) 영상 서비스 제공 방법 및 장치
JP2014170524A (ja) 端末間機能共有方法及びその端末
CN108476339B (zh) 一种遥控方法和终端
US20160313969A1 (en) Electronic apparatus, image display system, and recording medium
KR20190016671A (ko) 통신 장치, 서버 및 통신 방법
KR20160023212A (ko) 글래스 타입의 이동 단말기 및 그 제어방법
JP6803329B2 (ja) 二次元コードを生成し、メッセージ内で送信する方法及び装置
CA2854759C (en) Devices and methods for establishing a communicative coupling in response to a gesture
KR20170019248A (ko) 이동단말기 및 그 제어방법
EP2660695B1 (en) Device and method for processing user input
US12019947B2 (en) Projection method and system
KR20180031238A (ko) 이동 단말기 및 그 제어방법
KR20170019247A (ko) 이동단말기 및 그 제어방법
KR20160038852A (ko) 데이터 처리 방법 및 그 전자 장치
KR20190083920A (ko) 전자 장치 및 그 제어 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application