KR102223411B1 - 페어링되지 않은 장치 - Google Patents
페어링되지 않은 장치 Download PDFInfo
- Publication number
- KR102223411B1 KR102223411B1 KR1020157035837A KR20157035837A KR102223411B1 KR 102223411 B1 KR102223411 B1 KR 102223411B1 KR 1020157035837 A KR1020157035837 A KR 1020157035837A KR 20157035837 A KR20157035837 A KR 20157035837A KR 102223411 B1 KR102223411 B1 KR 102223411B1
- Authority
- KR
- South Korea
- Prior art keywords
- user device
- user
- event
- media device
- indication
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 20
- 230000004044 response Effects 0.000 claims abstract description 14
- 238000004891 communication Methods 0.000 claims description 62
- 230000000007 visual effect Effects 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 6
- 230000000977 initiatory effect Effects 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 12
- 238000012544 monitoring process Methods 0.000 description 8
- 230000005236 sound signal Effects 0.000 description 8
- 239000000872 buffer Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B11/00—Transmission systems employing sonic, ultrasonic or infrasonic waves
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2807—Exchanging configuration information on appliance services in a home automation network
- H04L12/2809—Exchanging configuration information on appliance services in a home automation network indicating that an appliance service is present in a home automation network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2823—Reporting information sensed by appliance or service execution status of appliance services in a home automation network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2823—Reporting information sensed by appliance or service execution status of appliance services in a home automation network
- H04L12/2825—Reporting to a device located outside the home and the home network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
- H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/654—Transmission by server directed to the client
- H04N21/6547—Transmission by server directed to the client comprising parameters, e.g. for client setup
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6581—Reference data, e.g. a movie identifier for ordering a movie or a product identifier in a home shopping application
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W76/00—Connection management
- H04W76/10—Connection setup
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L2012/284—Home automation networks characterised by the type of medium used
- H04L2012/2841—Wireless
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L2012/2847—Home automation networks characterised by the type of home appliance used
- H04L2012/2849—Audio/video appliances
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Telephonic Communication Services (AREA)
- Information Transfer Between Computers (AREA)
Abstract
사용자 장치의 독립형 모드에서 사용자에게 경험을 전달하도록 구성된 출력부, 및 이벤트의 통지를 수신하도록 구성된 입력부를 포함하는 사용자 장치가 개시된다. 이 장치는 또한 입력의 수신에 응답하여 무선 인터페이스를 통해 전송하기 위한 표시를 생성하기 위한 표시 생성기를 포함한다. 이 표시는 이벤트와 관련된 식별자를 포함한다. 또한, 장치는 네트워크를 통해 네트워크 노드로부터의 메시지를 수신하도록 구성된 처리부를 포함한다. 메시지는 미디어 장치가 식별자를 검출하였음을 표시하며, 또한 이 미디어 장치의 정보를 포함한다. 처리부는 네트워크로부터 수신된 메시지를 처리하여 경험의 적어도 일부를 미디어 장치로 전달할 수 있도록 구성된다.
Description
종래의 통신 시스템은, 개인용 컴퓨터나 모바일 장치와 같은 장치의 사용자가 인터넷(Internet)과 같은 패킷 기반의 컴퓨터 네트워크를 통해 음성 또는 화상 통화를 수행할 수 있게 한다. 이와 같은 통신 시스템은 VoIP(voice or video over internet protocol) 시스템을 포함한다. 이들 시스템은 흔히 종래의 유선망이나 이동 통신망보다 비용이 상당히 저렴하기 때문에 사용자들에게 유익하다. 이는 특히 장거리 통신의 경우에 그러할 수 있다. VoIP 시스템을 사용하기 위해, 사용자는 자신의 장치에 클라이언트 소프트웨어를 설치하고 실행한다. 클라이언트 소프트웨어는 VoIP 접속을 설정할 뿐만 아니라, 등록 및 인증과 같은 다른 기능도 제공한다. 음성 통신에 더하여, 클라이언트는, 인스턴트 메시징("IM", instant messaging), SMS 메시징, 파일 전송, 및 보이스 메일과 같은 기타 통신 매체에 대한 접속을 설정할 수도 있다.
최근에는, 인터넷 성능 및 기능이 텔레비전 세트(종종 "스마트 TV"(Smart TV)로 통칭됨), 또는 텔레비전 세트에 연결되도록 구성된 셋톱 박스에 통합되고 있다. 이러한 통합은 인터넷과 같은 패킷 기반의 컴퓨터 네트워크를 통해 통신을 가능하게 하기 위해 텔레비전 세트에 클라이언트 소프트웨어를 통합시키는 것을 포함한다.
패킷 기반 통신 클라이언트를 TV에 내장하는 것은 대형 스크린이 존재한다는 장점이 있으며, 이는 비디오 통화에 유용할 수 있다. 또한, 특히 대형이면서 상용 전원을 사용하는 소비자 가전 장치에 대한 전력 요구 조건은, 예를 들면 모바일 장치에 대해서 보다 덜 엄격하기 때문에 대폭적인 처리 능력을 TV에 제공할 수 있다. 이는 내장 통신 클라이언트에 고품질 음성 및 비디오 인코딩과 같은 다양한 범위의 특징이 포함될 수 있도록 한다.
또한, 스마트 TV(Smart TV)에 하드웨어 장치를 통합하는 방법도 공지되어 있다. 예를 들면, 마이크로 폰을 스마트 TV에 통합시켜서 스마트 TV 주변 환경(예를 들면, 집안의 거실)에서 나는 소리를 항상 청음하도록 하여 이 스마트 TV가 음성 명령에 반응하도록 할 수 있다.
사용자 장치의 독립형 모드에서 사용자에게 경험을 전달하도록 구성된 출력부, 및 이벤트의 통지를 수신하도록 구성된 입력부를 포함하는 사용자 장치가 제공된다. 이 장치는 또한 상기 입력의 수신에 응답하여 무선 인터페이스를 통해 전송할 표시를 생성하는 표시 생성기를 포함한다. 이 표시는 이벤트와 관련된 식별자를 포함한다. 또한, 장치는 네트워크를 통해 네트워크 노드로부터의 메시지를 수신하도록 구성된 처리부를 포함한다. 메시지는 미디어 장치가 식별자를 검출하였음을 표시하며, 또한 이 미디어 장치의 정보를 포함한다. 처리부는 또한 네트워크 노드로부터 수신된 메시지를 처리하고 출력부를 통해 사용자 장치의 사용자에게 선택 가능한 옵션을 제공하도록 구성된다. 선택 가능한 옵션은 미디어 장치의 정보에 따라서 제공된다. 처리부는 사용자에 의해 옵션이 선택되는 것을 감지하고 미디어 장치의 경험의 적어도 일부를 전달하는 것에 의해서 사용자 장치의 페어링 모드를 시작하도록 구성된다.
또한 무선 인터페이스를 통해 사용자 장치로부터 출력되는 표시를 직접 검출하도록 구성된 검출부를 포함하는 미디어 장치가 제공되는데, 이 표시는 사용자 장치에서의 이벤트와 관련된 식별자를 포함한다. 미디어 장치는 또한 상기 표시 내의 식별자를 복호화하고 네트워크를 통해 네트워크 노드에 메시지를 송신하도록 구성된 처리부를 포함한다. 메시지는 미디어 장치의 존재를 네트워크 노드에 표시한다. 처리부는 또한 미디어 장치의 페어링 모드를 시작하도록 하여 사용자 장치에서 전달된 경험의 적어도 일부를 미디어 장치에 전달한다. 미디어 장치는 경험의 적어도 일부를 미디어 장치의 사용자에게 전달하도록 구성된 출력부를 더 포함한다.
본 개요는 후속하여 발명의 상세한 설명 부분에서 설명되는 개념들 중 선택된 것들을 단순화된 형태로 소개하고자 제공되는 것이다. 본 개요는 청구항의 청구대상의 핵심적인 특징이나 필수적인 특징들을 밝히고자 함이 아니며, 청구항의 청구대상의 범위를 제한하고자 함도 아니다.
기술된 실시예를 더욱 잘 이해하고 또한 이들 실시예가 어떻게 작용하는 지를 보여 주기 위해서, 예시로서, 이하의 도면을 참조하기로 한다.
도 1은 통신 시스템을 개략적으로 도시한 도면이다.
도 2는 미디어 장치의 개략적인 블록 다이어그램이다.
도 3은 사용자 장치의 개략적인 블록 다이어그램이다.
도 4는 일 방법의 개략적인 블록 다이어그램이다.
도 1은 통신 시스템을 개략적으로 도시한 도면이다.
도 2는 미디어 장치의 개략적인 블록 다이어그램이다.
도 3은 사용자 장치의 개략적인 블록 다이어그램이다.
도 4는 일 방법의 개략적인 블록 다이어그램이다.
이하에서는, 오직 예시로서 본 발명의 각 실시예에 대해서 설명하기로 한다.
본 명세서에는 미디어 장치(예컨대, TV)가 이벤트에 응답하여 생성된 공지의 음향 신호(audio tone)를 청음하고, 또한 미디어 장치가 제2 사용자 장치(예컨대, 스마트 폰)에서 재생되는 서비스 제공자에 의해서 생성된 보이지 않는(invisible) 오디오 표시를 검출할 수 있는 기법이 개시된다. 옵션은 이벤트 및 장치와 상호작용하는 방법을 나타낸다. 이와 달리 또는 추가적으로, 장치는 이벤트에 응답하여 생성되는 공지의 시각적 표시자(예컨대, QR 코드)를 감시하도록 동작할 수 있다.
사용자 장치는 사용자 장치의 독립형 모드에서 사용자에게 경험을 전달하도록 구성된 출력부를 가지고 있다. 예를 들어서, 사용자 장치는 단독 사용 버전의 통신 클라이언트 경험을 사용자에게 전달할 수 있다. 이벤트의 표시를 생성하고 송신함으로써 "컴패니언 앱"(companion app) 스타일의 경험을 전달하기 위해 경험의 적어도 일부가 미디어 장치로 전달될 수 있다.
미디어 장치는 상기 경험의 적어도 일부를 사용자에게 전달하도록 구성된 출력부를 가지고 있다. 예를 들어서, 미디어 장치는 대형 화면 버전의 통신 클라이언트 경험을 사용자에게 전달하는데 사용되는 대형 스크린 형태의 출력부를 가질 수 있다.
도 1은 제2 사용자 장치(104)를 갖는 제2 사용자(102)("사용자 A")와 본 실시예에서는 텔레비전("TV")(110)인 미디어 장치(110) 근처에 있는 제1 사용자 장치(112)("사용자 B")를 포함하는 통신 시스템(100)을 나타내고 있다.
일반적으로 동일한 환경 내에서 TV와 같은 하나 이상의 다른 장치들이 존재한다. 이들 다른 장치들은 이하에서 더욱 상세하게 설명되는 이유 때문에 본 명세서에서 "컴패니언 장치"(companion device)라고 지칭된다. 예를 들면, 거실 내에는, 스마트 폰과 랩탑 컴퓨터와 같은 컴패니언 장치가 또한 존재할 수 있다. 도 1은 그와 같은 컴패니언 장치의 예로서 랩탑 컴퓨터(114)를 도시하고 있다. 도 1은 TV(110)에 추가하여 단일의 컴패니언 사용자 장치(114)를 나타내고 있지만, 복수의 컴패니언 장치가 TV(110) 부근에 존재할 수 있음을 이해할 수 있을 것이다.
이들 장치의 존재는 흔히 일시적이며 사용자는 TV(110)와 영구적으로 접속되는 것을 원하지 않을 뿐만 아니라, 임의의 종래 형태로 TV(110)에 로그인되는 것을 원하지도 않는다.
본 명세서에는 이들 다른 장치 상에서의 오디오 이벤트(신원 확인)를 청음하고 서비스 제공자에 의해서 전송되는 고유한 임시 오디오 식별자를 받아서 이들 다른 장치 중의 하나로부터 재생되는 오디오 스트림에 주입할 수 있는 텔레비전이 개시된다. 일단 검출되면, TV는 서비스 제공자의 백 엔드로 자신의 성능이 무엇인지 및 어떤 식별자를 청음할 수 있는 지를 신호로 전달한다.
서비스 제공자의 백 엔드는 이를 사용하여 주변에 대형 스크린(TV)이 있고 자신이 무엇을 할 수 있는지(즉, TV의 성능)를 원래의 장치로 다시 신호로 전달한다.
그 예로는 영상 화상 통화를 하는 경우가 있으며, 이 경우 TV는 통화용 애플리케이션의 오디오 워터마크(audio watermark)를 청음할 것이다. 청음할 수 있음을 백 엔드로 신호 전달하는 것에 의해서, 컴패니언 장치는 통화를 TV 상에서 받거나 또는 통화가 이미 시작되었다면 이 통화를 TV로 전환하도록 하는 옵션을 생성하도록 표시할 수 있다. 이상은 임시 이벤트이기 때문에, 접속은 호출이 있는 동안만 유지된다.
다른 예로는 랩탑(laptop) 상에서 의도적으로 음향 신호를 생성하여 랩탑과 대형 스크린 간의 임시 페어링을 가능하도록 하여 프리젠테이션을 공유한다.
사용자 장치(104)는 컴패니언 사용자 장치(114) 또는 TV(110)를 사용하여 통신 시스템(100)에서 네트워크(106)를 통해 통신할 수 있으며, 이에 의해서, 사용자(102 및 112)는 네트워크(106)를 통해 서로 통신할 수 있다.
도 1에 나타낸 통신 시스템(100)은 패킷 기반 통신 시스템이지만, 다른 유형의 통신 시스템을 사용할 수도 있다. 네트워크(106)는, 예를 들면, 인터넷(Internet)일 수 있다. 각각의 사용자 장치(104 및 114)는, 예를 들면, 휴대 전화, 태블릿, 랩탑, 개인용 컴퓨터("PC", personal computer)(예를 들면, Windows™, Mac OS™, 및 Linux™ PC 포함), 게이밍 장치, 개인용 디지털 보조 장치("PDA"), 또는 기타 네트워크(106)에 접속할 수 있는 내장 장치일 수 있다. 사용자 장치(104)와 컴패니언 장치(114)는 각각의 장치의 사용자로부터 정보를 수신하고 이들에게 정보를 출력하도록 설정되어 있다. 사용자 장치(104)와 컴패니언 장치(114)는 디스플레이 및 스피커와 같은 출력 수단을 포함한다. 사용자 장치(104)와 컴패니언 장치(114)는 또한 키패드, 터치 스크린, 마우스, 오디오 신호를 수신하기 위한 마이크로 폰 및/또는 비디오 신호의 이미지를 캡처하기 위한 카메라와 같은 입력 수단을 포함한다. 사용자 장치(104)와 컴패니언 장치(114)는 네트워크(106)에 접속된다. 터치 스크린의 경우, 사용자는 스와이프(swipe) 또는 제스처(gesture)에 의해 명령을 입력할 수 있다.
다른 실시예에 있어서, 사용자 장치(104)와 컴패니언 장치(114)는 도 1에는 나타내지 않은 추가적인 중간 네트워크를 통해 네트워크(106)에 접속될 수 있다. 예를 들면, 사용자 장치(104)가 모바일 장치라면, 도 1에는 나타내지 않은 이동 통신망을 통해 네트워크(106)에 접속될 수 있다.
사용자 장치(104), 컴패니언 장치(114), 및 TV(110)의 각각은 통신 시스템(100)과 관련된 소프트웨어 제공자에 의해서 제공되는 통신 클라이언트(108)의 인스턴스를 실행한다. 통신 클라이언트는 각각의 장치에서의 로컬 프로세서 상에서 실행되는 소프트웨어 프로그램이다. 클라이언트는 장치가 통신 시스템(100)을 통해 데이터를 송신하고 수신하도록 장치에서 요구되는 처리를 적절하게 수행한다.
통신 시스템(100)은 또한 서비스 제공자(예컨대, 네트워크(106) 사업자)와 관련된 백 엔드 서버(120)를 포함한다. 장치(114)와 TV(110)는 네트워크(106)를 통해 백 엔드 서버(120)와 통신하도록 동작 가능하다. 도시된 것은 단일 서버이지만, 임의의 숫자의 적절한 컴퓨팅 장치 간에 서버(120)의 기능을 분할할 수 있음을 알 수 있을 것이다.
각각의 통신 클라이언트(108a, 108b, 108c)는 특정한 각각의 사용자를 갖는 사용자 장치(104), TV(110), 및 컴패니언 장치와 관련된 로그인/등록 장치를 가지고 있다. 사용자들은 동일한 로그인/등록 상세를 갖는 다른 장치 상에서 동작하는 통신 클라이언트 인스턴스를 가질 수 있다.
특정 사용자명을 갖는 동일한 사용자가 서로 다른 터미널 상의 동일한 클라이언트 애플리케이션의 복수의 인스턴스에 동시에 로그인한 경우, 백 엔드 서버(120)는 이들 복수의 인스턴스의 모두에 대해서 사용자명(사용자 ID)을 맵핑할 뿐만 아니라 각각의 특정 개별 인스턴스에 대해서도 별도의 하위 식별자(서브 ID)를 맵핑하도록 설정된다. 따라서, 통신 시스템은 서로 다른 인스턴스 사이를 구별할 수 있는 한편으로 통신 시스템 내의 사용자에 대해서는 일관성 있는 신원을 유지할 수 있다.
사용자(102)는 장치(104)에 "사용자 A"로 로그인된다. 사용자(112)는 장치(114)에 "사용자 B"로 로그인되지만, TV(110)에는 로그인될 필요가 없다. 예를 들어, 회의실의 경우, TV(110)는 (예컨대) "회사 X"로 로그인될 수 있다. 이하에서 더욱 상세하게 설명하고 있는 바와 같이, 사용자(112)는 TV(110)에서 "사용자 B"로 로그인하지 않고 또한 TV(110)에서 "회사 X"에서 로그아웃하지 않고도 장치(114)로부터 TV(110)로 경험의 적어도 일부를 전달하는 옵션을 가지고 있다.
다른 실시예에 있어서, 사용자(112)는 장치(114)와 TV(110)의 모두에 (예컨대) "사용자 B"로 로그인된다(하지만, 상술한 바와 같이, 이는 요구되지는 않는다). 이들 실시예에 있어서, (예컨대) 사용자(112)가 본 발명이 속하는 기술 분야에서 공지된 기법을 사용하여 TV(110)를 사용하여 수행되는 전화 통화에 다른 사용자를 추가하도록 할 수 있는 개선된 경험이 제공될 수 있다.
TV(110)는 모뎀과 같은 네트워크 인터페이스를 통해 네트워크(106)에 접속된다. 도 1에 나타낸 TV(110)는 독립형 장치이지만, TV 및 셋톱 박스(STB, set-top box) 또는 기타 TV 접속형 장치 또한 사용할 수 있음을 잘 알 것이다.
TV(110)는 내장 통신 클라이언트(108b)(클라이언트 엔진)를 실행시킨다. 다른 실시예에 있어서, 내장 통신 클라이언트는 STB에서 실행될 수 있음에 주목하여야 한다. 내장 통신 클라이언트(108b)는 TV(110) 내의 로컬 프로세서 상에서 실행되는 소프트웨어를 포함한다.
TV(110)는 사용자(112)로부터 정보를 수신하고 사용자에게 정보를 출력하도록 구성된다. 원격 조정 장치는 TV(110)의 제어를 위해서 사용자(112)에 의해서 동작되는 입력 장치로서 동작할 수 있다. TV(110)는 또한 방송되는 텔레비전 신호를 수신할 수 있고, 이들 신호를 TV 스크린 상에 비디오(텔레비전 프로그램)로서 사용자에게 표시할 수 있다. 방송되는 텔레비전 신호는 지상, 위성, 또는 케이블 방송에 의해서 전달될 수 있으며, 아날로그 신호 또는 디지털 데이터의 형태일 수 있다.
이제, TV(110)에 내장된 하드웨어 및 소프트웨어 기능 블록을 도시하고 있는 도 2를 참조하기로 한다. TV(110)는 하나의 스크린(202) 및 적어도 하나의 스피커(212)를 포함하는 다수의 출력부를 포함한다. 스크린(202)은 사용자(112)에게 이미지를 표시하기 위한 것이며 또한 비디오 신호를 스크린(202) 상에 제대로 표시될 수 있도록 하는데 필요한 형태로 변환하도록 설정된 비디오 드라이버 하드웨어(204)에 의해서 구동된다. 비디오 드라이버 하드웨어(204)는 두 개의 프레임 버퍼(206 및 208)로부터 디지털 비디오 데이터를 공급받는다. 프레임 버퍼(206 및 208)는 사용자에게 표시되어야 할 비디오 데이터를 버퍼링하는 저장 장치이다. 프레임 버퍼 2("FB2")(208)는 표준 TV 비디오 신호를 수신하며, 이 신호는 방송 TV의 디스플레이로 알려져 있다. 프레임 버퍼 1("FB1")(206)은 패킷 기반 통신 클라이언트에 관련된 비디오 신호를 저장하며, 이하 이에 대해서 설명한다. 오디오 증폭기(210)는 TV의 오디오 신호를 수신하고 또한 이들 신호를 증폭하여 적어도 하나의 스피커(212)를 통해 출력한다.
TV의 오디오 및 비디오 입력 신호는 그 자체가, 예를 들어 위성 중계국, 무선 지상 중계국 또는 케이블과 같은 임의의 적절한 수단을 통해 방송되는 텔레비전 신호로부터 유래되고, 또한 TV(100)의 텔레비전 수신 장치(미도시)에 의해서 수신되는 것이다. 방송은 2 지점간 통신과는 상이하며, 멀티 캐스팅(즉, 일지점대 다지점)과도 다르다는 것에 주목하여야 한다. 방송에 있어서, 신호는 무차별적으로, 즉 (허가된 사용자만이 방송에 액세스할 수 있도록 암호 해독 키와 같은 것이 여전히 필요하지만) 사용자가 신호를 수신하도록 선택하는 것과는 무관하게 송신되며, 반면에, 2 지점간 통신에서는, 신호는 이를 수신하는 사용자 또는 사용자들에 의해서 요청되어야 한다. 또는 다른 예를 들자면, 방송을 수신하기 위해서는, 사용자는 방송국에 어떠한 신호도 전송할 필요없이 단순히 "동조"하면 되지만, 반면에 2 지점간 통신을 확립하기 위해서는 사용자와 방송국 간에 신호를 반드시 교환하여야 한다.
TV 수신기 장치는, 예를 들면, 안테나, 위성 접시, 또는 케이블 입력부, 샘플링 회로, 필터, 저잡음 증폭기, 믹서, 및/또는 아날로그 디지털 변환기를 포함할 수 있다. 수신기 장치에 의해서 수신된 다음에, 신호는 도 1의 프레임 버퍼 및 증폭기로 입력되기 전에 신호 처리 장치(미도시)에 의해서 처리된다. 이와 같은 신호 처리는 본 발명이 속하는 기술 분야에서 통상의 지식을 자에게는 공지된 것이며 따라서 본 명세서에서는 상세하게 설명하지 않는다.
TV(110)에 내장된 패킷 기반 통신 클라이언트는 대략 네 개의 주요 구성 요소에 기초한다. 이들 네 개의 구성 요소는 메모리 내에 저장되고 프로세서 상에서 실행되는 소프트웨어 요소로서 나타내어져 있지만, 다른 대안도 있을 수 있다. 네 개의 구성 요소는 클라이언트 엔진(214), 오디오 엔진(216), 비디오 엔진(217), 및 TV 사용자 인터페이스(218)이다.
클라이언트 엔진(214)은 패킷 기반 통신 시스템으로의 접속 설정을 담당한다. 이는 TV(110)로부터 네트워크(106)로의 접속을 통해 수행된다. TV(110)는 모뎀과 같은 네트워크 인터페이스(172)를 통해 네트워크(106)에 접속되며, TV(110)와 네트워크 인터페이스 간의 접속은 케이블(유선) 접속 또는 무선 접속일 수 있다. 클라이언트 엔진(214)은 통화 설정, 인증, 암호화 및 접속 관리, 뿐만 아니라 방화벽 횡단, 존재 상태 갱신, 및 연락처 관리와 같은 패킷 기반 통신 시스템 관련 기타 기능을 수행한다.
오디오 엔진(216)은 네트워크(106)를 통해 송신하기 위해서 마이크로 폰(228)을 통해 TV(100)로 입력된 음성 신호를 VoIP 패킷으로서 부호화하는 것, 및 TV(110)의 사용자(112)에게 오디오 정보로서 프리젠테이션하기 위해서 네트워크(106)로부터 수신된 VoIP 패킷을 복호화하는 것을 담당한다. 마이크로 폰(228)은 TV(110)에 통합되거나 또는 유선 또는 무선 접속 방식에 의해서 TV(110)에 접속될 수 있다.
비디오 엔진(217)은 화상 통화에서 (예컨대, 웹 캠(220) 또는 기타 비디오 카메라로부터) TV에 입력되는 비디오 신호를 네트워크(106)를 통해 전송하기 위한 비디오 패킷으로서 부호화하는 것, 및 화상 통화에서 TV(110)의 사용자(112)에게 비디오 이미지로서 프리젠테이션하기 위해서 네트워크(106)로부터 수신된 비디오 패킷을 복호화하는 것을 담당한다. 웹 캠(220)은 TV(110)에 통합되거나 또는 유선 또는 무선 접속 방식에 의해서 TV(110)에 접속될 수 있다.
TV 사용자 인터페이스("UI", user interface)(218)는 시각적 정보를 TV 스크린(202) 상에 표시되는 그래픽 사용자 인터페이스의 형태로 TV(110)의 사용자(112)에게 표시하는 것을 담당한다.
클라이언트 엔진(214)은 UI가 사용자에게 무엇을 표시할 것인지를 제어하기 위해서 TV UI(218)에 접속된다. 클라이언트 엔진(214)은 또한 네트워크(106)를 통한 효과적인 음성 및 비디오 패킷의 송수신을 위해서 오디오 엔진(216)과 비디오 엔진(217)에 긴밀하게 통합된다.
비디오 엔진(217)은 FB2(208)에 접속되어 비디오 데이터가 TV 스크린(202) 상에 표시될 수 있도록 한다.
TV UI(218)는 FB1(206)에 접속되어 있으며, 따라서 그래픽 사용자 인터페이스 데이터는 버퍼링된 다음 궁극적으로 스크린(202) 상의 사용자에게 표시된다. TV UI(218)는 또한 증폭기(210)에 접속되어, TV 스피커(212)로부터 음향(예를 들어, 음성 신호 또는 통지)이 재생될 수 있도록 한다. TV UI(218)는 또한 원격 제어 장치를 사용하여 통신하기 위해서 사용되는 적외선("IR", infra-red) 수신기(224) 및/또는 블루투스 송수신기(126)에 접속될 수 있다.
내장 통신 클라이언트가 STB(또는 기타 TV 접속 장치)의 형태로 제공되는 경우에는 스크린(202), 증폭기(210), 스피커(212), 웹 캠(220), 및 마이크로 폰(228) 블록이 TV 자체 내에 위치하고, 반면에 나머지 기능 블록들은 TV에 접속되는 셋톱 박스 내에 위치한다는 점에서 도 1의 시스템과 상이하다.
클라이언트 엔진(214)은 마이크로 폰(228)으로부터의 입력을 수신하는 오디오 모니터링 애플리케이션(230), 및 카메라(220)로부터의 입력을 수신하는 비디오 모니터링 애플리케이션(232)을 포함한다. 모니터링 애플리케이션(230, 232)은 그들 각각의 입력을 분석하도록 동작할 수 있다.
TV(110)는 그 주변 환경을 연속적으로 청음하도록 구성된다. 즉, TV(110)는 분석을 위해서 오디오 모니터링 애플리케이션(230)의 입력이 되는 오디오 신호를 마이크로 폰(228)을 사용하여 연속적으로 캡처하도록 구성된다.
TV(110)는 또한 그 주변 환경을 연속적으로 주시하도록 구성된다. 즉, TV(110)는 분석을 위해서 비디오 모니터링 애플리케이션(232)의 입력이 되는 비디오 신호를 카메라(220)를 사용하여 연속적으로 캡처하도록 구성된다.
도 3은 통신 시스템(100)을 통해 통신하기 위한 통신 클라이언트 인스턴스(306)가 실행된 사용자 장치(114)의 상세를 도시하고 있다. 사용자 장치(114)는 중앙 처리 장치("CPU") 또는 "처리 모듈"(302)을 포함하고 있으며, 여기에는, 터치 스크린으로서 구현될 수 있는 디스플레이(308), 오디오 신호를 출력하기 위한 스피커(또는 '라우드 스피커'(loudspeaker))와 같은 출력 장치, 오디오 신호를 수신하기 위한 마이크로 폰(312), 이미지 데이터를 수신하기 위한 카메라(316), 및 키패드(318)와 같은 입력 장치, 데이터 저장용 메모리(314), 및 네트워크(106)와 통신하기 위한 모뎀과 같은 네트워크 인터페이스(320)가 연결된다. 사용자 장치(114)는 도 2에 나타낸 구성 요소 이외의 다른 구성 요소를 포함할 수 있다. 디스플레이(308), 스피커(310), 마이크로 폰(312), 메모리(314), 카메라(316), 키패드(318), 및 네트워크 인터페이스(320)는 도 2에 나타낸 바와 같이 사용자 장치(104)에 통합될 수 있다. 다른 실시예의 사용자 장치에 있어서, 하나 이상의 디스플레이(308), 스피커(310), 마이크로 폰(312), 메모리(314), 카메라(316), 키패드(318), 및 네트워크 인터페이스(320)는 사용자 장치(114)에 통합되지 않을 수 있으며, 또한 대응하는 인터페이스를 통해 CPU(302)에 접속될 수 있다. 그와 같은 인터페이스의 일례는 USB 인터페이스이다. 네트워크 인터페이스(320)를 통해 네트워크(106)에 접속되는 사용자 장치(114)의 접속이 무선 접속인 경우라면, 네트워크 인터페이스(320)는 네트워크(106)로 무선으로 신호를 송신하고 또한 네트워크(106)로부터 무선으로 신호를 수신하기 위한 안테나를 포함할 수 있다.
도 3은 또한 CPU(302) 상에서 실행되는 운영 체제("OS")를 나타낸다. OS(304)의 최상부에서 동작하는 것은 통신 시스템(100)의 클라이언트 인스턴스(306) 소프트웨어이다. 운영 체제(304)는 컴퓨터의 하드웨어 자원을 관리하고 또한 네트워크 인터페이스(320)를 통해 네트워크(106)로의 송신 및 네트워크로부터 송신되는 데이터를 취급한다. 클라이언트(306)는 운영 체제(304)와 통신하고 또한 통신 시스템을 통한 접속을 관리한다. 클라이언트(306)는 사용자(112)에게 정보를 표시하고 또한 사용자(112)로부터 정보를 수신하는데 사용되는 클라이언트 사용자 인터페이스를 가지고 있다. 이런 방식으로, 클라이언트(306)는 사용자(102)가 통신 시스템(100)을 통해 통신할 수 있도록 하는데 필요한 처리를 수행한다.
이하에서는 도 4를 참조하여 방법(400)에 대해서 설명한다. 이 방법은 장치(112)가 TV(110)에 대해서 이들 사이에 있어서 임의의 사전 관계를 요구하지 않고도, 즉 장치(114 및 110)가 서로에 대해서 "이방인(stranger)"일 수 있는 상태에서, 컴패니언 장치로서 동작 가능하도록 한다. 장치(114)와 TV(110)는 상술한 방법의 일부로서 임시 페어링된다(즉, 양쪽 모두에서 페어링 모드가 시작됨).
상술한 바와 같이, 장치(114)는 하나 이상의 출력부를 통해 사용자(112)에게 경험을 전달한다.
단계(S402)에서, 백 엔드 서버는 고유 식별자를 포함하는 메시지를 장치(114) 상에서 실행되는 클라이언트(108c)로 전송한다. 고유 식별자는 통신 시스템(100) 내의 장치(114)의 신원을 식별한다. 이를 위해서, 백 엔드 서버(120)는 장치(114)의 네트워크 주소와 관련된 고유 식별자를 저장하도록 동작할 수 있다.
장치(114)는 이벤트의 통지를 수신하도록 구성된다. 단계(S404)에서, 이벤트는 컴패니언 장치(114)를 동작시켜서 고유 식별자가 부호화된 이벤트의 표시(406)를 무선 인터페이스를 통해 출력한다. 이벤트는, 예를 들면, 사용자 장치(104)로부터 컴패니언 장치(114)에서 수신된 음성 수신 통화 또는 화상 통화와 같은 통신 이벤트(이 경우에, 통지는 사용자 장치(104) 또는 백 엔드 서버(120)로부터 네트워크(106)를 통해 수신됨)일 수 있다.
이와 달리, 이벤트는 사용자(112)로부터의 입력(이 경우에, 통지는 장치(114)의 입력 수단을 통해 수신됨)일 수 있으며, 이 경우에 있어서, 사용자(112)는 백 엔드 서버(120)로부터 식별자를 요청한다. 즉, 사용자 입력에 응답하여, 클라이언트(108c)는 식별자에 대한 요청을 생성하고 서버(120)로 송신하며, 서버는 응답으로 식별자를 반환한다. 이는 사용자가 회의실로 들어가서 회의실 내의 TV/모니터를 사용하여 (예컨대) 자신의 개인용 컴퓨터(PC, Personal Computer)로부터의 프리젠테이션을 공유하고자 하는 화면 공유의 경우에 적용할 수 있다. 사용자(112)는 자신의 PC 클라이언트 상에서 서버(12)로부터 식별자를 요청하는 옵션을 선택한다. PC는 표시자를 송신(예컨대, 재생)하고, 또한 TV/모니터가 이 표시자를 수신(예컨대, 청음)하는 경우, 화면 공유에 대한 옵션이 주어지고 이후에 사용자가 선택한다.
표시는 스피커(310)를 통해 재생되는 오디오 표시(경보) 및/또는 디스플레이(308)를 통해 표시되는 시각적 표시의 형태일 수 있다.
표시는, TV(110)에 의해서 검출 가능하고, 또한 TV가 인식 가능하며, 따라서 TV(110)는 이 표시 내에 부호화된 고유 식별자를 식별하고 또한 복호화할 수 있다.
표시가 스피커(310)를 통해 재생되는 경보(406)인 실시예에 있어서, 고유 식별자는 비가청 (음향) 워터마크로 부호화되어 있다. 비가청 워터마크의 형태로 정보를 부호화하고 복호화하는 기법은 본 발명이 속하는 기술 분야에서 공지되어 있다.
이는 사용자(112)가 전화 수신 시에 재생되어지는 수신 전화에 대한 (예컨대) 맞춤형 벨 소리를 선택(즉, 그 자체로서 TV(110)가 인식할 수 있어야 할 필요가 없음)할 수 있게 한다. 수신 전화에 응답하여 오디오 스트림으로서의 벨 소리를 재생하기 전에, 클라이언트(306)는 이 오디오 스트림에 워터마크를 삽입한다. 따라서, 스피커(312)를 통해 재생되는 경보는 사용자에게 전화가 수신되었음을 알리도록 기능하는 가청 요소, 및 고유 식별자를 TV(110)에 전달하도록 기능하는 비가청 요소 모두를 가지고 있다.
단계(S408)에서, 경보는 (상술한 바와 같이, 그 주변 환경을 지속적으로 청음하고 있는) 마이크로 폰(228)에 의해서 오디오 신호로서 캡처되고, 이 오디오 신호는 오디오 모니터링 애플리케이션(230)에 입력되고 분석된다. 모니터링 애플리케이션(320)은 이 비가청 워터마크를 검출하고 이를 복호화하여 고유 식별자를 추출한다.
단계(S410)에서, TV(110) 상에서 실행되는 클라이언트(108b)는 네트워크(106)를 통해 네트워크 노드(본 실시예에서는 백 엔드 서버(120))에 메시지를 전송한다. 메시지는 백 엔드 서버에게 TV(110)가 비가청 워터마크를 검출하였음을 표시한다. 이 메시지와 함께, TV(110)는 자신의 고유 식별자 뿐만 아니라, 예를 들어서 일련의 장치 성능(여기에는 특히 화상 통화가 가능한지, 화면 공유 기능을 가지고 있는지, 특히 화면의 크기에 대한 표시가 포함될 수 있음)의 형태로 자신의 성능 표시를 전송한다.
단계(S412)에서, 백 엔드 서버는 TV(100)의 상세(그 성능 포함)와 함께 메시지를 네트워크(106)를 통해 장치(114)의 클라이언트(108c)에게 전달한다. 이에 응답하여, 장치(114)는 (네트워크(106)를 통해) 컴패니언 장치(114)를 사용하여 TV(110)와 상호 작용하도록 사용자(112)에게 선택 가능한 옵션을 표시(단계(S414))하도록 동작할 수 있다. 단계(S416)에서, 사용자(112)는 표시된 옵션을 선택하고, 이는 경험의 적어도 일부를 TV(110)로 전달하는 것에 의해서 장치(114)와 TV(110)의 (임시) 페어링 모드를 시작한다.
예를 들면, 이벤트가 원격지에서 발신 사용자(예를 들면, 사용자(102))로부터 컴패니언 장치(114)에서 수신된 통신 이벤트(예를 들면, 음성 수신 통화 또는 화상 통화)인 경우, 장치(114) 상에 표시된 옵션 중의 하나는 대신에 이 통신 이벤트를 TV(110)로 전달하는 것(즉, 장치(114)가 아니라 TV에서 통화에 응답하거나, 또는 계속하는 것)일 수 있다. 사용자가 옵션을 선택하여 통신 이벤트를 전달하면, 장치(114)는 TV(110)의 네트워크 주소를 포함하는 발신 사용자에게 메시지를 전달하고, 이에 의해서 발신 사용자 및 TV(110) 사이에 네트워크 접속이 확립되고, 따라서 호(call)가 TV로 전송될 수 있도록 한다. 즉, 호는 컴패니언 장치(114)에 로그인된 "사용자 B"로부터TV(110)에서 로그인되어 있는 "회사 X"로 전달될 수 있다.
이 호는 전화를 받기 전에 (예컨대, "통화 연결(ringing)" 기간) TV(110)로 전달되고, 이후에 TV(110)에서 통화연결이 이루어질 수 있다. 또는, 호가 먼저 장치(114)에서 확립될 수 있고, 이후에 (즉, 통화 중에) 전환될 수도 있다.
다른 예로는 컴패니언 장치(114)("사용자 B"로 로그인됨) 및 TV(110)("회사 X"로 로그인됨) 사이에서의 화면 공유, 즉 장치(114)의 디스플레이(308) 상에 현재 표시되고 있는 이미지를 네트워크(106)를 통해 TV(110)로 전달하여 스크린(202) 상에서 표시하도록 시작하는 옵션일 수 있다.
사용자 식별자는 장치(114)에서 수신된 통신 이벤트의 일부를 형성할 수 있다. 예를 들어서, 수신 통화의 경우에 있어서, 고유 식별자는 통화와 함께 장치(144)로 전달될 수 있다.
이와 달리 또는 추가적으로, 사용자는 (예컨대, 컴패니언 장치(114)와 TV(110) 간의 화면 공유를 위해서) TV(110)와의 접속을 확립하기 위해서 경보를 의도적으로 생성하는 옵션을 선택할 수 있으며, 이 경우에 있어서, 장치(114)는 백 엔드 서버(120)로부터 임시 식별자를 요청하여 비가청 워터마크로 부호화한다.
경험의 적어도 일부만이 TV(110)로 전달되며, 이때 장치(114)는 경험의 나머지를 전달하는 것으로 상정된다. 예를 들어서, 장치(114)는 네트워크(106)를 통해 사용자(102)와의 화상 통화 및 사용자(102)와의 화면 공유를 모두 확립할 수 있다. 사용자(112)가 TV(110)로의 화면 공유 기능의 전환을 선택하면, 이에 따라서 사용자(112)는 장치(114)를 사용하는 화상 통화는 계속하면서 TV(110) 상의 장치(104)의 디스플레이 이미지를 감상할 수 있다.
경험의 적어도 일부만이 TV(110)로 전달되는 다른 경우는, 장치(114)와 TV(110) 간의 화면을 공유하는 경우이다. 이 경우에 있어서, 단독 경험은 처음에 사용자(112)에게 전달되며, 여기에는 디스플레이(308) 상에 이미지를 표시하는 것이 포함된다. 상술한 바와 같이, 화면 공유를 확립함에 있어서, 이 경험의 일부는 TV(110)로 전달되고, 또한 TV에 의해서 전달되며(여기에는 스크린(202) 상에 동일한 이미지를 표시하는 것이 포함됨), 이때 장치(112)는 (마찬가지로 스크린(308) 상에 계속 동일한 이미지를 표시함으로써) 경험의 나머지를 전달한다.
또한, 전체 경험은 장치(114)로부터 TV(110)으로 전달될 수 있으며, 예컨대, 통신 이벤트가 장치(114)로부터 TV(110)로 전달된다면 이후에는 TV(110)만 사용(장치(114)는 제외)하여 수행되는 것으로 상정된다.
이해하고 있는 바와 같이, 장치(114)와 TV(110)는 (블루투스 페어링과 같은) 임의의 전통적인 방식으로 "페어링"되지 않아도 되는데, 이는 본 발명의 방법이 식별자의 교환을 통해 임시 페어링을 허용하고 있기 때문이다. 따라서, 장치(114)와 TV(110)는 서로에 대해서 미지의 상태일 수 있다. 장치(114)와 TV(110) 간의 유일한 직접 통신은 오디오 신호의 교환을 통하는 것이다. 이는 어떠한 형태의 인증(예를 들면, 공통 비밀 번호, 로그인 등)도 필요로 하지 않으며, 따라서 "이방인" 장치가 최소한의 사용자 입력을 요구하면서 컴패니언 관계를 신속하게 또한 효과적으로 확립할 수 있도록 한다. 이후에, 임의의 추가적인 통신은 네트워크(106)를 통해 발생하게 된다.
고유 식별자는 전화 호출에 바로 이은 화면 공유 등에 있어서, 이 식별자가 장치(114)로부터 연결 해제되고 따라서 이 식별자가 장치(114)와의 접속을 확립하는데 더 이상 사용되지 않는다는 점에서 임시적일 수 있다. 이는 회의에 참석한 사용자가 임시적으로는 (네트워크(106)를 통해) 태블릿 장치와 회의실 TV 사이의 화면 공유를 시작하지만, 이들 사이에서의 영구적인 관계 확립은 원하지 않는 (예컨대) 회의실 설정에서는 바람직할 수 있다.
다른 실시예에 있어서, 경보를 대신하여 또는 이에 추가하여, 고유 식별자가 부호화된 신속 반응(QR, Quick Response) 코드와 같은 시각적 표시가 장치(144)의 디스플레이(308) 상에 표시되도록 이벤트가 시작될 수 있다. 이를 달성하기 위한 기법들은 본 발명이 속하는 기술 분야에서 공지되어 있다. 디스플레이(308)가 카메라(220)에 보여질 수 있도록 함으로써, TV(110)는 시각적 표시의 이미지 데이터를 캡처하고(상술한 바와 같이, TV(110)는 지속적으로 환경을 관찰하고 있음) 또한 이 시각적 표시 내의 식별자를 복호화하게 된다. 예를 들어서, 장치(114)가 스마트 폰인 실시예에 있어서, 사용자(112)는 디스플레이(308)는 카메라(220)를 향해서 지향될 수 있다. 비디오 모니터링 애플리케이션(232)은 이후에 캡처된 이미지 데이터를 분석하고, 시각적 표시를 검출하고, 또한 이벤트가 발생하였는지를 결정하게 된다. 이후에, 상술한 바와 같이 본 발명의 방법은 계속 진행된다(단계(S410) 이후).
일반적으로, 본 명세서에서 설명한 임의의 기능(예컨대, 도 2 및 도3에 나타낸 기능 블록, 및 도 4에 나타낸 기능 단계)은 소프트웨어, 펌웨어, 하드웨어(예컨대, 고정 논리 회로), 또는 이들 구현의 조합을 사용하여 구현될 수 있다. 도 2 및 도 3에서 분리하여 설명한 모듈 및 단계는 별도의 모듈 또는 단계로 구현될 수도 있고 그렇지 않을 수도 있다. 본 명세서에서 사용된 "모듈", "기능", "구성", "논리"라는 용어는 일반적으로 소프트웨어, 펌웨어, 하드웨어 및 이들의 조합을 나타낸다. 소프트웨어로 구현되는 경우, 모듈, 기능, 또는 논리는 프로세서(예컨대, CPU 또는 CPU들) 상에서 실행되는 경우 특정 작업을 수행하는 프로그램 코드를 나타낸다. 프로그램 코드는 하나 이상의 컴퓨터 판독 가능 메모리 장치에 저장될 수 있다. 본 명세서에서 설명된 기법들의 특징은 플랫폼과 무관하며, 이는 이들 기법이 다양한 프로세서를 갖는 다양한 상업적 컴퓨팅 플랫폼 상에 구현될 수 있음을 의미할 수 있다. 예를 들면, 사용자 장치는 또한 사용자 장치의 하드웨어가, 예컨대 프로세서의 기능 블록의 동작을 수행하도록 하는 등의 개체(예컨대, 소프트웨어)를 포함할 수 있다. 예를 들면, 사용자 장치는 사용자 장치, 및 더욱 구체적으로는 사용자 장치의 운영 체제 및 관련 하드웨어가 이들 동작을 수행하도록 하는 명령어를 유지하도록 구성될 수 있는 컴퓨터 판독 가능 매체를 포함할 수 있다. 따라서, 명령어는 이들 동작을 수행하도록 운영 체제 및 관련 하드웨어가 구성되도록 기능하며 또한 이런 방식으로 기능을 수행하도록 운영 체제 및 관련 하드웨어를 변형시킨다. 명령어는 컴퓨터 판독 가능 매체에 의해서 서로 다른 다양한 구성을 통해 사용자 장치에 제공될 수 있다.
이와 같은 컴퓨터 판독 가능 매체 중의 하나의 구성은 신호 담지 매체이며, 따라서 이 매체는 (예컨대, 반송파로서의) 명령어를, 예를 들어 네트워크를 통해 컴퓨팅 장치로 전송하도록 구성되어 있다. 컴퓨터 판독 가능 매체는 또한 컴퓨터 판독 가능 저장 매체로서 구현될 수 있으며, 따라서 신호 담지 매체는 아니다. 컴퓨터 판독 가능 저장 매체의 예에는 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 광 디스크, 플래시 메모리, 하드 디스크 메모리, 및 자기, 광학, 및 명령어 및 기타 데이터를 저장하는 기타 기법을 사용하는 기타 메모리 장치가 포함된다.
구조적인 특징 및/또는 방법적인 단계에 특유한 표현을 이용하여 본 발명을 설명하였지만, 첨부 특허청구범위에서 정의된 청구 대상은 전술한 구체적인 특징이나 방법만으로 반드시 한정되는 것은 아니다. 오히려, 전술한 구체적인 특징과 단계들은 특허청구범위를 구현하는 예시적인 형태로서 기술된 것이다.
구체적으로, 전술한 각 실시예에서는 내장 통신 클라이언트를 갖는 TV를 기준으로 하여 설명하였지만, 이 클라이언트는 TV에 접속되기 위한 다른 유형의 미디어 장치, 예를 들어서 셋톱 박스, 게임 콘솔, 또는 비디오 재생 장치(예컨대, 비디오 디스크 플레이어 또는 개인 비디오 녹화기)와 같은 장치에 내장될 수도 있음을 알아야 한다.
또한, 전술한 각 실시예에서는 통신 클라이언트에 의해서 전달되는 특정 경험을 기준으로 하여 설명하였지만, 전형적인 사용자 장치는 다양한 버전의 서로 다른 애플리케이션 또는 "앱"을 실행할 수 있으며, 이들의 각각은 이 장치에 적합한 특정 경험을 전달할 수 있음을 잘 알 것이다. 마찬가지로, 전형적인 미디어 장치는 또한 다른 경험을 제공하는 이들 (잠재적으로는 서로 다른) 다양한 버전의 애플리케이션 또는 "앱"을 실행할 수 있다. 청구범위에서 청구하고자 하는 대상은 이와 같은 모든 경험, 즉 사용자 장치와 미디어 장치가 경험을 전달하도록 협력하여 동작하면서, 사용자 장치에 의해서 전달된 전체 경험을 미디어 장치로 전달하여 이 경험이 이후에 대체 경험의 형태로 그 전체가 미디어 장치에 의해서 제시될 수 있도록 하는 것과, 사용자 장치로부터의 경험을 미디어 장치로 부분적으로 전달하여 이 부분적인 경험이 미디어 장치에 의해서 전달되고 또한 이 경험의 나머지 경험이 이후에 사용자 장치에 의해서 전달되도록 하는 것의 모두에 넓게 적용될 수 있음을 알아야 한다.
Claims (32)
- 사용자 장치로서,
사용자 장치의 독립형 모드(standalone mode)에서 사용자에게 경험을 전달하도록 구성된 출력부와,
이벤트의 통지를 수신하도록 구성된 입력부와,
상기 통지의 수신에 응답하여, 상기 사용자 장치의 스피커에서 재생(play out)되는 표시를 생성하는 표시 생성기 -상기 표시는 상기 이벤트와 관련된 식별자를 포함하고, 상기 표시는 미디어 장치가 식별된 이벤트에 대해 상기 사용자 장치와 페어링될 수 있게 하는 데 효과적임- 와,
처리부
를 포함하되, 상기 처리부는,
네트워크를 통해 네트워크 노드로부터 메시지를 수신하고 -상기 메시지는 상기 미디어 장치가 상기 식별자를 검출하였음을 표시하고, 상기 미디어 장치의 정보를 포함함- ,
상기 네트워크 노드로부터 수신된 상기 메시지를 처리하고 상기 출력부를 통해 상기 사용자 장치의 사용자에게 선택 가능한 옵션을 제공하며 -상기 선택 가능한 옵션은 상기 미디어 장치의 상기 정보에 기초하여 제공됨- ,
상기 사용자에 의해서 상기 옵션이 선택되는 것을 검출하고 상기 경험의 적어도 일부를 상기 미디어 장치로 전달함으로써 상기 사용자 장치의 페어링 모드를 시작
하도록 구성된, 사용자 장치.
- 제1항에 있어서,
상기 출력부는 디스플레이를 포함하는,
사용자 장치.
- 제1항에 있어서,
상기 표시는 오디오 표시로서 생성되는,
사용자 장치.
- 제3항에 있어서,
상기 식별자는 음향 워터마크(sonic watermark)를 포함하는,
사용자 장치.
- 제1항에 있어서,
상기 출력부는 시각적 표시로서 상기 표시를 출력하도록 구성되는,
사용자 장치.
- 제5항에 있어서,
상기 식별자는 빠른 응답 코드(QR 코드)를 포함하는,
사용자 장치.
- 제1항에 있어서,
상기 이벤트는 상기 네트워크를 통해 상기 네트워크 노드로부터 수신되는 통신 이벤트인,
사용자 장치.
- 제7항에 있어서,
상기 식별자는 상기 통신 이벤트에서 수신되는,
사용자 장치.
- 제1항에 있어서,
상기 이벤트는 상기 사용자 장치의 상기 사용자로부터의 입력인,
사용자 장치.
- 제9항에 있어서,
상기 표시 생성기는, 상기 이벤트의 수신에 응답하여 상기 네트워크 노드에게 상기 표시 내에 삽입하기 위한 상기 식별자를 요청하는,
사용자 장치.
- 제1항에 있어서,
상기 처리부는 네트워크를 통해 제2 사용자 장치와의 통신 이벤트를 확립하도록 통신 클라이언트를 실행하도록 구성되는,
사용자 장치.
- 제11항에 있어서,
상기 처리부는 상기 사용자가 선택한 상기 옵션의 검출에 기초하여 상기 통신 이벤트를 상기 미디어 장치로 전달하도록 구성되는,
사용자 장치.
- 제11항에 있어서,
상기 출력부는 디스플레이를 포함하고, 상기 처리부는 상기 디스플레이 상에 표시된 이미지 데이터를 상기 네트워크를 통해 상기 미디어 장치로 전달하도록 구성되는,
사용자 장치.
- 제1항에 있어서,
상기 미디어 장치의 상기 정보는 상기 미디어 장치의 성능에 관한 정보를 포함하는,
사용자 장치.
- 제1항에 있어서,
상기 사용자 장치가 상기 페어링 모드에서 동작하는 경우에, 상기 경험의 상기 적어도 일부는 상기 네트워크를 통해 상기 미디어 장치로 전달되는,
사용자 장치.
- 미디어 장치로서,
사용자 장치의 스피커로부터 출력되는 이벤트의 식별자의 표시를 직접 검출하도록 구성된 검출부 - 상기 식별자는 상기 사용자 장치에서의 이벤트와 관련되고, 상기 표시는 상기 미디어 장치가 식별된 이벤트에 대해 상기 사용자 장치와 페어링될 수 있게 하는 데 효과적임 - 와,
처리부 -상기 처리부는 상기 표시 내의 식별자를 복호화하고, 네트워크를 통해 네트워크 노드에 상기 미디어 장치의 존재를 상기 네트워크 노드에 표시하는 메시지를 송신하며, 상기 사용자 장치가 상기 미디어 장치에서 독립형 모드로 동작하는 경우 상기 사용자 장치에서 전달되도록 구성된 경험의 전달된 적어도 일부를 수신하도록 구성됨 - 와,
상기 미디어 장치의 사용자에게 상기 경험의 적어도 일부를 전달하도록 구성되는 출력부
를 포함하는, 미디어 장치.
- 제16항에 있어서,
상기 검출부는 오디오 표시를 검출하는 마이크로 폰을 포함하는,
미디어 장치.
- 제17항에 있어서,
상기 식별자는 음향 워터마크를 포함하는,
미디어 장치.
- 제16항에 있어서,
상기 검출부는 상기 식별자를 포함하는 시각적 표시를 검출하는 카메라를 더 포함하는,
미디어 장치.
- 사용자 장치가 독립형 모드에서 동작하는 경우 상기 사용자 장치에서 전달되도록 구성된 경험의 적어도 일부를 미디어 장치로 전달하는 방법으로서,
상기 미디어 장치에서, 상기 사용자 장치의 스피커로부터 출력된 이벤트의 식별자의 표시를 직접 검출하는 단계 -상기 식별자는 이벤트와 관련되고, 상기 표시는 미디어 장치가 식별된 이벤트에 대해 상기 사용자 장치와 페어링될 수 있게 하는 데 효과적임- 와,
상기 표시 내의 상기 식별자를 복호화하는 단계와,
네트워크를 통해 네트워크 노드에 메시지를 송신하는 단계 -상기 메시지는 상기 네트워크 노드에게 상기 미디어 장치의 존재를 나타내고 상기 복호화된 식별자 및 상기 미디어 장치의 성능에 관련된 정보를 포함함- 와,
전달된 상기 경험의 적어도 일부를 상기 미디어 장치에서 수신하는 단계와,
상기 미디어 장치의 출력부를 통해 상기 경험의 적어도 일부를 상기 미디어 장치의 사용자에게로 전달하는 단계
를 포함하는, 방법.
- 제20항에 있어서,
상기 출력부는 디스플레이를 포함하는,
방법.
- 제20항에 있어서,
상기 표시는 오디오 표시로서 생성되는,
방법.
- 제22항에 있어서,
상기 식별자는 음향 워터마크(sonic watermark)를 포함하는,
방법.
- 제20항에 있어서,
상기 사용자 장치는 시각적 표시로서 상기 표시를 출력하도록 구성되는,
방법.
- 제24항에 있어서,
상기 식별자는 빠른 응답 코드(QR 코드)를 포함하는,
방법.
- 제20항에 있어서,
상기 이벤트는 상기 네트워크를 통해 상기 네트워크 노드로부터 수신되는 통신 이벤트인,
방법.
- 제26항에 있어서,
상기 식별자는 상기 통신 이벤트에서 수신되는,
방법.
- 제20항에 있어서,
상기 이벤트는 상기 사용자 장치의 상기 사용자로부터의 입력인,
방법.
- 제28항에 있어서,
상기 사용자 장치는, 상기 이벤트의 수신에 응답하여 상기 네트워크 노드에게 상기 표시 내에 삽입하기 위한 상기 식별자를 요청하는,
방법.
- 제20항에 있어서,
상기 사용자 장치는 네트워크를 통해 제2 사용자 장치와의 통신 이벤트를 확립하도록 통신 클라이언트를 실행하도록 구성되는,
방법.
- 제30항에 있어서,
상기 사용자 장치는 상기 미디어 장치의 상기 정보에 기초하여 선택 가능한 옵션을 표시하도록 구성되고,
상기 사용자 장치는 상기 사용자가 선택한 상기 옵션의 검출에 기초하여 상기 통신 이벤트를 상기 미디어 장치로 전달하도록 구성되는,
방법.
- 제30항에 있어서,
상기 사용자 장치는 디스플레이를 포함하고, 상기 사용자 장치는 상기 디스플레이 상에 표시된 이미지 데이터를 상기 네트워크를 통해 상기 미디어 장치로 전달하도록 구성되는,
방법.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/921,096 US9172908B2 (en) | 2013-06-18 | 2013-06-18 | Unpaired devices |
US13/921,096 | 2013-06-18 | ||
PCT/US2014/042215 WO2014204788A1 (en) | 2013-06-18 | 2014-06-13 | Unpaired devices |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20160022308A KR20160022308A (ko) | 2016-02-29 |
KR102223411B1 true KR102223411B1 (ko) | 2021-03-04 |
Family
ID=51168408
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020157035837A KR102223411B1 (ko) | 2013-06-18 | 2014-06-13 | 페어링되지 않은 장치 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9172908B2 (ko) |
EP (1) | EP2995089B1 (ko) |
KR (1) | KR102223411B1 (ko) |
CN (1) | CN105474653B (ko) |
WO (1) | WO2014204788A1 (ko) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2203241A4 (en) | 2008-10-31 | 2011-01-12 | Calera Corp | CEMENT-FREE COMPOSITIONS WITH CO2 SEQUESTRATION ADDITIVES |
GB2538935A (en) * | 2015-02-26 | 2016-12-07 | Piksel Inc | Linking devices |
CN107612628A (zh) * | 2016-07-12 | 2018-01-19 | 中兴通讯股份有限公司 | 一种基于声码标签的配置方法及设备 |
KR102590426B1 (ko) | 2016-10-14 | 2023-10-18 | 삼성전자주식회사 | 동반 장치를 관리하는 방법 및 그를 이용하는 전자 장치 |
US11310294B2 (en) * | 2016-10-31 | 2022-04-19 | Microsoft Technology Licensing, Llc | Companion devices for real-time collaboration in communication sessions |
US11546391B2 (en) | 2019-11-01 | 2023-01-03 | Microsoft Technology Licensing, Llc | Teleconferencing interfaces and controls for paired user computing devices |
US11304246B2 (en) | 2019-11-01 | 2022-04-12 | Microsoft Technology Licensing, Llc | Proximity-based pairing and operation of user-specific companion devices |
US11256392B2 (en) | 2019-11-01 | 2022-02-22 | Microsoft Technology Licensing, Llc | Unified interfaces for paired user computing devices |
GB2594937A (en) * | 2020-05-08 | 2021-11-17 | Daimler Ag | A method for pairing a first computing device with at least a second computing device by an assistance system, as well as an assistance system |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009246885A (ja) * | 2008-03-31 | 2009-10-22 | Yamaha Corp | 会議通信システム |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6339706B1 (en) | 1999-11-12 | 2002-01-15 | Telefonaktiebolaget L M Ericsson (Publ) | Wireless voice-activated remote control device |
US7130584B2 (en) * | 2003-03-07 | 2006-10-31 | Nokia Corporation | Method and device for identifying and pairing Bluetooth devices |
US7394366B2 (en) | 2005-11-15 | 2008-07-01 | Mitel Networks Corporation | Method of detecting audio/video devices within a room |
US20070245384A1 (en) * | 2006-04-12 | 2007-10-18 | Edward Walter | External notification methods and apparatus for cellular communications |
GB2452021B (en) * | 2007-07-19 | 2012-03-14 | Vodafone Plc | identifying callers in telecommunication networks |
US8253772B2 (en) | 2008-04-04 | 2012-08-28 | Centurylink Intellectual Property Llc | Method, apparatus and system for incorporating voice or video communication into a television or compatible audio capable visual display |
RU2398356C2 (ru) | 2008-10-31 | 2010-08-27 | Cамсунг Электроникс Ко., Лтд | Способ установления беспроводной линии связи и система для установления беспроводной связи |
EP2306692B1 (en) | 2009-10-02 | 2014-05-21 | BlackBerry Limited | Methods and devices for facilitating bluetooth pairing using a camera as a barcode scanner |
KR101314865B1 (ko) * | 2010-07-06 | 2013-10-04 | 김덕중 | 모바일 환경에서 tv 화면과 연동하는 증강 현실을 제공하는 방법, 이를 위한 부가 서비스 서버 및 방송 시스템 |
KR20120097007A (ko) * | 2011-02-24 | 2012-09-03 | 삼성전자주식회사 | 전자기기에서 다양한 무선 연결의 페어링 방법 및 시스템 |
JP5421316B2 (ja) | 2011-03-22 | 2014-02-19 | パナソニック株式会社 | ポータブル端末、ペアリングシステム、ペアリング方法 |
US20120287231A1 (en) | 2011-05-12 | 2012-11-15 | Sreekanth Ravi | Media sharing during a video call |
US8896651B2 (en) | 2011-10-27 | 2014-11-25 | Polycom, Inc. | Portable devices as videoconferencing peripherals |
US20140112463A1 (en) * | 2012-10-19 | 2014-04-24 | Ideal Systems Nv | Method and system to establish a call to a contact center |
US8813134B2 (en) * | 2012-12-20 | 2014-08-19 | Verizon Patent And Licensing Inc. | Mobile device caller ID to smart TV devices |
-
2013
- 2013-06-18 US US13/921,096 patent/US9172908B2/en active Active
-
2014
- 2014-06-13 KR KR1020157035837A patent/KR102223411B1/ko active IP Right Grant
- 2014-06-13 WO PCT/US2014/042215 patent/WO2014204788A1/en active Application Filing
- 2014-06-13 CN CN201480034966.5A patent/CN105474653B/zh active Active
- 2014-06-13 EP EP14737425.0A patent/EP2995089B1/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009246885A (ja) * | 2008-03-31 | 2009-10-22 | Yamaha Corp | 会議通信システム |
Also Published As
Publication number | Publication date |
---|---|
WO2014204788A1 (en) | 2014-12-24 |
EP2995089A1 (en) | 2016-03-16 |
US9172908B2 (en) | 2015-10-27 |
US20140368603A1 (en) | 2014-12-18 |
CN105474653A (zh) | 2016-04-06 |
EP2995089B1 (en) | 2018-04-04 |
CN105474653B (zh) | 2018-11-30 |
KR20160022308A (ko) | 2016-02-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102223411B1 (ko) | 페어링되지 않은 장치 | |
EP2335409B1 (en) | Communication system and method | |
KR101593257B1 (ko) | 통신 시스템 및 방법 | |
US8413199B2 (en) | Communication system and method | |
EP2335411B1 (en) | Communication system and method | |
US8473994B2 (en) | Communication system and method | |
US8407749B2 (en) | Communication system and method | |
KR102148906B1 (ko) | 페어링된 디바이스 | |
WO2018184266A1 (zh) | 直播频道中的通信方法、装置及*** | |
TW201725882A (zh) | 行動裝置的廣播通訊方法及無線電雲端系統的通訊方法 | |
WO2014026625A1 (zh) | 音频输入状态处理方法、发送端设备及接收端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |