KR20210157799A - Wireless system and wireless device - Google Patents

Wireless system and wireless device Download PDF

Info

Publication number
KR20210157799A
KR20210157799A KR1020200076060A KR20200076060A KR20210157799A KR 20210157799 A KR20210157799 A KR 20210157799A KR 1020200076060 A KR1020200076060 A KR 1020200076060A KR 20200076060 A KR20200076060 A KR 20200076060A KR 20210157799 A KR20210157799 A KR 20210157799A
Authority
KR
South Korea
Prior art keywords
wfd
image
touch input
control command
source
Prior art date
Application number
KR1020200076060A
Other languages
Korean (ko)
Inventor
김태훈
신치호
백선필
함동호
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020200076060A priority Critical patent/KR20210157799A/en
Publication of KR20210157799A publication Critical patent/KR20210157799A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

An object of the present invention is to allow a source device and an image displayed by the source device to be controlled while watching an image received from the source device. According to an embodiment of the present disclosure, a wireless device receives a mirroring request for a screen sharing service from an external device and determines whether transmission condition of a content image is satisfied according to the received mirroring request. If the above transmission condition is satisfied, content image data corresponding to the content image and OSD image data corresponding to the OSD image can be transmitted to an external device through a wireless communication interface.

Description

무선 시스템 및 무선 디바이스{WIRELESS SYSTEM AND WIRELESS DEVICE}WIRELESS SYSTEM AND WIRELESS DEVICE

본 개시는 무선 디바이스에 관한 것으로, 보다 상세하게는, 화면 공유 서비스를 제공하는 무선 디바이스에 관한 것이다.The present disclosure relates to a wireless device, and more particularly, to a wireless device that provides a screen sharing service.

스크린 미러링 기술은 소스 기기와 싱크 기기 간의 화면을 공유하는 기술이다.The screen mirroring technology is a technology for sharing a screen between a source device and a sink device.

스크린 미러링을 위해 2개의 기기는 공유기 없이 P2P(Peer-to-Peer)를 이용한 P2P 연결 모드 및 공유기를 통한 AP(Access Point) 연결 모드 중 어느 하나의 연결 모드를 이용하여, 화면을 공유한다.For screen mirroring, two devices share a screen using any one of a P2P connection mode using P2P (Peer-to-Peer) without a router and an AP (Access Point) connection mode through a router for screen mirroring.

소스 기기가 TV이고, 싱크 기기가 스마트폰과 같은 모바일 기기가 될 경우, 일반적으로 TV는 터치 기능이 없어, 터치 사용 씬이 부적합하고, 직관적인 UX 구성이 어렵다.When the source device is a TV and the sink device is a mobile device such as a smartphone, the TV generally does not have a touch function, so a touch-using scene is inappropriate, and intuitive UX configuration is difficult.

즉, TV를 제어하기 위한 제어기기(리모컨 등)를 통한 조작은 섬세하지 못하기 때문에, TV의 UI가 점점 복잡해짐에 따라 요구되는 사용자 입력 편의성을 만족시키지 못하고 있다.That is, since the operation through a control device (remote control, etc.) for controlling the TV is not delicate, the user input convenience required as the UI of the TV becomes more and more complicated is not satisfied.

본 개시는 소스 기기로부터 수신된 영상을 시청하면서, 소스 기기 및 소스 기기가 표시하는 영상을 제어할 수 있도록 하는 것에 그 목적이 있다.An object of the present disclosure is to allow a source device and an image displayed by the source device to be controlled while watching an image received from the source device.

본 개시의 소스 기기의 조작을 위한 입력의 편의성을 향상시킬 수 있도록 하는 것에 그 목적이 있다.An object of the present disclosure is to improve the convenience of input for manipulating the source device of the present disclosure.

본 개시의 실시 예에 따른 무선 시스템은 컨텐트 영상 및 OSD 영상 중 하나 이상을 표시하고, 상기 컨텐트 영상에 상응하는 컨텐트 영상 데이터를 싱크 기기에 전송하는 소스 기기 및 상기 수신된 컨텐트 영상 데이터에 기초하여, 미러링 영상을 표시하고, 상기 컨텐트 영상의 제어, 상기 소스 기기의 제어, 상기 소스 기기 상에 표시된 상기 OSD 영상의 제어 중 어느 하나의 제어를 위한 터치 입력을 수신하고, 수신된 터치 입력에 기초하여, 제어 명령을 생성하고, 생성된 제어 명령을 사용자 입력 백 채널(User Input Back Channel)을 통해 상기 소스 기기에 전송하는 상기 싱크 기기를 포함하고, 상기 소스 기기는 상기 싱크 기기로부터 수신된 제어 명령에 따른 동작을 수행할 수 있다.A wireless system according to an embodiment of the present disclosure displays at least one of a content image and an OSD image, and transmits content image data corresponding to the content image to a sink device. Based on the received content image data, Display a mirroring image, receive a touch input for controlling any one of control of the content image, control of the source device, and control of the OSD image displayed on the source device, based on the received touch input, and the sink device that generates a control command and transmits the generated control command to the source device through a user input back channel, wherein the source device responds to the control command received from the sink device. action can be performed.

본 개시의 일 실시 예에 따른 무선 디바이스는 컨텐트 영상 및 OSD 영상 중 하나 이상을 표시하는 디스플레이, 외부 기기와 무선 통신을 수행하는 무선 통신 인터페이스 및 상기 외부 기기에 상기 컨텐트 영상에 상응하는 컨텐트 영상 데이터를 외부 기기에 전송하고, 상기 외부 기기로부터 상기 컨텐트 영상의 제어, 상기 무선 디바이스의 제어, 상기 OSD 영상의 제어 중 어느 하나의 제어를 위한 제어 명령을 사용자 입력 백 채널(User Input Back Channel)을 통해 수신하고, 수신된 제어 명령에 따른 동작을 수행하는 프로세서를 포함할 수 있다.A wireless device according to an embodiment of the present disclosure provides a display for displaying at least one of a content image and an OSD image, a wireless communication interface for performing wireless communication with an external device, and content image data corresponding to the content image to the external device. Transmits to an external device, and receives a control command for controlling any one of control of the content image, control of the wireless device, and control of the OSD image from the external device through a User Input Back Channel and a processor that performs an operation according to the received control command.

본 개시의 다양한 실시 예에 따르면, 사용자는 싱크 기기를 통해 소스 기기가 표시 중인 컨텐트 영상을 시청하면서, 소스 기기의 제어도 가능하다.According to various embodiments of the present disclosure, the user may control the source device while watching the content image being displayed by the source device through the sink device.

또한, 사용자는 싱크 기기를 통한 간단한 터치 입력 만으로도, 소스 기기를 손쉽게 제어할 수 있어, 입력 편의성이 크게 향상될 수 있다.In addition, the user can easily control the source device with only a simple touch input through the sink device, thereby greatly improving input convenience.

도 1은 본 개시의 실시 예에 따른 무선 디바이스의 구성을 설명하기 위한 도면이다.
도 2는 WFD 소스와 WFD 싱크 간의 네트워크를 설명하는 도면이다.
도 3은 본 개시의 일 실시 예에 따른 무선 시스템의 동작 방법을 설명하는 래더다이어 그램이다.
도 4는 본 개시의 실시 예에 따라 WFD 소스 및 WFD 싱크 간 능력 협상 과정을 설명하는 도면이다.
도 5는 본 개시의 일 실시 예에 따른 제2 스트림 제어 신호의 교환 과정을 설명하는 도면이다.
도 6은 본 개시의 일 실시 예에 따른 WFD 싱크에서, WFD 소스로 전송되는 메시지의 구조를 설명하는 도면이다.
도 7은 본 개시의 실시 예에 따른 입력 카테고리를 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시 예에 따른 일반적인 입력 카테고리의 사용자 입력의 종류를 설명하는 도면이다.
도 9 내지 도 11은 WFD 소스 및 WFD 싱크 간 스크린 미러링 중, WFD 싱크 기기가 WFD 소스를 제어하는 과정을 설명하는 도면이다.1 is a diagram for explaining a configuration of a wireless device according to an embodiment of the present disclosure.
2 is a diagram illustrating a network between a WFD source and a WFD sink.
3 is a ladder diagram illustrating a method of operating a wireless system according to an embodiment of the present disclosure.
4 is a diagram illustrating a capability negotiation process between a WFD source and a WFD sink according to an embodiment of the present disclosure.
5 is a view for explaining a process of exchanging a second stream control signal according to an embodiment of the present disclosure.
6 is a diagram for describing a structure of a message transmitted from a WFD sink to a WFD source according to an embodiment of the present disclosure.
7 is a diagram for describing an input category according to an embodiment of the present disclosure.
8 is a diagram for describing a type of a user input of a general input category according to an embodiment of the present disclosure.
9 to 11 are diagrams for explaining a process in which the WFD sink device controls the WFD source during screen mirroring between the WFD source and the WFD sink.

도 1은 본 개시의 실시 예에 따른 무선 디바이스의 구성을 설명하기 위한 도면이다.1 is a diagram for explaining the configuration of a wireless device according to an embodiment of the present disclosure.

이하에서 설명되는 무선 디바이스(1)는 TV, 스마트폰, 태블릿 PC, 네비게이션, 웨어러블 기기, PC 중 어느 하나일 수 있다.The wireless device 1 described below may be any one of a TV, a smart phone, a tablet PC, a navigation device, a wearable device, and a PC.

도 1에 도시된 무선 디바이스(1)는 후술할 WFD 소스(10) 및 WFD 싱크 (20) 중 어느 하나일 수 있다.The wireless device 1 shown in FIG. 1 may be any one of a WFD source 10 and a WFD sink 20 to be described later.

도 1을 참조하면, 무선 디바이스(1)는 무선 통신 인터페이스(21), 디스플레이(22), 메모리(23) 및 프로세서(25)를 포함할 수 있다. Referring to FIG. 1 , a wireless device 1 may include a wireless communication interface 21 , a display 22 , a memory 23 , and a processor 25 .

무선 통신 인터페이스(21)는 무선 신호를 송신/수신할 수 있고, 예를 들어, IEEE 802 시스템에 따른 물리 레이어를 구현할 수 있다. 무선 통신 인터페이스(21)는 송수신기로 명명될 수 있다.The wireless communication interface 21 may transmit/receive wireless signals, and may implement, for example, a physical layer according to the IEEE 802 system. The wireless communication interface 21 may be referred to as a transceiver.

무선 통신 인터페이스(21)는 무선 통신을 통해 외부 기기와 통신을 수행할 수 있다. 무선 통신 인터페이스(21)는 외부 기기와 근거리 통신(Short range communication)을 수행할 수 있다. The wireless communication interface 21 may communicate with an external device through wireless communication. The wireless communication interface 21 may perform short range communication with an external device.

이를 위해, 무선 통신 인터페이스(21)는 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다. To this end, the wireless communication interface 21 includes Bluetooth™, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, Near Field Communication (NFC), Wi- At least one of Wireless-Fidelity (Fi), Wi-Fi Direct, and Wireless Universal Serial Bus (USB) technologies may be used to support short-distance communication.

디스플레이(22)는 프로세서(25)에서 처리된 영상 신호, 데이터 신호, OSD 신호 또는 무선 통신 인터페이스(21)에서 수신되는 영상 신호, 데이터 신호 등을 각각 R,G,B 신호로 변환하여 구동 신호를 생성할 수 있다.The display 22 converts the image signal, the data signal, the OSD signal processed by the processor 25, or the image signal and the data signal received from the wireless communication interface 21 into R, G, and B signals, respectively, to generate a driving signal. can create

프로세서(25)는 무선 통신 인터페이스(21), 메모리(23), 디스플레이부(22)의 동작을 제어할 수 있다. The processor 25 may control operations of the wireless communication interface 21 , the memory 23 , and the display unit 22 .

프로세서(25)는 무선 통신 인터페이스(21)와 전기적으로 연결되어 IEEE 802 시스템에 따른 물리 레이어 및/또는 MAC 레이어를 구현할 수 있다. The processor 25 may be electrically connected to the wireless communication interface 21 to implement a physical layer and/or a MAC layer according to the IEEE 802 system.

또한, 프로세서(25)는 WFD(와이파이 다이렉트) 서비스를 위한 오디오/비디오의 인코딩 및 디코딩의 동작을 수행하도록 구성될 수 있다. In addition, the processor 25 may be configured to perform an operation of encoding and decoding audio/video for a WFD (Wi-Fi Direct) service.

메모리(23)는 프로세서(25)의 내부에 포함되거나 또는 프로세서(25)의 외부에 설치되어 프로세서(25)와 공지의 수단에 의해 연결될 수 있다. 도시되지는 않았지만, 무선 디바이스(1)는 음향을 출력하기 위한 음향 출력부를 더 포함할 수 있다.The memory 23 may be included in the processor 25 or installed outside the processor 25 to be connected to the processor 25 by a known means. Although not shown, the wireless device 1 may further include a sound output unit for outputting sound.

도 2는 WFD 소스와 WFD 싱크 간의 네트워크를 설명하는 도면이다.2 is a diagram illustrating a network between a WFD source and a WFD sink.

도 2를 참조하면, 본 개시의 일 실시 예에 따른 무선 시스템은 와이파이 다이렉트 소스(이하, WFD 소스, 10) 및 와이파이 다이렉트 싱크(이하, WFD sink, 20)를 포함할 수 있다.Referring to FIG. 2 , a wireless system according to an embodiment of the present disclosure may include a Wi-Fi Direct source (hereinafter, WFD source, 10) and a Wi-Fi Direct sink (hereinafter, WFD sink, 20).

도 2의 상단에는 Wi-Fi P2P를 기반으로 한 WFD 소스(10) 와 WFD 싱크(20) 간의 연결이 개시되고, 도 5의 하단에는 TDLS 링크를 기반으로한, WFD 소스(10) 와 WFD 싱크(20) 간의 연결이 개시되어 있다.The connection between the WFD source 10 and the WFD sink 20 based on Wi-Fi P2P is disclosed at the top of FIG. 2, and the WFD source 10 and the WFD sink based on the TDLS link at the bottom of FIG. The connection between (20) is disclosed.

도 2의 상단과 같이 AP(Access Point)는 WFD 소스(10) 와 WFD 싱크(20)에게 공통되거나, 다를 수 있다. AP는 존재하지 않을 수도 있다.As shown in the upper part of FIG. 2 , the AP (Access Point) may be common to the WFD source 10 and the WFD sink 20 or may be different. AP may not exist.

도 2의 하단과 같이, TDSL 링크를 사용하여, WFD 연결을 수행하는 경우, WFD 소스(10) 와 WFD 싱크(20)는 동일한 AP와 연결을 유지해야 한다.As shown in the lower part of FIG. 2 , when a WFD connection is performed using a TDSL link, the WFD source 10 and the WFD sink 20 must maintain a connection with the same AP.

도 3은 본 개시의 일 실시 예에 따른 무선 시스템의 동작 방법을 설명하는 래더다이어 그램이다.3 is a ladder diagram illustrating a method of operating a wireless system according to an embodiment of the present disclosure.

도 3을 참조하면, WFD 소스(10) 및 WFD 싱크(20)는 최초, WFD 디바이스 탐색(WFD Device Discovery)을 통해 WFD 연결 셋업에 앞서 서로의 존재를 탐색할 수 있다(S301). Referring to FIG. 3 , the WFD source 10 and the WFD sink 20 may first discover the existence of each other prior to WFD connection setup through WFD device discovery ( S301 ).

구체적으로, WFD 디바이스들은 WFD 정보 요소(WFD Information Element, WFD IE)를 포함하는 프로브 요청 프레임 및 프로브 응답 프레임을 통해 서로의 존재를 인지할 수 있다. WFD 정보 요소는 디바이스 타입 및 디바이스 상태 등 WFD 디바이스들 사이 최적 연결을 구축하기 위한 기본 정보를 포함할 수 있다. WFD 디바이스가, WFD IE를 포함하는 프로브 요청 프레임을 수신하면, 이에 대한 응답으로 자신의 WFD IE를 포함하는 프로브 응답 프레임을 전송할 수 있다. 만약 WFD 디바이스가 AP와 연계되어 있고, Wi-Fi P2P 디바이스로 동작하는 경우, 물리적인 하나의 디바이스에 논리적으로 2개 이상의 와이파이 송수신기가 동작하게 된다. 이때 WFD 디바이스 탐색을 위해서는 이 중 와이파이 다이렉트 송수신기를 사용하게 된다. WFD 디바이스의 탐색을 위한 프로브 요청 프레임에는 WFD IE 뿐만 아니라, P2P 정보 요소(IE)도 포함될 수 있고, 이는 와이파이 다이렉트 송수신기에 의해 디코딩 될 수 있다.Specifically, WFD devices may recognize each other's existence through a probe request frame and a probe response frame including a WFD Information Element (WFD IE). The WFD information element may include basic information for establishing an optimal connection between WFD devices, such as a device type and a device state. When the WFD device receives the probe request frame including the WFD IE, it may transmit a probe response frame including its own WFD IE in response thereto. If the WFD device is associated with the AP and operates as a Wi-Fi P2P device, two or more Wi-Fi transceivers are logically operated in one physical device. In this case, the Wi-Fi Direct transceiver is used for WFD device discovery. A probe request frame for discovery of a WFD device may include not only a WFD IE but also a P2P information element (IE), which may be decoded by a Wi-Fi Direct transceiver.

이후, WFD 소스(10) 및 WFD 싱크(20)는 WFD 연결 셋업에 앞서 서로의 서비스 능력을 탐색할 수 있다(S303). 구체적으로, 어느 하나의 WFD 디바이스가 WFD 능력이 정보 부 요소(information subelement)로서 포함되는 서비스 탐색 요청 프레임을 전송하면, 다른 WFD 디바이스는 이에 대한 응답으로 자신의 WFD 능력이 정보 부 요소로서 포함되는 서비스 탐색 응답 프레임을 전송할 수 있다. 서비스 탐색 절차는 선택적인 절차로서, 서비스 탐색 절차를 지원하는 WFD 디바이스는 서비스 탐색 절차를 지원하는 탐색된 WFD 디바이스와 서비스 탐색 절차를 수행할 수 있다. 서비스 탐색 절차의 수행을 위해, 디바이스 탐색 절차에 이용되는 프로브 요청 프레임 및 응답 프레임에는 WFD 디바이스가 서비스 탐색 절차를 지원하는 능력을 갖추고 있는지 여부를 지시하는 정보가 포함될 수 있다. Thereafter, the WFD source 10 and the WFD sink 20 may discover each other's service capabilities prior to WFD connection setup (S303). Specifically, when one WFD device transmits a service discovery request frame in which the WFD capability is included as an information subelement, the other WFD device responds to the service in which its WFD capability is included as an information subelement. A search response frame may be transmitted. The service discovery procedure is an optional procedure, and the WFD device supporting the service discovery procedure may perform the service discovery procedure with the discovered WFD device supporting the service discovery procedure. In order to perform the service discovery procedure, the probe request frame and the response frame used in the device discovery procedure may include information indicating whether the WFD device has the capability to support the service discovery procedure.

이후, WFD 소스(10) 또는 WFD 싱크(20)는 WFD 연결 셋업을 위한 피어 WFD 디바이스를 선택할 수 있다. 사용자의 입력에 의해 WFD 연결 셋업을 진행할 피어 WFD 디바이스가 선택될 수도 있고, 정책(policy)에 따라 자동으로 WFD 연결 셋업을 진행할 피어 WFD 디바이스가 선택될 수도 있다.Thereafter, the WFD source 10 or the WFD sink 20 may select a peer WFD device for WFD connection setup. A peer WFD device to perform WFD connection setup may be selected by a user input, or a peer WFD device to automatically perform WFD connection setup may be selected according to a policy.

이후, WFD 디바이스는 선택된 피어 WFD 디바이스와 WFD 연결 셋업 방법을 선택할 수 있다(S305). 구체적으로, WFD 디바이스는 Wi-Fi P2P 및 TDLS(터널 다이렉트 링크 설정(Tunneled Direct Link Setup) 중 어느 하나의 연결 스킴(Connectivity Scheme)으로 WFD 연결을 구축할 수 있다. WFD 디바이스들은 선호하는 연결(Preferred Connectivity) 정보 및 WFD 정보 요소와 함께 전달되는 연계된 BSSID 부 요소에 기초하여, 연결 스킴을 결정할 수 있다. Thereafter, the WFD device may select a WFD connection setup method with the selected peer WFD device ( S305 ). Specifically, the WFD device may establish a WFD connection using any one of Wi-Fi P2P and TDLS (Tunneled Direct Link Setup) connectivity schemes. WFD devices may establish a preferred connection (Preferred). Connectivity) information and a connection scheme may be determined based on the associated BSSID sub-element carried together with the WFD information element.

WFD 디바이스들 사이에 Wi-Fi P2P 또는 TDLS를 이용하여 성공적으로 WFD 셋업이 수행되면, WFD 디바이스는 WFD 능력 협상(WFD capability negotiation)을 진행할 수 있다(S307). 구체적으로, WFD 소스(10) 및 WFD 싱크(20)는 RTSP(Real-Time Streaming Protocol) 프로토콜을 이용하여 메시지를 교환함으로써, WFD 세션 동안의 오디오/비디오 페이로드(payload)를 정의하는 파라미터 셋을 결정할 수 있다. When WFD setup is successfully performed between WFD devices using Wi-Fi P2P or TDLS, the WFD device may proceed with WFD capability negotiation ( S307 ). Specifically, the WFD source 10 and the WFD sink 20 exchange messages using a Real-Time Streaming Protocol (RTSP) protocol, thereby defining an audio/video payload during a WFD session. can decide

WFD 소스(10) 및 WFD 싱크(20)는 자신의 스펙 정보를 서로 교환할 수 있다. WFD 소스(10)는 RTSP 프로토콜을 이용하여 WFD 싱크(20)의 능력을 문의할 수 있고, WFD 싱크(20)는 그에 응답하여, 자신의 능력 정보를 WFD 소스(10)에 전송할 수 있다. The WFD source 10 and the WFD sink 20 may exchange their specification information with each other. The WFD source 10 may inquire the capability of the WFD sink 20 using the RTSP protocol, and the WFD sink 20 may transmit its capability information to the WFD source 10 in response thereto.

그 후, WFD 소스(10)는 WFD 싱크(20)로부터 제1 스트림 제어 신호를 수신할 수 있다(S309).Thereafter, the WFD source 10 may receive the first stream control signal from the WFD sink 20 ( S309 ).

일 실시 예에서, 제1 스트림 제어 신호는 AV 컨텐트의 재생을 요청하는 신호일 수 있다. 더 구체적으로, 제1 스트림 제어 신호는 WFD 소스(10) 상에 재생 중인 AV 컨텐트에 대한 데이터의 전송을 요청하는 신호일 수 있다.In an embodiment, the first stream control signal may be a signal requesting reproduction of AV content. More specifically, the first stream control signal may be a signal requesting transmission of data for AV content being reproduced on the WFD source 10 .

제1 스트림 제어 신호는 화면 공유 서비스를 요청하는 신호일 수 있다.The first stream control signal may be a signal for requesting a screen sharing service.

제1 스트림 제어 신호는 WFD 싱크(20)가 AV 컨텐트를 수신할 준비가 되었음을 나타내는 신호일 수 있다.The first stream control signal may be a signal indicating that the WFD sink 20 is ready to receive AV content.

제1 스트림 제어 신호는 사용자 입력 백 채널(User Input Back Channel, UIBC)를 통해 전송될 수 있다.The first stream control signal may be transmitted through a User Input Back Channel (UIBC).

WFD 소스(10)는 제1 스트림 제어 신호에 응답하여, RTSP 재생 응답을 WFD 싱크(20)에 전송할 수 있다.The WFD source 10 may transmit an RTSP reproduction response to the WFD sink 20 in response to the first stream control signal.

WFD 소스(10)는 WFD 싱크(20)로부터 수신된 스트림 제어 신호에 따라 AV 컨텐트를 WFD 싱크(20)에 스트리밍할 수 있다(S311).The WFD source 10 may stream the AV content to the WFD sink 20 according to the stream control signal received from the WFD sink 20 (S311).

WFD 소스(10)는 AV 컨텐트를 RTSP(Real Time Streaming Protocol)를 통해 WF 싱크(20)에 전송할 수 있다.The WFD source 10 may transmit the AV content to the WF sink 20 through a Real Time Streaming Protocol (RTSP).

WFD 소스(10) 및 WFD 싱크(20)는 서로 간 제2 스트림 제어 신호를 교환할 수 있고(S313), 그에 따라 WFD 소스(10)는 AV 컨텐트를 WFD 싱크(20)에 전송할 수 있다(S315).The WFD source 10 and the WFD sink 20 may exchange a second stream control signal with each other (S313), and accordingly, the WFD source 10 may transmit the AV content to the WFD sink 20 (S315). ).

일 실시 예에서, 제2 스트림 제어 신호는 WFD 싱크(20)가 WFD 소스(10)에 AV 컨텐트의 재생을 제어하기 위한 신호일 수 있다. 제2 스트림 제어 신호는 WFD 싱크(20)에 구비된 터치 스크린 상의 터치 입력을 통해 생성될 수 있다.In an embodiment, the second stream control signal may be a signal for the WFD sink 20 to control the reproduction of AV content to the WFD source 10 . The second stream control signal may be generated through a touch input on a touch screen provided in the WFD sink 20 .

예를 들어, 제2 스트림 제어 신호는 AV 컨텐트의 줌인, 줌 아웃, 재생 속도 조절, 재생 중지, 재생 종료 중 어느 하나를 위한 신호일 수 있다.For example, the second stream control signal may be a signal for any one of zoom-in, zoom-out, playback speed control, playback stop, and playback termination of AV content.

또 다른 실시 예에서, 제2 스트림 제어 신호는 WFD 소스(10)의 기능을 제어하기 위한 신호일 수 있다. WFD 소스(10)가 TV인 경우, 제2 스트림 제어 신호는 TV의 전원 상태를 제어하기 위한 신호, 외부 입력 설정을 위한 신호 중 어느 하나일 수 있다.In another embodiment, the second stream control signal may be a signal for controlling the function of the WFD source 10 . When the WFD source 10 is a TV, the second stream control signal may be any one of a signal for controlling the power state of the TV and a signal for setting an external input.

또 다른 실시 예에서, 제2 스트림 제어 신호는 OSD(On Screen Display) 화면을 제어하기 위한 신호일 수 있다. OSD 화면은 WFD 소스(10) 상에 표시된 WFD 소스(10)의 설정, 어플리케이션의 실행을 위한 화면일 수 있다.In another embodiment, the second stream control signal may be a signal for controlling an On Screen Display (OSD) screen. The OSD screen may be a screen for setting the WFD source 10 displayed on the WFD source 10 and executing an application.

제2 스트림 제어 신호는 사용자 입력 백 채널(User Input Back Channel, UIBC)를 통해 전송될 수 있다.The second stream control signal may be transmitted through a user input back channel (UIBC).

그 후, WFD 소스(10) 및 WFD 싱크(20)는 WFD 세션을 종료할 수 있다(S317).Thereafter, the WFD source 10 and the WFD sink 20 may terminate the WFD session (S317).

도 4는 본 개시의 실시 예에 따라 WFD 소스 및 WFD 싱크 간 능력 협상 과정을 설명하는 도면이다.4 is a diagram illustrating a capability negotiation process between a WFD source and a WFD sink according to an embodiment of the present disclosure.

특히, 도 4는 도 3의 S307 단계를 구체화한 도면일 수 있다.In particular, FIG. 4 may be a detailed view of step S307 of FIG. 3 .

도 4를 참조하면, WFD 소스(10)는 RTSP M3 요청 메시지를 통해 wfd_uibc_능력(wfd_uibc_capability)을 WFD 싱크(20)에 전송한다(S401). Referring to FIG. 4 , the WFD source 10 transmits the wfd_uibc_capability (wfd_uibc_capability) to the WFD sink 20 through the RTSP M3 request message (S401).

wfd_uibc_능력 파라미터는 입력 카테고리에 대한 정보를 포함할 수 있다.The wfd_uibc_capability parameter may include information about an input category.

WFD 싱크(20)는 RTSP M3 요청 메시지에 대한 응답으로, RTSP M3 응답 메시지를 WFD 소스(10)로 전송한다(S403).The WFD sink 20 transmits the RTSP M3 response message to the WFD source 10 in response to the RTSP M3 request message (S403).

RTSP M3 응답 메시지는 WFD 소스(20)가 지원하는 UIBC 능력 정보를 포함할 수 있다.The RTSP M3 response message may include UIBC capability information supported by the WFD source 20 .

입력 카테고리에 대한 정보, generic 능력에 대한 정보, hidc에 대한 정보를 포함함할 수 있다.Information on input categories, information on generic capabilities, and information on hidc may be included.

위와 같은 절차를 통해, WFD 소스(10) 및 WFD 싱크(20)는 상호 간 UIBC 능력에 대한 정보를 교환할 수 있다.Through the above procedure, the WFD source 10 and the WFD sink 20 may exchange information about the UIBC capability with each other.

WFD 소스(10)는 WFD 싱크(20)로 UIBC 능력 협상을 위해 RTSP M4/M14 요청 메시지를 전송한다 (S405).The WFD source 10 transmits an RTSP M4/M14 request message to the WFD sink 20 for UIBC capability negotiation (S405).

RTSP M4/M14 요청 메시지는 WFD 소스(10)가 지원하는 UIBC 능력 정보를 포함할 수 있다.The RTSP M4/M14 request message may include UIBC capability information supported by the WFD source 10 .

WFD 싱크(20)는 WFD 소스(10)로 UIBC 능력 협상을 위해 RTSP M4/M14 응답 메시지를 전송한다(S407).The WFD sink 20 transmits an RTSP M4/M14 response message to the WFD source 10 for UIBC capability negotiation (S407).

RTSP M4/M14 응답 메시지는 RTSP M4/M14 요청 메시지에 의해 설정된 값들에 대한 동의를 위해 전송될 수 있다.The RTSP M4/M14 response message may be transmitted to agree on values set by the RTSP M4/M14 request message.

도 5는 본 개시의 일 실시 예에 따른 제2 스트림 제어 신호의 교환 과정을 설명하는 도면이다.5 is a view for explaining a process of exchanging a second stream control signal according to an embodiment of the present disclosure.

특히, 도 5는 도 3의 단계 S313을 구체화한 도면이다.In particular, FIG. 5 is a detailed view of step S313 of FIG. 3 .

도 5를 참조하면, WFD 소스(10)는 WFD 싱크(20)로부터 UIBC 능력과 관련된 파라미터를 설정하기 위한 RTSP M14 요청 메시지를 수신한다(S501). Referring to FIG. 5 , the WFD source 10 receives an RTSP M14 request message for setting a parameter related to the UIBC capability from the WFD sink 20 ( S501 ).

RTSP M14 요청 메시지는 입력 타입, 입력 기기 및 UIBC에 사용되는 파라미터들을 선택하기 위한 요청이다.The RTSP M14 request message is a request for selecting the input type, input device and parameters used for UIBC.

WFD 소스(10)는 RTSP M14 요청 메시지에 응답하여, RTSP M14 응답 메시지를 WFD 싱크(20)에 전송한다(S503).The WFD source 10 transmits the RTSP M14 response message to the WFD sink 20 in response to the RTSP M14 request message (S503).

RTSP M14 응답 메시지는 RTSP M14 요청 메시지를 통해 선택된 정보에 대한 동의를 위해 전송될 수 있다.The RTSP M14 response message may be transmitted for consent to information selected through the RTSP M14 request message.

WFD 소스(10)는 RTSP M15 요청 메시지를 WFD 싱크(20)에 전송한다(S505). The WFD source 10 transmits an RTSP M15 request message to the WFD sink 20 (S505).

RTSP M15 요청 메시지는 UIBC를 활성화 또는 비활성화 여부를 나타내는 메시지일 수 있다. 단계 S505에서 RTSP M15 요청 메시지는 UIBC가 비활성화되어 있음을 나타내는 메시지일 수 있다.The RTSP M15 request message may be a message indicating whether UIBC is activated or deactivated. In step S505, the RTSP M15 request message may be a message indicating that UIBC is deactivated.

WFD 소스(10)는 RTSP M15 요청 메시지에 대한 응답으로, RTSP M15 요청 메시지를 WFD 싱크(20)로부터 수신한다(S507).The WFD source 10 receives the RTSP M15 request message from the WFD sink 20 in response to the RTSP M15 request message (S507).

WFD 소스(10)는 RTSP M15 요청 메시지를 WFD 싱크(20)에 전송한다(S509).The WFD source 10 transmits an RTSP M15 request message to the WFD sink 20 (S509).

RTSP M15 요청 메시지는 UIBC를 활성화 또는 비활성화 여부를 나타내는 메시지일 수 있다. 단계 S509에서 RTSP M15 요청 메시지는 UIBC가 활성화되어 있음을 나타내는 메시지일 수 있다.The RTSP M15 request message may be a message indicating whether UIBC is activated or deactivated. In step S509, the RTSP M15 request message may be a message indicating that UIBC is activated.

WFD 소스(10)는 RTSP M15 요청 메시지에 대한 응답으로, RTSP M15 요청 메시지를 WFD 싱크(20)로부터 수신한다(S511).The WFD source 10 receives the RTSP M15 request message from the WFD sink 20 in response to the RTSP M15 request message (S511).

UIBC가 활성화된 경우, WFD 소스(10)는 WFD 싱크(20)로부터 터치 입력에 대한 정보를 수신할 수 있다. 터치 입력에 대한 정보는 터치 입력에 상응하는 좌표 정보를 포함할 수 있다.When UIBC is activated, the WFD source 10 may receive information about the touch input from the WFD sink 20 . The information on the touch input may include coordinate information corresponding to the touch input.

도 6은 본 개시의 일 실시 예에 따른 WFD 싱크에서, WFD 소스로 전송되는 메시지의 구조를 설명하는 도면이다.6 is a diagram for describing a structure of a message transmitted from a WFD sink to a WFD source according to an embodiment of the present disclosure.

도 6의 메시지 구조는 UIBC를 통해 WFD 싱크에서 WFD 소스로 전송되는 메시지의 구조일 수 있다.The message structure of FIG. 6 may be a structure of a message transmitted from the WFD sink to the WFD source through UIBC.

도 5에서 설명된 제2 스트림 제어 신호는 도 6의 메시지 구조를 가질 수 있다.The second stream control signal described in FIG. 5 may have the message structure of FIG. 6 .

도 6을 참조하면, 버전(Version) 필드는 프로토콜의 버전을 나타내며, 2비트의 크기를 갖는다.Referring to FIG. 6 , a version field indicates a protocol version and has a size of 2 bits.

T 필드는 타임 스탬프(Time Stamp)의 존재 여부를 나타내며, 1비트의 크기를 갖는다. 타임 스탬프 필드는 선택적이며, T가 0인 경우, 타임 스탬프 필드가 존재하지 않음을 나타내고, T가 1인 경우, 타임 스탬프 필드가 존재함을 나타낸다.The T field indicates whether a time stamp exists and has a size of 1 bit. The timestamp field is optional, and when T is 0, it indicates that the timestamp field does not exist, and when T is 1, it indicates that the timestamp field is present.

예약(Reserved) 필드는 이후, 필요한 경우를 대비하여 존재하는 필드이며, 크기는 8비트에 해당한다. 모두 0으로 표시한다.The Reserved field is a field that exists in case it is needed later, and has a size of 8 bits. All are marked as 0.

길이(Length) 필드는 전체 메시지의 길이를 나타내며, 8비트의 크기를 갖는다.The length field indicates the length of the entire message and has a size of 8 bits.

입력 카테고리(Input Category) 필드는 메시지를 통해 전달되는 입력의 카테고리를 표시하며, 4비트의 크기를 갖는다. The input category field indicates the category of the input delivered through the message, and has a size of 4 bits.

입력 카테고리는 일반적인 입력(Generic Input) 또는 사용자 인터페이스 디바이스(Huma Interface Device: HID)에 관한 입력으로 나뉜다.The input category is divided into a generic input or an input related to a user interface device (HID).

타임 스탬프 필드는 선택적인 필드로써, 사용자 입력이 적용되어, 디스플레이되는 프레임의 RTP(Real Time Protocol)의 타임 스탬프를 표시한다.The timestamp field is an optional field and displays a real time protocol (RTP) time stamp of a frame to which a user input is applied and displayed.

타임 스탬프 필드는 16비트의 크기를 갖는다.The time stamp field has a size of 16 bits.

UIBC 입력 바디(UIBC Input Body) 필드는 사용자의 입력과 관련한 정보를 포함하는 필드에 해당한다. 입력 바디 필드에는 일반적인 입력(Generic Input) 또는 HID 입력에 대한 내용이 삽입된다.The UIBC input body field corresponds to a field including information related to a user's input. In the input body field, content for a generic input or HID input is inserted.

도 7은 본 개시의 실시 예에 따른 입력 카테고리를 설명하기 위한 도면이다.7 is a diagram for describing an input category according to an embodiment of the present disclosure.

입력 카테고리는 도 6에서 설명한 바와 같은 일반적인 입력(Generic Input)에 관한 정보 또는 사용자 인터페이스 디바이스 클래스(Human Interface Device Class: HIDC)에 관한 정보로 나뉜다.The input category is divided into information about a generic input or information about a human interface device class (HIDC) as described with reference to FIG. 6 .

입력 카테고리가 0으로 표시되는 경우, 도 6의 메시지는 일반적인 입력에 관한 정보 엘리먼트(Information Element)를 포함하고, 입력 카테고리가 1로 표시되는 경우, HIDC와 관련된 정보 엘리먼트(Information Element)를 포함한다.When the input category is indicated as 0, the message of FIG. 6 includes an information element related to a general input, and when the input category is indicated as 1, the message of FIG. 6 includes an information element related to HIDC.

일반적인 입력은 마우스, 터치 패드와 같은 움직임, 클릭, 터치, 줌 배율, 스크롤 양, 회전량 같은 정보를 포함한다.Typical inputs include information such as mouse and touchpad-like movements, clicks, touches, zoom magnification, scroll amount, and rotation amount.

사용자 인터페이스 디바이스 정보 엘리먼트는 WFD 싱크와 연결된 사용자의 장치가 어떤 규격을 통해 연결되었는지(HID 인터페이스 타입), WFD 싱크와 사용자의 어떤 입력 장치가 연결되었는지(HID 타입)과 관련된 정보를 포함한다.The user interface device information element includes information related to a standard through which a user's device connected to the WFD sink is connected (HID interface type) and which input device is connected to the WFD sink and the user (HID type).

도 8은 본 개시의 일 실시 예에 따른 일반적인 입력 카테고리의 사용자 입력의 종류를 설명하는 도면이다.8 is a diagram for describing a type of a user input of a general input category according to an embodiment of the present disclosure.

도 8은 입력 바디 포맷의 Generic IE ID 필드에 기재될 수 있는 사용자의 입력의 종류를 나타낸다.8 shows types of user input that can be described in the Generic IE ID field of the input body format.

Down의 경우, 마우스 버튼을 누르거나, 또는 터치를 통해 키를 누르는 동작을 뜻하며, Up의 경우, 마우스 버튼을 떼거나, 또는 터치를 통해 키를 떼는 동작을 뜻한다.Down means pressing the mouse button or pressing a key through touch, and Up means releasing the mouse button or releasing the key through touch.

Generic Input 타입 ID의 값이 0인 경우, 마우스의 왼쪽버튼을 누르거나, 터치가 가해짐을 나타낼 수 있다.When the value of the generic input type ID is 0, it may indicate that the left button of the mouse is pressed or a touch is applied.

Generic Input 타입 ID의 값이 1인 경우, 마우스의 왼쪽버튼을 떼거나, 터치가 떼어짐을 나타낼 수 있다.When the value of the Generic Input type ID is 1, it may indicate that the left button of the mouse is released or the touch is released.

Generic Input 타입 ID의 값이 2인 경우, 마우스의 이동 또는 터치의 이동을 나타낼 수 있다.When the value of the Generic Input type ID is 2, it may indicate movement of a mouse or movement of a touch.

Generic Input 타입 ID의 값이 3인 경우, 키를 누름을 나타내고, Generic Input 타입 ID의 값이 4인 경우, 키의 떼어짐을 나타낼 수 있다.When the value of the generic input type ID is 3, it may indicate that the key is pressed, and when the value of the generic input type ID is 4, it may indicate that the key is released.

Generic Input 타입 ID의 값이 5인 경우, 줌 명령을 나타낼 수 있다.When the value of the Generic Input type ID is 5, it may indicate a zoom command.

Generic Input 타입 ID의 값이 6인 경우, 수직 방향 스크롤 명령을 나타내고, Generic Input 타입 ID의 값이 7인 경우, 수평 방향 스크롤 명령을 나타낸다.When the value of the generic input type ID is 6, it indicates a vertical scroll command, and when the value of the generic input type ID is 7, it indicates a horizontal scroll command.

Generic Input 타입 ID의 값이 8인 경우, 회전 명령을 나타낸다.When the value of the Generic Input type ID is 8, it indicates a rotation command.

Generic Input 타입 ID의 값이 0,1,2,5인 경우는, WFD 소스(100) 상에 표시된 컨텐트 영상의 제어에 사용될 수 있다.When the value of the generic input type ID is 0, 1, 2, or 5, it can be used to control the content image displayed on the WFD source 100 .

Generic Input 타입 ID의 값이 0,1인 경우는 WFD 소스(100) 상에 표시된 OSD 영상의 제어에 사용될 수 있다.When the value of the generic input type ID is 0 or 1, it can be used to control the OSD image displayed on the WFD source 100 .

도 9 내지 도 11은 WFD 소스 및 WFD 싱크 간 스크린 미러링 중, WFD 싱크 기기가 WFD 소스를 제어하는 과정을 설명하는 도면이다.9 to 11 are diagrams for explaining a process in which the WFD sink device controls the WFD source during screen mirroring between the WFD source and the WFD sink.

도 9 내지 도 11에서 WFD 소스는 TV이고, WFD 싱크는 모바일 기기임을 가정하여 설명한다.9 to 11, it is assumed that the WFD source is a TV and the WFD sink is a mobile device.

WFD 소스(100)는 규격을 이용하여, 자신이 표시 중인 컨텐트 영상(910)에 대한 영상 데이터를 WFD 싱크(200)에 전송할 수 있다. WFD 싱크(200)는 수신된 영상 데이터를 이용하여, 미러링 영상(930)을 표시할 수 있다.The WFD source 100 may transmit image data for the content image 910 that it is displaying to the WFD sink 200 by using the standard. The WFD sink 200 may display a mirroring image 930 using the received image data.

도 9를 참조하면, WFD 싱크(200)는 컨텐트 영상(910)을 제어하기 위한 터치 입력을 수신하고, 수신된 터치 입력에 기초한 영상 제어 명령을 생성할 수 있다.Referring to FIG. 9 , the WFD sink 200 may receive a touch input for controlling the content image 910 and may generate an image control command based on the received touch input.

WFD 싱크(200)는 영상 제어 명령을 UIBC를 통해 WFD 소스(100)에 전송할 수 있다. 영상 제어 명령은 컨텐트 영상(910)을 중지, 재생, 종료하기 위한 명령일 수 있다.The WFD sink 200 may transmit an image control command to the WFD source 100 through UIBC. The image control command may be a command for stopping, playing, or terminating the content image 910 .

영상 제어 명령은 터치 입력의 타입 및 터치 입력의 좌표를 포함할 수 있다.The image control command may include a type of touch input and coordinates of the touch input.

터치 입력의 타입은 터치 입력의 다운/업, 터치 입력의 이동 중 어느 하나일 수 있다.The type of the touch input may be any one of down/up of the touch input and movement of the touch input.

터치 입력의 타입은 도 8에 도시된 일반적 입력 타입 ID 값으로 표현될 수 있다. 즉, ID 값이 0인 경우, 터치 입력의 다운을 나타내고, ID 값이 1인 경우, 터치 입력의 업을 나타낼 수 있다.The type of the touch input may be expressed as a general input type ID value shown in FIG. 8 . That is, when the ID value is 0, the touch input is down, and when the ID value is 1, the touch input is up.

WFD 싱크(200)는 미러링 영상(930)에 표시된 재생 버튼(931)을 선택하고, 떼는 터치 입력을 수신한 경우, 컨텐트 영상(910)을 재생하기 위한 재생 제어 명령을 생성할 수 있고, 생성된 재생 제어 명령을 UIBC를 통해 WFD 소스(100)로 전송할 수 있다. When the WFD sink 200 receives a touch input to select the play button 931 displayed on the mirroring image 930 and release it, the WFD sink 200 may generate a play control command for playing the content image 910, and the generated A reproduction control command may be transmitted to the WFD source 100 through the UIBC.

WFD 소스(100)는 WFD 싱크(200)로부터 수신된 재생 제어 명령에 따라 컨텐트 영상(910)을 재생할 수 있다.The WFD source 100 may reproduce the content image 910 according to the reproduction control command received from the WFD sink 200 .

WFD 소스(100)는 WFD 소스(100)는 WFD 싱크(200)로부터 수신된 재생 제어 명령에 따라 컨텐트 영상(910)의 재생을 중지할 수 있다. The WFD source 100 may stop the reproduction of the content image 910 according to the reproduction control command received from the WFD sink 200 .

WFD 싱크(200)는 미러링 영상(930)에 표시된 중지 버튼(미도시)을 선택하는 터치 입력을 수신한 경우, 컨텐트 영상(910)을 재생하기 위한 재생 중지 제어 명령을 생성할 수 있고, 생성된 재생 제어 명령을 UIBC를 통해 WFD 소스(100)로 전송할 수 있다.When the WFD sink 200 receives a touch input for selecting a stop button (not shown) displayed on the mirroring image 930 , it may generate a playback stop control command for playing the content image 910 , and the generated A reproduction control command may be transmitted to the WFD source 100 through the UIBC.

WFD 소스(100)는 WFD 싱크(200)로부터 수신된 재생 제어 명령에 따라 컨텐트 영상(910)의 재생을 중지할 수 있다. The WFD source 100 may stop the reproduction of the content image 910 according to the reproduction control command received from the WFD sink 200 .

이와 같이, 본 개시의 실시 예에 따르면, 사용자는 TV를 통해 영상을 시청 중, 모바일 기기를 통해 영상의 재생과 관련된 동작을 손쉽게 조작할 수 있는 효과가 있다. As such, according to an embodiment of the present disclosure, there is an effect that a user can easily manipulate an operation related to reproduction of an image through a mobile device while watching an image through the TV.

다음으로, 도 10을 설명한다.Next, FIG. 10 will be described.

도 10은 WFD 싱크(200) 상에 WFD 소스(100)를 제어할 수 있는 리모컨 화면(1000)을 통해 WFD 소스(100)를 제어하는 과정을 설명하는 도면이다.FIG. 10 is a view for explaining a process of controlling the WFD source 100 through the remote control screen 1000 capable of controlling the WFD source 100 on the WFD sink 200 .

WFD 싱크(200)는 터치 패널 하단을 상단으로 이동하는 드래그 입력이 수신된 경우, 리모컨 화면(1000)을 미러링 영상(930)에 중첩하여 표시할 수 있다.When a drag input for moving the lower part of the touch panel to the upper part is received, the WFD sink 200 may display the remote control screen 1000 superimposed on the mirroring image 930 .

리모컨 화면(1000)은 미러링 화면이 아니므로, WFD 소스(100) 상에는 표시되지 않는다.Since the remote control screen 1000 is not a mirroring screen, it is not displayed on the WFD source 100 .

리모컨 화면(1000)은 리모컨의 기능을 수행하는 복수의 버튼 항목들을 포함할 수 있다. 복수의 버튼 항목들은 채널 변경 항목, 볼륨 조절 항목, 홈 화면 이동 항목, 전원 제어 항목, 설정 항목 등을 포함할 수 있다.The remote control screen 1000 may include a plurality of button items performing a function of the remote control. The plurality of button items may include a channel change item, a volume control item, a home screen movement item, a power control item, a setting item, and the like.

WFD 싱크(200)는 복수의 버튼 항목들 중 어느 하나를 선택하는 터치 입력을 수신할 수 있다.The WFD sink 200 may receive a touch input for selecting any one of a plurality of button items.

WFD 싱크(200)는 수신된 터치 입력에 기초하여, 기능 제어 명령을 생성할 수 있고, 생성된 기능 제어 명령을 UIBC를 통해 WFD 소스(100)로 전송할 수 있다.The WFD sink 200 may generate a function control command based on the received touch input, and transmit the generated function control command to the WFD source 100 through the UIBC.

기능 제어 명령은 채널 변경, 볼륨 조절, 전원 제어, 외부 입력 선택을 위한 명령일 수 있다.The function control command may be a command for changing a channel, adjusting a volume, controlling power, or selecting an external input.

WFD 소스(100)는 WFD 싱크(200)로부터 수신된 기능 제어 명령에 따라 채널을 변경하거나, 볼륨을 조절하거나, 전원을 제어할 수 있다.The WFD source 100 may change a channel, adjust a volume, or control power according to a function control command received from the WFD sink 200 .

이와 같이, 본 개시의 실시 예에 따르면, 미라캐스트에서 지원하는 UIBC 기술을 이용하여, WFD 싱크를 통해 WFD 소스를 손쉽게 제어할 수 있다.As described above, according to an embodiment of the present disclosure, a WFD source can be easily controlled through a WFD sink using the UIBC technology supported by Miracast.

다음으로, 도 11을 설명한다.Next, FIG. 11 will be described.

도 11은 WFD 싱크(200)가 WFD 소스(100)의 OSD를 제어하는 과정을 설명하는 도면이다.11 is a diagram for explaining a process in which the WFD sink 200 controls the OSD of the WFD source 100 .

도 11을 참조하면, WFD 소스(100)는 컨텐트 영상(910) 및 컨텐트 영상(910)에 중첩된 OSD(On Screen Display) 영상(1130)을 표시하고 있다.Referring to FIG. 11 , the WFD source 100 displays a content image 910 and an On Screen Display (OSD) image 1130 superimposed on the content image 910 .

OSD 메뉴 영상(1130)은 WFD 소스(100)의 기능 설정을 위한 설정 아이콘, 컨텐트 제공자를 나타내는 CP 아이콘, 영화, 동영상을 나타내는 썸네일 아이콘, 어플리케이션을 나타내는 앱 아이콘을 포함할 수 있다.The OSD menu image 1130 may include a setting icon for setting a function of the WFD source 100 , a CP icon indicating a content provider, a thumbnail icon indicating a movie or a video, and an app icon indicating an application.

WFD 소스(100)는 컨텐트 영상(910)에 상응하는 컨텐트 영상 데이터 및 OSD 영상(1110)에 상응하는 OSD 영상 데이터를 WFD 싱크(200)에 전송할 수 있다.The WFD source 100 may transmit content image data corresponding to the content image 910 and OSD image data corresponding to the OSD image 1110 to the WFD sink 200 .

WFD 싱크(200)는 WFD 소스(100)로부터 수신된 컨텐트 영상 데이터에 기초한 미러링 영상(930) 및 OSD 영상 데이터에 기초한 OSD 미러링 영상(1130)을 표시할 수 있다.The WFD sink 200 may display a mirroring image 930 based on the content image data received from the WFD source 100 and an OSD mirroring image 1130 based on the OSD image data.

WFD 싱크(200)는 WFD 소스(100) 상에 OSD 영상(1110)을 표시하고 있는지 여부를 판단할 수 있다.The WFD sink 200 may determine whether the OSD image 1110 is being displayed on the WFD source 100 .

WFD 싱크(200)는 WFD 소스(100)로부터 OSD 영상 데이터를 수신한 경우, WFD 소스(100)가 OSD 영상(1110)을 표시하고 있는 것으로 판단할 수 있다.When receiving the OSD image data from the WFD source 100 , the WFD sink 200 may determine that the WFD source 100 is displaying the OSD image 1110 .

WFD 싱크(200)는 OSD 미러링 영상(1130)에 포함된 복수의 아이콘들 중 어느 하나를 선택하는 터치 입력을 수신할 수 있다.The WFD sink 200 may receive a touch input for selecting any one of a plurality of icons included in the OSD mirroring image 1130 .

WFD 싱크(200)는 터치 입력이 수신된 지점의 좌표 정보를 UIBC를 통해 WFD 소스(100)에 전송할 수 있다.The WFD sink 200 may transmit coordinate information of a point where the touch input is received to the WFD source 100 through the UIBC.

WFD 싱크(200)는 터치 입력의 좌표 정보 및 도 8에 도시된 일반적인 입력 타입 ID 값들을 함께 WFD 소스(100)로 전송할 수 있다. 터치를 통한 아이콘의 선택에 상응하는 ID 값은 0 및 1이다.The WFD sink 200 may transmit the coordinate information of the touch input and the general input type ID values shown in FIG. 8 together to the WFD source 100 . ID values corresponding to selection of an icon through touch are 0 and 1.

WFD 소스(100)는 WFD 싱크(200)로부터 수신된 좌표 정보 및 일반적인 입력 타입 ID 값들을 이용하여, OSD 영상(1110)에 포함된 복수의 아이콘들 중 어느 아이콘이 선택되었는지를 판단할 수 있다.The WFD source 100 may determine which icon is selected from among a plurality of icons included in the OSD image 1110 by using the coordinate information received from the WFD sink 200 and general input type ID values.

WFD 소스(100)는 능력 협상 과정에서 공유한 WFD 소스(100)의 해상도 정보와 WFD 싱크(200) 간의 해상도 정보를 이용하여, 수신된 좌표 정보에 상응하는 소스 좌표 정보를 계산할 수 있다.The WFD source 100 may calculate the source coordinate information corresponding to the received coordinate information by using the resolution information of the WFD source 100 and the resolution information between the WFD sink 200 shared during the capability negotiation process.

WFD 소스(100)는 소스 좌표 정보에 해당되는 지점에 일반적인 입력 타입 ID 값들에 상응하는 터치 입력의 다운 및 업이 발생된 것으로 판단하고, 해당 지점의 아이콘을 선택할 수 있다.The WFD source 100 may determine that the touch input corresponding to the general input type ID values has occurred at the point corresponding to the source coordinate information, and may select the icon of the corresponding point.

이와 같이, 본 개시의 실시 예에 따르면, 사용자는 모바일 기기를 통해, WFD 소스의 OSD 영상까지 편리하게 제어할 수 있다.As such, according to an embodiment of the present disclosure, the user can conveniently control even the OSD image of the WFD source through the mobile device.

본 개시의 일 실시 예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있다.According to an embodiment of the present disclosure, the above-described method may be implemented as a processor-readable code on a medium in which a program is recorded. Examples of the processor-readable medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage device.

Claims (10)

무선 시스템에 있어서,
컨텐트 영상 및 OSD 영상 중 하나 이상을 표시하고, 상기 컨텐트 영상에 상응하는 컨텐트 영상 데이터를 싱크 기기에 전송하는 소스 기기; 및
상기 수신된 컨텐트 영상 데이터에 기초하여, 미러링 영상을 표시하고, 상기 컨텐트 영상의 제어, 상기 소스 기기의 제어, 상기 소스 기기 상에 표시된 상기 OSD 영상의 제어 중 어느 하나의 제어를 위한 터치 입력을 수신하고, 수신된 터치 입력에 기초하여, 제어 명령을 생성하고, 생성된 제어 명령을 사용자 입력 백 채널(User Input Back Channel)을 통해 상기 소스 기기에 전송하는 상기 싱크 기기를 포함하고,
상기 소스 기기는 상기 싱크 기기로부터 수신된 제어 명령에 따른 동작을 수행하는
무선 시스템.In a wireless system,
a source device that displays at least one of a content image and an OSD image and transmits content image data corresponding to the content image to a sink device; and
Based on the received content image data, a mirroring image is displayed, and a touch input for controlling any one of control of the content image, control of the source device, and control of the OSD image displayed on the source device is received. and the sink device that generates a control command based on the received touch input and transmits the generated control command to the source device through a user input back channel,
The source device performs an operation according to a control command received from the sink device.
wireless system. 제1항에 있어서,
상기 제어 명령은
상기 컨텐트 영상의 재생, 중지 또는 종료를 위한 영상 제어 명령이고, 상기 영상 제어 명령은 상기 터치 입력의 좌표 정보 및 상기 터치 입력의 타입을 포함하는
무선 시스템.According to claim 1,
The control command is
an image control command for reproducing, stopping, or terminating the content image, wherein the image control command includes coordinate information of the touch input and a type of the touch input
wireless system. 제2항에 있어서,
상기 소스 기기는
상기 터치 입력의 상기 좌표 정보 및 상기 터치 입력의 상기 타입을 이용하여, 상기 컨텐트 영상을 재생하거나, 중지하거나, 종료하는
무선 시스템.3. The method of claim 2,
The source device is
Playing, stopping, or terminating the content image by using the coordinate information of the touch input and the type of the touch input
wireless system. 제2항에 있어서,
상기 터치 입력의 타입은
터치 다운 및 터치 업을 포함하는
무선 시스템.3. The method of claim 2,
The type of touch input is
including touch-down and touch-up
wireless system. 제1항에 있어서,
상기 싱크 기기는 상기 소스 기기의 제어를 위한 복수의 버튼 항목들을 포함하는 리모컨 화면을 표시하고,
상기 복수의 버튼 항목들 중 어느 하나의 항목을 선택하는 상기 터치 입력에 따라 선택된 항목에 상응하는 기능의 수행을 요청하는 기능 제어 명령을 상기 소스 기기에 전송하는
무선 시스템.According to claim 1,
The sink device displays a remote control screen including a plurality of button items for controlling the source device,
transmitting, to the source device, a function control command for requesting execution of a function corresponding to the selected item according to the touch input for selecting any one of the plurality of button items
wireless system. 제5항에 있어서,
상기 소스 기기는
상기 기능 제어 명령에 따른 기능을 수행하는
무선 시스템.6. The method of claim 5,
The source device is
To perform a function according to the function control command
wireless system. 제1항에 있어서,
상기 소스 기기는 상기 OSD 영상을 더 표시하고, 상기 OSD 영상에 상응하는 OSD 영상 데이터를 상기 싱크 기기에 전송하고,
상기 싱크 기기는 상기 OSD 영상 데이터에 기초하여, OSD 미러링 영상을 더 표시하고, 상기 OSD 미러링 영상에 포함된 복수의 미러링 아이콘들 중 어느 하나를 선택하는 상기 터치 입력을 수신하고, 수신된 터치 입력의 좌표 정보 및 상기 터치 입력의 타입을 상기 소스 기기에 전송하는
무선 시스템.According to claim 1,
the source device further displays the OSD image, and transmits OSD image data corresponding to the OSD image to the sink device;
The sink device further displays an OSD mirroring image based on the OSD image data, receives the touch input for selecting any one of a plurality of mirroring icons included in the OSD mirroring image, and Transmitting coordinate information and the type of the touch input to the source device
wireless system. 제7항에 있어서,
상기 소스 기기는
상기 터치 입력의 상기 좌표 정보 및 상기 터치 입력의 상기 타입에 기초하여, 상기 OSD 영상에 포함된 복수의 아이콘들 중 상기 좌표 정보에 상응하는 위치에 있는 아이콘을 선택하는
무선 시스템.8. The method of claim 7,
The source device is
selecting an icon at a position corresponding to the coordinate information from among a plurality of icons included in the OSD image based on the coordinate information of the touch input and the type of the touch input
wireless system. 무선 디바이스에 있어서,
컨텐트 영상 및 OSD 영상 중 하나 이상을 표시하는 디스플레이;
외부 기기와 무선 통신을 수행하는 무선 통신 인터페이스; 및
상기 외부 기기에 상기 컨텐트 영상에 상응하는 컨텐트 영상 데이터를 외부 기기에 전송하고, 상기 외부 기기로부터 상기 컨텐트 영상의 제어, 상기 무선 디바이스의 제어, 상기 OSD 영상의 제어 중 어느 하나의 제어를 위한 제어 명령을 사용자 입력 백 채널(User Input Back Channel)을 통해 수신하고, 수신된 제어 명령에 따른 동작을 수행하는 프로세서를 포함하는
무선 디바이스.A wireless device comprising:
a display for displaying at least one of a content image and an OSD image;
a wireless communication interface for performing wireless communication with an external device; and
A control command for transmitting content image data corresponding to the content image to the external device to an external device, and controlling any one of control of the content image, control of the wireless device, and control of the OSD image from the external device A user input back channel (User Input Back Channel), comprising a processor for performing an operation according to the received control command
wireless device. 제9항에 있어서,
상기 제어 명령은
상기 제어 명령은 상기 터치 입력의 좌표 정보 및 상기 터치 입력의 타입을 포함하고,
상기 프로세서는
상기 좌표 정보 및 터치 입력의 상기 타입에 따라 상기 컨텐트 영상, 상기 무선 디바이스, 상기 OSD 영상을 제어하고,
상기 터치 입력의 타입은
터치 다운, 터치 업 및 터치 이동 중 하나 이상을 포함하는
무선 디바이스.10. The method of claim 9,
The control command is
The control command includes coordinate information of the touch input and a type of the touch input,
the processor is
control the content image, the wireless device, and the OSD image according to the coordinate information and the type of touch input;
The type of touch input is
including one or more of touch down, touch up, and touch move
wireless device.
KR1020200076060A 2020-06-22 2020-06-22 Wireless system and wireless device KR20210157799A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200076060A KR20210157799A (en) 2020-06-22 2020-06-22 Wireless system and wireless device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200076060A KR20210157799A (en) 2020-06-22 2020-06-22 Wireless system and wireless device

Publications (1)

Publication Number Publication Date
KR20210157799A true KR20210157799A (en) 2021-12-29

Family

ID=79176897

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200076060A KR20210157799A (en) 2020-06-22 2020-06-22 Wireless system and wireless device

Country Status (1)

Country Link
KR (1) KR20210157799A (en)

Similar Documents

Publication Publication Date Title
CN105657483B (en) Multimedia play system, multimedia file sharing method and its control method
EP4033773B1 (en) Connection method for multimedia playing device, multimedia playing device and control terminal
US10932210B2 (en) Content output device and control method thereof
US10721430B2 (en) Display device and method of operating the same
JP5708562B2 (en) Audio / video control system, portable terminal device, and audio / video control program
JP2006501751A (en) Control device in home network environment
US20150281761A1 (en) Hdmi device control via ip
JP5326762B2 (en) Information communication system, information processing apparatus, information communication program, and information communication method
US11868673B2 (en) Wireless device using a mirroring request for a screen sharing device
US11435973B2 (en) Communication apparatus, communication method, and storage medium
KR20190069870A (en) Display apparatus, method for controlling display apparatus and recording media thereof
KR20160132049A (en) Method and device for providing contents in communication system
US11797257B2 (en) Wireless device and wireless system capable of touch based screen magnification
JP2010056966A (en) Server for transmitting image content, image display device, method of transmitting image content, and method of displaying image
KR20210121777A (en) A display device and operating method thereof
CN105653219B (en) A kind of screen transmission control method, device, system and relevant device
WO2018096849A1 (en) Information processing device, information processing method, and program
WO2022242328A1 (en) Method for playback in split screen and display device
KR20210157799A (en) Wireless system and wireless device
US20170127120A1 (en) User terminal and control method therefor
KR20120038116A (en) Electronic device, control device, and control method thereof
JP7044076B2 (en) Playback device, information processing method, and program
KR20210130066A (en) A display device and operating method thereof
JP2015136157A (en) Portable terminal device
JP5947932B2 (en) Electronics

Legal Events

Date Code Title Description
A201 Request for examination