WO2020103326A1 - 一种一对多同屏方法、装置和***、同屏设备及存储介质 - Google Patents

一种一对多同屏方法、装置和***、同屏设备及存储介质

Info

Publication number
WO2020103326A1
WO2020103326A1 PCT/CN2019/071663 CN2019071663W WO2020103326A1 WO 2020103326 A1 WO2020103326 A1 WO 2020103326A1 CN 2019071663 W CN2019071663 W CN 2019071663W WO 2020103326 A1 WO2020103326 A1 WO 2020103326A1
Authority
WO
WIPO (PCT)
Prior art keywords
screen
content
same
terminal
split
Prior art date
Application number
PCT/CN2019/071663
Other languages
English (en)
French (fr)
Inventor
卢启伟
卢炀
刘胜强
Original Assignee
深圳市鹰硕技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市鹰硕技术有限公司 filed Critical 深圳市鹰硕技术有限公司
Publication of WO2020103326A1 publication Critical patent/WO2020103326A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]

Definitions

  • the present invention relates to the field of multimedia technology, and in particular, to a one-to-many co-screen method, device and system, co-screen equipment, and storage medium.
  • DLNA wireless local area network
  • AirPlay wireless personal area network
  • Miracast Wireless Local Area Network
  • WifiDisplay is a wireless display standard based on wifi direct, which can realize wireless projection, but the connection establishment process is relatively slow, difficult to operate, and the experience is not good.
  • AirPlay supports file playback and screen casting, but more is only applicable to certified Apple devices and devices of some Apple authorized partners.
  • the purpose of the present invention is to provide a one-to-many co-screen method, device, equipment and system to solve the problems raised in the background art.
  • a one-to-many co-screen method including:
  • the screen projection content is an audio and video data stream generated by recording and encoding the screen of the first terminal;
  • the screencast content is encoded with a first encoding quality
  • the split screen content is encoded with a second encoding quality
  • the first encoding quality is higher than the second encoding quality
  • the second coding quality is determined according to the number of second terminals and the performance of the current network.
  • the first encoding quality and the second encoding quality include: bit rate, resolution, and frame rate.
  • before acquiring the screencast content sent by the first terminal includes:
  • the acquiring screen projection content sent by the first terminal, and decoding the screen projection content to display in the screen projection window specifically includes:
  • the method further includes:
  • the image after decoding the projection content data is intercepted according to the size and position of the region of interest, and the intercepted image is transformed and displayed in the projection window.
  • before sending the split-screen content to multiple second terminals respectively includes:
  • a write buffer is provided for each split-screen session connection, and the write buffer is provided with a high water level threshold and a low water level threshold;
  • a one-to-many same-screen device including:
  • the screen content acquisition module is used to obtain the screen content sent by the first terminal, where the screen content is an audio and video data stream generated by recording and encoding the screen of the first terminal;
  • a projection output module which decodes the projection content and displays it in the projection window
  • Split screen content generation module recording and encoding its own screen to generate split screen content
  • the split-screen content sending module separately sends the split-screen content to multiple second terminals.
  • the screencast content is encoded with a first encoding quality
  • the split screen content is encoded with a second encoding quality
  • the first encoding quality is higher than the second encoding quality
  • the same-screen device is used to perform an operation for implementing the same-screen method described in any one of the above.
  • a one-to-many co-screen device including a memory and a processor, wherein:
  • Memory used to store instructions
  • the processor is configured to execute the instruction to cause the same-screen device to perform an operation for implementing the same-screen method described in any one of the above.
  • a same-screen device including the same-screen device according to any one of the above.
  • a computer-readable storage medium on which a computer program is stored, and when the computer program is executed by a processor, the steps of any one of the above methods are implemented.
  • a one-to-many co-screen system including a first terminal, the above-mentioned co-screen device, and a plurality of second terminals, wherein,
  • the first terminal is used to record and encode its own screen to generate screen projection content, and send the screen projection content to the same screen device;
  • the same screen device is used to obtain the screen content sent by the first terminal, decode the screen content and display it in the screen window, record and encode its own screen to generate split screen content, and send the split screen content separately To multiple second terminals;
  • the second terminal is configured to receive the split-screen content sent by the same-screen device, decode the split-screen content and display it.
  • the same-screen system further includes an AP, the first terminal and the plurality of second terminals are connected to the AP through wifi, and the same-screen device is connected to the AP through a network cable or wifi.
  • the same-screen system further includes a display device that interfaces with the same-screen device, and the same-screen device is also used to display a projection window and its own desktop through the display device.
  • the screencast content is encoded with a first encoding quality
  • the split screen content is encoded with a second encoding quality
  • the first encoding quality is higher than the second encoding quality
  • the same-screen device is also used to generate a two-dimensional code for display according to its own IP address; the first terminal is also used to scan the two-dimensional code and establish with the same-screen device A screencasting session connection, sending the IP address of the same-screen device to multiple second terminals; the second terminal establishes a split-screen session connection with the same-screen device according to the IP address of the same-screen device.
  • the embodiment of the present invention generates the split-screen content by decoding and outputting the screen-casting content and then re-recording and encoding, and then sending the split-screen content to multiple second terminals, respectively, to realize one-to-many multi-screen.
  • Using different encoding qualities to record and encode the screen-casting content and the split-screen content not only ensures the high quality of the large-screen output image, but also enables each second terminal to be on the same screen with low latency.
  • re-recording and encoding on the same screen device can either screen-cast the content of the first terminal to each second terminal, or the desktop of the same screen device to the second terminal, which enhances the same screen flexibility.
  • FIG. 1 is a flowchart of a one-to-many co-screen method according to an embodiment of the present invention
  • FIG. 3 is a structural diagram of a one-to-many co-screen device according to an embodiment of the present invention.
  • FIG. 4 is a structural diagram of a one-to-many co-screen device in another embodiment of the present invention.
  • FIG. 5 is a structural diagram of a one-to-many co-screen system in an embodiment of the present invention.
  • FIG. 1 it is a flowchart of a one-to-many co-screen method in an embodiment of the present invention.
  • this embodiment can be executed by the same screen device.
  • the method includes the following steps:
  • Step S102 Acquire screen projection content sent by the first terminal, where the screen projection content is an audio and video data stream generated by recording and encoding the screen of the first terminal.
  • the first terminal, multiple second terminals, and the same-screen device all establish a network connection with the same AP (Access Point, wireless access node), where the first terminal, multiple second terminals A wireless network connection is established with the AP through wifi.
  • the same-screen device and the AP can establish a wireless network connection through the wifi and a wired network connection through the network cable. In order to ensure the quality of transmission, it is preferable that the same-screen device and the AP establish a wired network connection through a network cable.
  • the same screen device After the same screen device is started, it obtains its own IP address and generates a QR code for display.
  • the first terminal scans the QR code to establish a communication connection with the same-screen device.
  • the IP address of the same-screen device is stored in the first terminal, and the user can establish a communication connection with the same-screen device by clicking or touching a corresponding button.
  • the first terminal records its own screen, and the recording content includes audio and video, and the audio and video encoding methods may use H.264 and AAC.
  • the frame rate can be up to 40 frames or more, which puts a lot of pressure on the bandwidth and cannot meet the requirements of real-time transmission and playback.
  • the screencast content is encoded using a first encoding quality, which may be preset or determined dynamically by the program according to the performance of the first terminal and the current network status.
  • the first coding quality includes bit rate, resolution and frame rate.
  • Step S104 Decode the projected content and display it in the projected window.
  • the projection screen is a virtual window set by the software, similar to the playback window of a video player. After the same screen device is connected to the display device, the screen content is output to the display device through the screen window.
  • Step S106 recording and encoding the own screen to generate split screen content.
  • the same-screen device performs recording encoding on its own screen to generate split-screen content, and the split-screen content is encoded using the second encoding quality. Since the split-screen content needs to be synchronized to dozens or hundreds of second terminals, in order to ensure low-latency co-screening, the second coding quality is lower than the first coding quality, and can be dynamically based on the number of second terminals and the performance of the current network Settings. As above, the second coding quality also includes bit rate, resolution and frame rate. In this step, the same-screen device can record the screen content of the first terminal to the second terminal by re-recording and encoding the content of its own screen, or the desktop of the same-screen device to the second terminal. Enhanced the flexibility of the same screen.
  • Step S108 Send the split-screen content to multiple second terminals respectively.
  • the first terminal sends the IP address of the same-screen device to each second terminal, so that the second terminal establishes a communication connection with the same-screen device; or, the second terminal scans the The IP address QR code establishes a communication connection with the same screen device.
  • FIG. 2 it is a flowchart of a one-to-many co-screen method in another embodiment of the present invention.
  • this embodiment can be executed by the same screen device.
  • the method includes the following steps:
  • Step S202 Monitor the screen-playing service port to establish a screen-casting session connection with the first terminal; monitor the screen-spanning service port to establish a screen-spanning session connection with each second terminal.
  • the same-screen device after the same-screen device is started, it monitors two service ports (screen-casting service port and split-screen service port), and waits for the first terminal and the second terminal to establish a communication connection with it.
  • the same-screen device is also used to generate a two-dimensional code according to its own IP address and display it on the display device.
  • the first terminal initiates a screen-casting session connection request to the same-screen device according to the IP address of the same-screen device.
  • the same-screen device acquires the information of the first terminal, registers the device with it, and then accepts the first terminal's screen-casting session connection request.
  • each second terminal separately initiates a split-screen session connection request to the same-screen device according to the IP address of the same-screen device, and the same-screen device obtains the information of the second terminal, registers the device with it, and accepts A connection request for a split screen session of the second terminal.
  • Step S204 Receive the first start transmission instruction sent by the first terminal, and initialize the decoder and the screen window.
  • the first start transmission instruction includes first coding quality information, such as bit rate, resolution, and frame rate.
  • first coding quality information such as bit rate, resolution, and frame rate.
  • Step S206 Receive the screen content data sent by the first terminal, decode the screen content data and display it in the screen window.
  • the screen content data includes key frame identification, time stamp, data content, and data length.
  • the system toolbar When recording the screen content of the first terminal, the system toolbar is also recorded. In order to expand the information display area, the area of the system toolbar can be removed by setting the ROI (region of interest) area. In addition, the user can also set the size and position of the ROI area on the first terminal according to their own needs, so that the same-screen device displays only the ROI area.
  • the same-screen device is further configured to receive an instruction for displaying a region of interest sent by a first terminal, where the instruction for displaying a region of interest includes the size and location of the region of interest;
  • the decoded image is intercepted according to the size and position of the region of interest, and the intercepted image is transformed and displayed in the projection window.
  • Step S202 Step S206 implements a screencasting process for transferring the screen content of the first terminal to the same-screen device. Further, it is necessary to screen-cast the content on the same screen to each second terminal that establishes a communication connection with the device on the same screen.
  • Step S208 recording and encoding the own screen to generate split screen content.
  • This step is the same as the embodiment in FIG. 1 and will not be repeated here.
  • Step S210 Send a second start transmission instruction to the second terminal.
  • the same-screen device Before transmitting the frequency-divided content data, the same-screen device sends a second start transmission instruction including the bit rate, resolution, and frame rate to the second terminal.
  • Step S212 Send the split-screen content data to the second terminal.
  • the split-screen content data includes key frame identification, time stamp, data content, and data length.
  • the method before step S212, the method further includes:
  • a write buffer is provided for each split-screen session connection, and the write buffer is provided with a high water level threshold and a low water level threshold;
  • Step S214 Receive the first end transmission instruction sent by the first terminal, release the decoder and close the projection window.
  • Step S216 Receive a disconnection request sent by the second terminal, stop sending split-screen content data to the second terminal, and log off the device information of the second terminal.
  • step S214 and step S216 are initiated by the first terminal and the second terminal, respectively, and are not limited to the last execution.
  • the same-screen device is also used to receive a disconnection request sent by the first terminal and log off the device information of the first terminal.
  • the one-to-many co-screen method decodes and outputs the screen projection content and then re-records and encodes to generate split-screen content, and then sends the split-screen content to multiple second terminals, respectively, to implement one-to-many co-screen.
  • Using different encoding qualities to record and encode the screen-casting content and the split-screen content not only ensures the high quality of the large-screen output image, but also enables each second terminal to be on the same screen with low latency.
  • FIG. 3 it is a structural diagram of a one-to-many co-screen device according to an embodiment of the present invention, including a screen content acquisition module 31, a screen output module 32, a split screen content generation module 33, and a split screen content sending module 34, where:
  • the screen-capture content obtaining module 31 is used to obtain the screen-capture content sent by the first terminal.
  • the screen-capture content is an audio-video data stream generated by recording and encoding the screen of the first terminal.
  • the first terminal, the plurality of second terminals, and the same-screen device all establish a network connection with the same AP, wherein the first terminal, the plurality of second terminals, and the AP establish a wireless network connection through the wifi ,
  • the same-screen device and the AP can establish a wireless network connection through wifi and a wired network connection through a network cable.
  • the same screen device After the same screen device is started, it obtains its own IP address and generates a QR code for display.
  • the first terminal scans the QR code to establish a communication connection with the same-screen device.
  • the first terminal records its own screen, and the recording content includes audio and video, and the audio and video encoding methods may use H.264 and AAC.
  • the screencast content is encoded using a first encoding quality, which may be preset or dynamically set according to the performance of the first terminal and the current network status.
  • the first coding quality includes bit rate, resolution and frame rate.
  • the screen output module 32 decodes the screen content and displays it in the screen window.
  • the projection screen is a virtual window set by the software, similar to the playback window of a video player. After the same screen device is connected to the display device, the screen content is output to the display device through the screen window.
  • the split-screen content generation module 33 records and encodes its own screen to generate split-screen content.
  • the split-screen content generation module 33 records and encodes the screen of the same-screen device to generate split-screen content, and the split-screen content is encoded with a second encoding quality, where the second encoding quality is lower than The first coding quality.
  • the same-screen device is also used to dynamically set the second encoding quality according to the number of second terminals and the performance of the current network.
  • the second encoding quality includes bit rate, resolution and frame rate.
  • the same screen device can record the screen content of the first terminal to each second terminal by re-recording and encoding the content of its own screen, or it can also share the desktop of the same screen device to each second terminal, enhancing The flexibility of the same screen.
  • the split-screen content sending module 34 sends split-screen content to multiple second terminals, respectively.
  • the first terminal sends the IP address of the same-screen device to each second terminal, so that the second terminal establishes a split-screen session connection with the same-screen device; or, the second terminal scans the same screen by scanning
  • the device's IP address QR code establishes a split-screen session connection with the same-screen device.
  • the same-screen device is used to perform operations for implementing the same-screen method as described in any one of the foregoing embodiments (the embodiment of FIG. 1 or FIG. 2).
  • the one-to-many multi-screen device decodes and outputs the screen projection content and then re-records and encodes to generate split-screen content, and then sends the split-screen content to multiple second terminals, respectively, to realize one-to-many multi-screen.
  • Using different encoding qualities to record and encode the screen-casting content and the split-screen content not only ensures the high quality of the large-screen output image, but also enables each second terminal to be on the same screen with low latency.
  • the screen projection device includes a memory 41 and a processor 42, wherein:
  • the memory 41 is used to store a computer program that can run on the processor 42.
  • the processor 42 is configured to execute a computer program to cause the screen projection device to perform operations for implementing the same screen method as described in any one of the foregoing embodiments (the embodiment of FIG. 1 or FIG. 2).
  • the one-to-many multi-screen device decodes and outputs the screen projection content and then re-records and encodes to generate split-screen content, and then sends the split-screen content to multiple second terminals, respectively, to realize one-to-many multi-screen.
  • Using different encoding qualities to record and encode the screen-casting content and the split-screen content not only ensures the high quality of the large-screen output image, but also enables each second terminal to be on the same screen with low latency.
  • a same-screen device including the same-screen device as described in any one of the foregoing embodiments (the embodiment of FIG. 3 or FIG. 4).
  • the one-to-many co-screen device decodes and outputs the screen projection content and then re-records and encodes to generate split-screen content, and then sends the split-screen content to multiple second terminals, respectively, to implement one-to-many co-screen.
  • Using different encoding qualities to record and encode the screen-casting content and the split-screen content not only ensures the high quality of the large-screen output image, but also enables each second terminal to be on the same screen with low latency.
  • a computer-readable storage medium and a computer-readable storage medium, the computer-readable storage medium stores a computer program, and the computer program is implemented as described above when executed by the storage
  • the same-screen method described in an embodiment can be applied to a smart device; the technical solution of the foregoing embodiment is essentially a part that contributes to the existing technology or the technical solution
  • All or part of can be embodied in the form of a software product, which is stored in a storage medium and includes several instructions to make a computer device (which can be a personal computer, server, mobile device, or network device, etc.) or
  • the processor executes all or part of the steps of the method described in this embodiment.
  • the foregoing storage media include various media that can store program codes, such as a USB flash drive, a mobile hard disk, a read-only memory (ROM, Read Only Memory), a random access memory (RAM, Random Access Memory), a magnetic disk, or an optical disk.
  • program codes such as a USB flash drive, a mobile hard disk, a read-only memory (ROM, Read Only Memory), a random access memory (RAM, Random Access Memory), a magnetic disk, or an optical disk.
  • split screen content is generated by decoding and outputting the screen projection content and then re-recording and encoding, and then sending the screen split content to multiple second terminals, respectively, to realize one-to-many multi-screen .
  • Using different encoding qualities to record and encode the screen-casting content and the split-screen content not only ensures the high quality of the large-screen output image, but also enables each second terminal to be on the same screen with low latency.
  • FIG. 5 is a structural diagram of a one-to-many same-screen system according to an embodiment of the present invention, including: a first terminal 51, the above-described same-screen device 52, and a plurality of second terminals 53, wherein,
  • the first terminal 51 is used to record and encode its own screen to generate screen projection content, and send the screen projection content to the same-screen device 52;
  • the same-screen device 52 is used to obtain the screen-casting content sent by the first terminal 51, decode the screen-casting content and display it in the screen-casting window, record and encode the own screen to generate split-screen content, and convert the split-screen content Send to multiple second terminals 53 respectively;
  • the second terminal 53 is configured to receive the split-screen content sent by the same-screen device 52, decode the split-screen content and display it.
  • the networks of the first terminal, the same-screen device, and each second terminal are not limited, and only need to ensure the IP interworking between the first terminal and the same-screen device, and the IP between the same-screen device and each second terminal. Interworking can realize the same screen from the first terminal to multiple second terminals.
  • the same-screen device 52, the first terminal 51, and multiple second terminals 53 are connected to the same AP.
  • the same-screen device 52 supports both wifi and Ethernet
  • the same-screen system further includes AP54
  • the first terminal 51 and a plurality of second terminals 53 are connected to the AP54 via wifi
  • the same-screen device 52 is connected via a network cable Or wifi connect to AP54.
  • the AP supports a 5G frequency band or a 2.4G frequency band at the same time, and the maximum number of users supported is greater than 50.
  • the same-screen system further includes a display device 55 connected to the same-screen device 52.
  • the same-screen device 52 is also used to display the projection window and its own desktop through the display device.
  • the display device 55 may be a high-definition television, a large-screen display, an all-in-one machine, a projector, a computer, etc.
  • the same-screen device 52 and the display device 55 may be wiredly connected via an HDMI cable or a VGA cable, or may be wirelessly connected via wifi.
  • the screencast content is encoded with a first encoding quality
  • the split screen content is encoded with a second encoding quality
  • the first encoding quality is higher than the second encoding quality
  • the same-screen device 52 is also used to generate a two-dimensional code for display according to its own IP address; the first terminal 51 is also used to scan the two-dimensional code and establish a screencasting session with the same-screen device 52 Connect, and send the IP address of the same-screen device 52 to a plurality of second terminals 53; the second terminal 53 establishes a split-screen session connection with the same-screen device 52 according to the IP address of the same-screen device 52.
  • split-screen content is generated by decoding and outputting the screencast content and then re-recording and encoding, and then sending the split-screen content to multiple second terminals, respectively, to realize one-to-many multi-screen.
  • Using different encoding qualities to record and encode the screen-casting content and the split-screen content not only ensures the high quality of the large-screen output image, but also enables each second terminal to be on the same screen with low latency.
  • the same-screen device described in the above can be implemented as a general-purpose processor, programmable logic controller (PLC), digital signal processor (DSP), application specific integrated circuit (ASIC), field programmable for performing the functions described in this application Gate array (FPGA) or other programmable logic device, discrete gate or transistor logic device, discrete hardware component, or any suitable combination thereof.
  • PLC programmable logic controller
  • DSP digital signal processor
  • ASIC application specific integrated circuit
  • FPGA Gate array
  • the storage medium may be a magnetic disk, an optical disk, a read-only memory (Read-Only Memory, ROM) or a random access memory (Random Access Memory, RAM), etc.
  • the embodiment of the present invention generates the split-screen content by decoding and outputting the screen-casting content and then re-recording and encoding, and then sending the split-screen content to multiple second terminals, respectively, to realize one-to-many multi-screen.
  • Using different encoding qualities to record and encode the screen-casting content and the split-screen content not only ensures the high quality of the large-screen output image, but also enables each second terminal to be on the same screen with low latency.
  • re-recording and encoding on the same screen device can either screen-cast the content of the first terminal to each second terminal, or the desktop of the same screen device to the second terminal, which enhances the same screen flexibility.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种一对多同屏方法、装置和***、同屏设备及存储介质，方法包括：获取第一终端发送的投屏内容，所述投屏内容为对所述第一终端的屏幕进行录制编码产生的音视频数据流；将所述投屏内容解码后在投屏窗口进行展示；对自身屏幕进行录制编码生成分屏内容；将所述分屏内容分别发送至多个第二终端。本发明通过对投屏内容解码输出后重新录制编码生成分屏内容，再将分屏内容分别发送至多个第二终端，实现了一对多同屏。

Description

一种一对多同屏方法、装置和***、同屏设备及存储介质 技术领域
本发明涉及多媒体技术领域，尤其涉及一种一对多同屏方法、装置和***、同屏设备及存储介质。
背景技术
现有技术中，通过将电脑和手机连接在同一个wifi下，能够实现手机和电脑的同屏。目前，这种将一个终端的屏幕内容经由wifi传输到另一个终端的无线同屏技术主要有三种：DLNA、AirPlay、Miracast。其中，DLNA是基于UPNP进行组网，可以无线播放现有的多媒体资源或文件，不支持屏幕投射。Miracast，即WifiDisplay，是以wifi direct为基础的无线显示标准，可实现无线投屏，但建立连接过程比较缓慢，不易操作，体验不佳。AirPlay，支持文件播放和投屏，但更多的只适用于认证过的苹果设备和一些苹果授权的合作伙伴的设备。
以上技术方案，主要应用在一对一的投屏场景,不能适应教学领域中几十甚至上百个终端的同屏。
发明内容
本发明的目的在于提供一种一对多同屏方法、装置、设备及***，以解决上述背景技术中提出的问题。
根据本发明的一个方面，提供一种一对多同屏方法，包括：
获取第一终端发送的投屏内容，所述投屏内容为对所述第一终端的屏幕进行录制编码产生的音视频数据流；
将所述投屏内容解码后在投屏窗口进行展示；
对自身屏幕进行录制编码生成分屏内容；
将所述分屏内容分别发送至多个第二终端。
在本发明的一个实施例中，所述投屏内容采用第一编码质量进行编码，所述分屏内容采用第二编码质量进行编码，所述第一编码质量高于第二编码质量。
在本发明的一个实施例中，根据第二终端的数量及当前所处网络的性能来确定第二编码质量。
在本发明的一个实施例中，所述第一编码质量和所述第二编码质量包括：比特率、分辨率和帧速率。
在本发明的一个实施例中，所述获取第一终端发送的投屏内容前包括：
监听投屏服务端口，与第一终端建立投屏会话连接；
将所述分屏内容分别发送至多个第二终端前包括：
监听分屏服务端口，分别与各第二终端建立分屏会话连接。
在本发明的一个实施例中，所述获取第一终端发送的投屏内容，将所述投屏内容解码后在投屏窗口进行展示具体为：
接收第一终端发送的第一开始传输指令，对解码器及投屏窗口进行初始化；
接收第一终端发送的投屏内容数据，将所述投屏内容数据进行解码后在投屏窗口进行展示；
接收第一终端发送的第一结束传输指令，释放解码器及关闭投屏窗口。
在本发明的一个实施例中，所述方法还包括：
接收第一终端发送的感兴趣区域显示指令，所述感兴趣区域显示指令包括感兴趣区域的大小和位置；
将所述投屏内容数据进行解码后的图像根据感兴趣区域的大小和位置进行截取，并对截取后的图像进行变换在投屏窗口进行展示。
在本发明的一个实施例中，将所述分屏内容分别发送至多个第二终端前包括：
为每个分屏会话连接设置一写缓冲器，所述写缓冲器设置有高水位阈值和低水位阈值；
当写缓冲器达到高水位阈值时，停止将分屏内容数据写入；
当写缓冲器降到低水位阈值时，恢复分屏内容数据的写入。
根据本发明的一个方面，提供一种一对多同屏装置，包括：
投屏内容获取模块，用于获取第一终端发送的投屏内容，所述投屏内容为对所述第一终端的屏幕进行录制编码产生的音视频数据流；
投屏输出模块，将所述投屏内容解码后在投屏窗口进行展示；
分屏内容生成模块，对自身屏幕进行录制编码生成分屏内容；
分屏内容发送模块，将所述分屏内容分别发送至多个第二终端。
在本发明的一个实施例中，所述投屏内容采用第一编码质量进行编码，所述分屏内容采用第二编码质量进行编码，所述第一编码质量高于第二编码质量。
在本发明的一个实施例中，所述同屏装置用于执行实现上述任一项所述的同屏方法的操作。
根据本发明的一个方面，提供一种一对多同屏装置，包括存储器和处理器，其中：
存储器，用于存储指令；
处理器，用于执行所述指令，使得所述同屏装置执行实现上述任一项所述的同屏方法的操作。
根据本发明的一个方面，提供一种同屏设备，包括上述任一项所述的同屏装置。
根据本发明的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
根据本发明的一个方面，提供一种一对多同屏***，包括第一终端、上述所述的同屏设备、多个第二终端，其中，
第一终端，用于对自身的屏幕进行录制编码生成投屏内容，将投屏内容发送至同屏设备；
同屏设备，用于获取第一终端发送的投屏内容，将所述投屏内容解码后在投屏窗口进行展示，对自身屏幕进行录制编码生成分屏内容，将所述分屏内容分别发送至多个第二终端；
第二终端，用于接收同屏设备发送的分屏内容，将所述分屏内容解码后进行显示。
在本发明的一个实施例中，所述同屏***还包括AP，第一终端和多个第二终端通过wifi连接至所述AP，同屏设备通过网线或wifi连接至所述AP。
在本发明的一个实施例中，所述同屏***还包括与所述同屏设备对接的显示装置，所述同屏设备还用于将投屏窗口及自身桌面通过所述显示装置进行展示。
在本发明的一个实施例中，所述投屏内容采用第一编码质量进行编码，所述分屏内容采用第二编码质量进行编码，所述第一编码质量高于第二编码质量。
在本发明的一个实施例中，所述同屏设备还用于根据自身的IP地址生成二维码进行展示；所述第一终端还用于扫描所述二维码与所述同屏设备建立投屏会话连接，将所述同屏设备的IP地址发送至多个第二终端；第二终端根据所述同屏设备的IP地址与所述同屏设备建立分屏会话连接。
实施本发明实施例，将具有如下有益效果：
本发明实施例通过对投屏内容解码输出后重新录制编码生成分屏内容，再将分屏内容分别发送至多个第二终端，实现了一对多同屏。对投屏内容和分屏内容采用不同编码质量进行录制编码，不仅保证了大屏输出画面的高品质，而且，也使得各第二终端可以低延迟同屏。此外，在同屏设备端进行重新录制编码既可以将第一终端的投屏内容同屏至各第二终端，也可以将同屏设备自身桌面同屏至各第二终端，增强了同屏的灵活性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面 描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1为本发明一个实施例中一种一对多同屏方法的流程图；
图2为本发明另一个实施例中一种一对多同屏方法的流程图，
图3为本发明一个实施例中一种一对多同屏装置的结构图；
图4为本发明另一个实施例中一种一对多同屏装置的结构图；
图5为本发明一个实施例中一种一对多同屏***的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，为本发明一个实施例中一种一对多同屏方法的流程图。优选的，本实施例可由同屏装置执行。该方法包括以下步骤：
步骤S102，获取第一终端发送的投屏内容，所述投屏内容为对第一终端的屏幕进行录制编码产生的音视频数据流。
在本发明的一个实施例中，第一终端、多个第二终端、同屏装置均与同一AP(Access Point，无线接入节点)建立网络连接，其中，第一终端、多个第二终端与该AP通过wifi建立无线网络连接，同屏装置与该AP既可通过wifi建立无线网络连接，又可通过网线建立有线网络连接。为了保障传输的质量，优选的，同屏装置与该AP通过网线建立有线网络连接。
同屏装置启动后，获取自身的IP地址生成二维码进行展示。第一终端扫描该二维码可与同屏装置建立通讯连接。在本发明的一个实施例中，第一终端内存储有同屏装置的IP地址，用户通过点击或触摸相应按键即可与同屏装置建立通讯连接。第一终端对自身屏幕进行录制，录制内容包括音频和视频， 音视频编码方式可采用H.264和AAC。当画面动态率较高时，帧速率最高可达40帧以上，对带宽造成很大压力，不能满足实时传输播放的要求。为了实现有效的帧速率控制，可通过设置二级转存储及在硬件性能允许范围内调整帧速率，达到在同等带宽条件下，提高画质和流畅度的目的。
在本发明的一个实施例中，投屏内容采用第一编码质量进行编码，该第一编码质量可预先设定，也可由程序根据第一终端的性能和当前所处网络状态来动态确定。第一编码质量包括比特率、分辨率和帧速率。
步骤S104，将投屏内容解码后在投屏窗口进行展示。
该投屏窗口为软件设置的虚拟窗口，类似视频播放器的播放窗口。将同屏装置连接上显示装置后，投屏内容通过投屏窗口输出到显示装置。
步骤S106，对自身屏幕进行录制编码生成分屏内容。
在本发明的一个实施例中，同屏装置对自身屏幕进行录制编码生成分屏内容，所述分屏内容采用第二编码质量进行编码。由于分屏内容需要同步到几十上百个第二终端，为了保障低延迟同屏，第二编码质量低于第一编码质量，可根据第二终端的数量及当前所处网络的性能来动态设置。同上，第二编码质量也包括比特率、分辨率和帧速率。此步骤中，同屏装置通过对自身屏幕内容重新录制编码，既可以将第一终端的投屏内容同屏至各第二终端，也可以将同屏装置自身桌面同屏至各第二终端，增强了同屏的灵活性。
步骤S108，将分屏内容分别发送至多个第二终端。
在本发明的一个实施例中，第一终端将同屏装置的IP地址发送至各第二终端，以使第二终端与同屏装置建立通讯连接；或者，第二终端通过扫描同屏装置的IP地址二维码与同屏装置建立通讯连接。
如图2所示，为本发明另一个实施例中一种一对多同屏方法的流程图。优选的，本实施例可由同屏装置执行。该方法包括以下步骤：
步骤S202，监听投屏服务端口，与第一终端建立投屏会话连接；监听分屏服务端口，分别与各第二终端建立分屏会话连接。
在本发明的一个实施例中，同屏装置启动后，固定监听两个服务端口(投屏服务端口和分屏服务端口)，等待第一终端和第二终端与之建立通讯连接。
在本发明的一个实施例中，同屏装置还用于根据自身IP地址生成二维码通过显示装置进行展示。第一终端根据同屏装置的IP地址向同屏装置发起投屏会话连接请求，同屏装置获取第一终端的信息，对其进行设备注册后，接受第一终端的投屏会话连接请求。
在本发明的一个实施例中，各第二终端根据同屏装置的IP地址分别向同屏装置发起分屏会话连接请求，同屏装置获取第二终端的信息，对其进行设备注册后，接受第二终端的分屏会话连接请求。
步骤S204，接收第一终端发送的第一开始传输指令，对解码器及投屏窗口进行初始化。
在本发明的一个实施例中，第一开始传输指令中包含第一编码质量信息，如比特率、分辨率和帧速率。同屏装置根据第一开始传输指令对解码器和投屏窗口进行初始化。
步骤S206，接收第一终端发送的投屏内容数据，将所述投屏内容数据进行解码后在投屏窗口进行展示。
在本发明的一个实施例中，投屏内容数据包括关键帧标识、时间戳、数据内容和数据长度。
在录制第一终端的屏幕内容时，会将***工具栏也录制进去，为了扩大信息的显示区域，可以通过设置ROI(region of interest，感兴趣区域)区域来去掉不需要的***工具栏区域。此外，用户也可以根据自身需求在第一终端设置ROI区域的大小和位置，以使同屏装置仅显示ROI区域。
在本发明的一个实施例中，同屏装置还用于接收第一终端发送的感兴趣区域显示指令，所述感兴趣区域显示指令包括感兴趣区域的大小和位置；将所述投屏内容数据进行解码后的图像根据感兴趣区域的大小和位置进行截取，并对截取后的图像进行变换在投屏窗口进行展示。
步骤S202ˉ步骤S206实现了将第一终端屏幕内容到同屏装置的投屏流程。进一步地，需要将投屏内容同屏到与同屏装置建立通讯连接的各第二终端。
步骤S208，对自身屏幕进行录制编码生成分屏内容。
该步骤与图1实施例相同，在此不再赘述。
步骤S210，发送第二开始传输指令至第二终端。
在传输分频内容数据之前，同屏装置将包含比特率、分辨率和帧速率的第二开始传输指令发送至第二终端。
步骤S212，发送分屏内容数据至第二终端。
在本发明的一个实施例中，分屏内容数据包括关键帧标识、时间戳、数据内容和数据长度。
在本发明的一个实施例中，在步骤S212之前还包括：
为每个分屏会话连接设置一写缓冲器，所述写缓冲器设置有高水位阈值和低水位阈值；
当写缓冲器达到高水位阈值时，停止将分屏内容数据写入；
当写缓冲器降到低水位阈值时，恢复分屏内容数据的写入。
步骤S214，接收第一终端发送的第一结束传输指令，释放解码器及关闭投屏窗口。
步骤S216，接收第二终端发送的断开连接请求，停止将分屏内容数据发送至该第二终端，并注销第二终端的设备信息。
需要说明的是步骤S214和步骤S216分别是由第一终端和第二终端发起的，并不限定在最后执行。
在本发明的一个实施例中，同屏装置还用于接收第一终端发送的断开连接请求，注销第一终端的设备信息。
上述实施例提供的一对多同屏方法，通过对投屏内容解码输出后重新录制编码生成分屏内容，再将分屏内容分别发送至多个第二终端，实现了一对多同屏。对投屏内容和分屏内容采用不同编码质量进行录制编码，不仅保证了大屏输出画面的高品质，而且，也使得各第二终端可以低延迟同屏。
如图3所示为本发明一个实施例中一种一对多同屏装置的结构图，包括投屏内容获取模块31、投屏输出模块32、分屏内容生成模块33和分屏内容发送模块34，其中：
投屏内容获取模块31，用于获取第一终端发送的投屏内容，所述投屏内 容为对所述第一终端的屏幕进行录制编码产生的音视频数据流。
在本发明的一个实施例中，第一终端、多个第二终端、同屏装置均与同一AP建立网络连接，其中，第一终端、多个第二终端与该AP通过wifi建立无线网络连接，同屏装置与该AP既可通过wifi建立无线网络连接，又可通过网线建立有线网络连接。为了保障传输的质量，优选的，同屏装置与该AP通过网线建立有线网络连接。
同屏装置启动后，获取自身的IP地址生成二维码进行展示。第一终端扫描该二维码可与同屏装置建立通讯连接。第一终端对自身屏幕进行录制，录制内容包括音频和视频，音视频编码方式可采用H.264和AAC。
在本发明的一个实施例中，投屏内容采用第一编码质量进行编码，该第一编码质量可预先设定，也可由根据第一终端的性能和当前所处网络状态来动态设定。第一编码质量包括比特率、分辨率和帧速率。
投屏输出模块32，将投屏内容解码后在投屏窗口进行展示。
该投屏窗口为软件设置的虚拟窗口，类似视频播放器的播放窗口。将同屏装置连接上显示装置后，投屏内容通过投屏窗口输出到显示装置。
分屏内容生成模块33，对自身屏幕进行录制编码生成分屏内容。
在本发明的一个实施例中，分屏内容生成模块33对同屏装置的屏幕进行录制编码生成分屏内容，所述分屏内容采用第二编码质量进行编码，其中，第二编码质量低于第一编码质量。同屏装置还用于根据第二终端的数量及当前所处网络的性能来动态设置第二编码质量。第二编码质量包括比特率、分辨率和帧速率。此步骤中，同屏装置通过对自身屏幕内容重新录制编码既可以将第一终端的投屏内容同屏至各第二终端，也可以将同屏设备自身桌面同屏至各第二终端，增强了同屏的灵活性。
分屏内容发送模块34，将分屏内容分别发送至多个第二终端。
在本发明的一个实施例中，第一终端将同屏装置的IP地址发送至各第二终端，以使第二终端与同屏装置建立分屏会话连接；或者，第二终端通过扫描同屏装置的IP地址二维码与同屏装置建立分屏会话连接。
在本发明的一个实施例中，所述同屏装置用于执行实现如上述任一实施 例(图1或图2实施例)所述的同屏方法的操作。
上述实施例提供的一对多同屏装置，通过对投屏内容解码输出后重新录制编码生成分屏内容，再将分屏内容分别发送至多个第二终端，实现了一对多同屏。对投屏内容和分屏内容采用不同编码质量进行录制编码，不仅保证了大屏输出画面的高品质，而且，也使得各第二终端可以低延迟同屏。
如图4所示为本发明另一个实施例中一种一对多同屏装置的结构图，所述投屏装置包括存储器41和处理器42，其中：
存储器41，用于存储可在处理器42上运行的计算机程序。
处理器42，用于执行计算机程序，使得投屏装置执行实现如上述任一实施例(图1或图2实施例)所述的同屏方法的操作。
上述实施例提供的一对多同屏装置，通过对投屏内容解码输出后重新录制编码生成分屏内容，再将分屏内容分别发送至多个第二终端，实现了一对多同屏。对投屏内容和分屏内容采用不同编码质量进行录制编码，不仅保证了大屏输出画面的高品质，而且，也使得各第二终端可以低延迟同屏。
根据本发明的另一方面，提供一种同屏设备，包括如上述任一实施例(图3或图4实施例)所述的同屏装置。
上述实施例提供的一对多同屏设备，通过对投屏内容解码输出后重新录制编码生成分屏内容，再将分屏内容分别发送至多个第二终端，实现了一对多同屏。对投屏内容和分屏内容采用不同编码质量进行录制编码，不仅保证了大屏输出画面的高品质，而且，也使得各第二终端可以低延迟同屏。
根据本发明的另一方面，提供一种计算机可读存储介质，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被储器执行时实现如上述任一实施例(例如图1或图2实施例)所述的同屏方法，可以应用于智能设备中；前述实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，移动设备或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储 介质包括：U盘、移动硬盘、只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
基于本发明上述实施例提供的计算机可读存储介质，通过对投屏内容解码输出后重新录制编码生成分屏内容，再将分屏内容分别发送至多个第二终端，实现了一对多同屏。对投屏内容和分屏内容采用不同编码质量进行录制编码，不仅保证了大屏输出画面的高品质，而且，也使得各第二终端可以低延迟同屏。
如图5所示为本发明一个实施例中一种一对多同屏***的结构图，包括：第一终端51、上述所述的同屏设备52、多个第二终端53，其中，
第一终端51，用于对自身的屏幕进行录制编码生成投屏内容，将投屏内容发送至同屏设备52；
同屏设备52，用于获取第一终端51发送的投屏内容，将所述投屏内容解码后在投屏窗口进行展示，对自身屏幕进行录制编码生成分屏内容，将所述分屏内容分别发送至多个第二终端53；
第二终端53，用于接收同屏设备52发送的分屏内容，将所述分屏内容解码后进行显示。
理论上，第一终端、同屏设备及各第二终端所处的网络没有任何限制，只需要保证第一终端与同屏设备之间IP互通、同屏设备与各第二终端之间也IP互通即可实现第一终端到多个第二终端的同屏。实际使用中，为了确保同屏不受外界网路的干扰，提高数据传输的稳定性，同屏的流畅性，优选的，将同屏设备52、第一终端51和多个第二终端53连接在同一子网。如，将同屏设备52、第一终端51和多个第二终端53连接在同一AP下。
在本发明的一个实施例中，同屏设备52同时支持wifi和以太网，同屏***还包括AP54，第一终端51和多个第二终端53通过wifi连接至AP54，同屏设备52通过网线或wifi连接至AP54。
在本发明的一个实施例中，所述AP支持5G频段，也可同时支持2.4G频段，支持的最大用户数大于50。
在本发明的一个实施例中，同屏***还包括与同屏设备52对接的显示装置55，同屏设备52还用于将投屏窗口及自身桌面通过所述显示装置进行展示。显示装置55可以是高清电视、大屏显示器、一体机、投影仪、电脑等，同屏设备52与显示装置55可通过HDMI线、VGA线等进行有线连接，也可通过wifi进行无线连接。
在本发明的一个实施例中，投屏内容采用第一编码质量进行编码，所述分屏内容采用第二编码质量进行编码，所述第一编码质量高于第二编码质量。
在本发明的一个实施例中，同屏设备52还用于根据自身的IP地址生成二维码进行展示；第一终端51还用于扫描所述二维码与同屏设备52建立投屏会话连接，将同屏设备52的IP地址发送至多个第二终端53；第二终端53根据同屏设备52的IP地址与同屏设备52建立分屏会话连接。
基于本发明上述实施例提供的同屏***，通过对投屏内容解码输出后重新录制编码生成分屏内容，再将分屏内容分别发送至多个第二终端，实现了一对多同屏。对投屏内容和分屏内容采用不同编码质量进行录制编码，不仅保证了大屏输出画面的高品质，而且，也使得各第二终端可以低延迟同屏。
在上述描述的同屏装置可以实现为用于执行本申请所描述功能的通用处理器、可编程逻辑控制器(PLC)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
工业实用性
本发明实施例通过对投屏内容解码输出后重新录制编码生成分屏内容，再将分屏内容分别发送至多个第二终端，实现了一对多同屏。对投屏内容和分屏内容采用不同编码质量进行录制编码，不仅保证了大屏输出画面的高品质，而且，也使得各第二终端可以低延迟同屏。此外，在同屏设备端进行重新录制编码既可以将第一终端的投屏内容同屏至各第二终端，也可以将同屏设备自身桌面同屏至各第二终端，增强了同屏的灵活性。

Claims (19)

  1. 一种一对多同屏方法，其特征在于，所述方法包括：
    获取第一终端发送的投屏内容，所述投屏内容为对所述第一终端的屏幕进行录制编码产生的音视频数据流；
    将所述投屏内容解码后在投屏窗口进行展示；
    对自身屏幕进行录制编码生成分屏内容；
    将所述分屏内容分别发送至多个第二终端。
  2. 如权利要求1所述的同屏方法，其特征在于，所述投屏内容采用第一编码质量进行编码，所述分屏内容采用第二编码质量进行编码，所述第一编码质量高于第二编码质量。
  3. 如权利要求2所述的同屏方法，其特征在于，所述方法还包括：
    根据第二终端的数量及当前所处网络的性能来确定第二编码质量。
  4. 如权利要求2或3所述的同屏方法，其特征在于，所述第一编码质量和所述第二编码质量包括：比特率、分辨率和帧速率。
  5. 如权利要求2所述的同屏方法，其特征在于，所述获取第一终端发送的投屏内容前包括：
    监听投屏服务端口，与第一终端建立投屏会话连接；
    将所述分屏内容分别发送至多个第二终端前包括：
    监听分屏服务端口，分别与各第二终端建立分屏会话连接。
  6. 如权利要求1所述的同屏方法，其特征在于，所述获取第一终端发送的投屏内容，将所述投屏内容解码后在投屏窗口进行展示具体为：
    接收第一终端发送的第一开始传输指令，对解码器及投屏窗口进行初始化；
    接收第一终端发送的投屏内容数据，将所述投屏内容数据进行解码后在投屏窗口进行展示；
    接收第一终端发送的第一结束传输指令，释放解码器及关闭投屏窗口。
  7. 如权利要求6所述的同屏方法，其特征在于，所述方法还包括：
    接收第一终端发送的感兴趣区域显示指令，所述感兴趣区域显示指令包括感兴趣区域的大小和位置；
    将所述投屏内容数据进行解码后的图像根据感兴趣区域的大小和位置进行截取，并对截取后的图像进行变换在投屏窗口进行展示。
  8. 如权利要求1所述的同屏方法，其特征在于，将所述分屏内容分别发送至多个第二终端前包括：
    为每个分屏会话连接设置一写缓冲器，所述写缓冲器设置有高水位阈值和低水位阈值；
    当写缓冲器达到高水位阈值时，停止将分屏内容数据写入；
    当写缓冲器降到低水位阈值时，恢复分屏内容数据的写入。
  9. 一种一对多同屏装置，其特征在于，包括：
    投屏内容获取模块，用于获取第一终端发送的投屏内容，所述投屏内容为对所述第一终端的屏幕进行录制编码产生的音视频数据流；
    投屏输出模块，将所述投屏内容解码后在投屏窗口进行展示；
    分屏内容生成模块，对自身屏幕进行录制编码生成分屏内容；
    分屏内容发送模块，将所述分屏内容分别发送至多个第二终端。
  10. 如权利要求9所述的同屏装置，其特征在于，所述投屏内容采用第一编码质量进行编码，所述分屏内容采用第二编码质量进行编码，所述第一编码质量高于第二编码质量。
  11. 如权利要求9或10所述的同屏装置，其特征在于，所述同屏装置用于执行实现如权利要求1-8任一项所述的同屏方法的操作。
  12. 一种一对多同屏装置，其特征在于，包括存储器和处理器，其中：
    存储器，用于存储指令；
    处理器，用于执行所述指令，使得所述同屏装置执行实现如权利要求1-8任一项所述的同屏方法的操作。
  13. 一种同屏设备，其特征在于，包括9-12任一项所述的同屏装置。
  14. 一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8任一项所述的方法的步骤。
  15. 一种一对多同屏***，其特征在于，包括第一终端、权利要求14所述的同屏设备、多个第二终端，其中，
    第一终端，用于对自身的屏幕进行录制编码生成投屏内容，将投屏内容发送至同屏设备；
    同屏设备，用于获取第一终端发送的投屏内容，将所述投屏内容解码后在投屏窗口进行展示，对自身屏幕进行录制编码生成分屏内容，将所述分屏内容分别发送至多个第二终端；
    第二终端，用于接收同屏设备发送的分屏内容，将所述分屏内容解码后进行显示。
  16. 如权利要求15所述的同屏***，其特征在于，所述同屏***还包括AP，第一终端和多个第二终端通过wifi连接至所述AP，同屏设备通过网线或wifi连接至所述AP。
  17. 如权利要求15或16所述的同屏***，其特征在于，所述同屏***还包括与所述同屏设备对接的显示装置，所述同屏设备还用于将投屏窗口及自身桌面通过所述显示装置进行展示。
  18. 如权利要求15所述的同屏***，其特征在于，所述投屏内容采用第一编码质量进行编码，所述分屏内容采用第二编码质量进行编码，所述第一编码质量高于第二编码质量。
  19. 如权利要求15所述的同屏***，其特征在于，所述同屏设备还用于根据自身的IP地址生成二维码进行展示；所述第一终端还用于扫描所述二维码与所述同屏设备建立投屏会话连接，将所述同屏设备的IP地址发送至多个第二终端；第二终端根据所述同屏设备的IP地址与所述同屏设备建立分屏会话连接。
PCT/CN2019/071663 2018-11-23 2019-01-14 一种一对多同屏方法、装置和***、同屏设备及存储介质 WO2020103326A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811407866.9 2018-11-23
CN201811407866.9A CN109327728B (zh) 2018-11-23 2018-11-23 一种一对多同屏方法、装置和***、同屏设备及存储介质

Publications (1)

Publication Number Publication Date
WO2020103326A1 true WO2020103326A1 (zh) 2020-05-28

Family

ID=65257943

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/071663 WO2020103326A1 (zh) 2018-11-23 2019-01-14 一种一对多同屏方法、装置和***、同屏设备及存储介质

Country Status (2)

Country Link
CN (1) CN109327728B (zh)
WO (1) WO2020103326A1 (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111897504A (zh) * 2020-07-14 2020-11-06 西安万像电子科技有限公司 数据的显示方法及装置、计算机可读存储介质及处理器
CN111966316A (zh) * 2020-08-25 2020-11-20 西安万像电子科技有限公司 图像数据的显示方法及装置、图像数据显示***
CN111988653A (zh) * 2020-08-25 2020-11-24 京东方科技集团股份有限公司 多视频投屏信息的交互方法、装置、设备及存储介质
CN112153457A (zh) * 2020-09-10 2020-12-29 Oppo（重庆）智能科技有限公司 无线投屏连接方法、装置、计算机存储介质及电子设备
CN112243219A (zh) * 2020-10-15 2021-01-19 北京字节跳动网络技术有限公司 显示设备和终端的控制方法、装置、终端和存储介质
CN112367545A (zh) * 2020-11-10 2021-02-12 上海明我信息技术有限公司 一种投屏方法、装置及投屏设备
CN112383500A (zh) * 2020-06-15 2021-02-19 岭博科技(北京)有限公司 一种对涉及投屏设备的访问请求进行控制的方法及***
CN112637671A (zh) * 2020-12-11 2021-04-09 深圳乐播科技有限公司 一种屏幕共享方法及***
CN113190196A (zh) * 2021-04-27 2021-07-30 北京京东振世信息技术有限公司 多设备联动实现方法、装置、介质及电子设备
CN113282260A (zh) * 2021-06-09 2021-08-20 深圳康佳电子科技有限公司 投屏控制方法、装置、智能终端及计算机可读存储介质
CN113485605A (zh) * 2020-08-24 2021-10-08 青岛海信电子产业控股股份有限公司 一种显示设备、终端设备和投屏方法
CN113590067A (zh) * 2021-07-28 2021-11-02 深圳创维－Rgb电子有限公司 投屏控制方法、***、装置及计算机可读存储介质
CN113727181A (zh) * 2021-08-30 2021-11-30 努比亚技术有限公司 一种投屏时延动态配置方法、设备及计算机可读存储介质
CN114035728A (zh) * 2021-11-10 2022-02-11 京东方科技集团股份有限公司 对页面进行截取并推送的方法及相关设备
WO2022143538A1 (zh) * 2020-12-30 2022-07-07 华为技术有限公司 一种局域网投屏方法、装置和电子设备
CN114845144A (zh) * 2022-04-26 2022-08-02 长沙朗源电子科技有限公司 一种投屏方法、辅助投屏装置及存储介质
WO2022166349A1 (zh) * 2021-02-08 2022-08-11 聚好看科技股份有限公司 一种媒资推送方法及智能终端
CN115442777A (zh) * 2021-06-03 2022-12-06 Oppo广东移动通信有限公司 无线终端中的投屏方法、装置、无线终端及存储介质
WO2022252928A1 (zh) * 2021-06-03 2022-12-08 Oppo广东移动通信有限公司 投屏方法、装置、无线终端、投屏设备及存储介质
CN117061717A (zh) * 2023-10-12 2023-11-14 杭州罗莱迪思科技股份有限公司 投影拼接视频有效控制方法、***及其应用

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110383234A (zh) * 2019-02-20 2019-10-25 深圳市鹰硕技术有限公司 一种投屏方法、装置和***、智能终端和存储介质
CN110352451B (zh) * 2019-02-20 2022-06-24 深圳市鹰硕技术有限公司 一种同屏教学方法、装置、***及存储介质
CN110177399A (zh) * 2019-04-30 2019-08-27 深圳市鹰硕技术有限公司 一种同屏网络连接方法、装置、智能设备及存储介质
WO2021003749A1 (zh) * 2019-07-11 2021-01-14 深圳市鹰硕技术有限公司 一种远程桌面控制方法、装置和***、设备及存储介质
CN112394892A (zh) * 2019-08-15 2021-02-23 北京字节跳动网络技术有限公司 投屏方法、投屏设备、移动终端、存储介质
CN111066075A (zh) * 2019-09-03 2020-04-24 深圳市鹰硕技术有限公司 一种课堂教学互动方法、终端和***
CN112631533A (zh) * 2019-10-09 2021-04-09 上海博泰悦臻电子设备制造有限公司 信息共享方法、信息共享装置、车载终端及存储介质
CN111263217A (zh) * 2020-02-18 2020-06-09 深圳市炬力北方微电子有限公司 无线投屏方法、无线投屏***及其计算机可读存储介质
CN111405351A (zh) * 2020-04-20 2020-07-10 深圳市炬力北方微电子有限公司 多方显示方法及多方显示***
CN111417006A (zh) * 2020-04-28 2020-07-14 广州酷狗计算机科技有限公司 视频投屏方法、装置、终端及存储介质
CN112770151A (zh) * 2020-12-22 2021-05-07 深圳创维－Rgb电子有限公司 支持多人截取投屏播放画面的方法、装置和存储介质
CN113316013B (zh) * 2021-05-31 2022-04-26 烽火通信科技股份有限公司 一种视频投屏方法及***
CN113608710A (zh) * 2021-07-19 2021-11-05 深圳市炬力北方微电子有限公司 一种投屏方法及相关设备
CN113934396A (zh) * 2021-11-03 2022-01-14 上海商米科技集团股份有限公司 一种同屏显示方法、装置及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103312804A (zh) * 2013-06-17 2013-09-18 华为技术有限公司 屏幕分享方法和相关设备及通信***
US20160179295A1 (en) * 2013-08-29 2016-06-23 Zte Corporation Remote wireless screen sharing method, device and system
CN107040498A (zh) * 2016-02-03 2017-08-11 ***通信集团公司 同屏方法及终端
CN108521591A (zh) * 2018-03-30 2018-09-11 广东工业大学 一种投屏方法、装置及***

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1455372A (zh) * 2003-05-29 2003-11-12 上海交通大学 基于ip网络的屏幕共享和同步录制方法
CN101588252B (zh) * 2008-05-23 2011-07-20 华为技术有限公司 一种多点会议的控制方法及装置
CN102457544B (zh) * 2010-10-26 2014-12-03 深圳市誉融科技有限公司 基于互联网的屏幕共享***中用于采集屏幕图像的方法和***
CN102547248B (zh) * 2012-02-03 2014-03-26 深圳锐取信息技术股份有限公司 多路实时监控单视频文件录制方法
CN103338221B (zh) * 2013-05-20 2017-10-24 魅族科技（中国）有限公司 数据传递、数据接收的方法和终端
CN103414751B (zh) * 2013-07-16 2016-08-17 广东工业大学 一种pc屏幕内容分享互动控制方法
JP6303324B2 (ja) * 2013-08-09 2018-04-04 株式会社リコー 通信システム、管理装置、通信方法およびプログラム
US10700988B2 (en) * 2015-03-05 2020-06-30 Cisco Technology, Inc. System and method for dynamic bandwidth adjustments for cellular interfaces in a network environment
CN104796455A (zh) * 2015-03-12 2015-07-22 安徽讯飞皆成软件技术有限公司 跨平台的多屏互动方法、装置及***
CN105898365A (zh) * 2015-11-16 2016-08-24 乐视网信息技术（北京）股份有限公司 跨屏互动方法、装置、服务器和终端设备
CN107102694A (zh) * 2017-06-06 2017-08-29 南京巨鲨显示科技有限公司 一种具有屏幕录像功能的显示器
CN107493484A (zh) * 2017-08-18 2017-12-19 三星电子（中国）研发中心 用于投射屏幕的***、方法和装置
CN107659827A (zh) * 2017-09-25 2018-02-02 北京小鱼易连科技有限公司 基于内容分析的桌面视频编码控制***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103312804A (zh) * 2013-06-17 2013-09-18 华为技术有限公司 屏幕分享方法和相关设备及通信***
US20160179295A1 (en) * 2013-08-29 2016-06-23 Zte Corporation Remote wireless screen sharing method, device and system
CN107040498A (zh) * 2016-02-03 2017-08-11 ***通信集团公司 同屏方法及终端
CN108521591A (zh) * 2018-03-30 2018-09-11 广东工业大学 一种投屏方法、装置及***

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112383500B (zh) * 2020-06-15 2022-09-06 岭博科技(北京)有限公司 一种对涉及投屏设备的访问请求进行控制的方法及***
CN112383500A (zh) * 2020-06-15 2021-02-19 岭博科技(北京)有限公司 一种对涉及投屏设备的访问请求进行控制的方法及***
CN111897504A (zh) * 2020-07-14 2020-11-06 西安万像电子科技有限公司 数据的显示方法及装置、计算机可读存储介质及处理器
CN111897504B (zh) * 2020-07-14 2024-03-12 西安万像电子科技有限公司 数据的显示方法及装置、计算机可读存储介质及处理器
CN113485605A (zh) * 2020-08-24 2021-10-08 青岛海信电子产业控股股份有限公司 一种显示设备、终端设备和投屏方法
CN111966316A (zh) * 2020-08-25 2020-11-20 西安万像电子科技有限公司 图像数据的显示方法及装置、图像数据显示***
CN111988653A (zh) * 2020-08-25 2020-11-24 京东方科技集团股份有限公司 多视频投屏信息的交互方法、装置、设备及存储介质
US11924617B2 (en) 2020-08-25 2024-03-05 Boe Technology Group Co., Ltd. Method for projecting screen, display device, screen projection terminal, and storage medium
CN111966316B (zh) * 2020-08-25 2023-08-25 西安万像电子科技有限公司 图像数据的显示方法及装置、图像数据显示***
CN112153457A (zh) * 2020-09-10 2020-12-29 Oppo（重庆）智能科技有限公司 无线投屏连接方法、装置、计算机存储介质及电子设备
CN112243219A (zh) * 2020-10-15 2021-01-19 北京字节跳动网络技术有限公司 显示设备和终端的控制方法、装置、终端和存储介质
CN112367545A (zh) * 2020-11-10 2021-02-12 上海明我信息技术有限公司 一种投屏方法、装置及投屏设备
CN112637671A (zh) * 2020-12-11 2021-04-09 深圳乐播科技有限公司 一种屏幕共享方法及***
CN112637671B (zh) * 2020-12-11 2023-04-28 深圳乐播科技有限公司 一种屏幕共享方法及***
WO2022143538A1 (zh) * 2020-12-30 2022-07-07 华为技术有限公司 一种局域网投屏方法、装置和电子设备
WO2022166349A1 (zh) * 2021-02-08 2022-08-11 聚好看科技股份有限公司 一种媒资推送方法及智能终端
CN113190196A (zh) * 2021-04-27 2021-07-30 北京京东振世信息技术有限公司 多设备联动实现方法、装置、介质及电子设备
CN113190196B (zh) * 2021-04-27 2023-09-05 北京京东振世信息技术有限公司 多设备联动实现方法、装置、介质及电子设备
CN115442777A (zh) * 2021-06-03 2022-12-06 Oppo广东移动通信有限公司 无线终端中的投屏方法、装置、无线终端及存储介质
WO2022252928A1 (zh) * 2021-06-03 2022-12-08 Oppo广东移动通信有限公司 投屏方法、装置、无线终端、投屏设备及存储介质
CN113282260A (zh) * 2021-06-09 2021-08-20 深圳康佳电子科技有限公司 投屏控制方法、装置、智能终端及计算机可读存储介质
CN113282260B (zh) * 2021-06-09 2024-04-23 深圳康佳电子科技有限公司 投屏控制方法、装置、智能终端及计算机可读存储介质
CN113590067A (zh) * 2021-07-28 2021-11-02 深圳创维－Rgb电子有限公司 投屏控制方法、***、装置及计算机可读存储介质
CN113727181A (zh) * 2021-08-30 2021-11-30 努比亚技术有限公司 一种投屏时延动态配置方法、设备及计算机可读存储介质
CN113727181B (zh) * 2021-08-30 2024-05-17 努比亚技术有限公司 一种投屏时延动态配置方法、设备及计算机可读存储介质
CN114035728A (zh) * 2021-11-10 2022-02-11 京东方科技集团股份有限公司 对页面进行截取并推送的方法及相关设备
CN114845144B (zh) * 2022-04-26 2023-12-15 长沙朗源电子科技有限公司 一种投屏方法、辅助投屏装置及存储介质
CN114845144A (zh) * 2022-04-26 2022-08-02 长沙朗源电子科技有限公司 一种投屏方法、辅助投屏装置及存储介质
CN117061717B (zh) * 2023-10-12 2024-01-09 杭州罗莱迪思科技股份有限公司 投影拼接视频有效控制方法、***及其应用
CN117061717A (zh) * 2023-10-12 2023-11-14 杭州罗莱迪思科技股份有限公司 投影拼接视频有效控制方法、***及其应用

Also Published As

Publication number Publication date
CN109327728B (zh) 2021-10-15
CN109327728A (zh) 2019-02-12

Similar Documents

Publication Publication Date Title
WO2020103326A1 (zh) 一种一对多同屏方法、装置和***、同屏设备及存储介质
US9665336B2 (en) Direct streaming for wireless display
WO2020103325A1 (zh) 一种投屏方法、装置和***、智能终端和存储介质
TWI565310B (zh) 無線通訊系統中的視訊流送
KR101859064B1 (ko) 비디오 동기 재생 방법, 장치 및 시스템
US10110393B2 (en) Protocol switching over multi-network interface
WO2019090902A1 (zh) 屏幕共享的方法、装置、电子设备及存储介质
KR102157634B1 (ko) 영상 획득 방법 및 로컬 엔드포인트 호스트 장치
WO2016004857A1 (zh) 一种同屏共享的方法、装置及***
WO2017084309A1 (zh) 视频的无线传输设备、视频播放设备、方法及***
WO2021168649A1 (zh) 多功能接收设备和会议***
TW201332357A (zh) 電視畫面重現的方法、系統及電視設備
JP2013106344A (ja) ディジタル・メディア・サーバからディジタル・メディア・レンダラにビデオ・コンテンツを出力する方法、及び関連したメディア共有システム
US8379150B2 (en) Data transmission method and audio/video system capable of splitting and synchronizing audio/video data
WO2017016266A1 (zh) 一种实现同步播放的方法和装置
GB2486425A (en) Rendering multimedia content from a mobile device onto an external display device
US20220182713A1 (en) Device and system for streaming media interaction
CN113055636B (zh) 一种数据处理方法及会议***
WO2018054349A1 (zh) 数据发送方法、数据接收方法及其装置和***
CN110740286A (zh) 一种视频会议控制方法、多点控制单元及视频会议终端
WO2016107174A1 (zh) 多媒体文件数据的处理方法及***、播放器和客户端
WO2023273992A1 (zh) 无线传输***、方法及装置
WO2023279895A1 (zh) 显示设备以及投屏方法
CN113489934A (zh) 一种智能管家服务器、***及屏幕远程交互方法
EP3785443A1 (en) System and method for rendering stitched video media stream on a display device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19887222

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19887222

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 05.10.2021)

122 Ep: pct application non-entry in european phase

Ref document number: 19887222

Country of ref document: EP

Kind code of ref document: A1