CN115278323A - 一种显示设备、智能设备和数据处理方法 - Google Patents

一种显示设备、智能设备和数据处理方法 Download PDF

Info

Publication number
CN115278323A
CN115278323A CN202210768740.4A CN202210768740A CN115278323A CN 115278323 A CN115278323 A CN 115278323A CN 202210768740 A CN202210768740 A CN 202210768740A CN 115278323 A CN115278323 A CN 115278323A
Authority
CN
China
Prior art keywords
data
target
media data
video
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210768740.4A
Other languages
English (en)
Inventor
宋子全
马晓燕
庞秀娟
刘美玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Visual Technology Co Ltd
Original Assignee
Hisense Visual Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Visual Technology Co Ltd filed Critical Hisense Visual Technology Co Ltd
Priority to CN202210768740.4A priority Critical patent/CN115278323A/zh
Publication of CN115278323A publication Critical patent/CN115278323A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本公开涉及一种显示设备、智能设备和数据处理方法，该显示设备包括：通信器，被配置为：与智能设备进行通信；控制器，被配置为：接收智能设备发送的目标数据包中的预设字节个数的目标长度数据，目标数据包包括：目标长度数据和目标媒体数据，目标长度数据用于表征目标媒体数据对应的目标字节个数，目标媒体数据为以下任一项：视频数据、音频数据、音视频复合数据，目标媒体数据为智能设备对采集的目标源数据进行编码处理得到的；基于目标长度数据，接收智能设备发送的目标字节个数的数据，以得到目标媒体数据；对目标媒体数据进行解码处理得到目标源数据；播放目标源数据。能够降低镜像投屏的时延，提升投屏时的数据处理效率。

Description

一种显示设备、智能设备和数据处理方法
技术领域
本申请实施例涉及镜像投屏技术。更具体地讲，涉及一种显示设备、智能设备和数据处理方法。
背景技术
现有的镜像投屏方式在投屏端将数据传输到被投屏端，被投屏端在接收到下一帧数据的起始标志位时，确定当前帧数据接收完成，并从已经收到的数据中将当前帧数据分离出来后，通过解码器解码处理并播放。
因此，在被投屏端每次需要多等待一帧数据的到来，导致投屏数据的处理时延较大。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种显示设备、智能设备和数据处理方法，可以降低镜像投屏的时延，提升投屏时的数据处理效率。
第一方面，本申请实施例提供了一种显示设备，该显示设备包括：通信器，被配置为：与智能设备进行通信；控制器，被配置为：接收智能设备发送的目标数据包中的预设字节个数的目标长度数据，目标数据包包括：目标长度数据和目标媒体数据，目标长度数据用于表征目标媒体数据对应的目标字节个数，目标媒体数据为以下任一项：视频数据、音频数据、音视频复合数据，目标媒体数据为智能设备对采集的目标源数据进行编码处理得到的；基于目标长度数据，接收智能设备发送的目标字节个数的数据，以得到目标媒体数据；对目标媒体数据进行解码处理得到目标源数据；播放目标源数据。
本申请一些实施例中，目标媒体数据为视频数据或音频数据；目标数据包还包括：标志位，标志位用于指示目标媒体数据的类型，类型为音频类型或视频类型，目标字节个数为目标媒体数据所占的字节个数和标志位所占的字节个数之和；控制器，具体被配置为：通过混合数据通道，接收智能设备发送的目标长度数据；基于目标长度数据，通过混合数据通道，接收智能设备发送的目标字节个数的数据，以得到标志位和目标媒体数据；在标志位指示目标媒体数据的类型为音频类型的情况下，对目标媒体数据进行音频解码处理得到目标源数据；在标志位指示目标媒体数据的类型为视频类型的情况下，对目标媒体数据进行视频解码处理得到目标源数据。
本申请一些实施例中，目标媒体数据为视频数据或音频数据；目标数据包还包括：目标时间戳，目标时间戳用于指示目标源数据的采集时间，目标字节个数为目标媒体数据所占的字节个数和目标时间戳所占的字节个数之和；控制器，具体被配置为：通过目标数据通道，接收智能设备发送的目标长度数据，在目标媒体数据为音频数据的情况下，目标数据通道为音频数据通道，在目标媒体数据为视频数据的情况下，目标数据通道为视频数据通道；基于目标长度数据，通过目标数据通道，接收智能设备发送的目标字节个数的数据，以得到目标时间戳和目标媒体数据；基于目标时间戳，同步播放目标源数据和第一源数据，目标源数据和第一源数据为智能设备同步采集的不同类型的媒体数据。
本申请一些实施例中，目标媒体数据为视频数据，目标数据包还包括：目标序列号，目标序列号用于指示目标源数据的采集顺序；控制器，还被配置为：在接收到的智能设备发送的目标序列号指示的采集顺序满足顺序条件的情况下，接收智能设备发送的预设字节个数的目标长度数据，顺序条件用于指示目标源数据和接收到的上一个源数据是智能设备连续采集的数据；在目标序列号指示的采集顺序不满足顺序条件的情况下，向智能设备发送请求消息，请求消息用于请求将下一个待发送源数据以关键帧的形式进行编码处理并发送；接收智能设备发送的下一个数据包，下一个数据包中的媒体数据是对下一个待发送源数据以关键帧的形式进行编码处理得到的。
第二方面，本申请实施例提供了一种智能设备，该智能设备包括：通信器，被配置为：与显示设备进行通信；控制器，被配置为：向显示设备发送目标数据包，目标数据包包括：预设字节个数的目标长度数据和目标媒体数据，目标长度数据用于表征目标媒体数据对应的目标字节个数，目标媒体数据为以下任一项：视频数据、音频数据、音视频复合数据，目标媒体数据为智能设备对采集的目标源数据进行编码处理得到的；其中，目标数据包用于显示设备接收目标长度数据，并基于目标长度数据，接收智能设备发送的目标字节个数的数据，以得到目标媒体数据，以及对目标媒体数据进行解码处理得到目标源数据，播放目标源数据。
本申请一些实施例中，目标媒体数据为视频数据或音频数据；目标数据包还包括：标志位，标志位用于指示目标媒体数据的类型，类型为音频类型或视频类型，目标字节个数为目标媒体数据所占的字节个数和标志位所占的字节个数之和；控制器，具体被配置为：通过混合数据通道，向显示设备发送目标数据包；其中，在目标媒体数据为音频数据的情况下，标志位用于指示目标媒体数据的类型为音频类型；在目标媒体数据为视频数据的情况下，标志位用于指示目标媒体数据的类型为视频类型。
本申请一些实施例中，目标媒体数据为视频数据或音频数据；目标数据包还包括：时间戳，时间戳用于指示目标源数据的采集时间，目标字节个数为目标媒体数据所占的字节个数和目标时间戳所占的字节个数之和；控制器，具体被配置为：通过目标数据通道，向显示设备发送目标数据包，在目标媒体数据为音频数据的情况下，目标数据通道为音频数据通道，在目标媒体数据为视频数据的情况下，目标数据通道为视频数据通道；其中，目标时间戳用于显示设备基于目标时间戳，同步播放目标源数据和第一源数据，目标源数据和第一源数据为智能设备同步采集的不同类型的媒体数据。
本申请一些实施例中，目标媒体数据为视频数据，目标数据包还包括：目标序列号，目标序列号用于指示目标源数据的采集顺序；控制器，还被配置为：在向显示设备发送目标数据包之后，接收显示设备发送的请求消息，请求消息用于请求将下一个待发送源数据以关键帧的形式进行编码处理并发送；基于请求消息，向显示设备发送下一个数据包，下一个数据包中的媒体数据是对下一个待发送源数据以关键帧的形式进行编码处理得到的。
第三方面，本申请实施例提供了一种数据处理方法，应用于显示设备，该方法包括：接收智能设备发送的目标数据包中的预设字节个数的目标长度数据，目标数据包包括：目标长度数据和目标媒体数据，目标长度数据用于表征目标媒体数据对应的目标字节个数，目标媒体数据为以下任一项：视频数据、音频数据、音视频复合数据，目标媒体数据为智能设备对采集的目标源数据进行编码处理得到的；基于目标长度数据，接收智能设备发送的目标字节个数的数据，以得到目标媒体数据；对目标媒体数据进行解码处理得到目标源数据；播放目标源数据。
本申请一些实施例中，目标媒体数据为视频数据或音频数据；目标数据包还包括：标志位，标志位用于指示目标媒体数据的类型，类型为音频类型或视频类型，目标字节个数为目标媒体数据所占的字节个数和标志位所占的字节个数之和；接收智能设备发送的目标数据包中的预设字节个数的目标长度数据，包括：通过混合数据通道，接收智能设备发送的目标长度数据；基于目标长度数据，接收智能设备发送的目标字节个数的数据，包括：基于目标长度数据，通过混合数据通道，接收智能设备发送的目标字节个数的数据，以得到标志位和目标媒体数据；在标志位指示目标媒体数据的类型为音频类型的情况下，对目标媒体数据进行音频解码处理得到目标源数据；在标志位指示目标媒体数据的类型为视频类型的情况下，对目标媒体数据进行视频解码处理得到目标源数据。
本申请一些实施例中，目标媒体数据为视频数据或音频数据；目标数据包还包括：目标时间戳，目标时间戳用于指示目标源数据的采集时间，目标字节个数为目标媒体数据所占的字节个数和目标时间戳所占的字节个数之和；接收智能设备发送的目标数据包中的预设字节个数的目标长度数据，包括：通过目标数据通道，接收智能设备发送的目标长度数据，在目标媒体数据为音频数据的情况下，目标数据通道为音频数据通道，在目标媒体数据为视频数据的情况下，目标数据通道为视频数据通道；基于目标长度数据，接收智能设备发送的目标字节个数的数据，包括：基于目标长度数据，通过目标数据通道，接收智能设备发送的目标字节个数的数据，以得到目标时间戳和目标媒体数据；基于目标时间戳，同步播放目标源数据和第一源数据，目标源数据和第一源数据为智能设备同步采集的不同类型的媒体数据。
本申请一些实施例中，目标媒体数据为视频数据，目标数据包还包括：目标序列号，目标序列号用于指示目标源数据的采集顺序；该方法还包括：在接收到的智能设备发送的目标序列号指示的采集顺序满足顺序条件的情况下，接收智能设备发送的预设字节个数的目标长度数据，顺序条件用于指示目标源数据和接收到的上一个源数据是智能设备连续采集的数据；在目标序列号指示的采集顺序不满足顺序条件的情况下，向智能设备发送请求消息，请求消息用于请求将下一个待发送源数据以关键帧的形式进行编码处理并发送；接收智能设备发送的下一个数据包，下一个数据包中的媒体数据是对下一个待发送源数据以关键帧的形式进行编码处理得到的。
第四方面，本申请实施例提供了一种数据处理方法，应用于智能设备，该方法包括：向显示设备发送目标数据包，目标数据包包括：预设字节个数的目标长度数据和目标媒体数据，目标长度数据用于表征目标媒体数据对应的目标字节个数，目标媒体数据为以下任一项：视频数据、音频数据、音视频复合数据，目标媒体数据为智能设备对采集的目标源数据进行编码处理得到的；其中，目标数据包用于显示设备接收目标长度数据，并基于目标长度数据，接收智能设备发送的目标字节个数的数据，以得到目标媒体数据，以及对目标媒体数据进行解码处理得到目标源数据，播放目标源数据。
本申请一些实施例中，目标媒体数据为视频数据或音频数据；目标数据包还包括：标志位，标志位用于指示目标媒体数据的类型，类型为音频类型或视频类型，目标字节个数为目标媒体数据所占的字节个数和标志位所占的字节个数之和；向显示设备发送目标数据包，包括：通过混合数据通道，向显示设备发送目标数据包；其中，在目标媒体数据为音频数据的情况下，标志位用于指示目标媒体数据的类型为音频类型；在目标媒体数据为视频数据的情况下，标志位用于指示目标媒体数据的类型为视频类型。
本申请一些实施例中，目标媒体数据为视频数据或音频数据；目标数据包还包括：时间戳，时间戳用于指示目标源数据的采集时间，目标字节个数为目标媒体数据所占的字节个数和目标时间戳所占的字节个数之和；向显示设备发送目标数据包，包括：通过目标数据通道，向显示设备发送目标数据包，在目标媒体数据为音频数据的情况下，目标数据通道为音频数据通道，在目标媒体数据为视频数据的情况下，目标数据通道为视频数据通道；其中，目标时间戳用于显示设备基于目标时间戳，同步播放目标源数据和第一源数据，目标源数据和第一源数据为智能设备同步采集的不同类型的媒体数据。
本申请一些实施例中，目标媒体数据为视频数据，目标数据包还包括：目标序列号，目标序列号用于指示目标源数据的采集顺序；该方法还包括：在向显示设备发送目标数据包之后，接收显示设备发送的请求消息，请求消息用于请求将下一个待发送源数据以关键帧的形式进行编码处理并发送；基于请求消息，向显示设备发送下一个数据包，下一个数据包中的媒体数据是对下一个待发送源数据以关键帧的形式进行编码处理得到的。
第五方面，本申请提供了一种计算机可读存储介质，包括：计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现如第三方面和第四方面所示的数据处理方法。
第六方面，本申请提供了一种计算机程序产品，其特征在于，包括：当计算机程序产品在计算机上运行时，使得计算机实现如第三方面和第四方面所示的数据处理方法。
本申请实施例中，智能设备向显示设备发送目标数据包，目标数据包包括：目标长度数据和目标媒体数据，目标长度数据用于表征目标媒体数据对应的目标字节个数，目标媒体数据为以下任一项：视频数据、音频数据、音视频复合数据，目标媒体数据为智能设备对采集的目标源数据进行编码处理得到的；显示设备接收智能设备发送的目标数据包中的预设字节个数的目标长度数据，基于目标长度数据，接收智能设备发送的目标字节个数的数据，以得到目标媒体数据；对目标媒体数据进行解码处理得到目标源数据，播放目标源数据。由此，显示设备可以根据接收到的目标长度数据，确定目标媒体数据的所对应的字节数(目标字节个数)，继续接收目标字节个数的数据，即可确定目标媒体数据(一帧数据)接收完成，从而可以马上对目标媒体数据进行解码处理并播放，无需将当前帧数据缓存，等待下一帧数据到来后，从缓存区分离出当前帧数据再做解码处理，节约了等待时间和缓存空间，从而降低镜像投屏的时延；同时，现有技术通过下一帧数据的起始码判断当前帧数据接收完成，因此需要对接收到的每个数据进行判断，确定是否是起始码，增加了显示设备处理数据的压力，而本申请基于目标长度数据，确定需要接收的目标媒体数据所对应的字节数，显示设备无需对每个数据进行判断，减少了显示设备处理数据的压力，进而降低了资源消耗，综上，本申请方案可以提高投屏时数据的处理效率。
附图说明
为了更清楚地说明本申请实施例或相关技术中的实施方式，下面将对实施例或相关技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1示出了根据一些实施例的控制设备与显示设备之间的操作场景；
图2示出了根据一些实施例的控制装置100的硬件配置框图；
图3示出了根据一些实施例的显示设备200的硬件配置框图；
图4示出了根据一些实施例的数据处理方法的场景架构图；
图5示出了根据一些实施例的智能设备500中软件配置示意图；
图6示出了根据一些实施例的显示设备200中软件配置示意图；
图7示出了根据一些实施例的目标数据包的结构示意图；
图8示出了根据一些实施例的目标数据包的结构示意图；
图9示出了根据一些实施例的目标数据包的结构示意图；
图10示出了根据一些实施例的目标数据包的结构的示意图；
图11示出了根据一些实施例的数据处理方法的流程示意图之一；
图12示出了根据一些实施例的数据处理方法的流程示意图之二；
图13示出了根据一些实施例的数据处理方法的流程示意图之三；
图14示出了根据一些实施例的数据处理方法的流程示意图之四。
具体实施方式
为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
本申请实施方式提供的显示设备可以具有多种实施形式，例如，可以是电视、智能电视、激光投影设备、显示器(monitor)、电子白板(electronic bulletin board)、电子桌面(electronic table)、手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备等。
图1为根据实施例中显示设备与控制设备之间操作场景的示意图，其中控制设备包括智能设备或控制装置。如图1所示，用户可通过智能设备300或控制装置100操作显示设备200。
在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式，通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等输入用户指令，来控制显示设备200。
在一些实施例中，也可以使用智能设备300(如移动终端、平板电脑、计算机、笔记本电脑等)以控制显示设备200。例如，使用在智能设备上运行的应用程序控制显示设备200。
在一些实施例中，显示设备可以不使用上述的智能设备或控制设备接收指令，而是通过触摸或者手势等接收用户的控制。
在一些实施例中，显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制，例如，可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制，也可以通过显示设备200设备外部设置的语音控制设备来接收用户的语音指令控制。
在一些实施例中，显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。
图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、外部存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。
如图3，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、用户接口280、外部存储器、供电电源中的至少一种。
在一些实施例中控制器包括处理器，视频处理器，音频处理器，图形处理器，RAM，ROM，用于输入/输出的第一接口至第n接口。
显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面。
显示器260可为液晶显示器、OLED显示器、以及投影显示器，还可以为一种投影装置和投影屏幕。
通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括Wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。显示设备200可以通过通信器220与外部控制装置100或服务器400建立控制信号和数据信号的发送和接收。
用户接口280，可用于接收控制装置100(如：红外遥控器等)的控制信号。也可以用于直接接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，此时可以称为用户输入接口。
检测器230用于采集外部环境或与外部交互的信号。例如，检测器230包括光接收器，用于采集环境光线强度的传感器；或者，检测器230包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，再或者，检测器230包括声音采集器，如麦克风等，用于接收外部声音。
外部装置接口240可以包括但不限于如下：高清多媒体接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合型的输入/输出接口。
调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及EPG数据信号。
在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。
控制器250，通过存储在存储器(内部存储器或外部存储器)上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。
在一些实施例中控制器包括中央处理器(Central Processing Unit，CPU)，视频处理器，音频处理器，图形处理器(Graphics Processing Unit，GPU)，以及随机存取存储器(Random Access Memory，RAM)，只读存储器(Read-Only Memory,ROM)，用于输入/输出的第一接口至第n接口，通信总线(Bus)等中的至少一种。
其中，RAM也叫主存，是与控制器直接交换数据的内部存储器。它可以随时读写(刷新时除外)，而且速度很快，通常作为操作***或其他正在运行中的程序的临时数据存储介质。它与ROM的最大区别是数据的易失性，即一旦断电所存储的数据将随之丢失。RAM在计算机和数字***中用来暂时存储程序、数据和中间结果。ROM以非破坏性读出方式工作，只能读出无法写入信息。信息一旦写入后就固定下来，即使切断电源，信息也不会丢失，所以又称为固定存储器。
用户可在显示器260上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。
“用户界面”，是应用程序或操作***与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在显示设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
图4为一些实施例中的场景示意图。如图4所示，本发明实施例提供的数据处理方法包括：显示设备200和智能设备500。其中，显示设备200和智能设备500之间建立有通信连接。智能设备500向显示设备200发送目标数据包，显示设备200先接收智能设备500发送的目标数据包中的预设字节个数的目标长度数据，再基于目标长度数据，接收智能设备500发送的目标字节个数的数据，以得到目标媒体数据，对目标媒体数据进行解码处理得到目标源数据，播放目标源数据。图4中以智能设备500为手机为例示出，但本发明实施例并不限定于此，本发明实施例中的智能设备500还可以为其它类型的设备，例如：智能设备500还可以为电视机、智能手表、个人电脑、掌上电脑等。
图5为根据本申请一个或多个实施例的智能设备500中软件配置示意图，如图5所示，将***分为四层，从上至下分别为应用程序(Applications)层(简称“应用层”)，应用程序框架(Application Framework)层(简称“框架层”)，安卓运行时(Android runtime)和***库层(简称“***运行库层”)，以及内核层。内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。应用层包括：用于与显示设备200通信的通信器、用于进行视频文件采集的视频采集器(video Record)、用于进行音频文件采集的音频采集器(Audio Record)、用于对音频文件进行编码处理的音频数据处理器(AudioEffect)、用于对视频文件进行编码处理的视频数据处理器(video Effect)、以及用于进行数据封装的封装器(MUX)。
图6为根据本申请一个或多个实施例的显示设备200中软件配置示意图，如图6所示，将***分为四层，从上至下分别为应用程序(Applications)层(简称“应用层”)，应用程序框架(Application Framework)层(简称“框架层”)，安卓运行时(Android runtime)和***库层(简称“***运行库层”)，以及内核层。内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。应用层包括：用于与智能设备500通信的通信器、用于对音频数据进行解码处理的音频数据解析器、用于对视频数据进行解码处理的视频数据解析器。
本申请实施例提供了一种显示设备，该显示设备包括：通信器，被配置为：与智能设备进行通信；控制器，被配置为：接收智能设备发送的目标数据包中的预设字节个数的目标长度数据，目标数据包包括：目标长度数据和目标媒体数据，目标长度数据用于表征目标媒体数据对应的目标字节个数，目标媒体数据为以下任一项：视频数据、音频数据、音视频复合数据，目标媒体数据为智能设备对采集的目标源数据进行编码处理得到的；基于目标长度数据，接收智能设备发送的目标字节个数的数据，以得到目标媒体数据；对目标媒体数据进行解码处理得到目标源数据；播放目标源数据。
可以理解，播放目标源数据，即在目标源数据是智能设备录制的智能设备的屏幕(即采集目标源数据，目标源数据是视频类型的数据)的情况下，通过上述图3的显示器260显示目标源数据；在目标源数据是智能设备录制的智能设备的音频(即采集目标源数据，目标源数据是音频类型的数据)的情况下，通过上述图3的音频输出接口270播放目标源数据。
本申请实施例提供了一种智能设备，该智能设备包括：通信器，被配置为：与显示设备进行通信；控制器，被配置为：向显示设备发送目标数据包，目标数据包包括：预设字节个数的目标长度数据和目标媒体数据，目标长度数据用于表征目标媒体数据对应的目标字节个数，目标媒体数据为以下任一项：视频数据、音频数据、音视频复合数据，目标媒体数据为智能设备对采集的目标源数据进行编码处理得到的；其中，目标数据包用于显示设备接收目标长度数据，并基于目标长度数据，接收智能设备发送的目标字节个数的数据，以得到目标媒体数据，以及对目标媒体数据进行解码处理得到目标源数据，播放目标源数据。
可以理解，智能设备向显示设备发送目标数据包；显示设备接收智能设备发送的目标数据包中的预设字节个数的目标长度数据，基于目标长度数据，显示设备接收智能设备发送的目标字节个数的数据，以得到目标媒体数据，对目标媒体数据进行解码处理得到目标源数据并播放目标源数据。
可以理解，智能设备录制当前播放的媒体文件，同步得到音频文件和视频文件，目标源数据即为智能设备录制的音频文件或视频文件，智能设备将目标源数据进行编码处理(音频文件通过音频编码器进行编码处理，视频文件通过视频编码器进行编码处理)，得到目标媒体数据，再将目标媒体数据进行封装，得到目标数据包(包括预设字节个数的目标长度数据和目标媒体数据)。
可以理解，预设字节个数的具体值，根据实际需要确定，本申请实施例不做限定。
可以理解，目标媒体数据为以下任一项：视频数据、音频数据、音视频复合数据；其中，智能设备对录制的视频文件进行视频编码处理得到视频数据；智能设备对录制的音频文件进行视频编码处理得到音频数据；智能设备对录制的视频文件进行视频编码处理得到视频数据，对录制的音频文件进行视频编码处理得到音频数据，再对音频数据和视频数据进行复合处理得到音视频复合数据(进行复合的音频文件和视频文件是智能设备同步录制的)。
可以理解，目标媒体数据为至少一帧完整数据，本申请中均以目标媒体数据为完整的一帧数据进行说明，即视频数据为完整的一帧视频数据，音频数据为完整的一帧视频数据，音视频复合数据为完整的一帧视频数据和完整的一帧音频数据。
可以理解，目标长度数据用于表征目标媒体数据对应的目标字节个数，目标字节个数可以是目标媒体数据所占的字节个数，目标字节个数也可以是目标媒体数据所占的字节个数和目标数据包中的其他信息所占的字节个数之和，具体地根据实际情况确定，本申请实施例不做限定。
具体地，在目标媒体数据为音视频复合数据的情况下，目标字节个数可以是目标媒体数据所占的字节个数，在目标媒体数据为视频数据或者音频数据的情况下，目标字节个数也可以是目标媒体数据所占的字节个数和目标数据包中的其他信息(如标志位、时间戳等)所占的字节个数之和。
可以理解，显示设备先接收预设字节个数的目标长度数据，将目标长度数据转化为整数，该整数即为目标媒体数据所占的字节个数(即目标字节个数)，显示设备继续接收数据，接收到目标字节个数的数据(即目标媒体数据)即可确定目标媒体数据接收完成(也即目标数据包接收完成)，对目标媒体数据进行解码处理得到目标源数据，播放目标源数据，由此，根据目标长度数据指示的目标字节个数，即可确定需要接收的媒体数据的长度，接收完对应长度的媒体数据即可处理播放，无需再等待下一帧数据的到来，节约了时间，降低了时延。
示例性地，以一个数据包中传输一帧数据为例，如图7所示，为一种可能的目标数据包的结构，前四个(即预设字节个数)字节为目标长度数据，从第五个字节开始为需要传输的一帧数据(即目标媒体数据)，将目标长度数据转化为整数，该整数即为目标媒体数据所占的字节数。如：智能设备确定目标媒体数据所占的字节数，封装目标媒体数据得到目标数据包，目标数据包的前四个字节为目标长度数据，第五个字节开始为目标媒体数据，向显示设备发送目标数据包，显示设备先接收智能设备发送的4个字节的目标长度数据，将目标长度数据转化为整数100，即可确定目标字节个数为100(目标媒体数据的长度为100个字节)，显示设备继续接收100个字节的数据，即可以确定目标媒体数据接收完成，对100个字节的数据进行解码处理并播放。
本申请实施例中，智能设备向显示设备发送目标数据包，目标数据包包括：目标长度数据和目标媒体数据，目标长度数据用于表征目标媒体数据对应的目标字节个数，目标媒体数据为以下任一项：视频数据、音频数据、音视频复合数据，目标媒体数据为智能设备对采集的目标源数据进行编码处理得到的；显示设备接收智能设备发送的目标数据包中的预设字节个数的目标长度数据，基于目标长度数据，接收智能设备发送的目标字节个数的数据，以得到目标媒体数据；对目标媒体数据进行解码处理得到目标源数据，播放目标源数据。由此，显示设备可以根据接收到的目标长度数据，确定目标媒体数据的所对应的字节数(目标字节个数)，继续接收目标字节个数的数据，即可确定目标媒体数据(一帧数据)接收完成，从而可以马上对目标媒体数据进行解码处理并播放，无需将当前帧数据缓存，等待下一帧数据到来后，从缓存区分离出当前帧数据再做解码处理，节约了等待时间和缓存空间，从而降低镜像投屏的时延；同时，现有技术通过下一帧数据的起始码判断当前帧数据接收完成，因此需要对接收到的每个数据进行判断，确定是否是起始码，增加了显示设备处理数据的压力，而本申请基于目标长度数据，确定需要接收的目标媒体数据所对应的字节数，显示设备无需对每个数据进行判断，减少了显示设备处理数据的压力，进而降低了资源消耗，综上，本申请方案可以提高投屏时数据的处理效率。
可以理解，目标数据包可以通过同一数据通道传输，也可以通过不同的数据通道传输。
具体地，在目标数据包中携带的目标媒体数据为音视频复合数据时，智能设备将目标数据包通过同一数据通道发送至显示设备，此时，音视频数据是同时传输，显示设备接收到复合数据后，先分离出音频数据和视频数据，再分别对音频数据和视频数据进行解码处理；在目标数据包中携带的目标媒体数据为音频数据或者视频数据时，智能设备将目标数据包通过同一数据通道发送至显示设备，但显示设备无法区别接收到的目标数据包中携带的目标媒体数据是音频数据还是视频数据，因此不确定对接收到的目标媒体数据进行音频解码处理还是视频编码处理，此时，可以在目标数据包中加入标志位，以使显示设备可以根据标志位区别该目标数据包中携带的目标媒体数据是音频数据还是视频数据；在目标数据包中携带的目标媒体数据为音频数据或者视频数据时，也可以将携带音频数据的数据包和携带视频数据的数据包通过不同的数据通道传输，此时，显示设备可以根据数据通道不同，确定接收到的目标数据包中携带的目标媒体数据为音频数据或者视频数据。
本申请一些实施例中，目标媒体数据为视频数据或音频数据；目标数据包还包括：标志位，标志位用于指示目标媒体数据的类型，类型为音频类型或视频类型，目标字节个数为目标媒体数据所占的字节个数和标志位所占的字节个数之和，智能设备通过混合数据通道，向显示设备发送目标数据包；显示设备通过混合数据通道，接收智能设备发送的目标长度数据，显示设备基于目标长度数据，通过混合数据通道，接收智能设备发送的目标字节个数的数据，以得到标志位和目标媒体数据，在标志位指示目标媒体数据的类型为音频类型的情况下，对目标媒体数据进行音频解码处理得到目标源数据，在标志位指示目标媒体数据的类型为视频类型的情况下，对目标媒体数据进行视频解码处理得到目标源数据。
可以理解，标志位是用于指示目标媒体数据的类型是音频类型或者视频类型，标志位所占的字节数以及具体值根据实际需要确定，本申请实施例不做限定。
可以理解，无论目标媒体数据的类型是音频类型还是视频类型，携带目标媒体数据的目标数据包都通过混合数据通道传输，即智能设备将需要传输的音频数据或者视频数据封装后，通过同一数据传输通道发送至显示设备。
可以理解，智能设备将采集的目标源数据进行编码处理得到目标媒体数据，将目标媒体数据进行封装，得到目标数据包，目标数据包中的数据依次为：目标长度数据、标志位和目标媒体数据；显示设备接收到目标数据包的目标长度数据，由此可以确定需要接收的标志位和目标媒体数据所占的字节数，再根据标志位确定对目标媒体数据的类型，在目标音频数据的类型是音频类型的情况下，进行音频解码处理，在目标音频数据的类型是视频类型的情况下，进行视频解码处理，播放处理后得到的目标源数据。
具体地，显示设备封装目标媒体数据的过程，确定标志位：在目标媒体数据是音频数据的情况下，标志位用于指示目标媒体数据的类型为音频类型，在目标媒体数据是视频数据的情况下，标志位用于指示目标媒体数据的类型为视频类型，根据标志位所占的字节数和目标媒体数据所占的字节数求和的结果确定目标长度数据；将目标长度数据、标志位和目标媒体数据进行打包得到目标数据包。
示例性地，以一个数据包中传输一帧数据为例，如图8所示，为一种可能的目标数据包结构，前四个(即预设字节个数)字节为目标长度数据，第五个字节为标志位(如标志位为0指示目标媒体数据的类型为音频类型，标志位为1指示目标媒体数据的类型为视频类型)，从第六个字节开始为需要传输的一帧数据(即目标媒体数据)。如：智能设备确定目标媒体数据所占的字节个数，封装目标媒体数据得到目标数据包，目标数据包的前四个字节为目标长度数据，第五个字节为标志位，第六个字节开始为目标媒体数据，向显示设备发送目标数据包，显示设备先接收智能设备发送的前4个字节的目标长度数据，将目标长度数据转化为整数101，且第五个字节对应的数据为1，由此可知，该目标媒体数据为视频数据，目标媒体数据的长度为100个字节，显示设备将接收到除标志位外的100个字节的数据，进行视频解码处理并播放。
可以理解，携带音频数据的数据包和携带视频数据的数据包通过同一数据通道传输，智能设备根据采集源数据的顺序处理并发送，因此智能设备接收到的数据包也是顺序的，解码处理数据包中携带的媒体数据后播放，无需视频数据和音频数据相互等待。具体地，因为携带音频数据的数据包和携带视频数据的数据包是通过同一通道接收的，对于同一帧视频数据和与其对应的音频数据，智能设备是顺序发送的，显示设备也是顺序接收的，那么处理后播放该视频数据对应的源数据和音频数据对应的源数据在时间上可能存在差异(也受视频数据和音频数据进行解码处理的时间影响)，但该时间差一般很小，人眼或者耳朵无法区别，因此并不影响播放的效果，所以视频数据和音频数据无需相互等待。
本申请实施例中，目标数据包还包括：标志位，标志位用于指示目标媒体数据的类型，类型为音频类型或视频类型，目标字节个数为目标媒体数据所占的字节个数和标志位所占的字节个数之和，智能设备通过混合数据通道，向显示设备发送目标数据包；显示设备通过混合数据通道，接收智能设备发送的目标长度数据，显示设备基于目标长度数据，通过混合数据通道，接收智能设备发送的目标字节个数的数据，以得到标志位和目标媒体数据，在标志位指示目标媒体数据的类型为音频类型的情况下，对目标媒体数据进行音频解码处理得到目标源数据，在标志位指示目标媒体数据的类型为视频类型的情况下，对目标媒体数据进行视频解码处理得到目标源数据。智能设备根据采集源数据的顺序处理并发送数据，显示设备接收到的数据包也是顺序的，因此，显示设备将通过混合数据通道接收的媒体数据处理后即播放，避免了视频数据和音频数据通过不同的数据通道传输时，需要相互等待同步播放，通过同一数据通道传输不同类型的数据包，显示设备接收到媒体数据即可处理播放，节约了时间，降低了时延。
本申请一些实施例中，目标媒体数据为视频数据或音频数据；目标数据包还包括：目标时间戳，目标时间戳用于指示目标源数据的采集时间，目标字节个数为目标媒体数据所占的字节个数和目标时间戳所占的字节个数之和。智能设备通过目标数据通道，向显示设备发送目标数据包；显示设备通过目标数据通道，接收智能设备发送的目标长度数据，基于目标长度数据，通过目标数据通道，接收智能设备发送的目标字节个数的数据，以得到目标时间戳和目标媒体数据，基于目标时间戳，同步播放目标源数据和第一源数据，目标源数据和第一源数据为智能设备同步采集的不同类型的媒体数据；其中，在目标媒体数据为音频数据的情况下，目标数据通道为音频数据通道，在目标媒体数据为视频数据的情况下，目标数据通道为视频数据通道。
可以理解，目标时间戳用于指示目标源数据的采集时间，具体地，目标时间戳指示的时间可以是目标源数据的采集时间，也可以是对目标源数据进行编码处理的时间，还可以是封装目标媒体数据的时间，具体地目标时间戳指示的时间根据实际需要确定，本申请实施例不做限定。
可以理解，基于目标时间戳，同步播放目标源数据和第一源数据，即基于目标时间戳和第一时间戳，同步播放目标源数据和第一源数据，第一时间戳用于指示第一媒体数据的采集时间，第一时间戳和目标时间戳的差值的绝对值小于或等于差值阈值，第一媒体数据和目标媒体数据为不同类型的媒体数据，第一源数据为对第一媒体数据进行解码处理得到的。
可以理解，若多个数据包中携带的时间戳和目标时间戳的差值的绝对值均小于或等于差值阈值，可以将多个数据包中携带的时间戳和目标时间戳的差值的绝对值最小的数据包中携带的媒体数据作为第一媒体数据，也可以将多个数据包任一数据包携带的媒体数据作为第一媒体数据，本申请实施例不做具体限定。
可以理解，目标源数据和第一源数据为智能设备同步采集的不同类型的媒体数据，即目标源数据的类型为音频类型，则第一源数据的类型为视频类型，目标源数据的类型为视频类型，则第一源数据的类型为音频类型。
可以理解，音频数据通道和视频数据通道为不同的数据通道，显示设备通过音频数据通道接收到的数据包中携带的媒体数据，通过音频解码处理得到源数据；通过视频数据通道接收到的数据包中携带的媒体数据，通过视频频解码处理得到源数据。
示例性地，以一个数据包中传输一帧数据为例，如图9所示，为一种可能的目标数据包结构，前四个(即预设字节个数)字节为目标长度数据，第5至12个字节为时间戳(占八个字节)，从第13个字节开始为需要传输的一帧数据(即目标媒体数据)。
本申请实施例中，智能设备通过目标数据通道，向显示设备发送目标数据包；显示设备通过目标数据通道，接收智能设备发送的目标长度数据，基于目标长度数据，通过目标数据通道，接收智能设备发送的目标字节个数的数据，以得到目标时间戳和目标媒体数据，基于目标时间戳，同步播放目标源数据和第一源数据，目标源数据和第一源数据为智能设备同步采集的不同类型的媒体数据。由此，将携带视频数据的数据包和音频数据的数据包通过不同的数据通道发送，显示设备基于接收到的数据包中携带的目标时间戳，同步播放目标源数据和第一源数据，显示设备侧的音视频的同步效果更好，用户体验更佳。
本申请一些实施例中，目标媒体数据为视频数据，目标数据包还包括：目标序列号，目标序列号用于指示目标源数据的采集顺序；显示设备在接收到的智能设备发送的目标序列号指示的采集顺序满足顺序条件的情况下，接收智能设备发送的预设字节个数的目标长度数据，顺序条件用于指示目标源数据和接收到的上一个源数据是智能设备连续采集的数据，在目标序列号指示的采集顺序不满足顺序条件的情况下，显示设备向智能设备发送请求消息，请求消息用于请求将下一个待发送源数据以关键帧的形式进行编码处理并发送；智能设备接收显示设备发送的请求消息，基于请求消息，向显示设备发送下一个数据包，下一个数据包中的媒体数据是对下一个待发送源数据以关键帧的形式进行编码处理得到的；显示设备接收智能设备发送的下一个数据包。
可以理解，目标序列号用于指示目标源数据的采集顺序，如：连续采集源数据，第一帧源数据对应的数据包中的目标序列号为1，第二帧源数据对应的数据包中的目标序列号为2，第三帧源数据对应的数据包中的目标序列号为3，以此类推，序列号的编号可以是顺序的正整数(如1、2、3……)，也可以是等间隔顺序的正整数(如0、2、4……)等，具体地序列号的编号方式本申请实施例不做限定。
示例性地，序列号按照顺序的正整数编号，显示设备接收到上一个数据包的序列号为3，接收到当前数据包的序列号为4，序列号4和序列号3满足顺序条件，由此说明，当前数据包之前的数据包未丢失；显示设备接收到上一个数据包的序列号为3，接收到当前数据包的序列号为5，序列号5和序列号3不满足顺序条件，由此可以说明当前数据包之前的序列号是4的数据包丢失，显示设备向智能设备发送请求消息，请求将下一个待发送源数据以关键帧的形式进行编码处理并发送。
可以理解，关键帧指在编码处理的过程中，该帧的所有数据均保留，显示设备接收到关键帧，无需依赖其他帧数据，即可完整解码出该帧的所有数据。为了节约空间以及提升传输效率，其他帧数据的处理会依赖关键帧，如：第一帧数据是关键帧，第二帧数据存储的是与第一帧数据有差异的区域，相同区域不存储，第三帧数据存储的是与第二帧数据有差异的区域，相同的区域不存储，由此，在上一帧数据丢失以后，下一帧数据只存储了与上一帧数据有差异的区域，则解码后仅能显示该有差异的区域，其他区域会显示马赛克。
可以理解，显示设备在确定有数据包丢失的情况下，在关键帧到来之前，显示设备接收到的所有数据包可以丢弃，防止因为数据包丢失导致播放视频时出现大量的马赛克。
可以理解，可以将源数据编码成基于H.264协议的关键帧，可以将源数据编码成基于H.265协议的关键帧，具体地根据实际需要确定，本申请实施例不做限定。
示例性地，以一个数据包中传输一帧数据为例，如图10所示，为一种可能的目标数据包结构，前4个字节为序列号，第5至8个字节为目标长度数据，从第9个字节开始为需要传输的一帧数据(即目标媒体数据)。
可以理解，目标数据包中还可以包括其他信息，如标志位、时间戳等，具体地，本申请实施例不做限定。
可以理解，智能设备接收到显示设备发送的请求消息，将采集的最近的待发送源数据以关键帧的形式进行编码处理得到媒体数据，再将媒体数据封装成数据包后发送至显示设备。
本申请实施例中，目标数据包中包括序列号，显示设备根据序列号确定在接收到当前数据包之前的数据包是否丢失，在有数据包丢失的情况下，显示设备向智能设备发送请求消息，请求将下一帧待发送的源数据以关键帧的形式编码并发送；在镜像投屏场景中出现丢包后，播放视频时会出现马赛克，影响用户体验，因此，智能设备将下一帧待发送源数据编码成关键帧形式，显示设备接收该关键帧，无需依赖其他帧数据，解码处理后即可得到一帧完整的待播放源数据，视频中不再出现马赛克，提升用户体验。
本申请实施例中，提供了一种数据处理方法，如图11所示，该方法包括下述步骤801至步骤805。
801、智能设备向显示设备发送目标数据包。
其中，目标数据包包括：预设字节个数的目标长度数据和目标媒体数据，目标长度数据用于表征目标媒体数据对应的目标字节个数，目标媒体数据为以下任一项：视频数据、音频数据、音视频复合数据，目标媒体数据为智能设备对采集的目标源数据进行编码处理得到的。
802、显示设备接收智能设备发送的目标数据包中的预设字节个数的目标长度数据。
803、显示设备基于目标长度数据，接收智能设备发送的目标字节个数的数据。
其中，基于目标长度数据，接收智能设备发送的目标字节个数的数据，以得到目标媒体数据。
804、显示设备对目标媒体数据进行解码处理得到目标源数据。
805、显示设备播放目标源数据。
本申请实施例中，智能设备向显示设备发送目标数据包，目标数据包包括：目标长度数据和目标媒体数据，目标长度数据用于表征目标媒体数据对应的目标字节个数，目标媒体数据为以下任一项：视频数据、音频数据、音视频复合数据，目标媒体数据为智能设备对采集的目标源数据进行编码处理得到的；显示设备接收智能设备发送的目标数据包中的预设字节个数的目标长度数据，基于目标长度数据，接收智能设备发送的目标字节个数的数据，以得到目标媒体数据；对目标媒体数据进行解码处理得到目标源数据，播放目标源数据。由此，显示设备可以根据接收到的目标长度数据，确定目标媒体数据的所对应的字节数(目标字节个数)，继续接收目标字节个数的数据，即可确定目标媒体数据(一帧数据)接收完成，从而可以马上对目标媒体数据进行解码处理并播放，无需将当前帧数据缓存，等待下一帧数据到来后，从缓存区分离出当前帧数据再做解码处理，节约了等待时间和缓存空间，从而降低镜像投屏的时延；同时，现有技术通过下一帧数据的起始码判断当前帧数据接收完成，因此需要对接收到的每个数据进行判断，确定是否是起始码，增加了显示设备处理数据的压力，而本申请基于目标长度数据，确定需要接收的目标媒体数据所对应的字节数，显示设备无需对每个数据进行判断，减少了显示设备处理数据的压力，进而降低了资源消耗，综上，本申请方案可以提高投屏时数据的处理效率。
本申请一些实施例中，目标媒体数据为视频数据或音频数据；目标数据包还包括：标志位；结合图11，如图12所示，上述步骤801至步骤803具体可以通过下述步骤801a至803a实现，上述步骤804具体可以通过下述步骤804a和步骤804b实现。
801a、智能设备通过混合数据通道，向显示设备发送目标数据包。
802a、显示设备通过混合数据通道，接收智能设备发送的目标长度数据。
803a、显示设备基于目标长度数据，通过混合数据通道，接收智能设备发送的目标字节个数的数据。
其中，目标字节个数为目标媒体数据所占的字节个数和标志位所占的字节个数之和；基于目标长度数据，通过混合数据通道，接收智能设备发送的目标字节个数的数据，以得到标志位和目标媒体数据。
804a、在标志位指示目标媒体数据的类型为音频类型的情况下，显示设备对目标媒体数据进行音频解码处理得到目标源数据。
其中，标志位用于指示目标媒体数据的类型，类型为音频类型或视频类型。
804b、在标志位指示目标媒体数据的类型为视频类型的情况下，显示设备对目标媒体数据进行视频解码处理得到目标源数据。
本申请实施例中，目标数据包还包括：标志位，标志位用于指示目标媒体数据的类型，类型为音频类型或视频类型，目标字节个数为目标媒体数据所占的字节个数和标志位所占的字节个数之和，智能设备通过混合数据通道，向显示设备发送目标数据包；显示设备通过混合数据通道，接收智能设备发送的目标长度数据，显示设备基于目标长度数据，通过混合数据通道，接收智能设备发送的目标字节个数的数据，以得到标志位和目标媒体数据，在标志位指示目标媒体数据的类型为音频类型的情况下，对目标媒体数据进行音频解码处理得到目标源数据，在标志位指示目标媒体数据的类型为视频类型的情况下，对目标媒体数据进行视频解码处理得到目标源数据。智能设备根据采集源数据的顺序处理并发送数据，显示设备接收到的数据包也是顺序的，因此，显示设备将通过混合数据通道接收的媒体数据处理后即播放，避免了视频数据和音频数据通过不同的数据通道传输时，需要相互等待同步播放，通过同一数据通道传输不同类型的数据包，显示设备接收到媒体数据即可处理播放，节约了时间，降低了时延。
本申请一些实施例中，目标媒体数据为视频数据或音频数据；目标数据包还包括：目标时间戳；结合图11，如图13所示，上述步骤801至步骤803具体可以通过下述步骤801b至803b实现，上述步骤805具体可以通过下述步骤805a实现。
801b、智能设备通过目标数据通道，向显示设备发送目标数据包。
其中，在目标媒体数据为音频数据的情况下，目标数据通道为音频数据通道，在目标媒体数据为视频数据的情况下，目标数据通道为视频数据通道。
802b、显示设备通过目标数据通道，接收智能设备发送的目标长度数据。
803b、显示设备基于目标长度数据，通过目标数据通道，接收智能设备发送的目标字节个数的数据。
其中，目标字节个数为目标媒体数据所占的字节个数和目标时间戳所占的字节个数之和；基于目标长度数据，通过目标数据通道，接收智能设备发送的目标字节个数的数据，以得到目标时间戳和目标媒体数据。
805a、显示设备基于目标时间戳，同步播放目标源数据和第一源数据。
其中，目标时间戳用于指示目标源数据的采集时间；目标源数据和第一源数据为智能设备同步采集的不同类型的媒体数据。
本申请实施例中，智能设备通过目标数据通道，向显示设备发送目标数据包；显示设备通过目标数据通道，接收智能设备发送的目标长度数据，基于目标长度数据，通过目标数据通道，接收智能设备发送的目标字节个数的数据，以得到目标时间戳和目标媒体数据，基于目标时间戳，同步播放目标源数据和第一源数据，目标源数据和第一源数据为智能设备同步采集的不同类型的媒体数据。由此，将携带视频数据的数据包和音频数据的数据包通过不同的数据通道发送，显示设备基于接收到的数据包中携带的目标时间戳，同步播放目标源数据和第一源数据，显示设备侧的音视频的同步效果更好，用户体验更佳。
本申请一些实施例中，目标媒体数据为视频数据，目标数据包还包括：目标序列号；结合图11，如图14所示，该方法还包括下述步骤806至步骤810。
806、显示设备判断接收到的目标序列号指示的采集顺序是否满足顺序条件。
是则执行上述步骤802，否则执行下述步骤807。
其中，目标序列号用于指示目标源数据的采集顺序；顺序条件用于指示目标源数据和接收到的上一个源数据是智能设备连续采集的数据。
807、显示设备向智能设备发送请求消息。
其中，请求消息用于请求将下一个待发送源数据以关键帧的形式进行编码处理并发送。
808、智能设备接收显示设备发送的请求消息。
809、智能设备基于请求消息，向显示设备发送下一个数据包。
其中，下一个数据包中的媒体数据是对下一个待发送源数据以关键帧的形式进行编码处理得到的。
810、显示设备接收智能设备发送的下一个数据包。
需要说明的是，显示设备接收下一个数据包以及处理的具体过程可以参考上述步骤802至步骤805的描述，此处不再赘述。
本申请实施例中，目标数据包中包括序列号，显示设备根据序列号确定在接收到当前数据包之前的数据包是否丢失，在有数据包丢失的情况下，显示设备向智能设备发送请求消息，请求将下一帧待发送的源数据以关键帧的形式编码并发送；在镜像投屏场景中出现丢包后，播放视频时会出现马赛克，影响用户体验，因此，智能设备将下一帧待发送源数据编码成关键帧形式，显示设备接收该关键帧，无需依赖其他帧数据，解码处理后即可得到一帧完整的待播放源数据，视频中不再出现马赛克，提升用户体验。
本发明实施例提供还提供了一种计算机可读存储介质，该计算机可读存储介质上存储计算机程序，该计算机程序被处理器执行时实现上述数据处理方法执行的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，该计算机可读存储介质可以为只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本发明提供一种计算机程序产品，包括：当所述计算机程序产品在计算机上运行时，使得所述计算机实现上述的数据处理方法。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (10)

1.一种显示设备，其特征在于，所述显示设备包括：
通信器，被配置为：与智能设备进行通信；
控制器，被配置为：接收所述智能设备发送的目标数据包中的预设字节个数的目标长度数据，所述目标数据包包括：所述目标长度数据和目标媒体数据，所述目标长度数据用于表征所述目标媒体数据对应的目标字节个数，所述目标媒体数据为以下任一项：视频数据、音频数据、音视频复合数据，所述目标媒体数据为所述智能设备对采集的目标源数据进行编码处理得到的；
基于所述目标长度数据，接收所述智能设备发送的所述目标字节个数的数据，以得到所述目标媒体数据；
对所述目标媒体数据进行解码处理得到所述目标源数据；
播放所述目标源数据。
2.根据权利要求1所述的显示设备，其特征在于，所述目标媒体数据为视频数据或音频数据；所述目标数据包还包括：标志位，所述标志位用于指示所述目标媒体数据的类型，所述类型为音频类型或视频类型，所述目标字节个数为所述目标媒体数据所占的字节个数和所述标志位所占的字节个数之和；
所述控制器，具体被配置为：
通过混合数据通道，接收所述智能设备发送的所述目标长度数据；
基于所述目标长度数据，通过所述混合数据通道，接收所述智能设备发送的所述目标字节个数的数据，以得到所述标志位和所述目标媒体数据；
在所述标志位指示所述目标媒体数据的类型为音频类型的情况下，对所述目标媒体数据进行音频解码处理得到所述目标源数据；
在所述标志位指示所述目标媒体数据的类型为视频类型的情况下，对所述目标媒体数据进行视频解码处理得到所述目标源数据。
3.根据权利要求1所述的显示设备，其特征在于，所述目标媒体数据为视频数据或音频数据；所述目标数据包还包括：目标时间戳，所述目标时间戳用于指示所述目标源数据的采集时间，所述目标字节个数为所述目标媒体数据所占的字节个数和所述目标时间戳所占的字节个数之和；
所述控制器，具体被配置为：
通过目标数据通道，接收所述智能设备发送的所述目标长度数据，在所述目标媒体数据为音频数据的情况下，所述目标数据通道为音频数据通道，在所述目标媒体数据为视频数据的情况下，所述目标数据通道为视频数据通道；
基于所述目标长度数据，通过所述目标数据通道，接收所述智能设备发送的所述目标字节个数的数据，以得到所述目标时间戳和所述目标媒体数据；
基于所述目标时间戳，同步播放所述目标源数据和第一源数据，所述目标源数据和所述第一源数据为所述智能设备同步采集的不同类型的媒体数据。
4.根据权利要求1至3任一项所述的显示设备，其特征在于，所述目标媒体数据为视频数据，所述目标数据包还包括：目标序列号，所述目标序列号用于指示所述目标源数据的采集顺序；
所述控制器，还被配置为：
在接收到的所述智能设备发送的所述目标序列号指示的采集顺序满足顺序条件的情况下，接收所述智能设备发送的所述预设字节个数的目标长度数据，所述顺序条件用于指示所述目标源数据和接收到的上一个源数据是所述智能设备连续采集的数据；
在所述目标序列号指示的采集顺序不满足所述顺序条件的情况下，向所述智能设备发送请求消息，所述请求消息用于请求将下一个待发送源数据以关键帧的形式进行编码处理并发送；
接收所述智能设备发送的下一个数据包，所述下一个数据包中的媒体数据是对所述下一个待发送源数据以关键帧的形式进行编码处理得到的。
5.一种智能设备，其特征在于，所述智能设备包括：
通信器，被配置为：与显示设备进行通信；
控制器，被配置为：向所述显示设备发送目标数据包，所述目标数据包包括：预设字节个数的目标长度数据和目标媒体数据，所述目标长度数据用于表征所述目标媒体数据对应的目标字节个数，所述目标媒体数据为以下任一项：视频数据、音频数据、音视频复合数据，所述目标媒体数据为所述智能设备对采集的目标源数据进行编码处理得到的；
其中，所述目标数据包用于所述显示设备接收所述目标长度数据，并基于所述目标长度数据，接收所述智能设备发送的所述目标字节个数的数据，以得到所述目标媒体数据，以及对所述目标媒体数据进行解码处理得到所述目标源数据，播放所述目标源数据。
6.根据权利要求5所述的智能设备，其特征在于，所述目标媒体数据为视频数据或音频数据；所述目标数据包还包括：标志位，所述标志位用于指示所述目标媒体数据的类型，所述类型为音频类型或视频类型，所述目标字节个数为所述目标媒体数据所占的字节个数和所述标志位所占的字节个数之和；
所述控制器，具体被配置为：
通过混合数据通道，向所述显示设备发送所述目标数据包；
其中，在所述目标媒体数据为音频数据的情况下，所述标志位用于指示所述目标媒体数据的类型为音频类型；
在所述目标媒体数据为视频数据的情况下，所述标志位用于指示所述目标媒体数据的类型为视频类型。
7.根据权利要求5所述的智能设备，其特征在于，所述目标媒体数据为视频数据或音频数据；所述目标数据包还包括：时间戳，所述时间戳用于指示所述目标源数据的采集时间，所述目标字节个数为所述目标媒体数据所占的字节个数和所述目标时间戳所占的字节个数之和；
所述控制器，具体被配置为：
通过目标数据通道，向所述显示设备发送所述目标数据包，在所述目标媒体数据为音频数据的情况下，所述目标数据通道为音频数据通道，在所述目标媒体数据为视频数据的情况下，所述目标数据通道为视频数据通道；
其中，所述目标时间戳用于所述显示设备基于所述目标时间戳，同步播放所述目标源数据和第一源数据，所述目标源数据和所述第一源数据为所述智能设备同步采集的不同类型的媒体数据。
8.根据权利要求5至7任一项所述的智能设备，其特征在于，所述目标媒体数据为视频数据，所述目标数据包还包括：目标序列号，所述目标序列号用于指示所述目标源数据的采集顺序；
所述控制器，还被配置为：
在向所述显示设备发送所述目标数据包之后，接收所述显示设备发送的请求消息，所述请求消息用于请求将下一个待发送源数据以关键帧的形式进行编码处理并发送；
基于所述请求消息，向所述显示设备发送下一个数据包，所述下一个数据包中的媒体数据是对所述下一个待发送源数据以关键帧的形式进行编码处理得到的。
9.一种数据处理方法，其特征在于，应用于显示设备，所述方法包括：
接收智能设备发送的目标数据包中的预设字节个数的目标长度数据，所述目标数据包包括：所述目标长度数据和目标媒体数据，所述目标长度数据用于表征所述目标媒体数据对应的目标字节个数，所述目标媒体数据为以下任一项：视频数据、音频数据、音视频复合数据，所述目标媒体数据为所述智能设备对采集的目标源数据进行编码处理得到的；
基于所述目标长度数据，接收所述智能设备发送的所述目标字节个数的数据，以得到所述目标媒体数据；
对所述目标媒体数据进行解码处理得到所述目标源数据；
播放所述目标源数据。
10.一种数据处理方法，其特征在于，应用于智能设备，所述方法包括：
向显示设备发送目标数据包，所述目标数据包包括：预设字节个数的目标长度数据和目标媒体数据，所述目标长度数据用于表征所述目标媒体数据对应的目标字节个数，所述目标媒体数据为以下任一项：视频数据、音频数据、音视频复合数据，所述目标媒体数据为所述智能设备对采集的目标源数据进行编码处理得到的；
其中，所述目标数据包用于所述显示设备接收所述目标长度数据，并基于所述目标长度数据，接收所述智能设备发送的所述目标字节个数的数据，以得到所述目标媒体数据，以及对所述目标媒体数据进行解码处理得到所述目标源数据，播放所述目标源数据。
CN202210768740.4A 2022-06-30 2022-06-30 一种显示设备、智能设备和数据处理方法 Pending CN115278323A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210768740.4A CN115278323A (zh) 2022-06-30 2022-06-30 一种显示设备、智能设备和数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210768740.4A CN115278323A (zh) 2022-06-30 2022-06-30 一种显示设备、智能设备和数据处理方法

Publications (1)

Publication Number Publication Date
CN115278323A true CN115278323A (zh) 2022-11-01

Family

ID=83763660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210768740.4A Pending CN115278323A (zh) 2022-06-30 2022-06-30 一种显示设备、智能设备和数据处理方法

Country Status (1)

Country Link
CN (1) CN115278323A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115942000A (zh) * 2022-11-08 2023-04-07 北京力控元通科技有限公司 基于h.264格式的视频流转码方法及装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1972408A (zh) * 2006-11-30 2007-05-30 中兴通讯股份有限公司 一种移动多媒体广播***的数据传送方法
CN101110961A (zh) * 2007-08-03 2008-01-23 北京创毅视讯科技有限公司 一种多媒体广播数据传输方法、装置及***
CN101330348A (zh) * 2007-06-19 2008-12-24 中兴通讯股份有限公司 数据封装装置和方法
US20090327510A1 (en) * 2003-02-13 2009-12-31 Adobe Systems Incorporated Real-Time Priority-Based Media Communication
CN102595199A (zh) * 2011-01-11 2012-07-18 中兴通讯股份有限公司 一种流媒体数据包的封装、传输方法及流媒体处理装置
CN114286165A (zh) * 2020-12-21 2022-04-05 海信视像科技股份有限公司 一种显示设备、移动终端及投屏数据传输方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090327510A1 (en) * 2003-02-13 2009-12-31 Adobe Systems Incorporated Real-Time Priority-Based Media Communication
CN1972408A (zh) * 2006-11-30 2007-05-30 中兴通讯股份有限公司 一种移动多媒体广播***的数据传送方法
CN101330348A (zh) * 2007-06-19 2008-12-24 中兴通讯股份有限公司 数据封装装置和方法
CN101110961A (zh) * 2007-08-03 2008-01-23 北京创毅视讯科技有限公司 一种多媒体广播数据传输方法、装置及***
CN102595199A (zh) * 2011-01-11 2012-07-18 中兴通讯股份有限公司 一种流媒体数据包的封装、传输方法及流媒体处理装置
CN114286165A (zh) * 2020-12-21 2022-04-05 海信视像科技股份有限公司 一种显示设备、移动终端及投屏数据传输方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115942000A (zh) * 2022-11-08 2023-04-07 北京力控元通科技有限公司 基于h.264格式的视频流转码方法及装置、设备及介质
CN115942000B (zh) * 2022-11-08 2023-11-21 北京力控元通科技有限公司 H.264格式的视频流转码方法及装置、设备及介质

Similar Documents

Publication Publication Date Title
US9300754B2 (en) Information processing system, information processing apparatus, information processing method, and program
WO2019001347A1 (zh) 移动设备的投屏方法、存储介质、终端及投屏***
CN109391800B (zh) 一种基于广电tvos智能机顶盒的智慧社区视频监控方法和***
WO2015176648A1 (zh) 将智能终端上的数据传输至电视终端的方法、装置
CN112601096A (zh) 视频解码方法、装置、设备及可读存储介质
CN115243074A (zh) 视频流的处理方法及装置、存储介质、电子设备
CN115278323A (zh) 一种显示设备、智能设备和数据处理方法
CN113111214A (zh) 一种播放记录的显示方法及显示设备
US20030190144A1 (en) Recording apparatus, special playback system, medium and information object
CN114630101B (zh) 显示设备、vr设备及虚拟现实应用内容的显示控制方法
CN115278332A (zh) 一种显示设备、播放设备和数据传输方法
CN114339349A (zh) 一种显示设备、数据传输方法及存储介质
CN114710707A (zh) 显示设备及视频缩略图获取方法
CN113453069B (zh) 一种显示设备及缩略图生成方法
US20190028522A1 (en) Transmission of subtitle data for wireless display
WO2012171156A1 (en) Wireless video streaming using usb connectivity of hd displays
CN114979736B (zh) 显示设备和音画同步方法
KR20160011158A (ko) 화면 공유 시스템 및 방법
CN111629250A (zh) 一种显示设备及视频播放方法
CN115174991B (zh) 一种显示设备及视频播放方法
CN116744051A (zh) 一种显示设备和字幕生成方法
CN115134644A (zh) 一种直播数据的处理方法及装置
KR20070048025A (ko) 멀티미디어 데이터를 출력하는 장치 및 방법
CN117651186A (zh) 显示设备、视频无缝切换方法、及存储介质
CN117915139A (zh) 一种显示设备及音画同步方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination