CN113507638A - 显示设备及投屏方法 - Google Patents

显示设备及投屏方法 Download PDF

Info

Publication number
CN113507638A
CN113507638A CN202110766329.9A CN202110766329A CN113507638A CN 113507638 A CN113507638 A CN 113507638A CN 202110766329 A CN202110766329 A CN 202110766329A CN 113507638 A CN113507638 A CN 113507638A
Authority
CN
China
Prior art keywords
screen projection
packet
rtp
data
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110766329.9A
Other languages
English (en)
Other versions
CN113507638B (zh
Inventor
徐建锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vidaa Netherlands International Holdings BV
Original Assignee
Hisense Visual Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Visual Technology Co Ltd filed Critical Hisense Visual Technology Co Ltd
Priority to CN202110766329.9A priority Critical patent/CN113507638B/zh
Publication of CN113507638A publication Critical patent/CN113507638A/zh
Priority to CN202280038245.6A priority patent/CN117441155A/zh
Priority to PCT/CN2022/096378 priority patent/WO2023279895A1/zh
Application granted granted Critical
Publication of CN113507638B publication Critical patent/CN113507638B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请公开了一种显示设备及投屏方法，包括：显示器；与显示器通信连接的控制器，控制器被配置为：响应于接收到投屏信号，启动RTSP交互线程；接收投屏设备发送的投屏数据，投屏数据包含若干视频帧，视频帧包含若干RTP数据包；检测RTP数据包，在当前RTP数据包与上一个接收到的数据包不连续时，向投屏设备发送RTSP消息，以使投屏设备降低分辨率；在当前RTP数据包与上一个接收到的RTP数据包连续时，控制显示器播放投屏数据。本申请中显示设备在播放不流畅时通知投屏设备降低投屏数据的分辨率，从而降低数据量，显示设备在接收低分辨率的投屏数据后达到流畅播放的效果，使得用户可以流畅的观看完投屏数据，提高了用户体验。

Description

显示设备及投屏方法
技术领域
本申请涉及显示技术领域，尤其涉及一种显示设备及投屏方法。
背景技术
显示设备是一种可实现双向人机交互功能，集影音、娱乐、数据等多种功能于一体的电视产品。为满足用户多样化的需求，显示设备安装有投屏、影音、娱乐等多种应用，通过用户界面与用户进行交互和信息交换。
针对于投屏应用来说，Miracast投屏是显示设备之间一种重要的资源共享方式，其通过过RTSP(Real TimeStreaming Protoco，实时流传输协议)来实现媒资共享。例如，在利用Miracast投屏时，手机需要获取待分享媒资的视频帧，然后将视频帧进行压缩和编码，并传输至智能电视。智能电视对接收到的媒资数据进行解压，并将解压后的媒资进行展示。由于部分手机在进行压缩时，依旧采用旧版压缩算法，使得发送到智能电视的数据量太大，智能电视来不及处理，从而导致媒资播放延迟或者智能电视花屏问题，使用户体验效果不佳。
发明内容
本申请提供了一种显示设备及投屏方法，以解决现有技术中由于手机压缩后媒资的数据量大，导致智能电视处理不及时使得用户体验效果不佳的技术问题。
为了解决上述技术问题，本申请实施例公开了如下技术方案：
第一方面，本申请实施例公开了一种显示设备，所述显示设备包括：
显示器；
控制器，所述控制器与所述显示器通信连接，所述控制器被配置为：
响应于接收到投屏信号，启动RTSP交互线程，以使显示设备与投屏设备进行数据交互；
接收所述投屏设备发送的投屏数据，其中，所述投屏数据包含若干视频帧，所述视频帧包含若干RTP数据包；
检测所述RTP数据包，
在当前RTP数据包与上一个接收到的RTP数据包不连续时，向所述投屏设备发送RTSP消息，以使所述投屏设备根据所述RTSP消息降低分辨率；在当前RTP数据包与上一个接收到的RTP数据包连续时，控制所述显示器播放所述投屏数据。
在一些实施例中，所述RTP包中标记有封包序号，在所述在当前RTP数据包与上一个接收到的RTP数据包不连续时，向所述投屏设备发送RTSP消息的步骤中，所述控制器还被配置为：
检测当前RTP数据包的封包序号与上一个接收到的RTP数据包的封包序号是否连续；在所述封包序号不连续时，向所述投屏设备发送RTSP消息。
在一些实施例中，在所述向所述投屏设备发送RTSP消息之前，所述控制器还被配置为：
在所述封包序号不连续时，计算丢失的RTP数据包的数量；在丢失的所述RTP数据包的数量大于预设值时，向所述投屏设备发送RTSP消息。
在一些实施例中，在所述封包序号不连续时，计算丢失的RTP数据包的数量的步骤中，所述控制器还被配置为：
将当前RTP数据包的封装序号与上一个接收到的RTP数据包的封包序号做差，得到丢失的所述RTP数据包的数量。
在一些实施例中，在向所述投屏设备发送RTSP消息之后，所述控制器还被配置为：
记录所述投屏数据的当前播放进度；接收所述投屏设备发送的分辨率修改成功的反馈消息，并接收所述投屏设备发送的降低分辨率后的投屏数据；基于所述播放进度，控制所述显示器按照降低后的分辨率续播播放所述投屏数据。
在一些实施例中，在向所述投屏设备发送RTSP消息之后，所述控制器还被配置为：
未接收所述投屏设备发送的分辨率修改成功的反馈消息；停止所述RTSP交互线程，控制所述显示器退出所述投屏数据的播放过程。
第二方面，本申请实施例公开了一种投屏方法，所述投屏方法包括：
响应于接收到投屏信号，启动RTSP交互线程，以使显示设备与投屏设备进行数据交互；
接收所述投屏设备发送的投屏数据，其中，所述投屏数据包含若干视频帧，所述视频帧包含若干RTP数据包；
检测所述RTP数据包，
在当前RTP数据包与上一个接收到的RTP数据包不连续时，向所述投屏设备发送RTSP消息，以使所述投屏设备根据所述RTSP消息降低分辨率；在当前RTP数据包与上一个接收到的RTP数据包连续时，控制显示器播放所述投屏数据。
与现有技术相比，本申请的有益效果为：
本申请提供了一种显示设备及投屏方法，当用户通过投屏设备向显示设备发送投屏信号时，显示设备响应于该投屏信号，投屏设备与显示设备均启动RTSP交互线程。投屏设备将投屏数据压缩打包为若干RTP数据包，并将RTP数据包发送至显示设备。显示设备接收并检测投屏设备发送的RTP数据包，判断当前RTP数据包与上一个接收到的RTP数据包是否连续。若连续，则显示设备于显示器上展示出投屏数据，若不连续，则显示设备向投屏设备发送RTSP消息，请求投屏设备降低分辨率。本申请中，显示设备通过发送用于指示投屏设备降低分辨率的RTSP消息，使投屏设备降低投屏数据播放的分辨率，从而降低数据量，显示设备在接收到投屏设备发送的降低分辨率后的投屏数据后达到流畅播放的效果，使得用户可以流畅的观看完投屏数据，提高了用户体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1中示例性示出了根据一些实施例的显示设备与控制装置之间操作场景的示意图；
图2中示例性示出了根据一些实施例的控制装置100的硬件配置框图；
图3中示例性示出了根据一些实施例的显示设备200的硬件配置框图；
图4中示例性示出了根据一些实施例的显示设备200中软件配置示意图；
图5中示例性示出了根据一些实施例的投屏方法的流程示意图；
图6中示例性示出了根据一些实施例的投屏方法的另一流程示意图；
图7中示例性示出了根据一些实施例的投屏方法的时序图。
具体实施方式
为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。
图1为根据实施例中显示设备与控制装置之间操作场景的示意图。如图1所示，用户可通过智能设备300或控制装置100操作显示设备200。
在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式，通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等输入用户指令，来控制显示设备200。
在一些实施例中，也可以使用智能设备300(如移动终端、平板电脑、计算机、笔记本电脑等)以控制显示设备200。例如，使用在智能设备上运行的应用程序控制显示设备200。
在一些实施例中，显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制，例如，可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制，也可以通过显示设备200设备外部设置的语音控制设备来接收用户的语音指令控制。
在一些实施例中，显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。
图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。
图3示出了根据示例性实施例中显示设备200的硬件配置框图。
在一些实施例中，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。
在一些实施例中控制器包括处理器，视频处理器，音频处理器，图形处理器，RAM，ROM，用于输入/输出的第一接口至第n接口。
在一些实施例中，显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面。
在一些实施例中，显示器260可为液晶显示器、OLED显示器、以及投影显示器，还可以为一种投影装置和投影屏幕。
在一些实施例中，通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括Wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。显示设备200可以通过通信器220与外部控制设备100或服务器400建立控制信号和数据信号的发送和接收。
在一些实施例中，用户接口，可用于接收控制装置100(如：红外遥控器等)的控制信号。
在一些实施例中，检测器230用于采集外部环境或与外部交互的信号。例如，检测器230包括光接收器，用于采集环境光线强度的传感器；或者，检测器230包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，再或者，检测器230包括声音采集器，如麦克风等，用于接收外部声音。
在一些实施例中，外部装置接口240可以包括但不限于如下：高清多媒体接口接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。
在一些实施例中，调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及EPG数据信号。
在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。
在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。
在一些实施例中，所述对象可以是可选对象中的任何一个，例如超链接、图标或其他可操作的控件。与所选择的对象有关操作有：显示连接到超链接页面、文档、图像等操作，或者执行与所述图标相对应程序的操作。
在一些实施例中控制器包括中央处理器(Central Processing Unit，CPU)，视频处理器，音频处理器，图形处理器(Graphics Processing Unit，GPU)，RAM Random AccessMemory，RAM)，ROM(Read-Only Memory,ROM)，用于输入/输出的第一接口至第n接口，通信总线(Bus)等中的至少一种。
CPU处理器，用于执行存储在存储器中操作***和应用程序指令，以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。CPU处理器，可以包括多个处理器。如，包括一个主处理器以及一个或多个子处理器。
在一些实施例中，图形处理器，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等。图形处理器包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象；还包括渲染器，对基于运算器得到的各种对象，进行渲染，上述渲染后的对象用于显示在显示器上。
在一些实施例中，视频处理器，用于将接收外部视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频处理，可得到直接可显示设备200上显示或播放的信号。
在一些实施例中，视频处理器，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等。其中，解复用模块，用于对输入音视频数据流进行解复用处理。视频解码模块，用于对解复用后的视频信号进行处理，包括解码和缩放处理等。图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的GUI信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。帧率转换模块，用于对转换输入视频帧率。显示格式化模块，用于将接收帧率转换后视频输出信号，改变信号以符合显示格式的信号，如输出RGB数据信号。
在一些实施例中，音频处理器，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等处理，得到可以在扬声器中播放的声音信号。
在一些实施例中，用户可在显示器260上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。
在一些实施例中，“用户界面”，是应用程序或操作***与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
在一些实施例中，显示设备的***可以包括内核(Kernel)、命令解析器(shell)、文件***和应用程序。内核、shell和文件***一起组成了基本的操作***结构，它们让用户可以管理文件、运行程序并使用***。上电后，内核启动，激活内核空间，抽象硬件、初始化硬件参数等，运行并维护虚拟内存、调度器、信号及进程间通信(IPC)。内核启动后，再加载Shell和用户应用程序。应用程序在启动后被编译成机器码，形成一个进程。
参见图4，在一些实施例中，将***分为四层，从上至下分别为应用程序(Applications)层(简称“应用层”)，应用程序框架(Application Framework)层(简称“框架层”)，安卓运行时(Android runtime)和***库层(简称“***运行库层”)，以及内核层。
在一些实施例中，应用程序层中运行有至少一个应用程序，这些应用程序可以是操作***自带的窗口(Window)程序、***设置程序或时钟程序等；也可以是第三方开发者所开发的应用程序。在具体实施时，应用程序层中的应用程序包不限于以上举例。
框架层为应用程序提供应用编程接口(application programming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心，这个中心决定让应用层中的应用程序做出动作。应用程序通过API接口，可在执行中访问***中的资源和取得***的服务。
如图4所示，本申请实施例中应用程序框架层包括管理器(Managers)，内容提供者(Content Provider)等，其中管理器包括以下模块中的至少一个：活动管理器(ActivityManager)用与和***中正在运行的所有活动进行交互；位置管理器(Location Manager)用于给***服务或应用提供了***位置服务的访问；文件包管理器(Package Manager)用于检索当前安装在设备上的应用程序包相关的各种信息；通知管理器(NotificationManager)用于控制通知消息的显示和清除；窗口管理器(Window Manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。
在一些实施例中，活动管理器用于管理各个应用程序的生命周期以及通常的导航回退功能，比如控制应用程序的退出、打开、后退等。窗口管理器用于管理所有的窗口程序，比如获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕，控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。
在一些实施例中，***运行库层为上层即框架层提供支撑，当框架层被使用时，安卓操作***会运行***运行库层中包含的C/C++库以实现框架层要实现的功能。
在一些实施例中，内核层是硬件和软件之间的层。如图4所示，内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。
在一些实施例中的硬件或软件架构可以基于上述实施例中的介绍，在一些实施例中可以是基于相近的其他硬件或软件架构，可以实现本申请的技术方案即可。
基于上述显示设备200，用户可在显示设备200的应用程序中心内下载投屏应用，投屏应用可为基于Miracast(无线显示)功能的应用程序，Miracast利用WIFI点对点(Point2Point)网络传输功能把投屏设备的投屏数据传输到显示设备200进行播放，从而达到资源共享的目的，其中，投屏数据可以为音视频数据，投屏设备可为智能手机、平板电脑、计算机等终端设备。
Miracast在实现投屏功能时，需要利用WFD(Wi-Fi Display)交互协议来实现媒资共享。而WFD交互协议利用了RTSP(Real Time Streaming Protocol)协议来实现投屏设备和显示设备之间的能力协商。根据RTSP，投屏设备和显示设备和M3和M4阶段，规定了设备两端需要协商的一些能力参数，其中一项就是视频能力协商，两端协商好要播放的投屏数据的分辨率、刷新率以及压缩算法等。显示设备200通常希望投屏设备采用更高的压缩算法，通过压缩尽可能的减少数据量，但由于部分投屏设备比较老旧或者比较低端，仍然用旧版的压缩算法，比如，H.264Level 3.2或者更早的压缩算法。这样使得从投屏设备发过来的投屏数据量非常大，导致显示设备200来不及处理，从而出现媒资延迟或者由于丢包导致的花屏问题。为了解决上述问题，本申请在一些实施例中提供了一种显示设备及投屏方法。需要说明的是，本申请中的显示设备不仅指的是智能电视，还可以指的是计算机、平板电脑等。
下面结合附图，来介绍本申请实施例提供的投屏过程。
图5中示例性示出了根据一些实施例的投屏方法的流程示意图。本申请在一些实施例中提供了一种显示设备，该显示设备200包括显示器260和控制器250，所述控制器250与所述显示器260通信连接，所述控制器被配置为执行图5中的投屏过程。结合图5，该投屏过程如下：
S501：响应于接收到投屏信号，启动RTSP交互线程，以使显示设备与投屏设备进行数据交互。
在一些实施例中，用户可在投屏设备输入投屏信号，其中，该投屏设备具备投屏应用，该投屏应用基于Miracast投屏功能。例如，在投屏设备上设置有投屏控件，用户通过触控点击或者选中该投屏控件启动Miracast投屏功能。在启动Miracast投屏功能后，投屏设备向显示设备200发送投屏信号，显示设备200响应于该投屏信号，启动自身的Miracast投屏功能，基于Miracast以使显示设备与投屏设备进行数据交互。
在一些实施例中，显示设备200启动Miracast投屏功能时，启动自身的P2P网络。当然，投屏设备在启动Miracast投屏功能时，也启动自身的P2P网络。基于P2P网络，显示设备200与投屏设备建立连接，两端进行网络部分的交互，获取彼此的IP地址。
在一些实施例中，显示设备200和投屏设备在建立P2P网络连接后，各自启动RTSP交互线程，进行握手交互阶段，实现显示设备200与投屏设备之间的数据交互。
S502：接收所述投屏设备发送的投屏数据，其中，所述投屏数据包含若干视频帧，所述视频帧包含若干RTP数据包。
在一些实施例中，在显示设备200和投屏设备的RTSP交互线程中，投屏设备200将投屏数据解析为若干视频帧，每一视频帧若干RTP数据包组成，每一RTP数据包都标记有sequcence number(封包序号)，该封包序号指示了若干RTP数据包的先后连续性。投屏设备将若干RTP数据包发送至显示设备200，显示设备200接收若干RTP数据包。
S503：检测所述RTP数据包。
在一些实施例中，显示设备200在接收到投屏数据后，可开通守包线程。通过守包线程检测RTP数据包。在此，守包线程主要是检测RTP数据包的连续性。
S504：在当前RTP数据包与上一个接收到的RTP数据包连续时，控制所述显示器播放所述投屏数据。
在一些实施例中，若显示设备200可以及时处理所接收到的投屏数据，即及时将所述投屏数据进行解码时，守包线程可检测出RTP数据包一直为连续状态，则显示设备200将RTP数据包去掉包头，发送至播放器进行播放并于显示器进行展示。
S505：在当前RTP数据包与上一个接收到的RTP数据包不连续时，向所述投屏设备发送RTSP消息，以使所述投屏设备根据所述RTSP消息降低分辨率。
在一些实施例中，守包线程在检测当前RTP数据包时，发现当前RTP数据包与上一个接收到的RTP数据包不连续时，也就是说，显示设备200检测出RTP数据包存在丢失情况，则向所述投屏设备发送RTSP消息。投屏设备在接收到该RTSP消息后，降低投屏数据的分辨率，并重新进行投屏数据的组包。
在一些实施例中，在显示设备200和投屏设备的RTSP交互线程中，显示设备200检测出RTP数据包丢失后，添加一新的RTSP消息，该消息通过SET_PARAMETER(设置参数)来修改分辨率。
例如，显示设备200在一开始的RTSP交互线程中，在M3/M4阶段视频流协商过程中，投屏设备告诉显示设备200的视频协商参数如下：
wfd_video_formats:00 01 01 02 00000080 00000000 0000000 00 0000 000000 none none。根据Wi-Fi_Display_Specification Section6.1.3(Wi-Fi标准协议规格第6.1.3节)，该RTSP消息中0080表示按1920*1080P30(分辨率1920*1080,刷新率30fps)播放。
在显示设备200检测出RTP数据包丢失后，向投屏设备发送RTSP消息M17，该消息内容如下：
wfd_video_formats:00 01 01 02 00000020 00000000 0000000 00 0000 000000 none none。该RTSP消息中0020表示按1280*720P30(分辨率1280*720，刷新率30fps)播放。
在一些实施例中，基于RTP数据包中所标记的封包序号，显示设备200检测当前RTP数据包的封包序号与上一个接收到的RTP数据包的封包序号是否连续。在所述封包序号不连续时，向所述投屏设备发送RTSP消息。
在一些实施例中，按照以往的播放经验，若是RTP数据包丢失的数量在一定范围内，基本不会影响到整个投屏数据播放的流畅度。因此，在所述向所述投屏设备发送RTSP消息之前，所述控制器250还被配置为：在所述封包序号不连续时，计算丢失的RTP数据包的数量。在丢失的所述RTP数据包的数量大于预设值时，向所述投屏设备发送RTSP消息。此处，控制器250可将预设值设置为5，该预设值的具体数值可由工作人员根据以往经验设置。
在一些实施例中，显示设备200中的守包线程在检测出当前RTP数据包的封包序号与上一个接收到的RTP数据包的封包序号不连续时，可进一步计算丢失的RTP数据包的数量，将当前RTP数据包的封装序号与上一个接收到的RTP数据包的封包序号做差，得到丢失的所述RTP数据包的数量。
例如，显示设备200中的守包线程在检测出当前RTP数据包的封包序号为6，上一个接收到的RTP数据包的封包序号为3，两个封包序号不连续，在通过6-3得出当前丢失的RTP数据包的数量为3。而3小于预设值5，则此时可先不发送RTSP消息。若检测出当前RTP数据包的封包序号为9，上一个接收到的RTP数据包的封包序号为3，两个封包序号不连续，且两者之间差6。丢失的RTP数据包的数量已超过预设值5，则显示设备200向投屏设备发送RTSP消息。
在显示设备200发送了RTSP消息之后，显示设备200还需要进一步判断投屏设备是否根据该消息修改了分辨率。图6中示例性示出了根据一些实施例的投屏方法的另一流程示意图。结合图6，控制器250还需被配置为执行以下过程：
S601：记录所述投屏数据的当前播放进度。
在一些实施例中，在显示设备200发送了RTSP消息之后，显示设备200记录投屏数据的当前播放进度。例如，显示设备200记录当前投屏数据播放了48％，又如，显示设备200记录当前投屏数据播放至第20分钟35秒。
S602：判断是否接收到修改分辨率成功的反馈消息。
在一些实施例中，在投屏设备接收到RTSP消息之后，基于RTSP消息中的指示，降低投屏数据的播放分辨率。投屏设备在修改成功后会向显示设备200发送修改成功的反馈消息，以使显示设备200得知投屏设备已将分辨率修改成功。当然，若是投屏设备没有修改成功，则不会发送修改分辨率成功的反馈消息。
S603：接收所述投屏设备发送的降低分辨率后的投屏数据。
在一些实施例中，在投屏设备在降低投屏数据的播放分辨率之后，会从新对投屏数据进行组包封装，将降低分辨率之后的投屏数据打包为若干RTP数据包，并将重新组包后的投屏数据发送至显示设备200。显示设备200接收投屏设备所发送的低分辨率的投屏数据。
S604：基于所述播放进度，控制所述显示器按照降低后的分辨率续播播放所述投屏数据。
在一些实施例中，显示设备200在接收到降低分辨率之后的投屏数据之后，查找之前记录的投屏数据的播放进度，基于记录播放进度对投屏数据进行续播。
S605：停止所述RTSP交互线程，控制所述显示器退出所述投屏数据的播放过程。
在一些实施例中，显示设备200未接收所述投屏设备发送的分辨率修改成功的反馈消息，也就是说，投屏设备没有进行降低分辨率的操作，由于此时用户在观看投屏数据时已经出现延迟或者花屏等问题，导致观感不佳，此时显示设备200可停止所述RTSP交互线程，退出Miracast投屏功能，也就是退出所述投屏数据的播放过程。
下面结合附图，进一步介绍一下投屏的过程。
图7中示例性示出了根据一些实施例的投屏方法的时序图。如图7所示，用户通过显示设备200上所安装的投屏应用程序触发投屏功能，显示设备200启动Miracast投屏功能后，向投屏设备发送投屏信号，显示设备200与投屏设备均启动各自的P2P网络，两者之间建立P2P网络连接。随后，显示设备200与投屏设备均启动各自的RTSP交互线程。投屏设备200件投屏数据组包为RTP数据包并发送至显示设备200，显示设备200检测接收到的RTP数据包。在RTP数据包丢失的数量大于预设值时，显示设备200向投屏设备发送RTSP消息。投屏设备接收RTSP消息，并根据该RTSP消息降低投屏数据的分辨率。投屏设备将分辨率修改成功的消息反馈至显示设备200，并将降低分辨率后的投屏数据反馈至显示设备200.显示设备200基于之前的播放进度，续播降低分辨率之后的投屏数据，以实现投屏数据的流畅播放。
本申请中，显示设备通过发送用于指示投屏设备降低分辨率的RTSP消息，使投屏设备降低投屏数据播放的分辨率，从而降低数据量，显示设备在接收到投屏设备发送的降低分辨率后的投屏数据后达到流畅播放的效果，使得用户可以流畅的观看完投屏数据，提高了用户体验。
基于与上述显示设备同样的发明构思，本申请实施例还提供了一种投屏方法，所述投屏方法包括：显示设备200响应于接收到投屏信号，启动RTSP交互线程，以使显示设备200与投屏设备进行数据交互。显示设备200接收所述投屏设备发送的投屏数据，其中，所述投屏数据包含若干视频帧，所述视频帧包含若干RTP数据包。在接收到投屏数据后，显示设备200需要检测所述RTP数据包，在当前RTP数据包与上一个接收到的RTP数据包不连续时，向所述投屏设备发送RTSP消息，以使所述投屏设备根据所述RTSP消息降低分辨率；在当前RTP数据包与上一个接收到的RTP数据包连续时，控制显示器播放所述投屏数据。
在一些实施例中，所述RTP包中标记有封包序号，显示设备200检测当前RTP数据包的封包序号与上一个接收到的RTP数据包的封包序号是否连续。在所述封包序号不连续时，显示设备200向所述投屏设备发送RTSP消息。
在一些实施例中，在所述封包序号不连续时，显示设备200进一步计算丢失的RTP数据包的数量。在丢失的所述RTP数据包的数量达到预设值时，显示设备200向所述投屏设备发送RTSP消息。
由于以上实施方式均是在其他方式之上引用结合进行说明，不同实施例之间均具有相同的部分，本说明书中各个实施例之间相同、相似的部分互相参见即可。在此不再详细阐述。
需要说明的是，在本说明书中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或暗示这些实体或操作之间存在任何这种实际的关系或顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的电路结构、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种电路结构、物品或者设备所固有的要素。在没有更多限制的情况下，有语句“包括一个……”限定的要素，并不排除在包括要素的电路结构、物品或者设备中还存在另外的相同要素。
本领域技术人员在考虑说明书及实践这里发明的公开后，将容易想到本申请的其他实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求的内容指出。
以上的本申请实施方式并不构成对本申请保护范围的限定。

Claims (10)

1.一种显示设备，其特征在于，所述显示设备包括：
显示器；
控制器，所述控制器与所述显示器通信连接，所述控制器被配置为：
响应于接收到投屏信号，启动RTSP交互线程，以使显示设备与投屏设备进行数据交互；
接收所述投屏设备发送的投屏数据，其中，所述投屏数据包含若干视频帧，所述视频帧包含若干RTP数据包；
检测所述RTP数据包，
在当前RTP数据包与上一个接收到的RTP数据包不连续时，向所述投屏设备发送RTSP消息，以使所述投屏设备根据所述RTSP消息降低分辨率；在当前RTP数据包与上一个接收到的RTP数据包连续时，控制所述显示器播放所述投屏数据。
2.根据权利要求1所述的显示设备，其特征在于，所述RTP包中标记有封包序号，在所述在当前RTP数据包与上一个接收到的RTP数据包不连续时，向所述投屏设备发送RTSP消息的步骤中，所述控制器还被配置为：
检测当前RTP数据包的封包序号与上一个接收到的RTP数据包的封包序号是否连续；
在所述封包序号不连续时，向所述投屏设备发送RTSP消息。
3.根据权利要求2所述的显示设备，其特征在于，在所述向所述投屏设备发送RTSP消息之前，所述控制器还被配置为：
在所述封包序号不连续时，计算丢失的RTP数据包的数量；
在丢失的所述RTP数据包的数量大于预设值时，向所述投屏设备发送RTSP消息。
4.根据权利要求3所述的显示设备，其特征在于，在所述封包序号不连续时，计算丢失的RTP数据包的数量的步骤中，所述控制器还被配置为：
将当前RTP数据包的封装序号与上一个接收到的RTP数据包的封包序号做差，得到丢失的所述RTP数据包的数量。
5.根据权利要求1所述的显示设备，其特征在于，在向所述投屏设备发送RTSP消息之后，所述控制器还被配置为：
记录所述投屏数据的当前播放进度；
接收所述投屏设备发送的分辨率修改成功的反馈消息，并接收所述投屏设备发送的降低分辨率后的投屏数据；
基于所述播放进度，控制所述显示器按照降低后的分辨率续播播放所述投屏数据。
6.根据权利要求1所述的显示设备，其特征在于，在向所述投屏设备发送RTSP消息之后，所述控制器还被配置为：
未接收所述投屏设备发送的分辨率修改成功的反馈消息；
停止所述RTSP交互线程，控制所述显示器退出所述投屏数据的播放过程。
7.根据权利要求3所述的显示设备，其特征在于，所述控制器还被配置为：
将所述预设值设置为5。
8.一种投屏方法，其特征在于，所述投屏方法包括：
响应于接收到投屏信号，启动RTSP交互线程，以使显示设备与投屏设备进行数据交互；
接收所述投屏设备发送的投屏数据，其中，所述投屏数据包含若干视频帧，所述视频帧包含若干RTP数据包；
检测所述RTP数据包，
在当前RTP数据包与上一个接收到的RTP数据包不连续时，向所述投屏设备发送RTSP消息，以使所述投屏设备根据所述RTSP消息降低分辨率；在当前RTP数据包与上一个接收到的RTP数据包连续时，控制显示器播放所述投屏数据。
9.根据权利要求8所述的投屏方法，其特征在于，所述RTP包中标记有封包序号，所述在当前RTP数据包与上一个接收到的RTP数据包不连续时，向所述投屏设备发送RTSP消息，包括：
检测当前RTP数据包的封包序号与上一个接收到的RTP数据包的封包序号是否连续；
在所述封包序号不连续时，向所述投屏设备发送RTSP消息。
10.根据权利要求9所述的投屏方法，其特征在于，所述封包序号不连续时，向所述投屏设备发送RTSP消息，包括：
在所述封包序号不连续时，计算丢失的RTP数据包的数量；
在丢失的所述RTP数据包的数量达到预设值时，向所述投屏设备发送RTSP消息。
CN202110766329.9A 2021-07-07 2021-07-07 显示设备及投屏方法 Active CN113507638B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110766329.9A CN113507638B (zh) 2021-07-07 2021-07-07 显示设备及投屏方法
CN202280038245.6A CN117441155A (zh) 2021-07-07 2022-05-31 显示设备以及投屏方法
PCT/CN2022/096378 WO2023279895A1 (zh) 2021-07-07 2022-05-31 显示设备以及投屏方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110766329.9A CN113507638B (zh) 2021-07-07 2021-07-07 显示设备及投屏方法

Publications (2)

Publication Number Publication Date
CN113507638A true CN113507638A (zh) 2021-10-15
CN113507638B CN113507638B (zh) 2023-05-05

Family

ID=78011873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110766329.9A Active CN113507638B (zh) 2021-07-07 2021-07-07 显示设备及投屏方法

Country Status (1)

Country Link
CN (1) CN113507638B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115134641A (zh) * 2022-07-05 2022-09-30 北京字跳网络技术有限公司 投屏方法、装置和电子设备
WO2023279895A1 (zh) * 2021-07-07 2023-01-12 海信视像科技股份有限公司 显示设备以及投屏方法
CN115987456A (zh) * 2022-12-21 2023-04-18 深圳创维－Rgb电子有限公司 基于Miracast的数据传输方法、装置、设备及介质
CN116055803A (zh) * 2022-07-29 2023-05-02 荣耀终端有限公司 视频播放方法和***、电子设备
TWI806387B (zh) * 2021-12-09 2023-06-21 宏達國際電子股份有限公司 用於偵測環控制器的運動的方法、環控制器及電腦可讀存儲介質

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110157473A1 (en) * 2009-12-30 2011-06-30 Hoon Choi Method, apparatus, and system for simultaneously previewing contents from multiple protected sources
CN103957389A (zh) * 2014-05-13 2014-07-30 重庆大学 基于压缩感知的3g视频传输方法及***
CN106792055A (zh) * 2016-12-28 2017-05-31 福建星网视易信息***有限公司 实时投屏方法、设备及***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110157473A1 (en) * 2009-12-30 2011-06-30 Hoon Choi Method, apparatus, and system for simultaneously previewing contents from multiple protected sources
CN103957389A (zh) * 2014-05-13 2014-07-30 重庆大学 基于压缩感知的3g视频传输方法及***
CN106792055A (zh) * 2016-12-28 2017-05-31 福建星网视易信息***有限公司 实时投屏方法、设备及***

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023279895A1 (zh) * 2021-07-07 2023-01-12 海信视像科技股份有限公司 显示设备以及投屏方法
TWI806387B (zh) * 2021-12-09 2023-06-21 宏達國際電子股份有限公司 用於偵測環控制器的運動的方法、環控制器及電腦可讀存儲介質
CN115134641A (zh) * 2022-07-05 2022-09-30 北京字跳网络技术有限公司 投屏方法、装置和电子设备
CN115134641B (zh) * 2022-07-05 2023-10-27 北京字跳网络技术有限公司 投屏方法、装置和电子设备
CN116055803A (zh) * 2022-07-29 2023-05-02 荣耀终端有限公司 视频播放方法和***、电子设备
CN116055803B (zh) * 2022-07-29 2024-04-02 荣耀终端有限公司 视频播放方法和***、电子设备
CN115987456A (zh) * 2022-12-21 2023-04-18 深圳创维－Rgb电子有限公司 基于Miracast的数据传输方法、装置、设备及介质

Also Published As

Publication number Publication date
CN113507638B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
CN113507638B (zh) 显示设备及投屏方法
CN114302219B (zh) 一种显示设备及可变帧率显示方法
CN113407142A (zh) 显示设备及投屏方法
CN111787377B (zh) 显示设备及投屏方法
CN112672195A (zh) 遥控器按键设置方法及显示设备
CN113064645B (zh) 一种开机界面控制方法及显示设备
CN112153446A (zh) 一种显示设备及流媒体视频音画同步方法
WO2022048203A1 (zh) 一种输入法控件的操控提示信息的显示方法及显示设备
CN112188279A (zh) 一种频道切换方法和显示设备
CN112752156A (zh) 字幕调整方法及显示设备
CN113038210B (zh) 一种视频文件的双屏同步播放方法及显示设备
CN114286137A (zh) 一种镜像投屏方法、显示设备及终端
CN112399217B (zh) 显示设备及与功放设备建立通信连接的方法
CN111818654B (zh) 一种信道接入方法及显示设备
CN114095769B (zh) 一种应用级播放器的直播低延迟处理方法及显示设备
CN111935510B (zh) 一种双浏览器应用加载方法及显示设备
CN111866498B (zh) 一种摄像头异常处理方法及显示设备
CN112637957A (zh) 显示设备及显示设备与无线音箱的通信方法
CN112351334A (zh) 一种文件传输进度显示方法及显示设备
CN115022688A (zh) 一种显示设备及媒体数据接力方法
CN114007119A (zh) 视频播放方法及显示设备
CN113542852A (zh) 一种显示设备、及与外部设备快速配对的控制方法
CN114302070A (zh) 显示设备和音频输出方法
CN111782606A (zh) 显示设备、服务器和文件管理方法
CN112752152B (zh) 投送视频播放方法及显示设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20221025

Address after: 83 Intekte Street, Devon, Netherlands

Applicant after: VIDAA (Netherlands) International Holdings Ltd.

Address before: 266555, No. 218, Bay Road, Qingdao economic and Technological Development Zone, Shandong

Applicant before: Hisense Visual Technology Co., Ltd.

GR01 Patent grant
GR01 Patent grant