CN107438198A - 一种用于传屏视频的显示终端 - Google Patents
一种用于传屏视频的显示终端 Download PDFInfo
- Publication number
- CN107438198A CN107438198A CN201610370906.1A CN201610370906A CN107438198A CN 107438198 A CN107438198 A CN 107438198A CN 201610370906 A CN201610370906 A CN 201610370906A CN 107438198 A CN107438198 A CN 107438198A
- Authority
- CN
- China
- Prior art keywords
- packet
- module
- data
- display terminal
- screen video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 230000003111 delayed effect Effects 0.000 abstract description 6
- 238000000034 method Methods 0.000 description 14
- 230000002452 interceptive effect Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000005059 dormancy Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4347—Demultiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种用于传屏视频的显示终端，所述显示终端包括：接收模块，用于接收传屏视频数据；数据包获取模块，用于获取所述传屏视频数据对应的数据包；第一存储模块，用于将所述数据包存入等待解码队列中；数据包提取模块，用于从所述等待解码队列中提取所述数据包。由此，本发明可以尽快的消耗等待解码队列中的数据，防止数据堆积造成的延时增大。
Description
技术领域
本发明涉及多媒体技术领域，尤其是涉及一种用于传屏视频的显示终端。
背景技术
随着信息技术的不断发展，可以实现不同资源在不同平台设备上进行同时共享展示，实现多屏互动，丰富了用户的多媒体生活。
现有技术的多屏互动中的客户端的对传屏视频的处理方法有以下两种方案：
第一种方案是：首先网络接收与解复用(demux)传屏视频数据，以得到传屏视频数据对应的数据包，然后解码和显示。
其中，解码的过程具体为对视频传屏数据对应的数据包进行解码，并进一步将解码后的数据从YUV格式转换为RGB格式，最后将转换后的帧数据存入等待显示队列。
显示的过程具体为从显示队列中取出帧数据，根据当前帧的时间戳与上一帧的时间戳计算当前帧的显示时间，若当前帧可以立刻显示则显示当前帧，否则休眠显示线程直到当前帧可以显示为止。
第二种方案是：首先接收源屏幕设备编码得到的包括视频帧和音频帧的数据帧，视频帧包括：I帧；若检测到当前所接收到数据帧中的视频帧未到达第二个I帧，则删除当前所接收到的数据帧；若检测到当前所接收到数据帧中的视频帧是第二个I帧，则解码当前以及第二个I帧之后所接收到的数据帧，并将解码后得到的映像显示到屏幕上。由此可以有效减少传屏映像时的延迟，让多屏互动时可以更有效的达到实时显示的效果。
但是第一种方案存在以下缺陷：
解码线程处理一帧数据的耗时要高于网络接收、解复用操作的耗时（特别是在传屏视频数据是高清视频时耗时更大），即等待解码队列的数据消耗速度小于其数据产生速度。在现有技术中，若在使用多屏互动的过程中无线网络出现波动或服务端编码器输出的帧率高于客户端解码线程的处理速度，则势必会造成客户端等待解码队列中的视频数据堆积，视频数据堆积越多则意味着最新的视频越得不到显示，即延时越大，体验越差。进一步的，客户端的显示线程从等待显示队列中取出解码好的帧数据后，还需要再计算当前帧的显示时间，并根据需要休眠显示线程，这样只会导致延时更大，体验更差。
第二种方案存在以下缺陷：
第二种方案的核心是在客户端传屏播放开始阶段丢弃一些视频帧，直到收到第二个I帧才开始按正常流程解码播放。由于其丢弃了第一个视频帧序列（视频帧序列时间长短不一，一般在0.5-4s之间），必然会导致客户端从开始播放传屏视频到显示出传屏画面的时间延长（延长了一个视频帧序列的长度），即开始播放前的黑屏时间变长，不利于用户体验。
同时，第二种方案只涉及传屏视频的开始播放阶段，其无法解决上述第一种方案的播放过程中的问题，所以其同样具有第一种方案的缺陷。
发明内容
本发明主要解决的技术问题是提供一种用于传屏视频的显示终端及传屏视频处理方法，既能确保客户端等待显示队列中解码好的传屏视频数据能尽快显示，又不会在等待解码队列中产生传屏视频数据的积压，视频延时小，提高用户的体验。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种传屏视频处理方法，该方法包括以下步骤：接收传屏视频数据，并获取传屏视频数据对应的数据包；将数据包存入等待解码队列中；从等待解码队列中提取数据包，并判断数据包的数量是否大于预设的阈值；若判断的结果为是，则提取数据包中的对应当前视频序列的下个数据包的参考数据，并返回提取数据包，并判断数据包的数量是否大于预设的阈值的步骤；若判断的结果为否，则对数据包进行解码。
其中，方法还包括：将解码后的数据直接存入等待显示队列中。
其中，方法还包括：从显示队列中取出解码后的数据并直接进行显示。
其中，获取传屏视频数据对应的数据包的步骤包括：对传屏视频数据进行解复用，以获取传屏视频数据对应的数据包。
其中，将数据包存入等待解码队列中的步骤包括：将解复用后的数据包存入等待解码队列。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种用于传屏视频的显示终端，该显示终端包括：接收模块，用于接收传屏视频数据；数据包获取模块，用于获取传屏视频数据对应的数据包；第一存储模块，用于将数据包存入等待解码队列中；数据包提取模块，用于从等待解码队列中提取数据包；判断模块，用于判断数据包的数量是否大于预设的阈值；处理模块，用于在判断模块判断的结果为是时，提取数据包中的对应当前视频序列的下个数据包的参考数据，并控制数据包提取模块继续提取数据包，以及判断模块继续判断数据包的数量是否大于预设的阈值；在判断模块判断的结果为否时，对数据包进行解码。
其中，显示终端进一步包括第二存储模块，用于将解码后的数据直接存入等待显示队列中。
其中，显示终端进一步包括显示模块，显示模块用于从显示队列中取出解码后的数据并直接进行显示。
其中，数据包获取模块为解复用模块，用于对传屏视频数据进行解复用，以获取传屏视频数据对应的数据包。
其中，第一存储模块进一步用于将解复用后的数据包存入等待解码队列。
本发明的有益效果是：区别于现有技术的情况，本发明的用于传屏视频的显示终端在判断到传屏视频数据对应的数据包的数量大于预设的阈值时，只提取数据包中的对应当前视频序列的下个数据包的参考数据，只有数据包的数量小于或等于预设的阈值时才进行解码，由此可以避免下一个数据包需要正常解码时因为没有参考数据导致花屏的情况下，又可以尽快的消耗等待解码队列中的数据，防止数据堆积造成的延时增大。
附图说明
图1是本发明实施例提供的一种用于传屏视频的显示终端的结构示意图；
图2是本发明实施例提供的一种传屏视频处理方法的流程图。
具体实施方式
请参阅图1，图1是本发明实施例提供的一种用于传屏视频的显示终端的结构示意图。如图1所示，本发明实施例提供的显示终端10具体为多屏互动中的客户端终端。其主要是接收服务端传输的传屏视频数据，并对该传屏视频数据进行解码等操作后显示给用户。
具体而言，显示终端10包括接收模块11、数据包获取模块12、数据包提取模块13、判断模块14、处理模块15以及第一存储模块16。
其中，接收模块11用于接收服务端的传屏视频数据。接收模块11具体可为蓝牙模块或者天线模块等。数据包获取模块12用于获取传屏视频数据对应的数据包。第一存储模块16用于将数据包存入等待解码队列中。数据包提取模块13用于从等待解码队列中提取数据包。判断模块14用于判断数据包的数量是否大于预设的阈值。处理模块15用于在判断模块14判断的结果为是时，提取数据包中的对应当前视频序列的下个数据包的参考数据，避免下一个数据包需要正常解码时因为没有参考数据导致花屏。处理模块15进一步控制数据包提取模块12继续提取数据包，以及判断模块14继续判断数据包的数量是否大于预设的阈值。在判断模块14判断的结果为否时，对数据包进行解码。
其中，数据包的参考数据具体为下一视频序列的参考图像和当前帧的预测值与预测误差。
值得注意的是，在判断模块14判断的结果为是时，处理模块15提取了当前的数据包中的对应当前视频序列的下个数据包的参考数据之后，即将当前的数据包舍弃，即当前的数据包不再进行解码。由此可以节省了解码的时间。
因此，在本实施例中，可以避免下一个数据包需要正常解码时因为没有参考数据导致花屏的情况下，又可以尽快的消耗等待解码队列中的数据，防止数据堆积造成的延时增大。
进一步的，显示终端10进一步包括第二存储模块18，用于将解码后的数据直接存入等待显示队列中。由此可知，本实施例省去了现有技术中的格式转换的步骤，因此更进一步节省了解码的时间。
进一步的，显示终端10进一步包括显示模块17，显示模块17用于从显示队列中取出解码后的数据并直接进行显示。由此，本实施例的显示终端10不需要等待显示，及时将视频显示给用户，提高了用户体验。
本实施例中，数据包获取模块12具体可为解复用模块，用于对传屏视频数据进行解复用处理，以获取传屏视频数据对应的数据包。其中，第一存储模块16进一步将解复用后的数据包存入等待解码队列中。
承前所述，本实施例既可尽快的消耗等待解码队列中的数据，防止数据堆积造成的延时增大。又可及时的将解码好的数据显示给用户，提高了用户的体验。
本申请还基于前文所述的用于传屏视频的显示终端提供一种传屏视频处理方法。具体请参阅图2。
如图2所示，本实施例的传屏视频处理方法包括以下步骤：
步骤S1：接收传屏视频数据，并获取传屏视频数据对应的数据包。
具体为：对传屏视频数据进行解复用，以获取传屏视频数据对应的数据包。
步骤S2：将数据包存入等待解码队列中；
具体为将步骤S1解复用后的数据包存入等待解码队列中。
步骤S3：从等待解码队列中提取数据包，并判断数据包的数量是否大于预设的阈值。
本步骤中，若判断的结果为是，则跳转到步骤S4，若判断的结果为否，则跳转到步骤S5。
步骤S4：提取数据包中的对应当前视频序列的下个数据包的参考数据，并返回步骤S2。
其中，数据包的参考数据具体为下一视频序列的参考图像和当前帧的预测值与预测误差。
本步骤可避免下一个数据包需要正常解码时因为没有参考数据导致花屏。
值得注意的是，在本步骤中，提取了当前的数据包中的对应当前视频序列的下个数据包的参考数据之后，即将当前的数据包舍弃，即当前的数据包不再进行解码。由此可以节省了解码的时间。
步骤S5：对数据包进行解码。
方法还包括：将解码后的数据直接存入等待显示队列中以及从显示队列中取出解码后的数据并进行显示。由此可以及时将视频显示给用户，提高了用户的体验。
综上所述，本发明通过在传屏视频数据对应的数据包的数量大于预设的阈值时，只提取数据包中的对应当前视频序列的下个数据包的参考数据，由此可以避免下一个数据包需要正常解码时因为没有参考数据导致花屏的情况下，又可以尽快的消耗等待解码队列中的数据，防止数据堆积造成的延时增大。
进一步的，本发明还将解码后的数据直接存入等待显示队列中以及从显示队列中取出解码后的数据并进行显示。由此可以及时将视频显示给用户，提高了用户的体验。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (3)
1.一种用于传屏视频的显示终端，其特征在于，所述显示终端包括：
接收模块，用于接收传屏视频数据；
数据包获取模块，用于获取所述传屏视频数据对应的数据包；
第一存储模块，用于将所述数据包存入等待解码队列中；
数据包提取模块，用于从所述等待解码队列中提取所述数据包；
判断模块，用于判断所述数据包的数量是否大于预设的阈值；
处理模块，用于在所述判断模块判断的结果为是时，提取所述数据包中的对应当前视频序列的下个数据包的参考数据，并控制所述数据包提取模块继续提取所述数据包，以及所述判断模块继续判断所述数据包的数量是否大于预设的阈值；
在所述判断模块判断的结果为否时，对所述数据包进行解码;
所述数据包获取模块为解复用模块，用于对所述传屏视频数据进行解复用，以获取所述传屏视频数据对应的数据包。
2.根据权利要求1所述的用于传屏视频的显示终端，其特征在于，所述显示终端进一步包括第二存储模块，用于将解码后的数据直接存入等待显示队列中。
3.根据权利要求2所述的用于传屏视频的显示终端，其特征在于，所述显示终端进一步包括显示模块，所述显示模块用于从所述显示队列中取出所述解码后的数据并直接进行显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610370906.1A CN107438198A (zh) | 2016-05-29 | 2016-05-29 | 一种用于传屏视频的显示终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610370906.1A CN107438198A (zh) | 2016-05-29 | 2016-05-29 | 一种用于传屏视频的显示终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107438198A true CN107438198A (zh) | 2017-12-05 |
Family
ID=60458171
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610370906.1A Pending CN107438198A (zh) | 2016-05-29 | 2016-05-29 | 一种用于传屏视频的显示终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107438198A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107438199A (zh) * | 2016-05-29 | 2017-12-05 | 刘健文 | 一种传屏视频用显示终端 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013007395A1 (de) * | 2011-07-13 | 2013-01-17 | Pierre-Alain Cotte | Verfahren und vorrichtungen zum verzögerungsarmen ein- oder umschalten auf ein digitales videosignal |
| CN103297772A (zh) * | 2013-05-02 | 2013-09-11 | 深圳市比维视创科技有限公司 | 处理传屏映像的方法、***以及显示设备 |
| CN103546802A (zh) * | 2013-10-15 | 2014-01-29 | 深圳Tcl新技术有限公司 | 动态调整缓存的方法及显示终端 |
| CN104113777A (zh) * | 2014-08-01 | 2014-10-22 | 广州金山网络科技有限公司 | 一种音频流解码方法及装置 |
| US20160134931A1 (en) * | 2014-11-12 | 2016-05-12 | Bing Song | Method and apparatus for reducing latency in multi-media system |
| CN105847946A (zh) * | 2016-05-28 | 2016-08-10 | 刘健文 | 一种传屏视频处理方法 |
| CN105847971A (zh) * | 2016-05-28 | 2016-08-10 | 刘健文 | 一种用于传屏视频的处理方法 |
| CN105872728A (zh) * | 2016-05-28 | 2016-08-17 | 刘健文 | 一种用于多屏互动的传屏视频处理方法 |
| CN107438199A (zh) * | 2016-05-29 | 2017-12-05 | 刘健文 | 一种传屏视频用显示终端 |
-
2016
- 2016-05-29 CN CN201610370906.1A patent/CN107438198A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013007395A1 (de) * | 2011-07-13 | 2013-01-17 | Pierre-Alain Cotte | Verfahren und vorrichtungen zum verzögerungsarmen ein- oder umschalten auf ein digitales videosignal |
| CN103297772A (zh) * | 2013-05-02 | 2013-09-11 | 深圳市比维视创科技有限公司 | 处理传屏映像的方法、***以及显示设备 |
| CN103546802A (zh) * | 2013-10-15 | 2014-01-29 | 深圳Tcl新技术有限公司 | 动态调整缓存的方法及显示终端 |
| CN104113777A (zh) * | 2014-08-01 | 2014-10-22 | 广州金山网络科技有限公司 | 一种音频流解码方法及装置 |
| US20160134931A1 (en) * | 2014-11-12 | 2016-05-12 | Bing Song | Method and apparatus for reducing latency in multi-media system |
| CN105847946A (zh) * | 2016-05-28 | 2016-08-10 | 刘健文 | 一种传屏视频处理方法 |
| CN105847971A (zh) * | 2016-05-28 | 2016-08-10 | 刘健文 | 一种用于传屏视频的处理方法 |
| CN105872728A (zh) * | 2016-05-28 | 2016-08-17 | 刘健文 | 一种用于多屏互动的传屏视频处理方法 |
| CN107438199A (zh) * | 2016-05-29 | 2017-12-05 | 刘健文 | 一种传屏视频用显示终端 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107438199A (zh) * | 2016-05-29 | 2017-12-05 | 刘健文 | 一种传屏视频用显示终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102002835B1 (ko) | 트리거 압축을 위한 방법, 컴퓨터 프로그램, 수신 장치, 및 정보 제공 장치 | |
| WO2017063399A1 (zh) | 一种视频播放方法和装置 | |
| CN105847946A (zh) | 一种传屏视频处理方法 | |
| CN103747317B (zh) | 一种播放库在不稳定网络下的流畅播放控制方法 | |
| CN105872728A (zh) | 一种用于多屏互动的传屏视频处理方法 | |
| US8707151B2 (en) | Apparatus and method for composing scenes using Rich Media contents | |
| KR20150020520A (ko) | 대화형 텔레비전을 위한 트리거 파라미터 테이블의 확장 | |
| CN112930687B (zh) | 一种媒体流处理方法及装置、存储介质及程序产品 | |
| CN103475927B (zh) | 在线视频实时变速播放方法及*** | |
| CN110392306B (zh) | 一种数据处理方法以及设备 | |
| CN105359544A (zh) | 数字视频流传输中的特技播放 | |
| US20150278083A1 (en) | Conditional processing method and apparatus | |
| CN108494792A (zh) | 一种flash播放器播放hls视频流的转换***及其工作方法 | |
| CN108769816A (zh) | 一种视频播放方法、装置及存储介质 | |
| WO2017130035A1 (en) | A system and methods thereof for auto-playing video content on mobile devices | |
| KR101525248B1 (ko) | 리치미디어 서비스를 제공하는 방법 및 장치 | |
| CN102223539A (zh) | 图像编码丢帧花屏的处理方法 | |
| CN107438199A (zh) | 一种传屏视频用显示终端 | |
| CN104581340B (zh) | 客户端、流媒体数据接收方法和流媒体数据传输*** | |
| CN105847971A (zh) | 一种用于传屏视频的处理方法 | |
| EP2453651A1 (en) | Method, terminal and server for processing graphics | |
| CN107438198A (zh) | 一种用于传屏视频的显示终端 | |
| KR20100131365A (ko) | 채널 변경 지연을 줄이기 위한 스트리밍 서버, 이동 단말기 및 그 방법 | |
| CN107438197A (zh) | 一种显示终端 | |
| US9350796B2 (en) | Method and device for receiving multimedia data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20171205 |
|
| WD01 | Invention patent application deemed withdrawn after publication |