CN114422810B - 一种基于移动端导播台多路直播同步校准的方法 - Google Patents

一种基于移动端导播台多路直播同步校准的方法 Download PDF

Info

Publication number
CN114422810B
CN114422810B CN202111330933.3A CN202111330933A CN114422810B CN 114422810 B CN114422810 B CN 114422810B CN 202111330933 A CN202111330933 A CN 202111330933A CN 114422810 B CN114422810 B CN 114422810B
Authority
CN
China
Prior art keywords
time
live broadcast
director
machine position
mapping relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111330933.3A
Other languages
English (en)
Other versions
CN114422810A (zh
Inventor
赵金乐
***
隆龙
王光永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haikan Network Technology Shandong Co ltd
Original Assignee
Haikan Network Technology Shandong Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Haikan Network Technology Shandong Co ltd filed Critical Haikan Network Technology Shandong Co ltd
Priority to CN202111330933.3A priority Critical patent/CN114422810B/zh
Publication of CN114422810A publication Critical patent/CN114422810A/zh
Application granted granted Critical
Publication of CN114422810B publication Critical patent/CN114422810B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26241—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the time of distribution, e.g. the best time of the day for inserting an advertisement or airing a children program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及一种基于移动端导播台多路直播同步校准的方法，包括，移动端导播台创建导播实例，创建多个移动终端摄像机位，生成各机位串码，并形成二维码；导播台与长连接服务建立长连接；直播客户端通过扫描生成的二维码加入导播，并建立机位与长连接服务器的长连接，根据实例信息建立机位与导播台时间映射关系；各机位分别将建立的映射关系发送至流媒体服务器，直播客户端向流媒体服务器进行推流操作，流媒体服务器接收到机位推送报文后，进行解码、时间戳校准、同步操作，进行重新编码。本申请最大程度减轻网络环境对多路直播同步问题的影响，把多路直播流同步问题控制在毫秒级，以满足网络条件较差环境下的直播同步需求。

Description

一种基于移动端导播台多路直播同步校准的方法
技术领域
本发明涉及IPTV技术领域，具体涉及一种基于移动端导播台多路直播同步校准的方法。
背景技术
随着网络信息化进程的快速发展，短视频、直播逐渐融入了人们日常生活，正在悄然改变着人们的生产、生活方式。同时，促进了各领域的细分行业的发展，如：直播带货、新闻号等。视频已然成为移动互联网的风口。近年来，新冠疫情肆虐，在常态化疫情防控背景下，线上教学、线上问诊、线上会议成为了当下主流的教学、生活、办公形式。这对直播视频处理技术提出了更高的要求。
线上教学、线上会议、线上手术等均是各场景下多机位、多终端的直播形式的应用，其对各路视频流间的实时性、同步性要求非常高。尤其是远程手术，其实时、同步更是要求控制在毫秒级。多机位必然涉及多路直播视频同步的问题，传统多路直播视频的播放未有同步相关机制处理，导致多路直播的同步完全依赖网络环境，由于网络可能存在延迟、抖动、拥塞、丢包等诸多问题，终端异常均会造成不同程度的同步问题。在这种情况下，如果不做同步校准处理，会造成极差的用户体验，可能会酿成重大不良后果。
发明内容
为克服所述不足，本发明的目的在于提供一种基于移动端导播台多路直播同步校准的方法，提出一种多路直播同步校准思路，旨在解决各种网络环境下多路直播不同步问题。
本发明解决其技术问题所采用的技术方案是：一种基于移动端导播台多路直播同步校准的方法，其核心设计是建立直播客户端与导播台之间的时间映射关系，根据映射关系同步校准直播流帧时间戳，然后根据多路直播流同步策略进行同步、合流实现，最大程度减轻网络环境对多路直播同步问题的影响，将多路直播不同步问题控制在一定范围，具体步骤如下：
第一步，移动端导播台创建导播实例，并在流媒体服务器上完成注册，导播台创建多机位唯一串码，唯一串码包含实例信息，并生成二维码；
第二步，导播台与长连接服务器建立长连接；
第三步，直播客户端扫码加入导播，建立直播客户端与长连接服务器长连接，解析二维码获取实例信息；
第四步，直播客户端获取当前时间戳TSclt1，同时根据实例信息通过长连接向导播台发起请求，获取当前导播台时间戳TSdtr；
第五步，直播客户端获取导播台时间TSdtr后，再次获取本地时间TSclt2；
第六步，根据直播客户端两次获取时间TSclt1、TSclt2计算RTT（往返时间），建立直播客户端时间与导播台时间映射关系，映射公式如下：
Figure 253430DEST_PATH_IMAGE001
；
第七步，将直播客户端与导播台建立的时间映射关系发送至流媒体服务器，同时含有解析获取的导播台生成的唯一标识，流媒体服务器将映射关系进行缓存；
第八步，直播客户端向流媒体服务器进行直播推流操作，含直播客户端唯一标识；
第九步，流媒体服务接收到直播客户端推送数据后，根据客户端唯一标识从缓存获取本客户端时间与导播台时间映射关系，对直播流帧数据进行解码操作，提取时间戳TS（timestamp）信息，根据获取映射关系，以导播台时间为标准计算新时间戳，并进行重写；
第十步，流媒体服务器将多路报文根据新时间戳进行帧数据同步、合流、编码操作，推流至CDN（Content Delivery Network 即内容分发网络），完成本次多路直播流数据同步操作。
本发明具有以下有益效果：
本申请建立直播客户端与导播台之间的时间映射关系，根据映射关系同步校准直播流帧时间戳，然后根据多路直播流同步策略进行同步、合流实现；最大程度减轻网络环境对多路直播同步问题的影响，把多路直播流同步问题控制在毫秒级，以满足网络条件较差环境下的直播同步需求。
附图说明
图1为本发明的处理时序图。
图2为本发明的多路直播流同步合流示意图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
一种基于移动端导播台多路直播同步校准的方法，以移动端导播台为基础平台进行研发建设，导播、直播推流、直播观看相关功能均集成进同一应用下，多部移动终端安装此应用，具体实施方式如下：
步骤一，移动端导播台创建导播实例，并在流媒体服务器完成注册，创建多个移动终端摄像机位，生成各机位串码（唯一标识，含导播实例信息）二维码，本次将创建两个直播客户端，即机位A、机位B两个机位进行说明；
步骤二，导播台通过WSS（WebSocket）协议，与长连接服务器建立长连接；
步骤三，两机位通过扫描步骤一中生成二维码加入导播，并建立机位与长连接服务器的长连接，解析二维码，获取实例信息；
步骤四，根据实例信息建立机位与导播台时间映射关系，包括：
4.1、机位记录当前时间TSclt1，根据实例信息通过长连接向导播台发起请求，获取当前导播台时间TSdtr，获取到导播台时间后，再次获取本机位当前时间TSclt2；
4.2、根据两次机位获取时间TSclt1、TSclt2计算RTT（往返时间），建立机位时间与导播台时间映射关系，映射公式如下：
Figure 225059DEST_PATH_IMAGE002
机位A 计算RTT、与导播台时间建立映射关系示例：
A、计算RTT
获取导播台时间前与获取后分别获取本地时间为：1629967263000，即TSclt1=1629967263000,TSclt2=1629967263600，导播台返回本实例时间为：1629967266000，即TSdtr=1629967266000，则：
Figure 719625DEST_PATH_IMAGE003
；
b、与导播台时间建立映射关系
根据上述a获取的有效数据及RTT计算结果，考虑RTT影响，估算机位时间：
Figure 783396DEST_PATH_IMAGE004
则建立的映射关系为：
Figure 903668DEST_PATH_IMAGE005
步骤五，各机位分别将建立的映射关系发送至流媒体服务器，同时包含步骤一中生成串码，流媒体服务器将映射关系进行缓存，缓存时效5小时，直播最长持续5小时，缓存关系示例如下：
Figure 979071DEST_PATH_IMAGE006
步骤六，两机位分别向流媒体服务器进行推流操作，发送机位唯一标识，推送直播流数据报文；
步骤七，流媒体服务器接收到机位推送报文后，进行解码、时间戳校准、同步操作，其操作方法为:
7.1、获取机位唯一串码，根据唯一串码在数据缓存获取本机位时间与导播台时间映射关系，映射本机位时间记TSclt，映射导播台时间记TSdtr；
7.2、对直播流帧数据进行解码操作，提取时间戳 TS（timestamp）信息，根据获取本机位的时间与导播台时间映射关系，重新计算全新时间戳TSnew，计算方式如下：
Figure 769173DEST_PATH_IMAGE007
将计算的新时间戳TSnew 重写本帧的时间戳，实现时间戳校准操作，其中，帧数据时间戳校准示例，基于上述步骤中示例计算结果进行后续操作：
假设提取其中的一帧的时间戳TS为：1629967304000，则本帧的新的时间戳为：
Figure 934620DEST_PATH_IMAGE008
7.3、多路直播流进行同步操作处理，如2所示，直播流数据是由不间断的帧数据队列组成，按照先入先出的原则进行处理，对本次导播实例内各直播数据队列具有相同时间戳的帧数据进行合流操作，相同时间戳并非绝对，判断时间戳上下小于1/2帧时长时内帧数据，均判定为本时间戳的帧数据，均进行合流，假设本次直播帧率为20帧/秒，则每帧时长为50ms，1/2帧即±25ms，即对多路直播队列±25ms内的帧数据进行合流操作，完成帧数据同步逻辑，即多路视频同步操作将时间差控制在50ms级别内；
步骤八，流媒体服务器内将多路直播流数据同步校准、合流完成后，则将进行重新编码，推流至CDN加速等操作；
步骤九，完成多路直播流的同步处理流程，用户端可对移动端导播多路直播视频进行同步收视体验；
步骤十，导播/直播结束后，发送指令删除本机位与导播台的时间映射关系。
本发明不局限于所述实施方式，任何人应得知在本发明的启示下作出的结构变化，凡是与本发明具有相同或相近的技术方案，均落入本发明的保护范围之内。
本发明未详细描述的技术、形状、构造部分均为公知技术。

Claims (4)

1.一种基于移动端导播台多路直播同步校准的方法，其特征在于：包括，
移动端导播台创建导播实例，并在流媒体服务器完成注册，创建多个移动终端摄像机位，生成各机位串码，并形成二维码；
导播台与长连接服务器建立长连接；
直播客户端通过扫描生成的二维码加入导播，并建立机位与长连接服务器的长连接，解析二维码，获取实例信息；
根据实例信息建立机位与导播台时间映射关系，其采用的步骤为，直播客户端获取当前时间戳TSclt1，同时根据实例信息通过长连接向导播台发起请求，获取前导播台时间戳TSdtr，直播客户端获取导播台时间TSdtr后，再次获取本地时间TSclt2，根据直播客户端两次获取时间TSclt1、TSclt2计算往返时间RTT，建立直播客户端时间与导播台时间映射关系，映射公式如下：
Figure 555157DEST_PATH_IMAGE002
，其中TSclt为本机位时间，TSdtr为导播台时间；
各机位分别将建立的映射关系发送至流媒体服务器，同时包含各机位串码，流媒体服务器将映射关系进行缓存；
直播客户端向流媒体服务器进行推流操作，发送机位唯一标识，推送直播流数据报文；
流媒体服务器接收到机位推送报文后，进行解码、时间戳校准、同步操作，其中，
所述时间戳校准方式为，提取时间戳，根据获取本机位的时间与导播台时间映射关系，计算新时间戳，并进行重写；
新时间戳TSnew的计算方式如下：
Figure 800193DEST_PATH_IMAGE004
，其中TSclt为本机位时间，TSdtr为导播台时间；
所述同步操作的方法为，直播流数据是由不间断的帧数据队列组成，按照先入先出的原则进行处理，对本次导播实例内各直播数据队列具有相同时间戳的帧数据进行合流操作，相同时间戳并非绝对，判断时间戳上下小于1/2帧时长时内帧数据，均判定为本时间戳的帧数据，均进行合流；
流媒体服务器内将多路直播流数据同步校准、合流完成后，进行重新编码，推流至内容分发网络，完成本次多路直播流数据同步操作。
2.根据权利要求1所述的一种基于移动端导播台多路直播同步校准的方法，其特征在于：所述计算往返时间RTT的方法为，获取导播台时间前与获取后分别获取本地时间，即TSclt1、TSclt2，则：
Figure 642247DEST_PATH_IMAGE006
。
3.根据权利要求1所述的一种基于移动端导播台多路直播同步校准的方法，其特征在于：还包括，完成多路直播流数据同步操作流程后，用户端可对移动端导播多路直播视频进行同步收视体验。
4.根据权利要求1所述的一种基于移动端导播台多路直播同步校准的方法，其特征在于：还包括，当直播客户端导播或直播结束后，导播台发送指令删除本机位与导播台的时间映射关系。
CN202111330933.3A 2021-11-11 2021-11-11 一种基于移动端导播台多路直播同步校准的方法 Active CN114422810B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111330933.3A CN114422810B (zh) 2021-11-11 2021-11-11 一种基于移动端导播台多路直播同步校准的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111330933.3A CN114422810B (zh) 2021-11-11 2021-11-11 一种基于移动端导播台多路直播同步校准的方法

Publications (2)

Publication Number Publication Date
CN114422810A CN114422810A (zh) 2022-04-29
CN114422810B true CN114422810B (zh) 2022-10-04

Family

ID=81265947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111330933.3A Active CN114422810B (zh) 2021-11-11 2021-11-11 一种基于移动端导播台多路直播同步校准的方法

Country Status (1)

Country Link
CN (1) CN114422810B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116866624B (zh) * 2023-06-09 2024-03-26 北京医百科技有限公司 复制和分享导播台配置信息的方法和***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018095130A1 (zh) * 2016-11-24 2018-05-31 广州华多网络科技有限公司 一种确定直播时长的方法和***
CN112351294A (zh) * 2020-10-27 2021-02-09 广州赞赏信息科技有限公司 一种云导播多机位间帧同步方法及***
CN112866733A (zh) * 2021-01-05 2021-05-28 广东中兴新支点技术有限公司 多直播设备的云导播同步***及方法
CN113163222A (zh) * 2021-03-31 2021-07-23 杭州奥点科技股份有限公司 一种视频帧同步方法、***、设备及可读存储介质
CN113453086A (zh) * 2021-03-29 2021-09-28 北京国际云转播科技有限公司 多机位同步云导播方法、***、存储介质和视频编码器
CN113542897A (zh) * 2021-05-19 2021-10-22 广州速启科技有限责任公司 一种适用于多视角直播的音视频直播方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018095130A1 (zh) * 2016-11-24 2018-05-31 广州华多网络科技有限公司 一种确定直播时长的方法和***
CN112351294A (zh) * 2020-10-27 2021-02-09 广州赞赏信息科技有限公司 一种云导播多机位间帧同步方法及***
CN112866733A (zh) * 2021-01-05 2021-05-28 广东中兴新支点技术有限公司 多直播设备的云导播同步***及方法
CN113453086A (zh) * 2021-03-29 2021-09-28 北京国际云转播科技有限公司 多机位同步云导播方法、***、存储介质和视频编码器
CN113163222A (zh) * 2021-03-31 2021-07-23 杭州奥点科技股份有限公司 一种视频帧同步方法、***、设备及可读存储介质
CN113542897A (zh) * 2021-05-19 2021-10-22 广州速启科技有限责任公司 一种适用于多视角直播的音视频直播方法

Also Published As

Publication number Publication date
CN114422810A (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
US11758209B2 (en) Video distribution synchronization
JP6317872B2 (ja) 異なるネットワークを介して受信したコンテンツのレンダリングを同期するデコーダ及びそれにおける方法
CN100588250C (zh) 一种多视点视频流的自由视点视频重建方法及***
EP2670157B1 (en) Fingerprint-based inter-destination media synchronization
JP2024519363A (ja) ゲームデータの処理方法、装置、コンピュータ機器、及びコンピュータプログラム
US11516518B2 (en) Live streaming with live video production and commentary
CN101917613B (zh) 一种流媒体采集编码服务***
EP3298790A1 (en) Providing low&high quality streams
US10778361B1 (en) Stream synchronization
CN101917389A (zh) 一种网络电视直播***
CN109361945A (zh) 一种快速传输及同步的会议视听***及其控制方法
CN114600468B (zh) 将复合视频流中的视频流与元数据组合的组合器***、接收器设备、计算机实现的方法和计算机可读介质
CN110602522B (zh) 一种多路实时直播WebRTC流合成方法
CN112004102A (zh) 一种基于ip直播流的多机位画面同步方法
CN112291498A (zh) 音视频数据传输的方法、装置和存储介质
CN114422810B (zh) 一种基于移动端导播台多路直播同步校准的方法
CN113194278A (zh) 一种会议控制方法、装置及计算机可读存储介质
Tang et al. Audio and video mixing method to enhance WebRTC
CN114885198B (zh) 面向混合网络的伴音与视频协同呈现***
US20230328308A1 (en) Synchronization of multiple content streams
Montagud et al. Introduction to media synchronization (MediaSync)
Westerink et al. A live intranet distance learning system using MPEG-4 over RTP/RTSP
Klinovskii et al. Analysis of Methods for Reducing Latency in Internet TV
Wang et al. Pre-synchronization of AVS audio-video based on Real-Time Transport Protocol
CN113766342A (zh) 字幕合成方法及相关装置、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant