CN110958466A - 一种基于rtmp传输的sdi信号同步回传方法 - Google Patents

一种基于rtmp传输的sdi信号同步回传方法 Download PDF

Info

Publication number
CN110958466A
CN110958466A CN201911305177.1A CN201911305177A CN110958466A CN 110958466 A CN110958466 A CN 110958466A CN 201911305177 A CN201911305177 A CN 201911305177A CN 110958466 A CN110958466 A CN 110958466A
Authority
CN
China
Prior art keywords
rtmp
transcoder
video
sdi signal
sdi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911305177.1A
Other languages
English (en)
Inventor
许国忠
徐扬法
李小强
孙彦龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Arcvideo Technology Co ltd
Original Assignee
Hangzhou Arcvideo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Arcvideo Technology Co ltd filed Critical Hangzhou Arcvideo Technology Co ltd
Priority to CN201911305177.1A priority Critical patent/CN110958466A/zh
Publication of CN110958466A publication Critical patent/CN110958466A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种基于RTMP传输的SDI信号同步回传方法。它具体包括如下步骤：(1)现场的转码器负责把SDI信号，编码成压缩数据，并且通过RTMP协议发送给RTMP服务器；(2)RTMP服务器将接收到的数据发送给演播室的转码器；(3)演播室的转码器负责把RTMP流解码还原成SDI信号输出。本发明的有益效果是：可以实现多机位SDI信号的同步回传，多机位画面同步误差为帧级别，总体延时可以控制在1秒内，大大节省了现场的直播设备，大大优化了现场的直播链路，为客户大大节省直播成本；并且此方法不仅限于通过RTMP传输，也可以用UDP协议或者SRT协议。

Description

一种基于RTMP传输的SDI信号同步回传方法
技术领域
本发明涉及现场直播相关技术领域，尤其是指一种基于RTMP传输的SDI信号同步回传方法。
背景技术
现场事件性直播(演唱会)、比赛直播(足球赛，篮球赛)中，目前基本都会配备现场的直播车、演播室，需要耗费大量的人力、物力、财力。
发明内容
本发明是为了克服现有技术中存在上述的不足，提供了一种减少人力、物力、财力的基于RTMP传输的SDI信号同步回传方法。
为了实现上述目的，本发明采用以下技术方案：
一种基于RTMP传输的SDI信号同步回传方法，具体包括如下步骤：
(1)现场的转码器负责把SDI信号，编码成压缩数据，并且通过RTMP协议发送给RTMP服务器；
(2)RTMP服务器将接收到的数据发送给演播室的转码器；
(3)演播室的转码器负责把RTMP流解码还原成SDI信号输出。
由于当前网络带宽的飞速发展，有光纤网络，有4G网络，还有现在的5G网络，完全具备把现场的摄像机SDI信号通过网络直接回传到电视台/网台的演播室，这样现场就只需要一台或者多台在线转码***，通过网络直接就可以把现场信号回传回去了。此方法可以实现多机位SDI信号的同步回传，多机位画面同步误差为帧级别，总体延时可以控制在1秒内，大大节省了现场的直播设备，大大优化了现场的直播链路，为客户大大节省直播成本；并且此方法不仅限于通过RTMP传输，也可以用UDP协议或者SRT协议。
作为优选，在步骤(1)中，由于现场和演播室是独立的两台转码器，需要保证两台转码器的时钟保持统一，接收到的SDI信号音视频时间戳需要转换成世界标准时间UTC时间，由于RTMP服务器无法保留和传递这个绝对时间戳，于是就把这个时间写入了H.264编码的SEI数据里。
作为优选，在步骤(1)中，现场的转码器对SDI信号采集绝对时间戳的处理方法如下：考虑到多路SDI采集信源的输入，采集的第一帧需要作编码GOP时间对齐，以采集到SDI信号第一帧为基准时间T0，由于SDI信源是固定制式的，每帧间隔为T，那么第N帧的绝对时间戳为：T0+T*(N-1)，绝对时间戳写入H.264编码的SEI数据里。
作为优选，在步骤(3)中，通过RTMP服务器，演播室的转码器获取到现场转码器的RTMP流，需要解析H.264码流里的SEI数据，将现场SDI信号的绝对时间戳还原，传递给演播室转码器中的音视频解码模块。
作为优选，在步骤(3)中，演播室转码器的处理方法如下：由于绝对时间戳信息只保留在视频码流里面，音频时间戳需要通过视频时间戳映射到绝对时间戳，先获取视频的绝对时间戳为Video_T0，而对应的RTMP里面视频时间戳为Video_T0′，则RTMP里面对应的音频时间戳为Audio_T0′，对应的音频映射到绝对时间戳就是Video_T0+(Aduio_T0′-Video_T0′)。
作为优选，由于RTMP服务器传输可能会有延时，需要在演播室转码器SDI输出的时候，人为添加延时缓冲区，这样就可以保证SDI平滑输出，防止网络抖动。
本发明的有益效果是：可以实现多机位SDI信号的同步回传，多机位画面同步误差为帧级别，总体延时可以控制在1秒内，大大节省了现场的直播设备，大大优化了现场的直播链路，为客户大大节省直播成本；并且此方法不仅限于通过RTMP传输，也可以用UDP协议或者SRT协议。
附图说明
图1是本发明的方法框架图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步的描述。
如图1所述的实施例中，一种基于RTMP传输的SDI信号同步回传方法，具体包括如下步骤：
(1)现场的转码器负责把SDI信号，编码成压缩数据(H.264)，并且通过RTMP协议发送给RTMP服务器；由于现场和演播室是独立的两台转码器，需要保证两台转码器的时钟保持统一(可以通过NTP服务对齐)，接收到的SDI信号音视频时间戳需要转换成世界标准时间UTC时间，表示对应帧采集时间换算成我们现实时间(年月日时分秒毫秒)，由于RTMP服务器无法保留和传递这个绝对时间戳，于是就把这个时间写入了H.264编码的SEI(自定义信息)数据里；
现场的转码器对SDI信号采集绝对时间戳的处理方法如下：考虑到多路SDI采集信源的输入，采集的第一帧需要作编码GOP时间对齐，比如编码GOP是100帧，编码帧率是25帧，那么一个GOP就是4秒钟，开始采集的第一帧时间戳需要4秒的倍数，开始不是4秒倍数的帧需要丢弃；以采集到SDI信号第一帧为基准时间T0，由于SDI信源是固定制式的(比如是108050i，108025p)，每帧间隔为T，那么第N帧的绝对时间戳为：T0+T*(N-1)，绝对时间戳写入H.264编码的SEI数据里；
108025p为例，每帧间隔40毫秒(ms)
第一帧 第二帧 第三帧 第四帧 第N帧
T0 T0+40ms T0+80ms T0+120ms T0+40x(N-1)ms
(2)RTMP服务器将接收到的数据发送给演播室的转码器；这个网络(RTMP服务器)可以是专网，可以是公网，没有特别要求；
(3)演播室的转码器负责把RTMP流解码还原成SDI信号输出；通过RTMP服务器，演播室的转码器获取到现场转码器的RTMP流(FLV文件封装)，需要解析H.264码流里的SEI数据，将现场SDI信号的绝对时间戳还原，传递给演播室转码器中的音视频解码模块；
演播室转码器的处理方法如下：由于绝对时间戳信息只保留在视频码流里面，音频时间戳需要通过视频时间戳映射到绝对时间戳，先获取视频的绝对时间戳为Video_T0，而对应的RTMP里面视频时间戳为Video_T0′，则RTMP里面对应的音频时间戳为Audio_T0′，对应的音频映射到绝对时间戳就是Video_T0+(Aduio_T0′-Video_T0′)。比如：RTMP里面视频时间戳为0，对应的绝对时间戳为(1576117179664毫秒)，RTMP里面对应的音频时间戳为0的帧，也需要映射到绝对时间戳(1576117179664毫秒)。
由于RTMP服务器传输可能会有延时，需要在演播室转码器SDI输出的时候，人为添加延时缓冲区，Arcvideo***默认是1.5秒，这样就可以保证SDI平滑输出，防止网络抖动。SDI输出时间戳控制，由于现场转码器和演播室转码器都进行了NTP同步，我们可以认为两台机器的时钟是一致的，但是有由于现场转码器的延时，中间RTMP服务器的延时，演播室解码也会有延时，所以需要在SDI输出端设置一个延时值(Arcvideo默认是1.5秒，这个值可配置)，否则SDI输出就不会平滑输出了。
此方法可以实现多机位SDI信号的同步回传，多机位画面同步误差为帧级别，总体延时可以控制在1秒内，大大节省了现场的直播设备，大大优化了现场的直播链路，为客户大大节省直播成本；并且此方法不仅限于通过RTMP传输，也可以用UDP协议或者SRT协议。

Claims (6)

1.一种基于RTMP传输的SDI信号同步回传方法，其特征是，具体包括如下步骤：
(1)现场的转码器负责把SDI信号，编码成压缩数据，并且通过RTMP协议发送给RTMP服务器；
(2)RTMP服务器将接收到的数据发送给演播室的转码器；
(3)演播室的转码器负责把RTMP流解码还原成SDI信号输出。
2.根据权利要求1所述的一种基于RTMP传输的SDI信号同步回传方法，其特征是，在步骤(1)中，由于现场和演播室是独立的两台转码器，需要保证两台转码器的时钟保持统一，接收到的SDI信号音视频时间戳需要转换成世界标准时间UTC时间，由于RTMP服务器无法保留和传递这个绝对时间戳，于是就把这个时间写入了H.264编码的SEI数据里。
3.根据权利要求2所述的一种基于RTMP传输的SDI信号同步回传方法，其特征是，在步骤(1)中，现场的转码器对SDI信号采集绝对时间戳的处理方法如下：考虑到多路SDI采集信源的输入，采集的第一帧需要作编码GOP时间对齐，以采集到SDI信号第一帧为基准时间T0，由于SDI信源是固定制式的，每帧间隔为T，那么第N帧的绝对时间戳为：T0+T*(N-1)，绝对时间戳写入H.264编码的SEI数据里。
4.根据权利要求2或3所述的一种基于RTMP传输的SDI信号同步回传方法，其特征是，在步骤(3)中，通过RTMP服务器，演播室的转码器获取到现场转码器的RTMP流，需要解析H.264码流里的SEI数据，将现场SDI信号的绝对时间戳还原，传递给演播室转码器中的音视频解码模块。
5.根据权利要求4所述的一种基于RTMP传输的SDI信号同步回传方法，其特征是，在步骤(3)中，演播室转码器的处理方法如下：由于绝对时间戳信息只保留在视频码流里面，音频时间戳需要通过视频时间戳映射到绝对时间戳，先获取视频的绝对时间戳为Video_T0，而对应的RTMP里面视频时间戳为Video_T0′，则RTMP里面对应的音频时间戳为Audio_T0′，对应的音频映射到绝对时间戳就是Video_T0+(Aduio_T0′-Video_T0′)。
6.根据权利要求1或2或3所述的一种基于RTMP传输的SDI信号同步回传方法，其特征是，由于RTMP服务器传输可能会有延时，需要在演播室转码器SDI输出的时候，人为添加延时缓冲区，这样就可以保证SDI平滑输出，防止网络抖动。
CN201911305177.1A 2019-12-17 2019-12-17 一种基于rtmp传输的sdi信号同步回传方法 Pending CN110958466A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911305177.1A CN110958466A (zh) 2019-12-17 2019-12-17 一种基于rtmp传输的sdi信号同步回传方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911305177.1A CN110958466A (zh) 2019-12-17 2019-12-17 一种基于rtmp传输的sdi信号同步回传方法

Publications (1)

Publication Number Publication Date
CN110958466A true CN110958466A (zh) 2020-04-03

Family

ID=69982333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911305177.1A Pending CN110958466A (zh) 2019-12-17 2019-12-17 一种基于rtmp传输的sdi信号同步回传方法

Country Status (1)

Country Link
CN (1) CN110958466A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112004102A (zh) * 2020-08-03 2020-11-27 杭州当虹科技股份有限公司 一种基于ip直播流的多机位画面同步方法
CN113746755A (zh) * 2021-07-30 2021-12-03 咪咕文化科技有限公司 数据处理方法、装置、设备及计算机可读存储介质
WO2022214056A1 (en) * 2021-04-08 2022-10-13 Beijing Bytedance Network Technology Co., Ltd. Scalability dimension information supplemental enhancement information message
CN115499675A (zh) * 2022-09-16 2022-12-20 深圳市野草声学有限公司 基于通信网络视频直播的多机位音视频合成方法及***

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101964904A (zh) * 2010-10-11 2011-02-02 北京中科大洋科技发展股份有限公司 一种利用无线通讯网络实现电视新闻直播的方法
CN101969439A (zh) * 2010-10-11 2011-02-09 北京中科大洋科技发展股份有限公司 一种利用无线通讯网络实现电视新闻直播的***
EP2569673A1 (de) * 2010-05-11 2013-03-20 Stephan Overkott Holografisches live-präsentationssystem und verfahren zur liveübertragung einer holografischen präsentation
CN105430537A (zh) * 2015-11-27 2016-03-23 刘军 对多路数据进行合成的方法、服务器及音乐教学***
CN105872570A (zh) * 2015-12-11 2016-08-17 乐视网信息技术（北京）股份有限公司 一种多机位视频同步播放的实现方法及装置
CN106303673A (zh) * 2015-06-04 2017-01-04 中兴通讯股份有限公司 码流对齐、同步处理方法及发送、接收终端和通信***
CN107911710A (zh) * 2017-11-30 2018-04-13 上海佰贝科技发展有限公司 一种直播资源共享管理平台及方法
CN108206833A (zh) * 2018-01-11 2018-06-26 福建星网锐捷通讯股份有限公司 音视频数据传输方法及其***
CN108243345A (zh) * 2017-06-20 2018-07-03 广州华多网络科技有限公司 一种视频推流方法
CN109547831A (zh) * 2018-11-19 2019-03-29 网宿科技股份有限公司 一种白板与视频同步的方法、装置、计算设备及存储介质
CN109618208A (zh) * 2018-12-25 2019-04-12 湖南快乐阳光互动娱乐传媒有限公司 一种直播流分布式切片同步方法及装置
CN110035311A (zh) * 2019-04-04 2019-07-19 网宿科技股份有限公司 一种同步播放消息流与音视频流的方法、装置和***
CN110234028A (zh) * 2019-06-13 2019-09-13 北京大米科技有限公司 音视频数据同步播放方法、装置、***、电子设备及介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2569673A1 (de) * 2010-05-11 2013-03-20 Stephan Overkott Holografisches live-präsentationssystem und verfahren zur liveübertragung einer holografischen präsentation
CN101969439A (zh) * 2010-10-11 2011-02-09 北京中科大洋科技发展股份有限公司 一种利用无线通讯网络实现电视新闻直播的***
CN101964904A (zh) * 2010-10-11 2011-02-02 北京中科大洋科技发展股份有限公司 一种利用无线通讯网络实现电视新闻直播的方法
CN106303673A (zh) * 2015-06-04 2017-01-04 中兴通讯股份有限公司 码流对齐、同步处理方法及发送、接收终端和通信***
CN105430537A (zh) * 2015-11-27 2016-03-23 刘军 对多路数据进行合成的方法、服务器及音乐教学***
CN105872570A (zh) * 2015-12-11 2016-08-17 乐视网信息技术（北京）股份有限公司 一种多机位视频同步播放的实现方法及装置
CN108243345A (zh) * 2017-06-20 2018-07-03 广州华多网络科技有限公司 一种视频推流方法
CN107911710A (zh) * 2017-11-30 2018-04-13 上海佰贝科技发展有限公司 一种直播资源共享管理平台及方法
CN108206833A (zh) * 2018-01-11 2018-06-26 福建星网锐捷通讯股份有限公司 音视频数据传输方法及其***
CN109547831A (zh) * 2018-11-19 2019-03-29 网宿科技股份有限公司 一种白板与视频同步的方法、装置、计算设备及存储介质
CN109618208A (zh) * 2018-12-25 2019-04-12 湖南快乐阳光互动娱乐传媒有限公司 一种直播流分布式切片同步方法及装置
CN110035311A (zh) * 2019-04-04 2019-07-19 网宿科技股份有限公司 一种同步播放消息流与音视频流的方法、装置和***
CN110234028A (zh) * 2019-06-13 2019-09-13 北京大米科技有限公司 音视频数据同步播放方法、装置、***、电子设备及介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112004102A (zh) * 2020-08-03 2020-11-27 杭州当虹科技股份有限公司 一种基于ip直播流的多机位画面同步方法
WO2022214056A1 (en) * 2021-04-08 2022-10-13 Beijing Bytedance Network Technology Co., Ltd. Scalability dimension information supplemental enhancement information message
CN113746755A (zh) * 2021-07-30 2021-12-03 咪咕文化科技有限公司 数据处理方法、装置、设备及计算机可读存储介质
CN113746755B (zh) * 2021-07-30 2023-10-20 咪咕文化科技有限公司 数据处理方法、装置、设备及计算机可读存储介质
CN115499675A (zh) * 2022-09-16 2022-12-20 深圳市野草声学有限公司 基于通信网络视频直播的多机位音视频合成方法及***

Similar Documents

Publication Publication Date Title
CN110958466A (zh) 一种基于rtmp传输的sdi信号同步回传方法
EP4033770A1 (en) Video distribution synchronization
US8938751B2 (en) Method and system for placing inserts into a broadcast television signal
CN109089129B (zh) 一种稳健的多视频捆绑直播***及其方法
US11558654B2 (en) System and method for operating a transmission network
KR100606785B1 (ko) 네트워크를 통한 원격 멀티미디어 서비스 제공시스템에서의 동영상 및 이미지 데이터의 동기화 방법
US11287653B2 (en) Method and system for selective content processing based on a panoramic camera and a virtual-reality headset
JP7208530B2 (ja) 同期制御装置、同期制御方法及び同期制御プログラム
US20230319371A1 (en) Distribution of Multiple Signals of Video Content Independently over a Network
EP0986907A1 (en) Method and apparatus for splicing compressed information signals
US11895349B2 (en) Synchronous control device, synchronous control method, and synchronous control program
US9055316B2 (en) Method and system for inserting digital video effects into a video stream at a multiplexing device after routing
US7934228B2 (en) Method and system for marking video signals for identification
US9247285B2 (en) Method and system for monitoring a content signal
US8239913B2 (en) Method and system for inserting digital video effects into a video stream in redundant paths before routing
US8619822B2 (en) Method and system for generating uplink signals from a ground segment
US20080244663A1 (en) Method and system for inserting digital video effects into a video stream using a bypass router
US11184684B2 (en) Live broadcast IP latency compensation
CA2988531A1 (en) Method for synchronizing adaptive bitrate streams across multiple encoders with the source originating from the same baseband video
Kawamoto et al. Remote Production Experiments with Lightweight Compressed 8K UHDTV over IP Device
KR20240103243A (ko) 클라우드 기반 미디어 제작 환경에서 고품질 및 저지연 미디어 처리 방법 및 이를 위한 장치
US9277182B2 (en) Method and system for interrupting inserted material in a content signal
US20080239163A1 (en) Method and system for inserting digital video effects into a video stream after bypass routing and before encoding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200403

RJ01 Rejection of invention patent application after publication