CN110392276A - 一种基于rtmp协议同步传输midi的直播录播方法 - Google Patents

一种基于rtmp协议同步传输midi的直播录播方法 Download PDF

Info

Publication number
CN110392276A
CN110392276A CN201910686627.XA CN201910686627A CN110392276A CN 110392276 A CN110392276 A CN 110392276A CN 201910686627 A CN201910686627 A CN 201910686627A CN 110392276 A CN110392276 A CN 110392276A
Authority
CN
China
Prior art keywords
midi
audio
data
aac
recorded broadcast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910686627.XA
Other languages
English (en)
Other versions
CN110392276B (zh
Inventor
郭立
刘天作
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Karod Piano Co ltd
Original Assignee
Hunan Carrod Music Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Carrod Music Group Co Ltd filed Critical Hunan Carrod Music Group Co Ltd
Priority to CN201910686627.XA priority Critical patent/CN110392276B/zh
Publication of CN110392276A publication Critical patent/CN110392276A/zh
Application granted granted Critical
Publication of CN110392276B publication Critical patent/CN110392276B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

本发明公开了一种基于RTMP协议同步传输MIDI的直播录播方法，首先通过采集图像、音频和MIDI信号，并对采集的图像和音频分别进行编码压缩；其次，将采集的MIDI信号和编码压缩的音频进行混流，连同编码压缩的图像一起推流到服务器，且同时对对编码压缩的图像及混流的音频和MIDI信号进行录播；然后，基于RTMP协议从服务器拉流并分离混流的音频和MIDI数据，同时解码音频数据和图像数据；接着，将解码的图像数据和音频数据整合为播放音视频，并将分离的MIDI数据发送给演奏乐器；最后，实现播放音视频与演奏乐器的同步联动。本发明基于RTMP协议同步传输MIDI、音频、图像以及转存M3U8后可保留MIDI数据，演奏乐器的直播录播均可实现，用户还可依需求选取直播或录播，适用性较强。

Description

一种基于RTMP协议同步传输MIDI的直播录播方法
技术领域
本发明涉及音频技术领域，特别是涉及一种基于RTMP协议同步传输MIDI的直播录播方法。
背景技术
RTMP协议是Real Time Message Protocol(实时信息传输协议)的缩写，它是由Adobe公司提出的一种应用层的协议，在Flash播放器和流媒体服务器之间进行音频、视频和数据传输的开放协议。RTMP的优点有：实时性高、稳定性高、支持加密、编码器接入和***容错能力。但是其存在致命缺点：协议复杂，带宽浪费较大，且不支持移动互联网视频直播。而目前市面上直播场景都是实现声音和图像的传输，应用于娱乐直播。
随着智能手机及物联网的发展，用户正在不懈的挖掘智能手机的应用功能，以提供给用户丰富多彩的沟通和生活。用户希望可以实现乐器与智能手机的物联技术，智能手机通过无线传输MIDI信号来控制乐器，乐器也可以将演奏者弹奏的曲名转换为MIDI信号通过无线发送给智能手机进行记录。
故此，如何研发一种实现乐器通过RTMP协议与直播观众端的音视频同步联动，且RTMP转存的录播文件亦可很好地保留里面的MIDI数据的基于RTMP协议同步传输MIDI的直播录播方法，成了本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提出一种基于RTMP协议同步传输MIDI的直播录播方法，可以根据用户需求选取直播或录播，直播能实现midi与音视频的同步播放，录播在很好地保留里面的MIDI数据的同时，还不影响普通播放器正常播放。
一方面，本发明提供了一种基于RTMP协议同步传输MIDI的直播录播方法，包括如下步骤：
(1)移动主播终端与演奏乐器相连；
(2)移动主播终端分别进行图像、音频和MIDI信号采集，并对采集的图像和音频分别进行编码压缩；
(3)将采集的MIDI信号和编码压缩的音频进行混流；
(4)将编码压缩的图像及混流的音频和MIDI信号通过RTMP协议推流至服务器，同时可对编码压缩的图像及混流的音频和MIDI信号进行录播；
(5)通过RTMP协议从服务器拉流并分离混流的音频和MIDI数据，同时解码音频数据和图像数据；
(6)将解码的图像数据和音频数据整合为播放音视频；
(7)将分离的MIDI数据发送给演奏乐器；
(8)播放音视频与演奏乐器同步联动。
进一步地，步骤(2)中采集的编码压缩的音频为AAC格式，所述AAC由若干个数据块依次顺序排列组合而成，每个数据块包括依次顺序排列的ADTS header和AAC ES字段。
进一步地，步骤(3)将采集的MIDI信号和编码压缩的音频进行混流的具体步骤为：在音频编码压缩为AAC格式后，将MIDI信号追加到AAC ES的尾部，更新ADTS header的长度字段，其中，MIDI信号在AAC ES尾部的长度字段记作a。
进一步地，更新后的ADTS header长度字段等于ADTS音频长度与a长度字段之和。
进一步地，所述MIDI信号包括依次顺序排列设置的MIDI数据、数据长度和校验位。
进一步地，步骤(5)中分离混流的音频和MIDI数据，并解码音频数据的具体步骤为：
从AAC的ADTS header解析AAC ES长度，并读取AAC ES尾部的数据与MIDI的校验位比对，判断该AAC是否携带有MIDI信息，如果校验位校验通过，则去除AAC ES尾部的MIDI数据，加入到播放队列中发送给演奏乐器弹奏；
音频去除a结构后，修正ADTS header标识的AAC ES长度后，送解码队列进行解码播放。
进一步地，步骤(2)中MIDI信号采集后，将MIDI信号打上时间戳，再加入到待音频混流的队列中。
进一步地，步骤(4)中编码压缩的图像及混流的音频编码和MIDI信号录播的格式为M3U8，M3U8中混入的MIDI数据会分布在固定长度的PES音频包中。
进一步地，录播中实现MIDI与音视频同步的步骤具体包括：
使用FFMPEG解析M3U8到AAC；
从AAC的ADTS header解析AAC ES长度，并读取AAC ES尾部的数据与MIDI的校验位比对，判断该AAC是否携带有MIDI信息，如果校验位校验通过，则去除AAC ES尾部的MIDI数据，加入到播放队列中发送给演奏乐器弹奏；
音频去除a结构后，修正ADTS header标识的AAC ES长度后，送解码队列进行解码播放；
将解码的图像数据和音频数据整合为播放音视频；
将分离的MIDI数据发送给演奏乐器；
音视频与演奏乐器联动播放。
进一步地，步骤(1)中移动主播终端与演奏乐器通过蓝牙或WIFI进行连接。
故此，本发明提供的基于RTMP协议同步传输MIDI的直播录播方法，首先通过采集图像、音频和MIDI信号，并对采集的图像和音频分别进行编码压缩；其次，将采集的MIDI信号和编码压缩的音频进行混流，连同编码压缩的图像一起推流到服务器，且同时对对编码压缩的图像及混流的音频和MIDI信号进行录播；然后，基于RTMP协议从服务器拉流并分离混流的音频和MIDI数据，同时解码音频数据和图像数据；接着，将解码的图像数据和音频数据整合为播放音视频，并将分离的MIDI数据发送给演奏乐器；最后，实现播放音视频与演奏乐器的同步联动。通过上述方法，本发明基于RTMP协议同步传输MIDI、音频、图像以及转存M3U8后可以保留MIDI数据，演奏乐器的直播录播均可实现，用户可以根据需求选取直播或录播，适用性较强。
在进一步地技术方案中，在音频编码压缩为AAC格式后，将MIDI信号追加到AAC ES的尾部，更新ADTS header的长度字段，其中，MIDI信号在AACES尾部的长度字段记作a。即利用原有AAC音频ADTS结构进行扩展，用于携带MIDI数据，更好地实现midi与音视频的同步播放。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例提供的基于RTMP协议同步传输MIDI的直播录播方法的流程图；
图2为本发明实施例提供的音频混流后AAC的内部结构图；
图3为本发明实施例提供的MIDI信号的内部结构图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
需要说明的是，为更好地阐述本发明，下面对如下定义做出进一步解释：
MIDI(Musical Instrument Digital Interface，乐器数字接口)，是一个工业标准的电子通信协定、通信标准，MIDI数据不是数字的音频波形，而是音乐代码或称电子乐谱；
AAC(Advanced Audio Coding，高级音频编码)，是一种专为声音数据设计的文件压缩格式；
ADTS(Audio Data Transport Stream，音频数据传输流)，是AAC的一种十分常见的传输格式；
PES(Packetized Elementary Streams，分组的ES)，是用来传递ES的一种数据结构，PES流是ES流经过PES打包器处理后形成的数据流。
FFMPEG(Fast Forward Mpeg，快进视频编码标准)，是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。
推流，指的是把采集阶段封包好的内容传输到服务器的过程。其实就是将现场的视频信号传到网络的过程。
拉流，指的就是服务器已经有的直播内容，根据协议类型，与服务器建立连接并接收数据，进行拉取的过程。
本发明提供了一种基于RTMP协议同步传输MIDI的直播录播方法，可以用户根据选择实现音视频的直播或录播。图3为本发明实施例提供的MIDI信号的内部结构图，如图3所示，MIDI信号包括依次顺序排列设置的MIDI数据、数据长度和校验位。
具体地，如图1所示，一种基于RTMP协议同步传输MIDI的直播录播方法，包括如下步骤：
(1)移动主播终端与演奏乐器相连。优选地，本步骤中移动主播终端与演奏乐器通过蓝牙或WIFI进行连接。需要说明的是，移动主播终端可为手机、平板但不仅限于此；演奏乐器可为钢琴、吉他、古筝及其他可实现演奏功能的乐器。
(2)移动主播终端分别进行图像、音频和MIDI信号采集，并对采集的图像和音频分别进行编码压缩。需要说明的是，本步骤中采集的编码压缩的音频优选为AAC格式，该AAC由若干个数据块依次顺序排列组合而成，每个数据块包括依次顺序排列的ADTS header和AACES字段。
此外，值得提及的是，MIDI信号采集后，优选地，将MIDI信号打上时间戳，再加入到待音频混流的队列中。
(3)将采集的MIDI信号和编码压缩的音频进行混流。
具体地，步骤(3)表现为：在音频编码压缩为AAC格式后，将MIDI信号追加到AAC ES的尾部，更新ADTS header的长度字段，其中，MIDI信号在AAC ES尾部的长度字段记作a，详情见附图2。图2即为音频混流后AAC的内部结构图。需要说明的是，更新后的ADTS header长度字段等于ADTS音频长度与a长度字段之和。
(4)将编码压缩的图像及混流的音频和MIDI信号通过RTMP协议推流至服务器，同时可对编码压缩的图像及混流的音频和MIDI信号进行录播。
(5)通过RTMP协议从服务器拉流并分离混流的音频和MIDI数据，同时解码音频数据和图像数据。
本步骤具体通过以下步骤分离混流的音频和MIDI数据，并解码音频数据：
首先，从AAC的ADTS header解析AAC ES长度，并读取AAC ES尾部的数据与MIDI的校验位比对，判断该AAC是否携带有MIDI信息，如果校验位校验通过，则去除AAC ES尾部的MIDI数据，加入到播放队列中发送给演奏乐器弹奏；
其次，音频去除a结构后，修正ADTS header标识的AAC ES长度后，送解码队列进行解码播放。
(6)将解码的图像数据和音频数据整合为播放音视频。
(7)将分离的MIDI数据发送给演奏乐器。
(8)播放音视频与演奏乐器同步联动。
上述过程将MIDI混合在音频流中，利用音视频的同步，间接实现midi与音视频的同步播放，实现了直播。
下面对录播作出进一步地说明。
步骤(4)即为直播和录播的分界线，将编码压缩的图像及混流的音频和MIDI信号通过RTMP协议推流至服务器后再进行拉流，是通往直播的路径，将编码压缩的图像及混流的音频和MIDI信号进行录播，即为录播过程的关键步骤。
本发明优选实施例中编码压缩的图像及混流的音频编码和MIDI信号录播的格式为M3U8，M3U8中混入的MIDI数据会分布在固定长度的PES音频包中，录播中实现MIDI与音视频同步的过程具体包括如下步骤：
首先，使用FFMPEG解析M3U8到AAC；
其次，从AAC的ADTS header解析AAC ES长度，并读取AAC ES尾部的数据与MIDI的校验位比对，判断该AAC是否携带有MIDI信息，如果校验位校验通过，则去除AAC ES尾部的MIDI数据，加入到播放队列中发送给演奏乐器弹奏；
然后，音频去除a结构后，修正ADTS header标识的AAC ES长度后，送解码队列进行解码播放；
接着，将解码的图像数据和音频数据整合为播放音视频；
再次，将分离的MIDI数据发送给演奏乐器；
最后，音视频与演奏乐器联动播放。
通过上述步骤即可实现，即可实现编码压缩的图像及混流的音频编码和MIDI信号转存为M3U8播放的时候，演奏乐器与音视频联动播放。
综上所述，本发明具有如下优点：
(1)本发明将MIDI混合在音频流中，利用音视频的同步，间接实现midi与音视频的同步播放，实现直播功能；
(2)将原有AAC音频ADTS结构进行扩展，用于携带MIDI数据；
(3)编码压缩的图像及混流的音频编码和MIDI信号转存M3U8后可以保留MIDI数据，实现录播功能的同时，还不影响普通播放器正常播放。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于RTMP协议同步传输MIDI的直播录播方法，其特征在于，包括如下步骤：
(1)移动主播终端与演奏乐器相连；
(2)移动主播终端分别进行图像、音频和MIDI信号采集，并对采集的图像和音频分别进行编码压缩；
(3)将采集的MIDI信号和编码压缩的音频进行混流；
(4)将编码压缩的图像及混流的音频和MIDI信号通过RTMP协议推流至服务器，同时可对编码压缩的图像及混流的音频和MIDI信号进行录播；
(5)通过RTMP协议从服务器拉流并分离混流的音频和MIDI数据，同时解码音频数据和图像数据；
(6)将解码的图像数据和音频数据整合为播放音视频；
(7)将分离的MIDI数据发送给演奏乐器；
(8)播放音视频与演奏乐器同步联动。
2.根据权利要求1所述的基于RTMP协议同步传输MIDI的直播录播方法，其特征在于，步骤(2)中采集的编码压缩的音频为AAC格式，所述AAC由若干个数据块依次顺序排列组合而成，每个数据块包括依次顺序排列的ADTS header和AAC ES字段。
3.根据权利要求2所述的基于RTMP协议同步传输MIDI的直播录播方法，其特征在于，步骤(3)将采集的MIDI信号和编码压缩的音频进行混流的具体步骤为：在音频编码压缩为AAC格式后，将MIDI信号追加到AAC ES的尾部，更新ADTS header的长度字段，其中，MIDI信号在AAC ES尾部的长度字段记作a。
4.根据权利要求3所述的基于RTMP协议同步传输MIDI的直播录播方法，其特征在于，更新后的ADTS header长度字段等于ADTS音频长度与a长度字段之和。
5.根据权利要求4所述的基于RTMP协议同步传输MIDI的直播录播方法，其特征在于，所述MIDI信号包括依次顺序排列设置的MIDI数据、数据长度和校验位。
6.根据权利要求5所述的基于RTMP协议同步传输MIDI的直播录播方法，其特征在于，步骤(5)中分离混流的音频和MIDI数据，并解码音频数据的具体步骤为：
从AAC的ADTS header解析AAC ES长度，并读取AAC ES尾部的数据与MIDI的校验位比对，判断该AAC是否携带有MIDI信息，如果校验位校验通过，则去除AAC ES尾部的MIDI数据，加入到播放队列中发送给演奏乐器弹奏；
音频去除a结构后，修正ADTS header标识的AAC ES长度后，送解码队列进行解码播放。
7.根据权利要求1所述的基于RTMP协议同步传输MIDI的直播录播方法，其特征在于，步骤(2)中MIDI信号采集后，将MIDI信号打上时间戳，再加入到待音频混流的队列中。
8.根据权利要求1至7中任一项所述的基于RTMP协议同步传输MIDI的直播录播方法，其特征在于，步骤(4)中编码压缩的图像及混流的音频编码和MIDI信号录播的格式为M3U8，M3U8中混入的MIDI数据会分布在固定长度的PES音频包中。
9.根据权利要求8所述的基于RTMP协议同步传输MIDI的直播录播方法，其特征在于，录播中实现MIDI与音视频同步的步骤具体包括：
使用FFMPEG解析M3U8到AAC；
从AAC的ADTS header解析AAC ES长度，并读取AAC ES尾部的数据与MIDI的校验位比对，判断该AAC是否携带有MIDI信息，如果校验位校验通过，则去除AAC ES尾部的MIDI数据，加入到播放队列中发送给演奏乐器弹奏；
音频去除a结构后，修正ADTS header标识的AAC ES长度后，送解码队列进行解码播放；
将解码的图像数据和音频数据整合为播放音视频；
将分离的MIDI数据发送给演奏乐器；
音视频与演奏乐器联动播放。
10.根据权利要求1所述的基于RTMP协议同步传输MIDI的直播录播方法，其特征在于，步骤(1)中移动主播终端与演奏乐器通过蓝牙或WIFI进行连接。
CN201910686627.XA 2019-07-29 2019-07-29 一种基于rtmp协议同步传输midi的直播录播方法 Active CN110392276B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910686627.XA CN110392276B (zh) 2019-07-29 2019-07-29 一种基于rtmp协议同步传输midi的直播录播方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910686627.XA CN110392276B (zh) 2019-07-29 2019-07-29 一种基于rtmp协议同步传输midi的直播录播方法

Publications (2)

Publication Number Publication Date
CN110392276A true CN110392276A (zh) 2019-10-29
CN110392276B CN110392276B (zh) 2021-06-22

Family

ID=68287749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910686627.XA Active CN110392276B (zh) 2019-07-29 2019-07-29 一种基于rtmp协议同步传输midi的直播录播方法

Country Status (1)

Country Link
CN (1) CN110392276B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113727122A (zh) * 2020-12-28 2021-11-30 广州市裕达电子有限公司 直播软件的控制方法、***及设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060042453A1 (en) * 2004-08-31 2006-03-02 Yamaha Corporation Electronic music apparatus capable of connecting to network
CN102254560A (zh) * 2010-05-19 2011-11-23 安凯(广州)微电子技术有限公司 一种移动数字电视录像中的音频处理方法
CN103403794A (zh) * 2011-01-07 2013-11-20 雅马哈株式会社 自动演奏装置
CN106375859A (zh) * 2016-09-26 2017-02-01 腾讯科技（深圳）有限公司 一种媒体处理方法、装置及终端
CN106465008A (zh) * 2014-05-08 2017-02-22 制约智能机械人(Sir)(香港)有限公司 终端混音***和播放方法
CN106507134A (zh) * 2016-11-30 2017-03-15 深圳羚羊极速科技有限公司 一种流媒体服务器按需转码的方法
CN106571130A (zh) * 2016-11-17 2017-04-19 安徽克洛斯威智能乐器科技有限公司 一种可视频的智能语音钢琴***
CN108122558A (zh) * 2017-12-22 2018-06-05 深圳国微技术有限公司 一种latm aac音频流的实时转容实现方法及装置
US20180288467A1 (en) * 2017-04-03 2018-10-04 Smule, Inc. Audiovisual collaboration method with latency management for wide-area broadcast
CN109088887A (zh) * 2018-09-29 2018-12-25 北京金山云网络技术有限公司 一种流媒体解码的方法及装置
CN109413476A (zh) * 2018-10-17 2019-03-01 湖南乐和云服网络科技有限公司 一种音视频与钢琴动作同步直播方法及***

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060042453A1 (en) * 2004-08-31 2006-03-02 Yamaha Corporation Electronic music apparatus capable of connecting to network
CN102254560A (zh) * 2010-05-19 2011-11-23 安凯(广州)微电子技术有限公司 一种移动数字电视录像中的音频处理方法
CN103403794A (zh) * 2011-01-07 2013-11-20 雅马哈株式会社 自动演奏装置
CN106465008A (zh) * 2014-05-08 2017-02-22 制约智能机械人(Sir)(香港)有限公司 终端混音***和播放方法
CN106375859A (zh) * 2016-09-26 2017-02-01 腾讯科技（深圳）有限公司 一种媒体处理方法、装置及终端
CN106571130A (zh) * 2016-11-17 2017-04-19 安徽克洛斯威智能乐器科技有限公司 一种可视频的智能语音钢琴***
CN106507134A (zh) * 2016-11-30 2017-03-15 深圳羚羊极速科技有限公司 一种流媒体服务器按需转码的方法
US20180288467A1 (en) * 2017-04-03 2018-10-04 Smule, Inc. Audiovisual collaboration method with latency management for wide-area broadcast
CN108122558A (zh) * 2017-12-22 2018-06-05 深圳国微技术有限公司 一种latm aac音频流的实时转容实现方法及装置
CN109088887A (zh) * 2018-09-29 2018-12-25 北京金山云网络技术有限公司 一种流媒体解码的方法及装置
CN109413476A (zh) * 2018-10-17 2019-03-01 湖南乐和云服网络科技有限公司 一种音视频与钢琴动作同步直播方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
鲍方旭: "数字音频格式以及在广播中的应用", 《民营科技》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113727122A (zh) * 2020-12-28 2021-11-30 广州市裕达电子有限公司 直播软件的控制方法、***及设备

Also Published As

Publication number Publication date
CN110392276B (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
US11805286B2 (en) Apparatus and method for transmitting/receiving processes of a broadcast signal
JP6681986B2 (ja) トランスポートのためのコード化された次世代オーディオデータの選択
US10693936B2 (en) Transporting coded audio data
US10869106B2 (en) Data transmission method and apparatus, and electronic device
CN111837403B (zh) 处理用于以流传送媒体数据的交互性事件
KR101022471B1 (ko) 멀티미디어 데이터를 기록한 정보저장매체, 그 재생방법및 재생장치
US8374176B2 (en) Method and apparatus for providing internet protocol datacasting (IPDC) service, and method and apparatus for processing IPDC service
KR101613941B1 (ko) 미디어 콘텐트 송수신 방법 및 그를 이용한 송수신 장치
US20080199021A1 (en) Method and Apparatus For Providing Ip Datacasting Service in Digital Audio Broadcasting System
US8212693B2 (en) Bit-stream processing/transmitting and/or receiving/processing method, medium, and apparatus
US20120233345A1 (en) Method and apparatus for adaptive streaming
CN107409234A (zh) 基于lct利用dash格式的基于文件格式的流式传输
US20050193138A1 (en) Storage medium storing multimedia data, and method and apparatus for reproducing the multimedia data
CN107637040A (zh) 使用websocket子协议来传输媒体数据
EP3243332A1 (en) Session description information for over-the-air broadcast media data
US20070237184A1 (en) Method and apparatus for providing Internet protocol datacasting service in digital audio broadcasting system
US8223851B2 (en) Method and an apparatus for embedding data in a media stream
CN105765943B (zh) 发送广播信号的装置、接收广播信号的装置、发送广播信号的方法和接收广播信号的方法
EP2453652B1 (en) Transmission method, receiving method and device for scalable video coding files
JP2019220974A (ja) 復号装置
CN110392276A (zh) 一种基于rtmp协议同步传输midi的直播录播方法
KR20120139514A (ko) Ｄａｓｈ 규격의 미디어 데이터와 ｍｍｔ 전송 시스템과의 연동 방법 및 그 장치
JP2005176094A (ja) データ処理装置及びデータ処理方法、並びにプログラム、記憶媒体
David et al. Implementation of MPEG 4 systems and delivery layer
KR20110085797A (ko) 컨텐츠 파일 생성/제공 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220701

Address after: 410000 Building 2, Houhu business center, CSCEC smart Industrial Park, No. 50, Jinjiang Road, Yuelu street, Yuelu District, Changsha City, Hunan Province

Patentee after: Hunan karod Piano Co.,Ltd.

Address before: Room b6110, 6th floor, building 4, Jiutian Yinhe Industrial Park, 72 Yannong Road, high tech Development Zone, Changsha, Hunan 410000

Patentee before: Hunan Carrod Music Group Co.,Ltd.

PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A live streaming recording method based on RTMP protocol for synchronous transmission of MIDI

Granted publication date: 20210622

Pledgee: Dongcheng sub branch of Bank of Changsha Co.,Ltd.

Pledgor: Hunan karod Piano Co.,Ltd.

Registration number: Y2024980021772