CN110933469B - 基于onu集成音频、视频和广播的多媒体方法及装置 - Google Patents

Abstract

本发明公开了一种基于ONU集成音频、视频和广播的多媒体方法及装置，服务端与设备建立TCP连接，服务端选择以广播方式或者流媒体方式播放音乐，发送相应的控制指令；设备收到初始化指令后，配置接收数据的UDP端口或者流媒体播放列表；当设备完成初始化后，反馈结果给服务端，服务端接收正确的反馈后，发送播放指令；设备接收到播放指令，开始解析从UDP端口或者播放列表接收到报文，并通过函数写入到音频驱动中，播放声音；当发送结束指令后，设备关闭UDP端口和播放列表请求，停止写入数据。本发明克服现有ONU设备对于对多媒体音频和视频应用上的不足，提供一种更具性价比，更方便管理的多媒体音频和视频应用方案。

Description

基于ONU集成音频、视频和广播的多媒体方法及装置

技术领域

本发明属于通信技术领域，具体涉及一种基于ONU集成音频、视频和广播的多媒体方法及装置。

背景技术

吉比特无源光网络(简称为GPON)是一种采用点到多点网络结构、无源光纤传输方式、基于GPON封装方法(简称为GEM)帧封装、提供多种综合业务的宽带接入技术。图1是根据相关技术的GPON接入的网络架构的示意图。如图1所示，该GPON接入的网络架构可以包括：局端设备光线路终端(简称为OLT)、用户端设备光网络单元(简称为ONU)和连接线路光分配网络(简称为O DN)三部分组成；光网络终端管理和控制接口(简称为OMCI)提供了OLT对ONU的管理和控制通道。

目前，其他ONU设备多以传输数据为主，没有音频电路，不支持广播，语音对讲和摄像头视频转码推流，截图等功能。

发明内容

为解决上述现有技术的中的不足，本发明的目的在于克服现有不足，提供一种基于ONU集成音频、视频和广播的方法及装置，支持音频电路，支持广播，语音对讲和摄像头视频转码推流，截图等功能。

本发明公开了一种基于ONU集成音频、视频和广播的多媒体方法，所述方法包括如下：

通过多媒体设备进行设置区域的数据通信；

获取采集完成的数据流，基于集成音频、视频和广播的ONU设备进行数据传输，将采集的音频流数据以及视频流数据进行数据的上行通信。

作为上述方案的进一步优化，所述音频流数据的传输包括如下步骤：

数据初始化，基于TCP协议将服务器端与ONU设备端进行连接，服务器端采用广播或流媒体方式进行音乐播放的控制指令发送；

获取服务器端的音乐播放的控制指令，进行ONU设备端的用于接收数据的UDP端口或流媒体的播放列表的配置；

基于UDP端口或流媒体的播放列表的配置完成，上行传输操作指令；

获取正确的ONU设备端发送的反馈操作指令，基于该操作指令进行播放指令传输，进行从UDP端口或者播放列表的获取报文解析，且基于函数写入设备的音频驱动，进行声音播放；

获取服务器端的结束操作指令后，进行ONU设备端的用于接收数据的UDP端口或流媒体的播放列表的操作，关闭对应的UDP端口和播放列表请求，停止向ONU设备端写入数据。

作为上述方案的进一步优化，所述视频流数据的传输包括如下步骤：

数据初始化，基于TCP协议将服务器端与设备端进行连接，服务器端按每个周期T发送检查所有ONU设备资源的请求指令；

获取下行传输的操作指令，所有的ONU设备将CPU占用率以及内存占用率反馈传输至服务器端；

基于反馈的ONU设备端的CPU占用率以及内存占用率数据信息，匹配选择处资源占用率最低的ONU设备；

编辑待进行转码操作以及视频流推送的任务列表，进行传输数据的转码和推流，待服务器端的ONU设备资源匹配完成后，按照已编辑的任务列表逐个进行任务的分发；

持续获取服务器端的操作指令，若检测到ONU设备的结束任务操作指令，停止当前的视频流转码和推流操作。

作为上述方案的进一步优化，若所述的待进行转码和分流的数据大于完成资源匹配的ONU设备数量可处理最大量时，重新进行当前的ONU设备资源的检查，且基于检查结果重新进行任务的分发。

作为上述方案的进一步优化，持续进行ONU设备的资源占用率告警检测，若检测到资源占用率大于设定的阈值，则停止当前的视频流转码和推流操作。

作为上述方案的进一步优化，所述视频流转码和推流基于视频获取设备的视频流数据进行拉取、解析和重组，所述推流为将经转码的视频流推送至视频流服务器。

本发明还公开了一种基于ONU集成音频、视频和广播的多媒体装置，所述装置包括如下：

第一设置模块，用于通过多媒体设备进行设置区域的数据通信；

第二设置模块，用于获取采集完成的数据流，基于集成音频、视频和广播的ONU设备进行数据传输，将采集的音频流数据以及视频流数据进行数据的上行通信。

作为上述方案的进一步优化，所述第二设置模块包括如下：

第一初始化单元，用于数据初始化，基于TCP协议将服务器端与ONU设备端进行连接，服务器端采用广播或流媒体方式进行音乐播放的控制指令发送；

第一获取单元，用于获取服务器端的音乐播放的控制指令，进行ONU设备端的用于接收数据的UDP端口或流媒体的播放列表的配置；

第一反馈单元，用于基于UDP端口或流媒体的播放列表的配置完成，上行传输操作指令；

第二获取单元，用于获取正确的ONU设备端发送的反馈操作指令，基于该操作指令进行播放指令传输，进行从UDP端口或者播放列表的获取报文解析，且基于函数写入设备的音频驱动，进行声音播放；

第三获取单元，用于获取服务器端的结束操作指令后，进行ONU设备端的用于接收数据的UDP端口或流媒体的播放列表的操作，关闭对应的UDP端口和播放列表请求，停止向ONU设备端写入数据。

作为上述方案的进一步优化，所述第二设置模块还包括如下：

第二初始化单元，用于数据初始化，基于TCP协议将服务器端与设备端进行连接，服务器端按每个周期T发送检查所有ONU设备资源的请求指令；

第二反馈单元，用于获取下行传输的操作指令，所有的ONU设备将CPU占用率以及内存占用率反馈传输至服务器端；

设备选择单元，用于基于反馈的ONU设备端的CPU占用率以及内存占用率数据信息，匹配选择处资源占用率最低的ONU设备；

任务配置单元，用于编辑待进行转码操作以及视频流推送的任务列表，进行传输数据的转码和推流，待服务器端的ONU设备资源匹配完成后，按照已编辑的任务列表逐个进行任务的分发；

第一中止单元，用于持续获取服务器端的操作指令，若检测到ONU设备的结束任务操作指令，停止当前的视频流转码和推流操作。

第二中止单元，用于持续进行ONU设备的资源占用率告警检测，若检测到资源占用率大于设定的阈值，则停止当前的视频流转码和推流操作。

本发明采用上述的技术方案，与现有技术相比，一种基于ONU集成音频、视频和广播的多媒体方法及装置，具有以下技术效果：

1.本发明的一种基于ONU集成音频、视频和广播的多媒体方法，对于ONU设备进行音频、视频和广播的集成，克服现有ONU设备对于对多媒体音频和视频应用上的不足，提供一种更具性价比以及更方便管理的多媒体音频和视频应用设计。

2.本发明的一种基于ONU集成音频、视频和广播的多媒体方法，通过对ONU设备的播放过程的多元化操作及控制，便于在进行实际应用中针对多种情况进行适应性调整，提供了更多地播放选择控制，有利于ONU设备的音频应用情景，提高了其使用率。

3.本发明实施示例通过针对服务器端控制的全局的ONU设备的资源占用检测，且针对所有的ONU设备的资源占用检测结果，能够针对各自的占用率较低的ONU设备进行任务的分发，避免了部分ONU设备的资源过剩，造成了资源的浪费。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为本发明的一种基于ONU集成音频、视频和广播的多媒体方法的流程示意图；

图2为本发明的音频传输流程示意图；

图3为本发明的音频电路图；

图4为本发明的音频设备原理图；

图5为本发明的另一幅音频传输流程示意图；

图6为本发明的视频传输流程示意图；

图7为本发明的音频传输结构示意图；

图8为本发明的视频传输结构示意图。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1-8所示，本发明实施例公开了一种基于ONU集成音频、视频和广播的多媒体方法，所述方法包括如下：

步骤100，通过多媒体设备进行设置区域的数据通信；

步骤200，获取采集完成的数据流，基于集成音频、视频和广播的ONU设备进行数据传输，将采集的音频流数据以及视频流数据进行数据的上行通信；

具体的，本发明实施例提供的一种基于ONU集成音频、视频和广播的多媒体方法，其主要通过对于ONU设备进行音频、视频和广播的集成，克服现有ONU设备对于对多媒体音频和视频应用上的不足，提供一种更具性价比，更方便管理的多媒体音频和视频应用方案；

在此需特别说明的是，由于本发明仅针对传统的ONU设备的集成方法进行进一步改进，因而在本发明实施例针对OLT以及ODN作详细说明

所述音频流数据的传输包括如下步骤：

步骤210，数据初始化，基于TCP协议将服务器端与ONU设备端进行连接，服务器端采用广播或流媒体方式进行音乐播放的控制指令发送；

步骤220，获取服务器端的音乐播放的控制指令，进行ONU设备端的用于接收数据的UDP端口或流媒体的播放列表的配置；

步骤230，基于UDP端口或流媒体的播放列表的配置完成，上行传输操作指令；

步骤240，获取正确的ONU设备端发送的反馈操作指令，基于该操作指令进行播放指令传输，进行从UDP端口或者播放列表的获取报文解析，且基于函数写入设备的音频驱动，进行声音播放；

步骤250，获取服务器端的结束操作指令后，进行ONU设备端的用于接收数据的UDP端口或流媒体的播放列表的操作，关闭对应的UDP端口和播放列表请求，停止向ONU设备端写入数据；

具体的，为了实现如上所述的音频流数据的传输方法，本发明实施例还提供了如下的实施例，针对ONU设备进行音频的支持，本发明实施例特提供了一种音频转换芯片WM8960，WM8960是一款低功耗、高质量的立体编码解码器，专为便携式数字音频应用设计；

且，本发明实施例优选地采用如下的声卡部分，即通过AM335X的McASP音频通信总线与声卡进行对接，开发板板载1路音频输出，1路麦克风输入；

且，本发明实施例优选地将立体声采用24位sigma-delta模数转换器和数模转换器，同时采用低功耗超采样数字插补及抽取滤波器，以及一个灵活的数字音频接口；主时钟可以直接输入或由内置锁相环内部产生，支持最常时钟模式；

更具体的，音频转换芯片运行的模拟电源电压低至2.7V，为节省电量，数字内核运行电压可最低至1.7V；

扬声器电源电压最高5.5V，可以每声道输出1W到8W的负载，其余电源电压最高为3.6V，芯片的不同部分可以通过软件控制实现关闭，采用5×5毫米32接脚QFN封装；

通过对如上所述的ONU设备的单元集成，能够使得PNU设备克服对于对多媒体音频应用的不足，提供一种更具性价比，更方便管理的多媒体音频应用方案；

具体的，ONU设备端与后台服务器端采用SMTP协议进行交互操作，针对广播以及音乐的播放，对讲的控制指令(开始，暂停，结束，音量控制等)基于TCP协议进行交互操作，针对广播和音乐的数据内容基于UDP协议进行传输；

具体的，本发明实施示例提供的一种对于音乐播放的控制方法包括如下：

初始化，后台服务端与ONU设备端建立TCP连接，后台服务端选择以广播方式或流媒体方式播放音乐，发送相应的控制指令；

ONU设备收到初始化指令后，配置接收数据的UDP端口或者流媒体播放列表；

音乐播放，当ONU设备完成初始化后，反馈结果给后台服务端，后台服务端接收正确的反馈后，向已完成初始化的ONU设备发送开始播放指令；ONU设备接收到播放指令，开始解析从UDP端口或者播放列表接收到报文，并通过函数写入到音频驱动中，进而播放声音；

播放结束，在ONU设备的播放过程开始后，可以通过服务器单发送暂停，快进，音量控制等其他指令进行ONU设备的播放控制；当服务器端发送结束指令后，ONU设备会关闭相应的UDP端口和播放列表请求，停止向音频芯片写入数据，即结束ONU设备的音乐播放操作；

本发明实施例通过支持对于ONU设备的播放过程的多元化操作及控制，便于在进行实际应用中针对多种情况进行适应性调整，提供了更多地播放选择控制，有利于ONU设备的音频应用情景，提高了其使用率。

具体的，本发明实施例还提供了视频流数据的传输，包括如下步骤：

步骤260，数据初始化，基于TCP协议将服务器端与设备端进行连接，服务器端按每个周期T发送检查所有ONU设备资源的请求指令；

步骤270，获取下行传输的操作指令，所有的ONU设备将CPU占用率以及内存占用率反馈传输至服务器端；

步骤280，基于反馈的ONU设备端的CPU占用率以及内存占用率数据信息，匹配选择处资源占用率最低的ONU设备；通过针对全局下该服务器端控制的ONU设备，检测出设备资源占用率较低的设备，便于进行ONU视频转码的资源整合以及分发，最大化的合理分配资源，避免部分设备的资源占用率过低，导致资源浪费；

步骤290，编辑待进行转码操作以及视频流推送的任务列表，进行传输数据的转码和推流，待服务器端的ONU设备资源匹配完成后，按照已编辑的任务列表逐个进行任务的分发；

步骤291，持续获取服务器端的操作指令，若检测到ONU设备的结束任务操作指令，停止当前的视频流转码和推流操作；

步骤292，持续进行ONU设备的资源占用率告警检测，若检测到资源占用率大于设定的阈值，则停止当前的视频流转码和推流操作；

本发明实施示例通过针对服务器端控制的全局的ONU设备的资源占用检测，且针对所有的ONU设备的资源占用检测结果，能够针对各自的占用率较低的ONU设备进行任务的分发，避免了部分ONU设备的资源过剩，造成了资源的浪费；且还提供了持续进行ONU设备的资源占用率告警检测，便于在出现部分ONU设备的转码操作后，容易由于转码过程持续出现资源占用率过大，导致ONU设备初选故障，因而通过在服务器端设置一保护装置，时刻针对所有的ONU设备进行资源占用检测，当检测到有资源占用率超过设置的阈值的情况，即触发该服务器端的保护装置，发送停止结束指令结束该ONU设备的转码和推流操作。

具体的，若所述的待进行转码和分流的数据大于完成资源匹配的ONU设备数量可处理最大量时，重新进行当前的ONU设备资源的检查，且基于检查结果重新进行任务的分发；

基于对待进行转码和分流的数据以及ONU设备数量可处理最大量的权衡，避免在进行ONU设备的资源占用率检测时，由于仅考虑资源占用率过低的ONU设备，导致可供选择的ONU设备实际选择起来并没有达到能够全局处理转码和分流的数量要求，其必然会导致ONU设备在运行一段时间，进行转码的任务后，容易出现ONU资源占用率较高，从而触发服务器端的保护装置，进而导致ONU设备的转码任务；

具体的，如初始的设置可供选择的ONU设备的资源占用率阈值为20，即所有资源占用率不超过20的ONU设备均为有效的待进行任务分配的ONU设备；

但在实际进行转码分发时，若检测的转发和推流任务所需要的数据量，在当前ONU设备可处理最大量仍然不足以提供，此时将进行ONU设备的重新检测和匹配，将的ONU设备的资源占用率阈值提升为40，如此便扩大ONU设备的可选择数量，且循环性此操作，直到满足匹配成功的ONU设备数量可满足转发和推流任务所需要的数据量为止；

具体的，视频流转码和推流基于视频获取设备的视频流数据进行拉取、解析和重组，所述推流为将经转码的视频流推送至视频流服务器；

截图是将图片资源通过TCP连接发送到后台服务器。

本发明实施例还公开了一种基于ONU集成音频、视频和广播的多媒体装置，包括如下：

第一设置模块10，用于通过多媒体设备进行设置区域的数据通信；

第二设置模块20，用于获取采集完成的数据流，基于集成音频、视频和广播的ONU设备进行数据传输，将采集的音频流数据以及视频流数据进行数据的上行通信。

第二设置模块20包括如下：

第一初始化单元210，用于数据初始化，基于TCP协议将服务器端与ONU设备端进行连接，服务器端采用广播或流媒体方式进行音乐播放的控制指令发送；

第一获取单元220，用于获取服务器端的音乐播放的控制指令，进行ONU设备端的用于接收数据的UDP端口或流媒体的播放列表的配置；

第一反馈单元230，用于基于UDP端口或流媒体的播放列表的配置完成，上行传输操作指令；

第二获取单元221，用于获取正确的ONU设备端发送的反馈操作指令，基于该操作指令进行播放指令传输，进行从UDP端口或者播放列表的获取报文解析，且基于函数写入设备的音频驱动，进行声音播放；

第三获取单元222，用于获取服务器端的结束操作指令后，进行ONU设备端的用于接收数据的UDP端口或流媒体的播放列表的操作，关闭对应的UDP端口和播放列表请求，停止向ONU设备端写入数据。

第二设置模块20还包括如下：

第二初始化单元211，用于数据初始化，基于TCP协议将服务器端与设备端进行连接，服务器端按每个周期T发送检查所有ONU设备资源的请求指令；

第二反馈单元231，用于获取下行传输的操作指令，所有的ONU设备将CPU占用率以及内存占用率反馈传输至服务器端；

设备选择单元240，用于基于反馈的ONU设备端的CPU占用率以及内存占用率数据信息，匹配选择处资源占用率最低的ONU设备；

任务配置单元250，用于编辑待进行转码操作以及视频流推送的任务列表，进行传输数据的转码和推流，待服务器端的ONU设备资源匹配完成后，按照已编辑的任务列表逐个进行任务的分发；

第一中止单元260，用于持续获取服务器端的操作指令，若检测到ONU设备的结束任务操作指令，停止当前的视频流转码和推流操作。

第二中止单元261，用于持续进行ONU设备的资源占用率告警检测，若检测到资源占用率大于设定的阈值，则停止当前的视频流转码和推流操作。

需要注意的是，本发明实施例在于提供一种基于ONU集成音频、视频和广播的多媒体装置，作为该发明提供的另一个实施例，可以增加音频接口的数量，支持多路音频输入和输出。

作为该发明提供的另一个实施例，还可以优化对讲功能的降噪和去回声算法。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (8)

1.一种基于ONU集成音频、视频和广播的多媒体方法，其特征在于，所述方法包括如下：

通过多媒体设备进行设置区域的数据通信；

获取采集完成的数据流，基于集成音频、视频和广播的ONU设备进行数据传输，将采集的音频流数据以及视频流数据进行数据的上行通信；

所述音频流数据的传输包括如下步骤：

数据初始化，基于TCP协议将服务器端与ONU设备端进行连接，服务器端采用广播或流媒体方式进行音乐播放的控制指令发送；

获取服务器端的音乐播放的控制指令，进行ONU设备端的用于接收数据的UDP端口或流媒体的播放列表的配置；

基于UDP端口或流媒体的播放列表的配置完成，上行传输操作指令；

获取正确的ONU设备端发送的反馈操作指令，基于该操作指令进行播放指令传输，进行从UDP端口或者播放列表的获取报文解析，且基于函数写入设备的音频驱动，进行声音播放；

获取服务器端的结束操作指令后，进行ONU设备端的用于接收数据的UDP端口或流媒体的播放列表的操作，关闭对应的UDP端口和播放列表请求，停止向ONU设备端写入数据。

2.根据权利要求1所述的一种基于ONU集成音频、视频和广播的多媒体方法，其特征在于，所述视频流数据的传输包括如下步骤：

数据初始化，基于TCP协议将服务器端与设备端进行连接，服务器端按每个周期T发送检查所有ONU设备资源的请求指令；

获取下行传输的操作指令，所有的ONU设备将CPU占用率以及内存占用率反馈传输至服务器端；

基于反馈的ONU设备端的CPU占用率以及内存占用率数据信息，匹配选择处资源占用率最低的ONU设备；

编辑待进行转码操作以及视频流推送的任务列表，进行传输数据的转码和推流，待服务器端的ONU设备资源匹配完成后，按照已编辑的任务列表逐个进行任务的分发；

持续获取服务器端的操作指令，若检测到ONU设备的结束任务操作指令，停止当前的视频流转码和推流操作。

3.根据权利要求2所述的一种基于ONU集成音频、视频和广播的多媒体方法，其特征在于，

若所述的待进行转码和分流的数据大于完成资源匹配的ONU设备数量可处理最大量时，重新进行当前的ONU设备资源的检查，且基于检查结果重新进行任务的分发。

4.根据权利要求2所述的一种基于ONU集成音频、视频和广播的多媒体方法，其特征在于，

持续进行ONU设备的资源占用率告警检测，若检测到资源占用率大于设定的阈值，则停止当前的视频流转码和推流操作。

5.根据权利要求2所述的一种基于ONU集成音频、视频和广播的多媒体方法，其特征在于，

所述视频流转码和推流基于视频获取设备的视频流数据进行拉取、解析和重组，所述推流为将经转码的视频流推送至视频流服务器。

6.一种基于ONU集成音频、视频和广播的多媒体装置，其特征在于，所述装置包括如下：

第一设置模块，用于通过多媒体设备进行设置区域的数据通信；

第二设置模块，用于获取采集完成的数据流，基于集成音频、视频和广播的ONU设备进行数据传输，将采集的音频流数据以及视频流数据进行数据的上行通信；

所述第二设置模块包括如下：

第一初始化单元，用于数据初始化，基于TCP协议将服务器端与ONU设备端进行连接，服务器端采用广播或流媒体方式进行音乐播放的控制指令发送；

第一获取单元，用于获取服务器端的音乐播放的控制指令，进行ONU设备端的用于接收数据的UDP端口或流媒体的播放列表的配置；

第一反馈单元，用于基于UDP端口或流媒体的播放列表的配置完成，上行传输操作指令；

第二获取单元，用于获取正确的ONU设备端发送的反馈操作指令，基于该操作指令进行播放指令传输，进行从UDP端口或者播放列表的获取报文解析，且基于函数写入设备的音频驱动，进行声音播放；

第三获取单元，用于获取服务器端的结束操作指令后，进行ONU设备端的用于接收数据的UDP端口或流媒体的播放列表的操作，关闭对应的UDP端口和播放列表请求，停止向ONU设备端写入数据。

7.根据权利要求6所述的一种基于ONU集成音频、视频和广播的多媒体装置，其特征在于，所述第二设置模块还包括如下：

第二初始化单元，用于数据初始化，基于TCP协议将服务器端与设备端进行连接，服务器端按每个周期T发送检查所有ONU设备资源的请求指令；

第二反馈单元，用于获取下行传输的操作指令，所有的ONU设备将CPU占用率以及内存占用率反馈传输至服务器端；

设备选择单元，用于基于反馈的ONU设备端的CPU占用率以及内存占用率数据信息，匹配选择处资源占用率最低的ONU设备；

任务配置单元，用于编辑待进行转码操作以及视频流推送的任务列表，进行传输数据的转码和推流，待服务器端的ONU设备资源匹配完成后，按照已编辑的任务列表逐个进行任务的分发；

第一中止单元，用于持续获取服务器端的操作指令，若检测到ONU设备的结束任务操作指令，停止当前的视频流转码和推流操作。

8.根据权利要求6所述的一种基于ONU集成音频、视频和广播的多媒体装置，其特征在于，还包括如下单元：

第二中止单元，用于持续进行ONU设备的资源占用率告警检测，若检测到资源占用率大于设定的阈值，则停止当前的视频流转码和推流操作。

Images