CN115499675A - 基于通信网络视频直播的多机位音视频合成方法及*** - Google Patents

Abstract

本发明涉及一种基于通信网络视频直播的多机位音视频合成方法，包括：将多个音频采集设备和视频拍摄设备连接至无线通信网络，并使设备的内部时钟与服务器的内部时钟同步；音频采集设备获取音频采样信息，打包为数据包后上传无线通信网络；直播拍摄设备采集视频信息，并将通过无线通信网络接收的各音频采集设备的数据包恢复为音频信号，将多轨音频信号与视频信息的时间轴对齐后合成为直播视频信息。本发明中，音频采集设备和视频拍摄设备通过无线通信网络连接，支持多通道音频信号同时传输，音频信号传输便捷；将所有音频采集设备和视频拍摄设备与服务器的内部时钟同步，在切换直播的视频拍摄设备时无需再次进行对时，方便切换拍摄机位。

Description

基于通信网络视频直播的多机位音视频合成方法及***

技术领域

本发明属于视频直播技术领域，涉及一种基于通信网络视频直播的多机位音视频合成方法及***。

背景技术

在视频直播时，经常需要设置多个视频拍摄设备，从不同的拍摄角度进行拍摄，根据需要对直播的拍摄角度进行切换，并设置多个音频采集设备在不同的位置单独进行音频采集，以通过近距离的采集获得更好的音质效果；之后再对采集的音频信号与需要直播的视频拍摄设备的视频信息进行合成。由于直播的视频拍摄设备经常需要切换，而每一视频拍摄设备的内部时钟并不一致，当切换视频拍摄设备时就需要重新对视频拍摄设备和音频采集设备进行对时，不利于视频拍摄设备的频繁切换。另外，音频采集设备和视频拍摄设备之间通常采用有线传输或蓝牙传输的方式传输音频信号，但是有线传输的方式不便于设备的移动，且还会存在较大的损耗；蓝牙传输方式的需要对音频进行压缩后才能传感，无法实现无损音频传输，降低了音质；另外，蓝牙传输的距离一般在10米左右，且不能进行网络延展，传输距离受限。

发明内容

有鉴于此，本发明的目的在于提供一种基于通信网络视频直播的多机位音视频合成方法及***。

为达到上述目的，本发明提供如下技术方案：

一种基于通信网络视频直播的多机位音视频合成方法，包括以下步骤：

S1、将多个音频采集设备和多个视频拍摄设备连接至无线通信网络，并使所有音频采集设备和视频拍摄设备的内部时钟均与服务器的内部时钟同步；

S2、将各视频拍摄设备分别设置在各拍摄机位处，选择一拍摄机位的视频拍摄设备作为直播拍摄设备；

S3、各音频采集设备获取音频采样信息，并将音频采样信息打包为数据包后上传无线通信网络；

S4、直播拍摄设备采集视频信息，并通过无线通信网络接收各音频采集设备的数据包；

S5、直播拍摄设备将每一音频采集设备的数据包分别恢复为一轨音频信号，并将多轨音频信号与视频信息的时间轴对齐后合成为直播视频信息。

进一步的，当切换了直播拍摄设备后，执行以下步骤：

S6、切换前作为直播拍摄设备的视频拍摄设备停止从无线通信网络接收各音频采集设备的数据包。

S7、切换后作为直播拍摄设备的视频拍摄设备通过无线通信网络接收各音频采集设备的数据包，并执行S5步骤。

进一步的，在所述步骤S1中，使所有音频采集设备和视频拍摄设备的内部时钟均与服务器的内部时钟同步的方法包括以下步骤：

S101、指定一视频拍摄设备为主设备，其他视频拍摄设备及音频采集设备为从设备；

S102、主设备每间隔预定的时间通过无线通信网络下达一次对时指令；

S103、服务器接收到对时指令后，通过无线通信网络下发包括对时指令的广播，并记录此时自身的时间戳为初始时间戳；

S104、各视频拍摄设备及各音频采集设备接收到所述广播后在广播中加入自身的地址码，并加入自身的时间戳作为设备时间戳后通过通信网络返回给服务器；

S105、服务器收到各视频拍摄设备及各音频采集设备返回的广播后分别记录当时的时间戳作为对应设备的结束时间戳；

S106、分别计算各视频拍摄设备及各音频采集设备的结束时间戳与初始时间戳的平均值作为对应设备的第一标准时间戳；

S107、计算各视频拍摄设备和各音频采集设备的第一标准时间戳减去其设备时间戳得到的时钟差值，并将时钟差值发送给对应的视频拍摄设备或音频采集设备；

S108、各视频拍摄设备及各音频采集设备根据其时钟差值对自身的内部时钟进行调整。

进一步的，在所述步骤S1中，使所有音频采集设备和视频拍摄设备的内部时钟均与服务器的内部时钟同步的方法包括以下步骤：

S111、指定一视频拍摄设备为主设备，其他视频拍摄设备及音频采集设备为从设备；

S112、主设备每间隔预定的时间通过无线通信网络下达一次对时指令；

S113、服务器接收到对时指令后，通过无线通信网络下发包括对时指令的广播，并记录此时自身的时间戳为初始时间戳；

S114、各视频拍摄设备及各音频采集设备接收到所述广播后在广播中加入自身的地址码并通过通信网络返回给服务器；

S115、服务器收到各视频拍摄设备及各音频采集设备返回的广播后分别记录当时的时间戳作为对应设备的结束时间戳；

S116、分别计算各视频拍摄设备及各音频采集设备的结束时间戳与初始时间戳的差值的一半作为对应设备的传输时延；

S117、服务器在计算出所有视频拍摄设备和音频采集设备的传输时延后，获取当前的时间戳作为第二标准时间戳，并与各视频拍摄设备和各音频采集设备的传输时延一起发送给各视频拍摄设备和各音频采集设备；

S118、各视频拍摄设备及各音频采集设备接收到第二标准时间戳和传输时延后，将其内部时钟的时间调整为第二标准时间戳加上该设备的传输时延后的时间。

进一步的，在所述S3步骤中，所述音频采集设备在通过音频采样获取音频采样信息的同时，还通过其内部时钟获取音频采样时刻的时间戳，并将音频采样信息和时间戳一起打包为数据包；在所述S4步骤中，直播拍摄设备在采集视频信息的同时，还通过其内部时钟获取每一视频帧的采集时刻的时间戳，并将时间戳存储至视频信息中。

进一步的，在所述S5步骤中，将多轨音频信号和视频信息的时间轴对齐后合成为直播视频信息的方法为：

先根据音频信号的时间戳将多轨音频信号的时间轴对齐，并叠加合成为一轨音频合成信号；再根据音频合成信号的时间戳与视频信息中的时间戳将音频合成信号的时间轴与视频信息的时间轴对齐后合成为直播视频信息。

进一步的，所述无线通信网络为WIFI通信网络，所述WIFI通信网络包括WIFI路由器，所述音频采集设备和视频拍摄设备均设置有WIFI模块，所述音频采集设备和视频拍摄设备分别通过其WIFI模块与WIFI路由器连接。

一种基于通信网络视频直播的多机位音视频合成的视频拍摄设备，包括

第一时钟模块，用于提供视频拍摄设备的内部时钟；以及用于根据服务器的指令将第一时钟模块的内部时钟调整为与服务器的内部时钟一致；

视频拍摄模块，用于通过视频拍摄获取视频信息，并通过其内部时钟获取每一视频帧的采集时刻的时间戳，将时间戳存储至视频信息中；以及当该视频拍摄设备为主设备时向外发送对时命令；

切换设置模块，用于设置该视频拍摄设备为主设备或从设备；以及用于设置该视频拍摄设备为直播拍摄设备或非直播拍摄设备；

第一无线通信模块，用于通过无线通信网络获取音频采集设备发送的数据包；以及

音视频合成模块，用于在该视频拍摄设备为直播拍摄设备时，将每一音频采集设备的数据包分别恢复为一轨音频信号，并将多轨音频信号与视频信息的时间轴对齐后合成为直播视频信息。

一种基于通信网络视频直播的多机位音视频合成***，包括

服务器，用于在接收到对时指令后，将各视频拍摄设备及各音频采集设备的内部时钟均调整为与服务器的内部时钟一致；

控制设备，用于将一视频拍摄设备设置为主设备，并自动将其他的视频拍摄设备设置为从设备；以及将一视频拍摄设备设置为直播拍摄设备，并自动将其他的视频拍摄设备设置为非直播拍摄设备；

多个视频拍摄设备；以及

多个音频采集设备，用于获取音频采样信息并打包为数据包后通过无线通信网络传送给直播拍摄设备。

进一步的，所述音频采集设备包括

第二时钟模块，用于提供音频采集设备的内部时钟；以及用于根据服务器的指令将第二时钟模块的内部时钟调整为与服务器的内部时钟一致；

音频采集模块，用于通过音频采样获取音频采样信息，并通过其内部时钟获取音频采样时刻的时间戳，将音频采样信息和时间戳一起打包为数据包；以及

第二无线通信模块，用于将音频采集模块生成的数据包发送至无线通信网络。

本发明中，音频采集设备和视频拍摄设备通过无线通信网络连接，支持多通道音频信号同时传输，音频信号传输便捷，且支持无损音频的传输，能够确保音质效果；通过将所有音频采集设备和视频拍摄设备的内部时钟与服务器的内部时钟同步，由于所有设备的内部时钟均一致，从而在切换直播的视频拍摄设备时无需再次进行对时，更加有利于在多个拍摄机位之间进行切换。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明基于通信网络视频直播的多机位音视频合成方法的一个优选实施例的流程图。

图2为在一个实施例中，使所有音频采集设备和视频拍摄设备的内部时钟均与服务器的内部时钟同步的流程图。

图3为在另一实施例中，使所有音频采集设备和视频拍摄设备的内部时钟均与服务器的内部时钟同步的流程图。

图4为本发明基于通信网络视频直播的多机位音视频合成的视频拍摄设备的一个优选实施例的结构示意图。

图5为本发明基于通信网络视频直播的多机位音视频合成***的一个优选实施例的结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

本发明公开了一种基于通信网络视频直播的多机位音视频合成方法，如图1所示，本发明基于通信网络视频直播的多机位音视频合成方法的一个优选实施例包括以下步骤：

S1、将多个音频采集设备和多个视频拍摄设备连接至无线通信网络，并使所有音频采集设备和视频拍摄设备的内部时钟均与服务器的内部时钟同步，以便于音视频合成时对时间轴进行对齐。所述无线通信网络优选为WIFI通信网络，例如，所述音频采集设备和视频拍摄设备可优选为设置有WIFI模块的手机、平板电脑等电子产品，通过WIFI路由器将上述电子产品接入形成WIFI通信网络。当然，所述无线通信网络也可以为4G或5G移动通信网络，所述音频采集设备和视频拍摄设备可优选为设置有4G通信模块或5G通信模块的手机、平板电脑等电子产品，将上述电子产品连接至移动通信基站，即可通过移动通信网络在音频采集设备和视频拍摄设备之间进行信息。采用无线通信网络传输音频采样信息，不仅音频采样信息传输便捷，便于网络延展，支持多通道音频采样信息同时传输，而且能够进行无损音频的传输，确保音质效果。

如图2所示，本步骤中，可采用以下步骤使所有音频采集设备和视频拍摄设备的内部时钟均与服务器的内部时钟同步：

S101、指定一视频拍摄设备为主设备，此时，其他视频拍摄设备及音频采集设备自动设置为从设备。

S102、主设备每间隔预定的时间通过无线通信网络下达一次对时指令。通过每间隔预定的时间进行一次时间同步，可以确保各音频采集设备和视频拍摄设备的内部时钟始终保持一致。

S103、服务器接收到对时指令后，通过无线通信网络下发包括对时指令的广播，并记录此时自身的时间戳为初始时间戳P1。

S104、各视频拍摄设备及各音频采集设备接收到所述广播后在广播中加入自身的地址码，并加入自身的时间戳作为设备时间戳P0后通过通信网络返回给服务器。由于视频拍摄设备和音频采集设备的时钟精度一般为几十ms级别，而从设备接收到广播到将广播返回给服务器之间的时差很小(小于1ms)，因此，可以不考虑设备接收到广播到将广播返回给服务器之间的时差，这对于设备对时精度影响可以忽略。

S105、服务器收到各视频拍摄设备及各音频采集设备返回的广播后分别记录当时的时间戳作为对应设备的结束时间戳P2。

S106、分别计算各视频拍摄设备及各音频采集设备的结束时间戳P2与初始时间戳P1的平均值作为对应设备的第一标准时间戳P3；即：P3＝(P1+P2)/2。如果设备的内部时钟与服务器的内部时钟一致，则第一标准时间戳P3和设备时间戳P0应该相等。

S107、计算各视频拍摄设备和各音频采集设备的第一标准时间戳P3减去其设备时间戳P0得到的时钟差值diff，即：diff＝P3-P0。并将时钟差值diff发送给对应的视频拍摄设备或音频采集设备。如果diff≠0，则说明设备的内部时钟与服务器的内部时钟存在时差。

S108、各视频拍摄设备及各音频采集设备根据其时钟差值diff对自身的内部时钟进行调整，使其内部时钟与服务器的内部时钟保持一致。当diff＜0时，需要将设备的内部时钟调慢|diff|；当diff＞0时，需要将设备的内部时钟调快|diff|，当diff＝0时，不需要对设备的内部时钟进行调整。

当然，如图3所示，在另一些实施例中，也可采用以下步骤使所有音频采集设备和视频拍摄设备的内部时钟均与服务器的内部时钟同步：

S111、指定一视频拍摄设备为主设备，其他视频拍摄设备及音频采集设备为从设备。

S112、主设备每间隔预定的时间通过无线通信网络下达一次对时指令。

S113、服务器接收到对时指令后，通过无线通信网络下发包括对时指令的广播，并记录此时自身的时间戳为初始时间戳P1'。

S114、各视频拍摄设备及各音频采集设备接收到所述广播后在广播中加入自身的地址码并通过通信网络返回给服务器。

S115、服务器收到各视频拍摄设备及各音频采集设备返回的广播后分别记录当时的时间戳作为对应设备的结束时间戳P2'。

S116、分别计算各视频拍摄设备及各音频采集设备的结束时间戳P2'与初始时间戳P1'的差值的一半作为对应设备的传输时延delay；即：

delay＝(P2'-P1')/2。

S117、服务器在计算出所有视频拍摄设备和音频采集设备的传输时延delay后，获取当前的时间戳作为第二标准时间戳P3'，并与各视频拍摄设备和各音频采集设备的传输时延delay一起发送给各视频拍摄设备和各音频采集设备。

S118、各视频拍摄设备及各音频采集设备接收到第二标准时间戳和传输时延后，将其内部时钟的时间调整为第二标准时间戳P3'加上该设备的传输时延delay后的时间，即(delay+P3')；从而使其内部时钟与服务器的内部时钟保持一致。

S2、将各视频拍摄设备分别设置在各拍摄机位处，选择一拍摄机位的视频拍摄设备作为直播拍摄设备。直播拍摄设备可根据需要在各视频拍摄设备中随时进行切换，当一个视频拍摄设备被设置为直播拍摄设备时，其他的视频拍摄设备自动设置为非直播拍摄设备。

S3、各音频采集设备获取音频采样信息，并将音频采样信息打包为数据包后上传无线通信网络。优选为所述音频采集设备在通过音频采样获取音频采样信息的同时，还通过其内部时钟获取音频采样时刻的时间戳，并将音频采样信息和时间戳一起打包为数据包，以便于后续各轨音频信号的时间轴对齐。当然，在将音频采样信息打包为数据包时，可以只在数据包中存储该数据包的音频采样信息的部分音频采样时刻的时间戳，例如，可间隔预定的时间存储一次时间戳，也可只存储该数据包的音频采样信息的第一次音频采样时刻的时间戳。

音频采集设备的音频采样速率一般为每秒种采样48000次，当然，音频采样速率也可以是其他数值；数据包的大小可以为64bit～2048bit，一般选择为128bit或256bit。为避免无线通信网络的丢包现象对音频传输的影响，还可在每一音频采集设备分别设置一发送数据存储队列；所述音频采集设备将采样得到的数据包存储至发送数据存储队列，并将发送数据存储队列存储的所有数据包通过无线通信网络发送给视频拍摄设备。在本步骤中，将数据包上传无线通信网络可包括以下步骤：

S301、将发送数据存储队列中各存储位置的数据包依次后移。假设之前的发送数据存储队列中只在第一个存储位置存储了音频采集设备生成的第1个数据包(即数据包1)，则在音频采集设备生成的第2个数据包(即数据包2)后，将数据包1从发送数据存储队列的第一个存储位置后移至第二个存储位置，并在发送数据存储队列的第一个存储位置存储数据包2。

S302、丢弃发送数据存储队列中最后一个存储位置存储的数据包。当发送数据存储队列存储的数据包的数量达到了发送数据存储队列的最大存储数量(即发送数据存储队列的最后一个存储位置存储有数据包时)，在将发送数据存储队列中存储的数据包后移时会丢弃其最后一个存储位置存储的数据包，以便空出第一个存储位置用于存储音频采集设备新生成的数据包。

S303、将音频采集设备新生成的数据包存储在发送数据存储队列的第一个存储位置。从而对发送数据存储队列存储的数据包进行更新，使发送数据存储队列丢弃早期存储的数据包，对新生成的数据包进行缓存。

S304、将发送数据存储队列存储的所有数据包通过无线通信网络发送给视频拍摄设备。假设发送数据存储队列能够存储5个数据包，则在发送数据包时，发送数据存储队列存储的5个数据包都会发送出去；从而使每一数据包都会被发送5次，以避免丢包导致视频拍摄设备未能接收到该数据包。

S4、直播拍摄设备采集视频信息，并通过无线通信网络接收各音频采集设备的数据包。优选为直播拍摄设备在采集视频信息的同时，还通过其内部时钟获取每一视频帧的采集时刻的时间戳，并将时间戳存储至视频信息中，以便于后续音频信号和视频信息的时间轴对齐。

为避免无线通信网络的丢包现象对音频采样信息传输的影响，还可在视频拍摄设备端对应每一音频采集设备分别设置一个接收数据存储队列，接收的每一音频采集设备数据包分别存储在对应的接收数据存储队列中；从而实现音频的分轨存放。所述接收数据存储队列存储的数据包的数量优选为等于发送数据存储队列存储的数据包的数量。视频拍摄设备按照数据包在发送数据存储队列的排列顺序将接收到的数据包存储至接收数据存储队列中；当数据包有缺失时，则在接收数据存储队列中预留出缺失的数据包对应的存储位置。视频拍摄设备在接收到来自音频采集设备的数据包后，可执行以下步骤：

S401、检测接收数据存储队列存储的数据包是否有缺失，如果有则缺失则在接收数据存储队列中预留出缺失的数据包对应的存储位置，并执行S402步骤，无缺失则执行S403步骤。

S402、从接收的数据包中找出接收数据存储队列缺失的数据包，并存储至接收数据存储队列中对应的位置；执行403步骤。

S403、将接收数据存储队列中最后一个存储位置存储的数据包移出接收数据存储队列，并将接收数据存储队列中各存储位置的数据包依次后移一个存储位置。

S404、检测接收的数据包中是否有音频采集设备新生成的数据包，如果有则将该数据包存储在接收数据存储队列的第一个存储位置，如果没有则预留出第一个存储位置，并在该存储位置标记数据包缺失。

通过以上步骤，可以使发送数据存储队列和接收数据存储队列存储的数据包及存储顺序完全一致。由于有接收数据存储队列对接收的数据进行缓冲，当检测到有丢包时，可在之后接收的数据包中找出缺失的数据包，从而对缺失的数据包进行补全，避免数据包丢失对音质造成的影响。

S5、直播拍摄设备将每一音频采集设备的数据包分别恢复为一轨音频信号，并将多轨音频信号与视频信息的时间轴对齐后合成为直播视频信息。由于视频拍摄设备一般都设置有视频缓冲区，视频拍摄设备在拍摄获取视频信息之后，会将视频信息先存储在视频缓冲区，因此，可以通过对视频缓冲区的延时进行调整来实现合成音频采样信息和视频信息的时间轴的对齐。

在本步骤中，将多轨音频信号和视频信息的时间轴对齐后合成为直播视频信息的方法优选为：

先根据音频信号的时间戳将多轨音频信号的时间轴对齐，并叠加合成为一轨音频合成信号；再根据音频合成信号的时间戳与视频信息中的时间戳将音频合成信号的时间轴与视频信息的时间轴对齐后合成为直播视频信息。

由于直播拍摄设备需要在各拍摄机位的视频拍摄设备之间频繁进行切换，当切换了直播拍摄设备后，可执行以下步骤：

S6、切换前作为直播拍摄设备的视频拍摄设备停止从无线通信网络接收各音频采集设备的数据包。

S7、切换后作为直播拍摄设备的视频拍摄设备通过无线通信网络接收各音频采集设备的数据包，并执行S5步骤。

当然，直播拍摄设备和非直播拍摄设备也可以同时通过无线通信网络接收各音频采集设备的数据包，直播拍摄设备在接收到音频采集设备的数据包后执行S5步骤进行音视频合成，而非直播拍摄设备接收到音频采集设备的数据包后只进行存储，不进行音视频合成等其他操作。

本实施例中，音频采集设备和视频拍摄设备通过无线通信网络连接，能够支持多通道音频信号同时传输，且能够支持无损音频的传输，从而能够确保音质效果。主设备发送对时命令后，通过服务器将所有设备的内部时钟均调整为一致，从而在切换直播的视频拍摄设备时无需再次进行对时，更加有利于在多个拍摄机位之间进行切换。

本发明还公开了一种基于通信网络视频直播的多机位音视频合成的视频拍摄设备，如图4所示，本发明基于通信网络视频直播的多机位音视频合成的视频拍摄设备的一个优选实施例包括第一时钟模块、视频拍摄模块、切换设置模块、第一无线通信模块和音视频合成模块。所述第一时钟模块用于提供视频拍摄设备的内部时钟，以便于视频拍摄设备进行对时；以及用于根据服务器的指令将第一时钟模块的内部时钟调整为与服务器的内部时钟一致。所述视频拍摄模块用于通过视频拍摄获取视频信息，并通过其内部时钟获取每一视频帧的采集时刻的时间戳，将时间戳存储至视频信息中；以及当该视频拍摄设备为主设备时向外发送对时命令。所述切换设置模块用于设置该视频拍摄设备为主设备或从设备；以及用于设置该视频拍摄设备为直播拍摄设备或非直播拍摄设备。所述第一无线通信模块用于通过无线通信网络获取音频采集设备发送的音频信息的数据包。所述第一无线通信模块优选为WIFI模块，所述无线通信网络优选为WIFI通信网络。当然，为便于异地远程传输音频采样信息，所述第一无线通信模块也可以采用4G模块或5G模块，所述无线通信网络也可以为4G或5G移动通信网络。所述音视频合成模块用于在该视频拍摄设备为直播拍摄设备时，将每一音频采集设备的数据包分别恢复为一轨音频信号，并将多轨音频信号与视频信息的时间轴对齐后合成为直播视频信息。当然，为了避免无线通信网络的丢包现象对音频传输的影响，所述视频拍摄设备还可以包括接收数据存储队列，所述接收数据存储队列用于存储接收到的来自音频采集设备的数据包中未被存储的数据包，并在存储的数据包的数量达到预定的数量后，按照先进先出原则依次将存储的数据包移出。

本发明还公开了一种基于通信网络视频直播的多机位音视频合成***，如图5所示，本发明基于通信网络视频直播的多机位音视频合成***的一个优选实施例包括服务器、控制设备、多个视频拍摄设备和多个音频采集设备。所述服务器用于在接收到对时指令后，将各视频拍摄设备及各音频采集设备的内部时钟均调整为与服务器的内部时钟一致。所述控制设备用于将一视频拍摄设备设置为主设备，并自动将其他的视频拍摄设备设置为从设备；以及将一视频拍摄设备设置为直播拍摄设备，并自动将其他的视频拍摄设备设置为非直播拍摄设备。所述视频拍摄设备用于采集视频信息和音视频合成等，可采用上述任一实施例中的基于通信网络视频直播的多机位音视频合成的视频拍摄设备。

所述音频采集设备用于获取音频采样信息并打包为数据包后通过无线通信网络传送给直播拍摄设备。所述音频采集设备优选为包括第二时钟模块、音频采集模块和第二无线通信模块。所述第二时钟模块用于提供音频采集设备的内部时钟；以及用于根据服务器的指令将第二时钟模块的内部时钟调整为与服务器的内部时钟一致。所述音频采集模块用于通过音频采样获取音频采样信息，并通过其内部时钟获取音频采样时刻的时间戳，将音频采样信息和时间戳一起打包为数据包。所述第二无线通信模块用于将音频采集模块生成的数据包发送至无线通信网络；所述第二无线通信模块的结构可与第一无线通信模块相同。当然，为了避免无线通信网络的丢包现象对音频传输的影响，所述音频采集设备还可以包括发送数据存储队列，所述发送数据存储队列用于存储音频采集模块生成的数据包，并在存储的数据包的数量达到预定的数量后，按照先进先出的原则丢弃最先存储的数据包；所述第二无线通信模块用于将发送缓冲区存储的数据包发送至无线通信网络。

本实施例中，音频采集设备和视频拍摄设备通过无线通信网络连接，支持多通道音频信号同时传输，音频信号传输便捷，且支持无损音频的传输，能够确保音质效果。通过服务器使所有音频采集设备和视频拍摄设备的内部时钟同步，在切换直播的视频拍摄设备时无需再次进行对时，更加有利于在多个拍摄机位之间进行切换。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于通信网络视频直播的多机位音视频合成方法，其特征在于，包括以下步骤：

S1、将多个音频采集设备和多个视频拍摄设备连接至无线通信网络，并使所有音频采集设备和视频拍摄设备的内部时钟均与服务器的内部时钟同步；

S2、将各视频拍摄设备分别设置在各拍摄机位处，选择一拍摄机位的视频拍摄设备作为直播拍摄设备；

S3、各音频采集设备获取音频采样信息，并将音频采样信息打包为数据包后上传无线通信网络；

S4、直播拍摄设备采集视频信息，并通过无线通信网络接收各音频采集设备的数据包；

S5、直播拍摄设备将每一音频采集设备的数据包分别恢复为一轨音频信号，并将多轨音频信号与视频信息的时间轴对齐后合成为直播视频信息。

2.根据权利要求1所述的基于通信网络视频直播的多机位音视频合成方法，其特征在于：当切换了直播拍摄设备后，执行以下步骤：

S6、切换前作为直播拍摄设备的视频拍摄设备停止从无线通信网络接收各音频采集设备的数据包。

S7、切换后作为直播拍摄设备的视频拍摄设备通过无线通信网络接收各音频采集设备的数据包，并执行S5步骤。

3.根据权利要求1所述的基于通信网络视频直播的多机位音视频合成方法，其特征在于：在所述步骤S1中，使所有音频采集设备和视频拍摄设备的内部时钟均与服务器的内部时钟同步的方法包括以下步骤：

S101、指定一视频拍摄设备为主设备，其他视频拍摄设备及音频采集设备为从设备；

S102、主设备每间隔预定的时间通过无线通信网络下达一次对时指令；

S103、服务器接收到对时指令后，通过无线通信网络下发包括对时指令的广播，并记录此时自身的时间戳为初始时间戳；

S104、各视频拍摄设备及各音频采集设备接收到所述广播后在广播中加入自身的地址码，并加入自身的时间戳作为设备时间戳后通过通信网络返回给服务器；

S105、服务器收到各视频拍摄设备及各音频采集设备返回的广播后分别记录当时的时间戳作为对应设备的结束时间戳；

S106、分别计算各视频拍摄设备及各音频采集设备的结束时间戳与初始时间戳的平均值作为对应设备的第一标准时间戳；

S107、计算各视频拍摄设备和各音频采集设备的第一标准时间戳减去其设备时间戳得到的时钟差值，并将时钟差值发送给对应的视频拍摄设备或音频采集设备；

S108、各视频拍摄设备及各音频采集设备根据其时钟差值对自身的内部时钟进行调整。

4.根据权利要求1所述的基于通信网络视频直播的多机位音视频合成方法，其特征在于：在所述步骤S1中，使所有音频采集设备和视频拍摄设备的内部时钟均与服务器的内部时钟同步的方法包括以下步骤：

S111、指定一视频拍摄设备为主设备，其他视频拍摄设备及音频采集设备为从设备；

S112、主设备每间隔预定的时间通过无线通信网络下达一次对时指令；

S113、服务器接收到对时指令后，通过无线通信网络下发包括对时指令的广播，并记录此时自身的时间戳为初始时间戳；

S114、各视频拍摄设备及各音频采集设备接收到所述广播后在广播中加入自身的地址码并通过通信网络返回给服务器；

S115、服务器收到各视频拍摄设备及各音频采集设备返回的广播后分别记录当时的时间戳作为对应设备的结束时间戳；

S116、分别计算各视频拍摄设备及各音频采集设备的结束时间戳与初始时间戳的差值的一半作为对应设备的传输时延；

S117、服务器在计算出所有视频拍摄设备和音频采集设备的传输时延后，获取当前的时间戳作为第二标准时间戳，并与各视频拍摄设备和各音频采集设备的传输时延一起发送给各视频拍摄设备和各音频采集设备；

S118、各视频拍摄设备及各音频采集设备接收到第二标准时间戳和传输时延后，将其内部时钟的时间调整为第二标准时间戳加上该设备的传输时延后的时间。

5.根据权利要求1～4任一项所述的基于通信网络视频直播的多机位音视频合成方法，其特征在于：在所述S3步骤中，所述音频采集设备在通过音频采样获取音频采样信息的同时，还通过其内部时钟获取音频采样时刻的时间戳，并将音频采样信息和时间戳一起打包为数据包；在所述S4步骤中，直播拍摄设备在采集视频信息的同时，还通过其内部时钟获取每一视频帧的采集时刻的时间戳，并将时间戳存储至视频信息中。

6.根据权利要求5所述的基于通信网络视频直播的多机位音视频合成方法，其特征在于：在所述S5步骤中，将多轨音频信号和视频信息的时间轴对齐后合成为直播视频信息的方法为：

先根据音频信号的时间戳将多轨音频信号的时间轴对齐，并叠加合成为一轨音频合成信号；再根据音频合成信号的时间戳与视频信息中的时间戳将音频合成信号的时间轴与视频信息的时间轴对齐后合成为直播视频信息。

7.根据权利要求6所述的基于通信网络视频直播的多机位音视频合成方法，其特征在于，所述无线通信网络为WIFI通信网络，所述WIFI通信网络包括WIFI路由器，所述音频采集设备和视频拍摄设备均设置有WIFI模块，所述音频采集设备和视频拍摄设备分别通过其WIFI模块与WIFI路由器连接。

8.一种基于通信网络视频直播的多机位音视频合成的视频拍摄设备，其特征在于：包括

第一时钟模块，用于提供视频拍摄设备的内部时钟；以及用于根据服务器的指令将第一时钟模块的内部时钟调整为与服务器的内部时钟一致；

视频拍摄模块，用于通过视频拍摄获取视频信息，并通过其内部时钟获取每一视频帧的采集时刻的时间戳，将时间戳存储至视频信息中；以及当该视频拍摄设备为主设备时向外发送对时命令；

切换设置模块，用于设置该视频拍摄设备为主设备或从设备；以及用于设置该视频拍摄设备为直播拍摄设备或非直播拍摄设备；

第一无线通信模块，用于通过无线通信网络获取音频采集设备发送的数据包；以及

音视频合成模块，用于在该视频拍摄设备为直播拍摄设备时，将每一音频采集设备的数据包分别恢复为一轨音频信号，并将多轨音频信号与视频信息的时间轴对齐后合成为直播视频信息。

9.一种基于通信网络视频直播的多机位音视频合成***，其特征在于：包括

服务器，用于在接收到对时指令后，将各视频拍摄设备及各音频采集设备的内部时钟均调整为与服务器的内部时钟一致；

控制设备，用于将一视频拍摄设备设置为主设备，并自动将其他的视频拍摄设备设置为从设备；以及将一视频拍摄设备设置为直播拍摄设备，并自动将其他的视频拍摄设备设置为非直播拍摄设备；

多个如权利要求8所述的视频拍摄设备；以及

多个音频采集设备，用于获取音频采样信息并打包为数据包后通过无线通信网络传送给直播拍摄设备。

10.根据权利要求9所述的基于通信网络视频直播的多机位音视频合成***，其特征在于：所述音频采集设备包括

第二时钟模块，用于提供音频采集设备的内部时钟；以用于根据服务器的指令将第二时钟模块的内部时钟调整为与服务器的内部时钟一致；

音频采集模块，用于通过音频采样获取音频采样信息，并通过其内部时钟获取音频采样时刻的时间戳，将音频采样信息和时间戳一起打包为数据包；以及

第二无线通信模块，用于将音频采集模块生成的数据包发送至无线通信网络。

Images