CN102833524B - 一种对本地音频及呼叫方音频同时录像的控制方法 - Google Patents

Abstract

本发明提供一种在网络摄像机中对本地音频及呼叫方音频同时录像的控制方法，包括步骤：a.接收来自所述呼叫方设备的音频数据，将其作为第一音频数据；b.采集所述网络摄像机所在前端的音频数据，将其作为第二音频数据；c.将所述第一音频数据与所述第二音频数据编码为一个数据包并发送给存储装置，其中，所述第一音频数据被作为所述数据包的前半部分，所述第二音频数据被作为所述数据包的后半部分。本发明通过对本地音频与呼叫方音频进行同时处理，可以有效地解决杂音及卡顿的问题。

Description

一种对本地音频及呼叫方音频同时录像的控制方法

技术领域

本发明涉及视频监控***，尤其是视频监控***中的网络摄像机，具体地，涉及在网络摄像机中对本地音频及呼叫方音频同时录像的控制方法。

背景技术

当前的信息化时代，是一个构筑在网络基础上的时代。基于TCP/IP协议的IP网络像Internet，Intranet等以令人惊异的不可阻挡之势发展着。据统计，在互联网上的业务量今年来正以集合指数规律增长；同时网上的业务范围也在不断地扩大，除了传统的信息检索、电子邮件、远程登录等项目外，各种新业务如电子商务、视频监控。远程医疗等都在蓬勃发展。基于IP上的新应用，例如视频应用需占用较大的带宽，以前由于网络带宽的限制，应用不多，现在由于高宽带的迅速普及，视频应用已逐渐普遍，基于IP技术的各种视频通讯应用，如网络视频监控也应运而生。科达混音录像在其监控前端产品中已经得到了广泛的应用，具体规格如下：支持8K采样；数据位宽16比特；单声道。其中，呼叫音频的编码格式仅支持ADPCM。

但在使用中经常会出现存储录像中的声音异常的情况，究其原因大致分为下述几类：录像中的混音声音出现杂音和卡顿；由于解码线程的步伐经常慢于编码线程，因此录制的声音有时是重复的，这样听起来就同声音卡住了。由于编码后数据包的长度不同，声音重复的时间也就不同，而且一定长度的声音重复起来，就是一种固定的杂音。录像中的混音声音节奏不均匀。客户端发送来的音频格式同监控前端所采集的音频在格式上不能保证完全的一样，导致每帧的音频数据包大小不同，这样在混音的时候会造成相同时间内播放的音频数据不相同、节奏也不均匀。

高清IPC上集成的混音录像功能必须能规避上述问题。

发明内容

针对现有技术中的缺陷，本发明的目的是通过对本地音频与呼叫方音频同时录像的方式提供一种在网络摄像机中对本地音频及呼叫方音频同时录像的控制方法。

根据本发明的一个方面，提供一种在网络摄像机中对本地音频及呼叫方音频同时录像的控制方法，所述网络摄像机通过网络连接一视频控制***，所述呼叫方设备通过所述视频控制***与所述网络摄像机建立通讯连接，其特征在于，包括如下步骤：a. 接收来自所述呼叫方设备的音频数据，将其作为第一音频数据；b. 采集所述网络摄像机所在前端的音频数据，将其作为第二音频数据；c. 将所述第一音频数据与所述第二音频数据编码为一个数据包并发送给存储装置，其中，所述第一音频数据被作为所述数据包的前半部分，所述第二音频数据被作为所述数据包的后半部分。

优选地，所述步骤a包括如下步骤：接收来自所述呼叫方设备的音频数据，对所述音频数据进行解码，并将解码后的数据作为所述第一音频数据；将所述第一音频数据写入第一缓冲区；其中，所述步骤b包括如下步骤：采集所述网络摄像机所在前端的音频数据，将其作为第二音频数据；将所述第二音频数据写入第二缓冲区；其中，所述步骤c包括如下步骤：将所述第一缓冲区以及所述第二缓冲区内的数据编码为一个数据包并发送给存储装置，其中，所述第一音频数据被作为所述数据包的前半部分，所述第二音频数据被作为所述数据包的后半部分。

本发明通过对本地音频与呼叫方音频进行同时处理，可以有效地解决杂音及卡顿的问题。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1示出根据本发明的一个具体实施方式的，在网络摄像机中对本地音频及呼叫方音频同时录像的控制方法的拓扑图；

图2示出根据本发明的第一实施例的，在网络摄像机中对本地音频及呼叫方音频同时录像的控制方法的流程图；

图3示出根据本发明的第二实施例的，在网络摄像机中对本地音频及呼叫方音频同时录像的控制方法的流程图；

图4示出根据本发明的一个具体实施方式的，网络摄像机中对本地音频及呼叫方音频同时录像后数据存储的示意图；以及

图5示出根据本发明的另一个具体实施方式的，网络摄像机中对本地音频及呼叫方音频同时录像的原理示意图。

具体实施方式

图1示出根据本发明的一个具体实施方式的，在网络摄像机中对本地音频及呼叫方音频同时录像的控制方法的拓扑图。具体的，本拓扑图包括五个部分，客户端1、平台及码流转发服务器2、网络摄像机3、录像服务器4、以及交换机5。其中，所述客户端1用于呼叫方，把呼叫方的音频经过编码后发送到所述平台及码流转发服务器2。所述码流转发服务器2起到存储、转发音频的作用，在接收到所述呼叫方的音频后，把呼叫方的音频转发到所述网络摄像机3，在接收到所述网络摄像机发送的音频以及视频后，把所述音频转发到所述录像服务器4。所述网络摄像机首先接收所述呼叫方的音频，连同本地音频一起编码，最后把编码后的音频以及本地视频发送到所述平台以及码流转发服务器2。录像服务器在接收到所述码流转发服务器发送来的音频以及视频后，首先解码，通过播放音频以及视频，进行录制。本领域技术人员理解，本发明在传送编码数据时都是通过TCP/IP协议，因此所述交换机5用作网络连接以及数据转发。

具体地，在本发明中，客户端可以是任何任何人具有语音编码功能的设备，优选地，客户端可以是视频服务器。本领域技术人员理解，视频服务器采用数字压缩算法，实现音视频信息的数字压缩和网络传输与控制设备。视频服务器一般为嵌入式视频服务器，采用嵌入式CPU的硬件设计，一般有1路、2路和4路音视频输入。在本发明中，所述客户端采集音频后，采用ADPCM编码方式，然后发送到所述平台及码流转发服务器。

具体地，所述平台及码流转发服务器主要完成视频图像信号的存储和转发，避免所述客户端直接访问所述前端网络摄像机，降低网络流量。所述网络摄像机可以连接有多个客户端，客户端每发送一路视频图像信号，都需要很大的网络带宽，例如发送标准化图像格式CIF格式的视频时，所需要的带宽为512Kbps，在接收带宽受限的情况下，所述网络摄像机接收视频信号的路数也是有限的，路数=接收带宽/每一路视频带宽,为了避免有多路视频信号同时传送时造成的网络拥塞，客户端先把编码后的数据存储到码流转发服务器上，例如所述码流转发服务器可以是一个网站YouTube，在该网站中，客户只要注册，下载专用的YouTube播放器，就可以上传数据。由于码流转发服务器也可以连接有多个所述网络摄像机，在有多个网络摄像机发出接收同一个数据的请求时，所述码流服务器可以具备有组播功能。本领域技术人员理解，组播协议的特点是：支持同一个组的主机可以接受到此组内的所有数据，网络中的交换机和路由器只向有需求者复制并转发其所需数据。主机可以向路由器请求加入或退出某个组，网络中的路由器和交换机有选择的复制并传输数据，即只将组内数据传输给那些加入组的主机。这样既能一次将数据传输给多个有需要（加入组）的主机，又能保证不影响其他不需要（未加入组）的主机的其他通讯。

具体地，本领域技术人员理解，网络摄像机，在本发明中简称IPC，是一种结合传统摄像机与网络技术所产生的新一代摄像机，它可以将影像通过网络传至另一端，且远端的浏览者不需用任何专业软件，只要标准的网络浏览器即可监视其影像。网络摄像机内置一个嵌入式芯片，采用嵌入式实时操作***。网络摄像机传来的视频信号数字化后由高效压缩芯片压缩，通过网络总线传送至WEB浏览器。网络上用户可以直接用浏览器观看WEB服务器上的摄像机图像，授权用户还可以控制摄像机云台镜头的动作或***配置进行操作。

更进一步地，本领域技术人员理解，上述***工作流程可以这样理解：① 客户端对IPC发起呼叫，并将音频码流发给平台中的码流转发服务器。② 码流转发服务器将音频码流发给IPC。此时，IPC如开启录像，其音频也为混音音频。③ IPC将本地音频及接受到的呼叫码流进行混音，并将视频及混音后的音频发送给码流转发服务器。④ 码流转发服务器再将视音频码流发送给录像服务器，最后进行录像。

图2示出根据本发明的第一实施例的，在网络摄像机中对本地音频及呼叫方音频同时录像的控制方法的流程图。具体地，本流程图有3个步骤。首先进行步骤S101，接收来自所述呼叫方设备的音频数据，将其作为第一音频数据。在本步骤中，呼叫方音频的格式为ADPCM，即把原声音信号编码成ADPCM格式的音频发送给所述控制平台。本领域技术人员理解，ADPCM，即自适应差分脉冲编码调制，它结合了ADM的差分信号与PCM的二进制码的方法。本领域技术人员理解，ADM是自适应增量调制方法的简称，PCM是脉冲编码调制的简称。

ADPCM是一种性能比较好的波形编码，它的核心思想是利用自适应的思想改变量化阶的大小，即用小的量化阶去编码小的差值，使用大的量化阶去编码大的差值，使用过去的样本值估算下一个输入样本的预测值，使实际样本值和预测值直接的差值总算最小。在本发明中，ADPCM包一共有160个字节，其中前32字节为包头，后128个字节为编码后的码流数据。其中在前32个字节头重，最后的4个字节为解码所需的采样值。本领域技术人员理解，ADPCM的采样率是8kHz，即每秒钟采样8000次，采样精度为16bit，量化阶的保存为4位，因此压缩比是4:1，即每秒保存或者传送大小为32Kbit，且从波形恢复出来的声音效果与原始声音几乎没有区别，人耳无法分辨。对于编码后的码流数据，大小为128字节，传送时间为32ms。

然后是步骤S102，采集所述网络摄像机所在前端的音频数据，将其作为第二音频数据。在本发明的应用行业中，例如公安、审讯，对于事后的证据取证及审查有着更好的要求。为了保证取证时，审讯人员所采取的方式符合法律要求，被审讯人员在被审讯时没有受到非正当对待，在前端，所述网络摄像机录制本地语音的同时，也会录制本地视频。相应地，为了充实证据，审讯人员可以从其他渠道或人来补充，以交通事故为例，上述被审讯人员为当事人，上述所述呼叫方可以是案发现场的目击者。为了目击者的安全考虑，对目击者的调查取证和对当事人的审讯不在同一地点，所以，上述所述呼叫方的音频需要在压缩编码后发送到所述网络摄像机。在一个优选例交通事故中，所述网络摄像机录制当事人的音视频后，也要经过压缩编码，所述音频作为第二音频数据，并且采用ADPCM编码格式，具体的编码方法在此不在赘述。

然后是步骤S103，将所述第一音频数据与所述第二音频数据编码为一个数据包，并发给存储装置，其中，所述第一音频数据被作为所述数据包的前半部分，所述第二音频数据被作为所述数据包的后半部分。在本步骤中，所述数据包的长度为320字节，有两个数据包拼接而成，其中，前端采集的第一音频数据存储在前160个字节中，呼叫方的第二音频数据存储在后160个字节，同时，为了符合录像的要求，将所述呼叫方160个字节中的数据头的最后4个字节同该所述4个字节之前的4个字节相交换到，此步骤即为混音。在所述步骤S101中，所述控制平台及码流转发服务器发送的呼叫方的音频被所述网络摄像机接收后需要先进行解码，为此所述网络摄像机需分配一个解码线程，在步骤S102中，所述网络摄像机采集本地音频后，需要进行编码，为此所述网络摄像机需分配一个编码线程。通常解码线程的步伐慢于编码线程，造成录制的声音的重复，由于每个包的长度为32毫秒，所以这么短的声音重复起来，就成为了固定的杂音。例如，解码线程每2秒解出一个解码包，编码线程每1秒编成一个编码包，则在第一秒中只有前160字节中有本地音频数据，后160字节中没有数据。在第二秒中320个字节中既有本地音频数据，也有所述呼叫方的音频数据。在第三秒内又只有本地音频数据，如此反复，就形成了32毫秒的杂音。为了解决这个问题， 就要把解码包和编码包相拼接在一块进行发送，为此，所述网络摄像机在内存中设置一个320字节的循环缓冲池，解码线程每次向缓冲池中写入所述呼叫方的音频，然后编码线程再向缓冲池中写入本地音频，然后，将缓冲池中的320字数据发送到存储装置。至此，节本流程结束。

图3示出根据本发明的第二实施例的，在网络摄像机中对本地音频及呼叫方音频同时录像的控制方法的流程图。具体地，本流程有2个步骤。首先执行步骤S111，接收来自所述呼叫方设备的音频数据，对所述音频数据进行解码，并将解码后的数据作为所述第一音频数据。具体地，所述码流转发服务器接收到呼叫方的音频数据后，首先进行解码，本领域技术人员理解，在编码后的ADPCM数据包中的前32个字节中含有表明该数据的一些标识信息，例如目的地址、源地址，其中，源地址是客户端所在的IP地址，目的地址是所述码流转发服务器的IP地址，通过解码把压缩后的128个字节的音频数据从字节头中分离。然后所述码流服务器将接收到的呼叫方的音频数据发送给所述网络摄像机，其中，所述码流服务器要先把呼叫方的音频数据进行编码，编码格式仍然是ADPCM，其中，在160个自己的编码包中，后128个字节是呼叫方的音频数据，前32字节是包头，在该包头中含有此次数据包的源地址、目的地址。其中源地址是所述码流服务器的IP地址，目的地址是所述网络摄像机的IP地址。

具体地，所述网络摄像机在接收到所述码流服务器发送来的数据包之后，首先对数据包进行解码，同上述所述码流服务器的解码流程相同，在此不再赘述。解码后，所述网络摄像机将解码后的音频数据进行编码，作为第一音频数据，编码后的数据包的前32个字节包含的标识信息中，源地址是所述网络摄像机的IP地址，目的地址是所述码流服务器的IP地址。

然后是步骤S112，将所述第一音频数据写入第一缓冲区。

本领域技术人员理解，为了消除录像中存在的杂音及卡顿问题，所述网络摄像机开辟了一个320字节的循环缓冲池，这个缓冲池划分为2个160字节的区域，前160字节是第二缓冲区，后160字节是第一缓冲区。所述网络摄像机在接受到所述码流转发服务器发送来的所述呼叫方的音频后，进行解码。解码得到的数据写入到所述第一缓冲区，同时，为了录像的需要，将所述160字节的音频数据的数据头信息的最后4个字节交换到前一位置。至此，本流程结束。

在本实施例的一个变化例中，所述步骤S111可以变化为采集所述网络摄像机所在前端的音频数据，将其作为第二音频数据，所述步骤S112变化为将所述第二音频数据写入第二缓冲区，如图4。具体地，在步骤S111中，所述网络摄像机进行本地录像，不仅采集本地的音频，还录制了视频。所述原始音频为20至20000赫兹的模拟信号，经过压缩编码后变成ADPCM格式的数字信号，作为第二音频数据。所述ADPCM格式的数据包大小为160字节，前32个字节为数据头，其中前28字节包含一些标志信息，如目的地址、源地址，后4字节存放的是解码所需的采样值。后128字节存放的是编码后的码流数据。在步骤S112中，所述第二缓冲区为上述所述缓冲池中的前160字节部分。本地音频数据经由编码线程编码后成为160字节的ADPCM数据包，即第二音频数据，然后将所述第二音频数据写入所述缓冲池的前160字节的区域中。至此，本流程结束。

在本实施例的另一个变化例中，所述步骤S111可以变化为将所述第一缓冲区以及所述第二缓冲区内数据编码为一个数据包，并发送给存储装置，所述步骤S112变化为所述存储装置将第一缓冲区的音频数据作为所述前端的声音进行播放，将所述第二缓冲区的数据作为所述呼叫方的声音进行播放，和前端的视频一起进行录制，如图5。具体地，在步骤S111中，所述第一缓冲区中存放的数据为所述第一音频数据，第二缓冲区中存放的数据为所述第二音频数据。在所述第一音频数据以及所述第二音频数据写入所述缓冲池后，所述网络摄像机将所述缓冲池中的数据经由编码线程发送到所述存储装置。在本发明中，首先将所述缓冲池中的数据发送到所述码流转发服务器，然后由所述码流转发服务器将所述缓冲数据转发至所述录像服务器。本领域技术人员理解，所述码流服务器在接收到缓冲区的数据后，先进行解压，得到数据头的标识信息，例如源地址、目的地址，如果解压得到的目的地址不是所述码流服务器的IP地址，则判断所述缓冲区的数据不是发往本地址的信心，并把该数据进行丢弃，如果是发往本地的信息，则经过重新编码后发往所述录像服务器。其中，重新编码后，所述缓冲区的数据的数据头的标识信息变化为，源地址是所述码流转发服务器，目的地址为所述录像服务器。

然后是步骤S112，所述存储装置将第一缓冲区的音频数据作为所述前端的声音进行播放，将所述第二缓冲区的数据作为所述呼叫方的声音进行播放，和前端的视频一起进行录制。在本步骤中，所述存储装置为录像服务器，所述录像服务器在接收到所述码流转发服务器发送来的数据后，先进行解压，得到第一音频数据以及第二音频数据。然后和所述网络摄像机发送来的视频一起进行录制，在本次录制中，由于已经消除了声音的卡顿和杂音，所以，可以直接进行录制。至此，本流程结束。

图4示出根据本发明的一个具体实施方式的，网络摄像机中对本地音频及呼叫方音频同时录像后数据存储的示意图。具体地，本领域技术人员理解，混音后的ADPCM包的长度为320字节，是由两个包拼接起来的，前端采集的声音为前160字节，呼叫的语音包为后160字节。这里为了符合录像的需求，将后面160字节数据头信息的最后4字节组交换到前一位置，具体如图4所示，在此不予赘述。

图5示出根据本发明的另一个具体实施方式的，网络摄像机中对本地音频及呼叫方音频同时录像的原理示意图。本领域技术人员理解，为了实现解码包和编码包的拼接，开辟了一个320字节的公共缓冲，每来一个解码包，就将它拷贝到缓冲的后160字节的位置。编码时，将编码包拷贝到公共缓冲的前160字节的位置，然后将整个320字节的数据发送出去。进一步地，本领域技术人员理解，其工作流程如下：

① 每过来一个解码包，都放到公共缓冲后160字节中。

② 每编码出来一个声音包，都放到公共缓冲前160字节中。

③ 发送时将整个320字节的数据发送出去。

参考上述图示实施例，本领域技术人员理解，杂音和卡顿的问题，是由于解码线程的步伐经常慢于编码线程，因此录制的声音有时是重复的，由于每个包的长度也就32毫秒，所以这么短的声音重复起来，就是一种固定的杂音。针对这个问题使用了循环缓冲，记录了读和写的位置，解码线程每次向缓冲中写入，编码缓冲每次从中读出。当没有数据可读时，则停止混音。这样就可以有效果的解决杂音及卡顿的问题。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (4)

1.一种在网络摄像机中对本地音频及呼叫方音频同时录像的控制方法，所述网络摄像机通过网络连接一视频控制***，所述呼叫方设备通过所述视频控制***与所述网络摄像机建立通讯连接，其特征在于，所述网络摄像机具有一缓冲池，所述缓冲池包括：位于所述缓冲池后半区域的第一缓冲区以及位于所述缓冲池前半区域的第二缓冲区，所述第一缓冲区与所述第二缓冲区具有相同的数据大小，所述控制方法包括如下步骤：

a.接收来自所述呼叫方设备的音频数据，对该音频数据进行解码，将该解码后的该音频数据作为第一音频数据，将所述第一音频数据写入所述第一缓冲区；

b.采集所述网络摄像机所在前端的音频数据，对该音频数据进行编码，将该编码后的该音频数据作为第二音频数据，将所述第二音频数据写入所述第二缓冲区；

c.当所述第一缓冲区和所述第二缓冲区均被写满时，将所述第一音频数据与所述第二音频数据编码为一个数据包并发送给存储装置，

其中，所述第一音频数据被作为所述数据包的后半部分，所述第二音频数据被作为所述数据包的前半部分。

2.根据权利要求1所述的控制方法，其特征在于，所述步骤c还包括如下步骤：

c1对所述第一缓冲区内的所述第一音频数据进行编码；

c2对所述第二缓冲区内的所述第二音频数据进行编码；

c3将经编码的所述第一缓冲区和所述第二缓冲区内的数据合并为一个数据包。

3.根据权利要求2所述的控制方法，其特征在于，所述步骤c1还包括如下步骤：

-在经编码的所述第一缓冲区内的所述第一音频数据前添加与其相适应的32字节的第一头信息；

-将所述第一头信息中第28-31位字节与第24-27位字节进行交换。

4.根据权利要求2或3所述的控制方法，其特征在于，所述步骤c2还包括如下步骤：

-在经编码的所述第二缓冲区内的所述第二音频数据前添加与其相适应的32字节的第二头信息。