CN102932673A - 一种视频信号和音频信号的传输合成方法、***及装置 - Google Patents

Abstract

本发明公开了一种视频信号和音频信号的传输合成方法、***及装置，用以解决现有视频信号和音频信号不同步，影响用户使用的问题。该方法通过对接收到的远端用户通过不同终端发送的视频信号和音频信号中添加同步信号，并在合并时根据该同步信号对音频信号和视频信号进行合并，从而可以保证在同一时刻接收到的视频信号和音频信号具有相同的同步信号，在进行合并时，可以根据该同步信号对视频信号和音频信号进行合并，保证后续合并后的视音频文件中视频信号和音频信号的同步性，从而满足用户的使用。

Description

一种视频信号和音频信号的传输合成方法、***及装置

技术领域

本发明涉及互联网技术领域，尤其涉及一种视频信号和音频信号的传输合成方法、***及装置。

背景技术

用户之间在通过不同的终端分别传输音频信号和视频信号时，例如通过视频电话的形式获取视频信号时，可以通过即时通讯客户端进行视频聊天，但是由于网络带宽资源有限，并且受传输的数据包数量的影响，会出现传输拥塞的问题，从而导致在通话的过程中会出现语音信号不连贯的问题，无法满足音频信号的高质量要求。

为了规避这种情况，在实际使用中，往往采用的是通过不同的终端和传输途径来完成视频和音频的交互，比如视频采用阿里旺旺进行交互，音频使用IP电话进行交互。但由于视频和音频来自不同的终端和途径，用户如何将保存接收到视频和音频信号保存到同一个文件中，成为了一个难以克服的技术问题。

发明内容

有鉴于此，本发明实施例提供一种视频信号和音频信号的传输合成方法、***及装置，用以解决现有来自不同终端的视频信号和音频信号难以保存在同一文件中的问题。

本发明实施例提供的一种视频信号和音频信号的传输合并方法，包括：

接收远端用户通过第一终端发送的第一音频信号，及通过第二终端发送的第一视频信号；

将生成的同步信号添加到该接收到的第一音频信号和第一视频信号中；

根据第一音频信号和第一视频信号中添加的同步信号，将第一音频信号和第一视频信号合并。

本发明实施例提供的一种视频信号和音频信号的传输合并装置，包括：

接收模块，用于接收远端用户通过第一终端发送的第一音频信号，及通过第二终端发送的第一视频信号；

添加模块，用于将生成的同步信号添加到该接收到的第一音频信号和第一视频信号中；

合并模块，用于根据第一音频信号和第一视频信号中添加的同步信号，将第一音频信号和第一视频信号合并。

发明实施例提供的一种视频信号和音频信号的传输合并***，包括：

上述的视频信号和音频信号的传输合并装置，及向所述装置发送远端用户的第一音频信号的第一终端，及向所述装置发送第一视频信号的第二终端。

本发明实施例提供了一种视频信号和音频信号的传输合并方法、***及装置，该方法通过对接收到的远端用户通过不同终端发送的视频信号和音频信号中添加同步信号，并在合并时根据该同步信号对音频信号和视频信号进行合并，从而可以保证在同一时刻接收到的视频信号和音频信号具有相同的同步信号，在进行合并时，可以根据该同步信号对视频信号和音频信号进行合并，保证后续合并后的视音频文件中视频信号和音频信号的同步性，从而满足用户的使用。

附图说明

图1为本申请实施例提供的视频信号和音频信号的传输合并过程；

图2A为本申请实施例提供的将远端用户及本地用户的音频信号和视频信号合并生成视音频文件的过程；

图2B为本申请实施例提供的将远端用户及本地用户的音频信号和视频信号合并生成视音频文件的过程；

图3为本申请实施例提供的一种视频信号和音频信号的传输合并装置结构示意图；

图4为本申请实施例提供的一种视频信号和音频信号的传输合并***结构示意图。

具体实施方式

本申请实施例为了保证合并的视频信号和音频信号的同步性，提供了一种视频信号和音频信号的传输合并方法、***及装置，该方法通过对接收到的远端用户通过不同终端发送的视频信号和音频信号增加同步信号，即对同时接收到的视频信号和音频信号中添加相应的同步信号，在视频信号和音频信号合并时，根据该相应的同步信号进行合并，从而保证合并的视频文件和音频文件的同步性，在后续使用该合并后的视音频文件时，可以满足用户的需求。

下面结合说明书附图，对本申请实施例进行详细说明。

图1为本申请实施例提供的视频信号和音频信号的传输合并过程，该过程包括以下步骤：

S101：接收远端用户通过第一终端发送的第一音频信号，及通过第二终端发送的第一视频信号。

其中，该第一终端可以为移动终端或固定电话，该第二终端可以为具有视频信号采集及发送功能的终端。或者该视频信号的采集通过摄像头实现，该第二终端将摄像头采集的远端用户的视频信息发送到本地用户所在的终端。

S102：将生成的同步信号添加到该接收到的第一音频信号和第一视频信号中。

在本申请实施例中该同步信号按照设定的周期生成，并且进一步为了后续音频信号和视频信号合并的方便，可以按照同步时信号生成的时间顺序，确定每个同步信号的序号，每个同步信号赋予一个序号，每个同步信号的序号是按照时间顺序递增的，每个生成的同步信号添加到该同步信号生成时刻接收到第一音频信号和第一视频信号中。

由于同步信号按照设定的时间间隔生成，而远端用户发送的视频信号和音频信号也具有一定的周期性，当每生成了一个同步信号后，并在该时刻接收到的远端用户发送的视频信号和音频信号后，将该同步信号添加到该视频信号和该音频信号中，以标识接收到的视频信号和音频信号的同步性。

具体的在本申请中可以将该终端的时钟信号作为同步信号，以该终端中央处理器(CPU)的时钟周期为单位，周期性的生成同步信号。具体的可以以某一时钟周期为起点，以CPU的时钟周期为单位进行累加，并将累加后的时钟周期转化为纳秒，作为同步信号，该同步信号可以转化为纳秒作为视频信号和音频信号的时间戳。

S103：根据第一音频信号和第一视频信号中添加的同步信号，将第一音频信号和第一视频信号合并。

由于在本申请实施例中对接收到的远端用户发送的视频信号和音频信号中，根据接收到的视频信号和音频信号的时间顺序添加了对应的同步信号，因此将视频信号和音频信号进行合并时，可以根据添加了同步信号后的视频信号和音频信号进行相应的合并操作即可。当未赋予视频信号和音频信号中添加的同步信号的序号时，根据接收到的视频信号和音频信号中添加的同步信号，依次根据同步信号，将视频信号和音频信号合并。当赋予了添加到视频信号和音频信号中的同步信号的序号时，识别同步信号的序号，将相同序号的视频信号和音频信号合并。

具体的在将同步信号添加到视频信号和音频信号中时，由于视频信号和音频信号都是以数据帧为单位的，当接收到视频信号和音频信号时，在每个视频信号和音频信号对应的数据帧的帧头或者帧尾添加该同步信号，但要保证视频信号和音频信号添加同步信号的位置相同，都同为帧头或同为帧尾。

在本申请实施例中，当本地用户与远端用户进行视频和语音通信时，远端用户采用两个终端向本地用户发送音频信号和视频信号。具体的，远端用户采用第一终端向本地用户所在的终端发送音频信号，通过第二终端向本地用户所在的终端发送视频信号。该第一终端可以为移动终端或者固定电话，该第二终端可以为具有视频信号采集及发送功能的终端，例如该第二终端可以为安装有阿里旺旺客户端的终端，并且该终端可以通过摄像头采集视频信息，但在本申请实施例中只利用该客户端对视频信号进行处理的能力。

而本地用户所在的终端可以接收远端用户通过第一终端发送的音频信号以及通过第二终端发送的视频信号。为了实现本地用户所在的终端可以接收音频信号，在该本地用户所在的终端上可以安装有对音频信号进行接收及发送的音频通信客户端，例如该客户端可以为具有基于IP的语音通信(Voice-over-Internet-Protocol，VOIP)功能的音频通信客户端，为了实现本地用户所在的终端可以接收视频信号，在该本地用户所在的客户端上可以安装进行视频通信的客户端，例如阿里旺旺客户端等，但在本申请实施例中只利用该客户端对视频信号进行处理的能力。

具体的当该远端用户通过第一终端，例如固定电话，与本地用户所在的终端进行音频通信时，该远端用户通过第一终端发送音频信号。当该第一终端接收到该音频信号后，将该音频信号发送到公共交换电话网络(Public SwitchedTelephone Network，PSTN)，通过PSTN将该音频信号发送到语音网关。由于该本地用户所在的终端本身具有VOIP功能，因此远端用户的音频信号在经过语音网关后被发送到IP网络，通过IP网络发送到本地用户所在的终端。

为了防止IP网络不稳定，传输到本地用户所在的终端的音频信号的数据包发生抖动，在本发明实施例中当音频信号的数据包传输到本地用户所在的终端后，将该音频信号的数据包缓存，缓存一定的时间长度后，提取缓存后的音频信号的数据包。

为了防止音频信号的数据包因为丢包而产生的音频流的不连续，在本申请实施例中，将第一音频信号和第一视频信号合并之前，当本地用户所在的终端检测到接收到的音频信号中存在被丢弃的数据包时，采用包含静音信号的数据包代替该被丢弃的数据包。

由于本申请实施例中本地用户所在的终端根据接收到的音频信号，考虑了该音频信号的时延不同，及网络的抖动情况，即使当前向本地用户播放的音频流不连续，但是采用了上述音频信号缓存、以及采用包含静音信号的数据包代替被丢弃的数据包，之后再将经过上述处理后的音频信号与视频信号进行合并，从而可以有效的防止网络的抖动，以及音频流的不连续的问题。

本地用户所在的终端接收到远端用户通过第二终端发送的视频信号后，根据生成的同步信号，将该同步信号添加到该视频信号中。较佳的，为了保证后续视频信号和音频信号合并的准确性，该视频信号在发送时是以帧为单位发送的，并且每帧视频信号应能保证添加有相应的同步信号。

另外，在本申请实施例中为了完整的记录本地用户与远端用户的视频与音频信号的交互过程，此时将远端用户的视频信号作为第一视频信号，其音频信号作为第一音频信号，将本地用户的视频信号作为第二视频信号，其音频信号作为第二音频信号，该生成完整的合并后的视音频文件的过程包括：接收本地用户的第二音频信号及第二视频信号；将生成的同步信号添加该接收到的第二音频信号和第二视频信号中；根据第一音频信号和第二音频信号中添加的同步信号，将接收到的第一音频信号与第二音频信号合并得到合并后的音频信号，并根据第一视频信号和第二视频信号中添加的同步信号并保留该同步信号，将接收到的第一视频信号和第二视频信号合并得到合并后的视频信号并保留该同步信号；根据合并后的音频信号及视频信号中保留的同步信号，将合并后的音频信号和视频信号合并。

图2A为本申请实施例提供的视频信号和音频信号的详细传输合并过程，该过程包括以下步骤：

S201：接收远端用户通过第一终端发送的第一音频信号，及通过第二终端发送的第一视频信号。

S202：将生成的同步信号添加到第一音频信号和第一视频信号中。

S203：接收本地用户的第二音频信号及第二视频信号。

S204：将生成的同步信号添加到第二音频信号和第二视频信号中。

S205：根据第一音频信号和第二音频信号中添加的同步信号，将接收到的第一音频信号与第二音频信号合并得到合并后的音频信号，并根据第一视频信号和第二视频信号中添加的同步信号并保留该同步信号，将接收到的第一视频信号和第二视频信号合并得到合并后的视频信号并保留该同步信号。

S206：根据合并后的音频信号及视频信号中保留的同步信号，将合并后的音频信号和视频信号合并。

在上述实施例中步骤S201～S202与步骤S203～S204的步骤不分先后。

另在，在本申请实施例中在对音频信号和视频信号进行合并时，可以首先可以根据接收到的远端用户的第一音频信号和本地用户的第二音频信号，进行音频信号的合并。具体的接收到第一终端发送的第一音频信号后，将当前生成的同步信号添加到该第一音频信号中，并确定该第一音频信号中是否存在被丢弃的数据包，当存在被丢弃的数据包时，采用包含静音信号的数据包替代该被丢弃的数据包。并且当接收到本地用户输入的第二音频信号后，将当前生成的同步信号添加到该第二音频信号中。根据该第一音频信号和第二音频信号中添加的同步信号，对第一音频信号和第二音频信号进行合并得到合并后的音频信号，并且在进行合并的过程中，将该同步信号保留到该合并后的音频信号中，以便后续与合并后的视频信号合并时使用。

对于视频信号的合并，当接收到远端用户通过第二终端发送的第一视频信号时，根据当前生成的同步信号，将该同步信号添加到该第一视频信号中，并根据接收到的本地用户发送的第二视频信号，及当前生成的同步信号，将该同步信号添加到该第二视频信号中。根据添加了同步信号后的第一视频信号和第二视频信号，对第一视频信号和第二视频信号进行合并，得到合并后的视频信号，并且在该合并后的视频信号中保留该同步信号。

当需要对视频信号和音频信号进行合并时，则根据合并后的视频信号和合并后的音频信号中携带的同步信号，对合并后的视频信号和合并后的音频信号进行合并，得到合并后的视音频信号。

另外，在本申请实施例中，由于在本地用户的第二视频信号和第二音频信号中也都添加了相应的同步信号，可以根据该第二音频信号和第二视频信号中添加的同步信号，对第二视频信号和第二音频信号进行合并得到第二视音频信号，在该第二视音频信号中保留该同步信号。并且根据添加了同步信号后的第一视频信号和第一音频，对该第一视频信号和第一音频信号进行合并得到第一视音频信号，并在该第一视音频信号中保留该同步信号。之后根据该第一视音频信号中保留的同步信号和第二视音频信号中保留的同步信号，对该第一视音频信号和第二视音频信号进行合并，得到合并后的视音频信号也是可以的。根据在合并得到合并后的视音频信号时，可以根据自身的需要，及每个信号中添加的同步信号进行具体的实施。

具体的本申请实施例中该同步信号的生成具有一定的周期性。较佳的本地用户所在的终端在生成同步信号时，可以将该终端的时钟信号作为同步信号，以该终端中央处理器(CPU)的时钟周期为单位，周期性的生成同步信号。具体的可以以某一时钟周期为起点，以CPU的时钟周期为单位进行累加，并将累加后的时钟周期转化为纳秒，作为同步信号，该同步信号可以作为视频信号和音频信号的时间戳。

并且在本申请实施例中，在进行合并后的视频信号和合并后的音频信号的合并之前，也可以先将接收到的合并后的视频信号和合并后的音频信号分别录制下来，根据录制下来的视频信号和音频信号中保留的同步信号，对视频信号和音频信号进行合并，或者也可以实时的对保留了同步信号后的视频信号和音频信号进行合并，具体的实现方式可以根据需要灵活选择。

图2B为本申请实施例提供的将远端用户及本地用户的音频信号和视频信号合并生成视音频信号的过程。当远端用户通过固定电话向本地用户所在的终端发送第一音频信号时，该第一音频信号通过PSTN设备被发送到语音网关，语音网关将该第一音频信号转化为音频信号的IP数据包，并将该IP数据包发送到本地用户所在的终端。当本地用户所在的终端接收到该第一音频信号后，将根据自身的时钟周期生成的同步信号添加到该第一音频信号中。

并且本地用户通过麦克风向其所在的终端发送第二音频信号，该终端接收到到该第二音频信号后，将根据自身的时钟周期生成的同步信号添加到该第二音频信号中。本地用户所在的终端根据添加了同步信号后的第一音频信号，判断该第一音频信号中是否存在被丢弃的数据包，当判断该第一音频信号中存在被丢弃的数据包时，采用包含静音信号的数据包代替该被丢弃的数据包，对该第一音频信号进行补包处理。

该本地用户所在的终端根据补包处理后的第一音频信号和第二音频信号中添加的同步信号，将该第一音频信号和第二音频信号合并得到合并后的音频信号，并在该合并后的音频信号中保留该同步信号，对该合并后的音频信号进行录制。

具体的在进行音频信号的录制时，可以将该合并后的音频信号录制为WAV等媒体播放器可以支持的播放格式。

第一摄像头将采集到的远端用户的第一视频信号发送到远端用户所在的第二终端，其中该第二终端上安装有即时通信客户端。接收到该视频信号的第二终端，将该第一视频信号发送到IP网络，通过IP网络将该第一视频信号发送到本地用户所在的终端，其中本地用户所在的终端通过其上安装的即时通信客户端接收该第一视频信号。本地用户所在的终端在接收到该第一视频信号后，将当前生成的同步信号添加到该第一视频信号中，并且当通过第二摄像头获取到本地用户的第二视频信号时，将当前生成的同步信号添加到该第二视频信号中。

在对视频信号进行合并时，根据第一视频信号和第二视频信号中添加的同步信号，对该第一视频信号和第二视频信号进行合并，得到合并后的视频信号，并在该合并后的视频信号中保留该同步信号。之后对该合并后的视频信号进行录制。

具体的在对第一视频信号和第二视频信号进行合并时，由于视频信号是以帧为单位接收的，每帧的宽度和高度可知，因此在进行合并得到合并后的视频信号时，将每帧的长度或宽度设置为第一视频信号和第二视频信号中长度或宽度最大值的两倍即可。例如合并后的视频信号的每帧的宽度为第一视频信号或第二视频信号中每帧的宽度的两倍时，则在该合并后的视频信号中的每帧中左边和右边分别为对应的第一视频信号的图像帧和第二视频信号的图像帧。

本地用户所在的终端根据录制的该合成后的音频信号，以及合成后的视频信号中保留的同步信号，将同步信号相同的合并后的视频信号以及合并后的音频信号对齐，将对齐后的视频信号和音频信号合并生成视音频信号。

具体的本申请实施例在生成该视音频信号对应的视音频文件时，可以将该文件生成为高级串流格式(Advanced Streaming Format，ASF)文件。

图3为本申请实施例提供的一种视频信号和音频信号的传输合并装置结构示意图，所述装置包括：

接收模块31，用于接收远端用户通过第一终端发送的第一音频信号，及通过第二终端发送的第一视频信号；

添加模块32，用于将生成的同步信号添加到该接收到的第一音频信号和第一视频信号中；

合并模块33，用于根据第一音频信号和第一视频信号中添加的同步信号，将第一音频信号和第一视频信号合并。

添加模块32，具体用于将每个生成的所述同步信号添加到该同步信号生成时刻接收到的第一音频信号和第一视频信号中。

该同步信号按照设定的时钟周期生成。

添加模块32，具体用于当接收到所述第一视频信号和第一音频信号时，在第一视频信号和第一音频信号对应的每个数据帧的帧头或者帧尾添加所述同步信号，第一视频信号和第一音频信号添加同步信号的位置相同，都同为帧头或同为帧尾。

按照同步时信号生成的时间顺序，确定每个同步信号的序号，每个同步信号赋予一个序号。

所述装置中，

所述接收模块31，还用于接收本地用户的第二音频信号及第二视频信号；

添加模块32，还用于将生成的同步信号添加该接收到的第二音频信号和第二视频信号中；

合并模块33，还用于根据第一音频信号和第二音频信号中添加的同步信号，将接收到的第一音频信号与第二音频信号合并得到合并后的音频信号，并根据第一视频信号和第二视频信号中添加的同步信号，将接收到的第一视频信号和第二视频信号合并得到合并后的视频信号；根据合并后的音频信号及视频信号中保留的同步信号，将合并后的音频信号和视频信号合并。

所述装置还包括：

判断模块34，用于判断所述第一音频信号是否存在被丢弃的数据包；当判断所述第一音频信号中存在被丢弃的数据包时，采用包含静音信号的数据包代替该被丢弃的数据包。

图4为本申请实施例提供的一种视频信号和音频信号的传输合并***结构示意图，所述***包括：上述所述的视频信号和音频信号的传输合并装置41，及向所述装置发送远端用户的第一音频信号的第一终端42，及向所述装置发送第一视频信号的第二终端43。

所述***还包括：

PSTN设备44，用于接收所述第一终端发送的所述远端用户的第一音频信号，将所述第一音频信号发送到语音网关；

语音网关45，用于接收所述PSTN设备发送的所述远端用户的第一音频信号，将所述音频信号转换为VOIP数据包发送。

本发明实施例提供了一种视频信号和音频信号的传输合并方法、***及装置，该方法通过对接收到的远端用户发送的视频信号和音频信号中添加同步信号，并在合并时根据该同步信号对音频信号和视频信号进行合并，从而可以保证在同一时刻接收到的视频信号和音频信号具有相同的同步信号，在进行合并时，可以根据该同步信号对视频信号和音频信号进行合并，保证后续合并后的视音频文件中视频信号和音频信号的同步性，从而满足用户的使用。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (16)

1.一种视频信号和音频信号的传输合成方法，其特征在于，包括：

接收远端用户通过第一终端发送的第一音频信号，及通过第二终端发送的第一视频信号；

将生成的同步信号添加到该接收到的第一音频信号和第一视频信号中；

根据第一音频信号和第一视频信号中添加的同步信号，将第一音频信号和第一视频信号合并。

2.如权利要求1所述的方法，其特征在于，所述同步信号按照设定的时钟周期生成。

3.如权利要求2所述的方法，其特征在于，每个生成的所述同步信号添加到该同步信号生成时刻接收到的第一音频信号和第一视频信号中。

4.如权利要求3所述的方法，其特征在于，当接收到所述第一视频信号和第一音频信号时，在第一视频信号和第一音频信号对应的每个数据帧的帧头或者帧尾添加所述同步信号，第一视频信号和第一音频信号添加同步信号的位置相同，都同为帧头或同为帧尾。

5.如权利要求2所述的方法，其特征在于，按照同步时信号生成的时间顺序，确定每个同步信号的序号，每个同步信号赋予一个序号。

6.如权利要求1所述的方法，其特征在于，所述方法还包括：

接收本地用户的第二音频信号及第二视频信号；

将生成的同步信号添加该接收到的第二音频信号和第二视频信号中；

根据第一音频信号和第二音频信号中添加的同步信号，将接收到的第一音频信号与第二音频信号合并得到合并后的音频信号，并根据第一视频信号和第二视频信号中添加的同步信号并保留该同步信号，将接收到的第一视频信号和第二视频信号合并得到合并后的视频信号并保留该同步信号；

根据合并后的音频信号及视频信号中保留的同步信号，将合并后的音频信号和视频信号合并。

7.如权利要求1或6所述的方法，其特征在于，所述将第一音频信号和第一视频信号合并之前，所述方法还包括：

判断所述第一音频信号是否存在被丢弃的数据包；

当判断所述第一音频信号中存在被丢弃的数据包时，采用包含静音信号的数据包代替该被丢弃的数据包。

8.如权利要求1所述的方法，其特征在于，所述第一终端为移动终端或固定电话，第二终端为具有视频信号采集及发送功能的终端。

9.如权利要求1所述的方法，其特征在于，所述远端用户通过第一终端发送第一音频信号包括：

所述第一终端接收所述远端用户发送的第一音频信号，将所述第一音频信号发送到公共交换电话网络PSTN，通过所述PSTN将所述第一音频信号发送到语音网关后，转换为基于IP的语音通信VOIP数据包发送。

10.一种视频信号和音频信号的传输合并装置，其特征在于，所述装置包括：

接收模块，用于接收远端用户通过第一终端发送的第一音频信号，及通过第二终端发送的第一视频信号；

添加模块，用于将生成的同步信号添加到该接收到的第一音频信号和第一视频信号中；

合并模块，用于根据第一音频信号和第一视频信号中添加的同步信号，将第一音频信号和第一视频信号合并。

11.如权利要求10所述的装置，其特征在于，所述添加模块，具体用于将每个生成的所述同步信号添加到该同步信号生成时刻接收到的第一音频信号和第一视频信号中。

12.如权利要求11所述的装置，其特征在于，所述添加模块，具体用于当接收到所述第一视频信号和第一音频信号时，在第一视频信号和第一音频信号对应的每个数据帧的帧头或者帧尾添加所述同步信号，第一视频信号和第一音频信号添加同步信号的位置相同，都同为帧头或同为帧尾。

13.如权利要求10所述的装置，其特征在于，所述装置中，

所述接收模块，还用于接收本地用户的第二音频信号及第二视频信号；

添加模块，还用于将生成的同步信号添加该接收到的第二音频信号和第二视频信号中；

合并模块，还用于根据第一音频信号和第二音频信号中添加的同步信号，将接收到的第一音频信号与第二音频信号合并得到合并后的音频信号，并根据第一视频信号和第二视频信号中添加的同步信号，将接收到的第一视频信号和第二视频信号合并得到合并后的视频信号；根据合并后的音频信号及视频信号中保留的同步信号，将合并后的音频信号和视频信号合并。

14.如权利要求10或13所述的装置，其特征在于，所述装置还包括：

判断模块，用于判断所述第一音频信号是否存在被丢弃的数据包；当判断所述第一音频信号中存在被丢弃的数据包时，采用包含静音信号的数据包代替该被丢弃的数据包。

15.一种视频信号和音频信号的传输合并***，其特征在于，所述***包括：如权利要求10～14任一所述的装置，及向所述装置发送远端用户的第一音频信号的第一终端，及向所述装置发送第一视频信号的第二终端。

16.如权利要求15所述的***，其特征在于，所述***还包括：

公共交换电话网络PSTN设备，用于接收所述第一终端发送的所述远端用户的第一音频信号，将所述第一音频信号发送到语音网关；

语音网关，用于接收所述PSTN设备发送的所述远端用户的第一音频信号，将所述音频信号转换为基于IP的语音通信VOIP数据包发送。

Images