CN113411541A - 一种视频会议快速录制转换的处理方法 - Google Patents

Abstract

本发明涉及一种视频会议快速录制转换的处理方法，具体步骤如下：S1：视频会议录制模块，需要将收到的所有待录制会议数据进行收集解析并处理，按照会议ID进行归类，实现多会议同时处理；S2：针对会议中会议业务信息进行打包切片，音视频媒体信息进行切片及更新M3U8文件，媒体数据按照TS打包规则处理；S3：视频合成转换模块，检测是否有录制会议，当有新录制会议出现，进行会议合成转换初始化，及启动会议业务线程和媒体合成线程，实现多会议合成转换；S4：读取业务切片放入到业务队列中依次处理，根据业务操作进行视频媒体合成及转换成会议录像文件。本发明可以保证会议录像完整性，同时提升视频会议的时效性。

Description

一种视频会议快速录制转换的处理方法

技术领域

本发明涉及视频信息处理方法，尤其涉及一种视频会议快速录制转换的处理方法。

背景技术

随着视频会议的需求趋于高速发展，用户对视频会议及功能和体验的需求越来越高。无论是传统视频会议，还是当前热门的云视频会议，都需要具备录制会议的完整、快速回放体验。为了实现各种会议中业务交互，均能完整的录制会议中所有信息，并能快速地生成会议录像。那么，出现了很多种会议录制的方案。

目前，现有的视频会议录制方案，大致有两种方向：一种方案是当开启了会议录制功能后，只进行视频和音频核心信息的录制，此方案不能保证会议的完整性，会议中复杂业务交互和元素没有被完全地录制下来，导致不能完全复刻实时视频会议中所有信息，用户回看时会议信息不完整；另一种方案是将会议中所有信息都写私有文件，在会议结束后进行统一的解析生成会议录像，此方案不能快速回看下载会议录像，会议中启用视频录制将业务和信息全都写成私有文件，在会议结束后统一生成会议录像，这种方案需要用户在会议结束后等待较长时间（小于等于录制会议时间）才能生成会议录像。

发明内容

本发明的目的是克服上述缺点，本发明提供了一种视频会议快速录制转换的处理方法，对视频会议中信息类型进行分类切片，将所有会中信息都记录下来。同时，第一块切片完成即可开启多线程并行处理，减少了会议录像转换生成的时间，提高了用户录制体验。分类切片，优先多线程并行转换，不但保证会议录制中信息完整，还能加快会议录像转换时间，从而有效的保证了视频会议录制的完整性和时效性。

一种视频会议快速录制转换的处理方法，具体步骤如下：

S1：视频会议录制模块将收到的所有待录制会议数据进行收集解析并处理，按照会议ID进行归类，实现多会议同时处理；

S2：针对会议中会议业务数据进行打包切片生成多个业务数据切片，业务数据切片打包后生成业务数据包，音视频媒体数据进行切片生成多个音视频媒体数据切片及更新M3U8文件，音视频媒体数据切片按照TS打包规则处理，打包后生成音视频媒体数据包；

S3：视频合成转换模块检测是否有录制会议，当有新录制会议出现，进行会议合成转换初始化，及启动会议业务数据线程和音视频媒体数据合成线程，实现多会议合成转换；

S4：读取业务切片放入到业务数据切片队列中依次处理，根据读取到的业务操作进行音视频媒体数据切片合成及转换成会议录像文件。

作为本发明一种视频会议快速录制转换的处理方法进一步的改进，S1-S2中：

S1.1：进行会议检测并判断，按照会议ID进行分类会议录制合成转换；

S1.2：进行某会议ID的音视频媒体数据包的打包切片处理；

S1.3：进行某会议ID的业务数据包的打包切片处理。

作为本发明一种视频会议快速录制转换的处理方法进一步的改进，S1.1中：

S1.11：接受所有网络数据包，并对网络数据包进行解析处理，将解析后的网络数据包分类保存，如果当前会议ID尚不存在，初始化当前会议ID的参数，并设置当前会议ID录制初始状态，建立该会议ID录制文件夹；

S1.12：根据会议ID进行分类处理，判断是否是音视频媒体数据，如果是音视频媒体数据则进入音视频媒体数据包处理，进入后判断音视频媒体数据包是否初始化，如果没有初始化，则放入到初始化队列中依次进行初始化音视频媒体数据切片，并启动音视频媒体数据切片线程；

S1.13：根据会议ID进行分类处理，判断是否是业务数据，如果是业务数据则进入业务数据包处理，进入后判断业务数据包是否初始化，如果没有初始化，则放入到初始化队列中依次进行初始化业务数据切片，并启动业务数据切片线程；消息格式是业务数据包，音视频媒体数据是TS协议封包。

S1.14：当音视频媒体数据切片和业务数据切片初始化完成后，设置当前会议ID的会议录制状态为录制中；

S1.15：根据会议ID分类处理，如果是媒体数据包并已初始化，则设定该媒体数据包的参会人ID和音视频媒体数据类型后，推入到音视频媒体数据队列中；

S1.16：根据会议ID分类处理，如果是业务数据包并已初始化，则推入到业务数据队列中，从而完成媒体数据包和业务数据包按照分会议ID去分数据类型处理。本发明中数据包分会议分类型处理是根据会议ID区分不同场的会议，分别进行处理。

作为本发明一种视频会议快速录制转换的处理方法进一步的改进，S1.2中，打包切片处理的具体步骤如下：

S1.21：初始化音视频媒体数据切片参数，线程全局参数，并判断音视频媒体数据队列中是否推入媒体有数据；

S1.22：如果有媒体数据包，检测媒体数据包的参会人ID是否存在于音视频媒体数据切片表中，如果不存在，则创建该参会人ID的音视频媒体数据切片句柄并初始化该音视频媒体数据切片参数，以及初始化M3U8文件；

S1.23：根据媒体数据包的参会人ID获取音视频媒体数据切片句柄，对媒体数据包进行组帧处理，将组成的完整一帧的音视频媒体数据再进行后续处理；

S1.24：判断音视频媒体数据是否已经过切片，如果已经过切片，则根据切片时间进行重新切片，默认设定切片间隔时间180秒，如果未经过切片，则按照TS打包规则处理音视频媒体数据；

S1.25：当定时器检测切片时间已达到，则设定开始切片的状态，并开始检测当前帧是否是IDR帧；

S1.26：满足S1.24和S1.25中的切片时间条件，关闭上一个音视频媒体数据切片，重新打开一个新的音视频媒体数据切片句柄，文件名采用“参会ID_时间”作为该参会人ID的音视频媒体数据切片文件名，同时，需要更新M3U8文件，即当上一个音视频媒体数据切片文件完全切割好后，需要将该文件的HTTP连接写入到M3U8文件中；

S1.27：判断当前参会人ID媒体数据包未经过切片，使用S1.23中得到的切片参数，并对当前完整一帧的音视频媒体数据按照TS打包规则处理，音视频媒体数据在按照TS打包规则处理前先进行PES打包；

S1.28：生成PAT、PMT、SDT表数据，只需要将PAT、PMT、SDT表数据第一次写入TS包数据文件，后续无需再重复写入，将完整一帧的音视频媒体数据打包的TS包数据直接写入到切片中，生成新的音视频媒体数据切片。

作为本发明一种视频会议快速录制转换的处理方法进一步的改进，S1.3中，业务数据包的打包切片处理具体步骤如下：

S1.31：初始化业务数据包切片参数，线程全局参数，生成业务数据的第一个切片，文件名采用“当前时间”；

S1.32：开启多线程处理，并判断业务数据队列中是否推入有业务数据包；

S1.33：是否满足切片时间的条件，同S1.2中步骤S1.26，跟音视频媒体数据切片同步进行业务数据切片，跟音视频媒体数据切片同步是指当前会议中所有参会人ID的音视频媒体数据最后一个切片完成时，再进行业务数据切片；

S1.34：开始切片，关闭上一个业务数据切片文件句柄，获取当前时间作为业务数据切片的文件名开启新的切片；

S1.35：将业务数据包按照协议，写入到业务数据切片文件中。

作为本发明一种视频会议快速录制转换的处理方法进一步的改进，S3中，会议切片合成转换处理具体步骤如下：

S3.1:进行会议检测，发现新会议ID文件夹存在，则开启此会议ID的合成转换处理；

S3.2:进行业务数据切片文件读取并解析处理；

S3.3:根据读取到的业务操作，进行音视频媒体数据文件合成转换处理；

作为本发明一种视频会议快速录制转换的处理方法进一步的改进，S3.1中，具体步骤如下：

S3.11：初始化合成转换全局参数，建立会议合成转换表；

S3.12：检测录制文件夹中，是否存在新的会议ID，当出现新的会议ID时，即说明有新的会议需要进行合成转换处理；

S3.13：初始化当前会议ID的合成转换参数，会议录制状态，初始化会议业务数据线程和音视频媒体数据合成转换线程。

作为本发明一种视频会议快速录制转换的处理方法进一步的改进，S3.2中，具体步骤如下所示：

S3.21:初始化会议ID的业务数据线程参数及控制消息队列；

S3.21:当存在会议的业务数据切片时，打开文件句柄，并初始化切片临时参数；

S3.23:按照S1.3中S1.35的业务包协议进行解析，并抽取出业务包实体信息；

S3.24:将实体信息封包放入控制消息队列中；

S3.25:当前业务数据切片处理完成后，即查询下一个业务数据切片文件，如果不存在则等待，存在则重复步骤S3.21-S3.24。

作为本发明一种视频会议快速录制转换的处理方法进一步的改进，S3.3的具体步骤如下所示:

S3.31:初始化会议ID的音视频媒体数据合成转换参数，启动编码转换线程；

S3.32:检测消息队列是否有控制消息，当有控制消息则进行控制音视频媒体数据相应的业务数据消息，实现对当前参会音视频媒体数据进行添加或删除操作；

S3.33:当控制消息是业务操作信息，实现对当前会议业务进行共享桌面、批注、白板操作，同样需要对应到参会信息列表中进行合成转换处理；

S3.34:当参会信息列表中参会信息的条数大于1时，开始进行如下处理：

S3.341:根据参会信息列表类型选择处理视频、桌面、批准业务数据类型；

S3.342:查询当前参会人的音视频媒体数据切片是否存在，如果存在则读取一个切片；

S3.343:解析切片中的TS打包数据，并得到一帧视频ES数据；

S3.344:将一帧音视频媒体数据进行媒体合成转换处理；

S3.35:音视频媒体数据合成转换处理，具体步骤如下:

S3.351:对视频数据根据类型处理，ES数据则需要进行解码处理，YUV则跳过解码处理；

S3.352:对YUV数据进行预处理，根据业务布局信息设定参数，进行缩放和加黑边处理；

S3.353:根据当前参会信息布局参数，进行视频混屏处理，并将混屏后YUV数据推入待编码队列；

S3.354:视频编码线程对合成后的视频数据进行编码，生成编码后的ES数据；

S3.355:将视频合成后的数据和音频数据，一起进行封装处理，封装成MP4文件和HLS协议文件。

作为本发明一种视频会议快速录制转换的处理方法进一步的改进，S3.32中，具体步骤如下:

S3.321:如果进行参会音视频媒体数据添加操作，则需要创建切片处理句柄，并放入到参会信息列表；

S3.322:如果进行参会音视频媒体数据删除操作，则需要获取参会ID的切片处理句柄，并从参会信息列表删除。

本发明一种视频会议快速录制转换的处理方法，可以保证会议录像完整性，同时提升视频会议的时效性，保证了用户能在会议结束后，很短时间内拿到会议录像并能下载回看。本发明有利于***体信息和业务信息切片内容和时间，为了后续业务支持采用HLS切片方式。其中，HLS切片采用TS多节目流方式存储所有音视频媒体流，也能达到音视频独立媒体流效果。

附图说明

图1为会议信息切片录制处理流程示意图。

图2为写入到业务切片文件的协议流程示意图。

图3为会议切片合成转换处理流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

1.本发明是一种视频会议快速录制转换的处理方法，主要处理及实现步骤如下所示：

首先，视频会议录制模块，需要将收到所有待录制会议数据进行收集解析并处理，按照会议ID进行归类，实现多会议同时处理；

其次，针对会议中会议业务数据进行打包切片生成多个业务数据切片，业务数据切片打包后生成业务数据包，音视频媒体数据进行切片生成多个音视频媒体数据切片及更新M3U8文件，音视频媒体数据切片按照TS打包规则处理，打包后生成音视频媒体数据包；

再次，视频合成转换模块，检测是否有录制会议，当有新录制会议出现，进行会议合成转换初始化，及启动会议业务数据线程和音视频媒体数据合成线程，实现多会议合成转换；

最后，读取业务切片放入到业务数据切片队列中依次处理，根据读取到的业务操作进行音视频媒体数据切片合成及转换成会议录像文件。

一种视频会议快速录制转换的处理方法，会议信息切片录制处理流程如图1所示：

本实例提供了一种视频会议快速录制转换的处理方法，会议中含有音视频媒体数据和业务控制数据，根据这两种数据进行文件分类切片。文件切片分为两种，一种是会议中多个音视频媒体（参会用户音视频），另一种是业务控制数据切片文件。同时，采用多线程并行转换处理，提高录制会议结束后能快速生成用户可回看文件并支持转换下载。本发明解决了录制会议结束后，需要很长时间后用户才能回看会议内容并下载的问题，以及录制会议中信息不够完整的问题。从而实现了录制会议快速生成还原会议的录像，提升了用户录制回看会议的体验，同时保证了录制会议的完整度。

1.1进行会议检测并判断，按照会议ID进行分会议录制合成转换，具体步骤如下：

1）接受所有网络数据包，并对网络数据包进行解析处理，将解析后的网络数据包分类保存，如果当前会议ID尚不存在，初始化当前会议ID的参数，并设置当前会议ID录制初始状态，建立该会议ID录制文件夹；

2）根据会议ID进行分类处理，判断是否是音视频媒体数据，如果是音视频媒体数据则进入音视频媒体数据包处理。进入后判断音视频媒体数据包是否初始化，如果没有初始化，则放入到初始化队列中依次进行初始化音视频媒体数据切片，并启动音视频媒体数据切片线程；

3）根据会议ID进行分类处理，判断是否是业务数据，如果是业务数据则进入业务数据包处理。进入后判断业务数据包是否初始化，如果没有初始化，则放入到初始化队列中依次进行初始化业务数据切片，并启动业务数据切片线程；

4）当音视频媒体数据切片和业务数据切片初始化完成后，设置当前会议ID的会议录制状态为录制中；

5）根据会议ID分类处理，如果是媒体数据包并已初始化，设定该媒体数据包的参会人ID和音视频媒体数据类型后，推入到音视频媒体数据队列中；

6）根据会议ID分类处理，如果是业务数据包并已初始化，则推入到业务数据队列中，从而完成媒体数据包和业务数据包按照先分会议ID再去分数据类型处理。

1.2进行某会议ID的音视频媒体数据包的打包切片处理，打包切片处理的具体步骤如下：

1）初始化音视频媒体数据切片参数，线程全局参数，并判断音视频媒体数据队列中是否推入有媒体数据包；

2）如果有媒体数据包，检测媒体数据包的参会人ID是否存在于音视频媒体数据切片表中，如果不存在，则创建该参会人ID的音视频媒体数据切片句柄并初始化该音视频媒体数据切片参数，以及初始化M3U8文件；

3）根据媒体数据包的参会人ID获取音视频媒体数据切片句柄，对媒体数据包进行组帧处理，将组成的完整一帧的音视频媒体数据再进行后续处理；

4）判断音视频媒体数据是否已经过切片的策略有两种，第一种是根据固定帧数进行切片，另一种是根据时间进行切片，当前切片策略使用后一种根据切片时间进行切片，如果已经过切片，则根据切片时间进行重新切片，默认设定切片间隔时间180秒，如果未经过切片，则按照TS打包规则处理音视频媒体数据；

5）当定时器检测切片时间已达到，则设定开始切片的状态，并开始检测当前帧是否是IDR帧，保证每个切片第一帧是IDR，是切片规则要求的；

6）满足上述1.2中的4）和5）中切片时间条件，关闭上一个音视频媒体数据切片，重新打开一个新的音视频媒体数据切片句柄，文件名采用“参会ID_时间”作为该参会ID的音视频媒体数据切片文件名，同时，需要更新M3U8文件，即当上一个音视频媒体数据切片文件完全切割好后，需要将该文件的HTTP连接写入到M3U8文件中；

7）判断当前参会ID媒体数据包不切片，使用步骤3）中得到的切片参数，并对当前完整一帧的音视频媒体数据按照进行TS打包规则处理，音视频媒体数据在按照TS打包规则处理前先进行PES打包；

8）生成PAT、PMT、SDT表数据，只需要将PAT、PMT、SDT表数据第一次写入TS包数据文件，后续无需再重复写入，将完整一帧的音视频媒体数据打包的TS包数据直接写入到切片中，生成新的音视频媒体数据切片。

1.3进行某会议ID的业务数据包的打包切片处理，打包切片处理的具体步骤如下：

1）初始化业务数据包切片参数，线程全局参数，生成业务数据的第一个切片，文件名采用“当前时间”；

2）开启多线程处理，并判断业务数据队列中是否推入有业务数据包；

3）是否满足切片时间的条件，同1.2中步骤6），跟音视频媒体数据切片同步进行业务数据切片，跟音视频媒体数据切片同步是指只当前会议中所有参会人ID的音视频媒体数据最后一个切片完成时，再进行业务数据切片；

4）开始切片，关闭上一个业务数据切片句柄，获取当前时间作为业务数据切片的文件名开启新的切片；

5）将业务数据包按照如下协议，写入到业务数据切片文件中：如图2所示；

Message Header：业务消息头，用于指明有效业务数据包。

Message Length：除业务消息头外，消息的有效数据长度。

Message Sequence：业务消息序列号，从1开始依次递增。

Meeting ID：当前会议ID。

Meeting Type：当前会议类型。

Work Type：针对当前会议类型，所支持的业务类型。

Message Body：具体业务数据包消息体。

2.会议切片合成转换处理流程如图3所示：

2.1进行会议检测，发现新会议ID文件夹存在，则开启此会议ID的合成转换处理，具体步骤如下：

1）初始化合成转换全局参数，建立会议合成转换表；

2）检测录制文件夹中，是否存在新的会议ID，当出现新的会议ID时，即说明有新的会议需要进行合成转换处理；

3）初始化当前会议ID的合成转换参数，会议录制状态等，初始化会议业务数据线程和音视频媒体数据合成转换线程；

2.2进行业务数据切片文件读取并解析处理，具体步骤如下所示：

1）初始化会议ID的业务数据线程参数及控制消息队列；

2）当存在会议的业务数据切片时，打开文件句柄，并初始化切片临时参数；

3） 按照1.3中步骤5）的业务包协议进行解析，并抽取出业务包实体信息；

4）将实体信息封包放入控制消息队列中；

5）当前业务数据切片处理完成后，即查询下一个业务数据切片文件，如果不存在则等待，存在则重复2.2中的步骤2）-4）。

2.3根据读取到的业务操作，进行音视频媒体数据文件合成转换处理，具体步骤如下所示：

1）初始化会议ID的音视频媒体数据合成转换参数，启动编码转换线程；

2）检测消息队列是否有控制消息，当有控制消息则进行控制音视频媒体数据相应的业务数据消息，实现对当前参会音视频媒体数据进行添加、删除等操作；

（1）如果进行参会音视频媒体数据添加操作，则需要创建切片处理句柄，并放入到参会信息列表；

（2）如果进行参会音视频媒体数据删除操作，则需要获取参会ID的切片处理句柄，并从参会信息列表删除；

3）当控制消息是业务操作信息，实现对当前会议业务进行共享桌面、批注、白板等操作，同样需要对应到参会信息列表中进行合成转换处理；

4）当参会列表中参会信息的条数大于1时，开始进行如下处理：

（1）根据参会信息列表类型选择处理视频、桌面、批准等业务数据类型；

（2）查询当前参会人的音视频媒体数据切片是否存在，如果存在则读取一个切片；

（3）解析切片中的TS打包数据，并得到一帧视频ES数据；

（4）将一帧音视频媒体数据进行合成转换处理；

参会信息列表表项定义如下：

Meeting ID：当前会议ID

GroupID：参会人员ID

Type：参会类型（1:视频/2:桌面/3:批注/4:白板）

参会信息列表数量大于1时才进行录制业务，如下表所示：

Number	MeetingID	GroupID	Type
				1	41325667	21334589	1
2	41325667	21334590	2

5）媒体合成转换处理，具体步骤如下所示：

（1）对视频数据根据类型处理，ES数据需要进行解码处理，YUV则跳过解码处理；

（2）对YUV数据进行预处理，根据业务布局信息设定参数，进行缩放和家黑边处理；

（3）根据当前参会信息布局参数，进行视频混屏处理，并将混屏后YUV数据推入待编码队列；

（4）视频编码线程对合成后的视频数据进行编码，生成编码后ES数据；

（5）将视频合成后的数据和音频数据，一起进行封装处理，封装成MP4文件和HLS协议文件。

最后，一种视频会议快速录制转换的处理方法，实现了会议中全部会议信息的录制，采用切片方式和多线程并行处理，极大缩短了会议录像文件的生成时间。这样，当会议结束后用户会很快可以下载并回放会议录像。而整个处理方法保证了会议完整录制，以及快速合成转换，从而有效地提升了用户对会议录制的体验。

本发明根据会议中信息类型进行分类切片，并当第一个切片完成后即可对分类切片文件进行转换处理，根据业务控制信息进行多线程并行合成处理，从而保证了视频会议录制的完整性和时效性。本发明一种视频会议快速录制转换的处理方法，可以保证会议录像完整性，同时提升视频会议的时效性，保证了用户能在会议结束后，很短时间内拿到会议录像并能下载回看。本发明的核心是***体信息和业务信息切片内容和时间，为了后续业务支持采用HLS切片方式。其中，HLS切片采用TS多节目流方式存储所有音视频媒体流，也能达到音视频独立媒体流效果。以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围之内。

Claims (10)

1.一种视频会议快速录制转换的处理方法，其特征在于，具体步骤如下：

S1：视频会议录制模块将收到的所有待录制会议数据进行收集解析并处理，按照会议ID进行归类，实现多会议同时处理；

S2：针对会议中会议业务数据进行打包切片生成多个业务数据切片，业务数据切片打包后生成业务数据包，音视频媒体数据进行切片生成多个音视频媒体数据切片及更新M3U8文件，音视频媒体数据切片按照TS打包规则处理，打包后生成音视频媒体数据包；

S3：视频合成转换模块检测是否有录制会议，当有新录制会议出现，进行会议合成转换初始化，及启动会议业务数据线程和音视频媒体数据合成线程，实现多会议合成转换；

S4：读取业务切片放入到业务数据切片队列中依次处理，根据读取到的业务操作进行音视频媒体数据切片合成及转换成会议录像文件。

2.根据权利要求1所述的一种视频会议快速录制转换的处理方法，其特征在于，S1-S2中：

S1.1：进行会议检测并判断，按照会议ID进行分类会议录制合成转换；

S1.2：进行某会议ID的音视频媒体数据包的打包切片处理；

S1.3：进行某会议ID的业务数据包的打包切片处理。

3.根据权利要求2所述的一种视频会议快速录制转换的处理方法，其特征在于，S1.1中：

S1.11：接受所有网络数据包，并对网络数据包进行解析处理，将解析后的网络数据包分类保存，如果当前会议ID尚不存在，初始化当前会议ID的参数，并设置当前会议ID录制初始状态，建立该会议ID录制文件夹；

S1.12：根据会议ID进行分类处理，判断是否是音视频媒体数据，如果是音视频媒体数据则进入音视频媒体数据包处理，进入后判断音视频媒体数据包是否初始化，如果没有初始化，则放入到初始化队列中依次进行初始化音视频媒体数据切片，并启动音视频媒体数据切片线程；

S1.13：根据会议ID进行分类处理，判断是否是业务数据，如果是业务数据则进入业务数据包处理，进入后判断业务数据包是否初始化，如果没有初始化，则放入到初始化队列中依次进行初始化业务数据切片，并启动业务数据切片线程；

S1.14：当音视频媒体数据切片和业务数据切片初始化完成后，设置当前会议ID的会议录制状态为录制中；

S1.15：根据会议ID分类处理，如果是媒体数据包并已初始化，则设定该媒体数据包的参会人ID和音视频媒体数据类型后，推入到音视频媒体数据队列中；

S1.16：根据会议ID分类处理，如果是业务数据包并已初始化，则推入到业务数据队列中，从而完成媒体数据包和业务数据包按照先分会议ID再去分数据类型处理。

4.根据权利要求3所述的一种视频会议快速录制转换的处理方法，其特征在于，S1.2中，打包切片处理的具体步骤如下：

S1.21：初始化音视频媒体数据切片参数，线程全局参数，并判断音视频媒体数据队列中是否推入有媒体数据包；

S1.22：如果有媒体数据包，检测媒体数据包的参会人ID是否存在于音视频媒体数据切片表中，如果不存在，则创建该参会人ID的音视频媒体数据切片句柄并初始化该音视频媒体数据切片参数，以及初始化M3U8文件；

S1.23：根据媒体数据包的参会人ID获取音视频媒体数据切片句柄，对媒体数据包进行组帧处理，将组成的完整一帧的音视频媒体数据再进行后续处理；

S1.24：判断音视频媒体数据是否已经过切片，如果已经过切片，则根据切片时间进行重新切片，默认设定切片间隔时间180秒，如果未经过切片，则按照TS打包规则处理音视频媒体数据；

S1.25：当定时器检测切片时间已达到，则设定开始切片的状态，并开始检测当前帧是否是IDR帧；

S1.26：满足S1.24和S1.25中的切片时间条件，关闭上一个音视频媒体数据切片，重新打开一个新的音视频媒体数据切片句柄，文件名采用“参会ID_时间”作为该参会人ID的音视频媒体数据切片文件名，同时，需要更新M3U8文件，即当上一个音视频媒体数据切片文件完全切割好后，需要将该文件的HTTP连接写入到M3U8文件中；

S1.27：若判断当前参会人ID媒体数据包未经过切片，使用S1.23中得到的切片参数，并对当前完整一帧的音视频媒体数据按照TS打包规则处理，音视频媒体数据在按照TS打包规则处理前先进行PES打包；

S1.28：生成PAT、PMT、SDT表数据，只需要将PAT、PMT、SDT表数据第一次写入TS包数据文件，后续无需再重复写入，将完整一帧的音视频媒体数据打包的TS包数据直接写入到切片中，生成新的音视频媒体数据切片。

5.根据权利要求4所述的一种视频会议快速录制转换的处理方法，其特征在于，S1.3中，业务数据包的打包切片处理具体步骤如下：

S1.31：初始化业务数据包切片参数，线程全局参数，生成业务数据的第一个切片，文件名采用“当前时间”；

S1.32：开启多线程处理，并判断业务数据队列中是否推入有业务数据包；

S1.33：是否满足切片时间的条件，同S1.2中步骤S1.26，跟音视频媒体数据切片同步进行业务数据切片，跟音视频媒体数据切片同步是指当前会议中所有参会人ID的音视频媒体数据最后一个切片完成时，再进行业务数据切片；

S1.34：开始切片，关闭上一个业务数据切片句柄，获取当前时间作为业务数据切片的文件名开启新的切片；

S1.35：将业务数据包按照业务包协议，写入到业务数据切片文件中。

6.根据权利要求5所述的一种视频会议快速录制转换的处理方法，其特征在于，S3中，会议切片合成转换处理具体步骤如下：

S3.1:进行会议检测，发现新会议ID文件夹存在，则开启此会议ID的合成转换处理；

S3.2:进行业务数据切片文件读取并解析处理；

S3.3:根据读取到的业务操作，进行音视频媒体数据文件合成转换处理。

7.根据权利要求6所述的一种视频会议快速录制转换的处理方法，其特征在于，S3.1中，具体步骤如下：

S3.11：初始化合成转换全局参数，建立会议合成转换表；

S3.12：检测录制文件夹中，是否存在新的会议ID，当出现新的会议ID时，即说明有新的会议需要进行合成转换处理；

S3.13：初始化当前会议ID的合成转换参数，会议录制状态，初始化会议业务数据线程和音视频媒体数据合成转换线程。

8.根据权利要求7所述的一种视频会议快速录制转换的处理方法，其特征在于，S3.2中，具体步骤如下：

S3.21:初始化会议ID的业务数据线程参数及控制消息队列；

S3.21:当存在会议的业务数据切片时，打开文件句柄，并初始化切片临时参数；

S3.23:按照S1.3中S1.35的业务包协议进行解析，并抽取出业务包实体信息；

S3.24:将实体信息封包放入控制消息队列中；

S3.25:当前业务数据切片处理完成后，即查询下一个业务数据切片文件，如果不存在则等待，存在则重复步骤S3.21-S3.24。

9.根据权利要求8所述的一种视频会议快速录制转换的处理方法，其特征在于，S3.3的具体步骤如下所示:

S3.31:初始化会议ID的音视频媒体数据合成转换参数，启动编码转换线程；

S3.32:检测消息队列是否有控制消息，当有控制消息则进行控制音视频媒体数据相应的业务数据消息，实现对当前参会音视频媒体数据进行添加或删除操作；

S3.33:当控制消息是业务操作信息，实现对当前会议业务进行共享桌面、批注、白板操作，同样需要对应到参会信息列表中进行合成转换处理；

S3.34:当参会信息列表中参会信息的条数大于1时，开始进行如下处理：

S3.341:根据参会信息列表类型选择处理视频、桌面、批准业务数据类型；

S3.342:查询当前参会人的音视频媒体数据切片是否存在，如果存在则读取一个切片；

S3.343:解析切片中的TS打包数据，并得到一帧视频ES数据；

S3.344:将一帧音视频媒体数据进行合成转换处理；

S3.35:音视频媒体数据合成转换处理，具体步骤如下:

S3.351:对视频数据根据类型处理，ES数据则需要进行解码处理，YUV则跳过解码处理；

S3.352:对YUV数据进行预处理，根据业务布局信息设定参数，进行缩放和加黑边处理；

S3.353:根据当前参会信息布局参数，进行视频混屏处理，并将混屏后YUV数据推入待编码队列；

S3.354:视频编码线程对合成后的视频数据进行编码，生成编码后的ES数据；

S3.355:将视频合成后的数据和音频数据，一起进行封装处理，封装成MP4文件和HLS协议文件。

10.根据权利要求9所述的一种视频会议快速录制转换的处理方法，其特征在于，S3.32中，具体步骤如下:

S3.321:如果进行参会音视频媒体数据添加操作，则需要创建切片处理句柄，并放入到参会信息列表；

S3.322:如果进行参会音视频媒体数据删除操作，则需要获取参会ID的切片处理句柄，并从参会信息列表删除。

Images