CN104244086A - 基于实时对话语义分析的视频实时拼接装置及其方法 - Google Patents

Abstract

本发明公开了一种基于实时对话语义分析的视频实时拼接装置及其方法，是建立一个与标准语义相关联的视频素材库和音频素材库，语义分析模块对输入进行语义分析，根据语义分析计算出所需选用的视频单元和音频单元，并生成相应的指令发送给实时拼接模块进行对应的处理；实时拼接模块则根椐语义分析模块的指令，从视频素材库和音频素材库中调取对应的视频单元和音频单元，并按指令要求，进行画面拼接和声音合成，形成完整的音视频片段，提供给播放装置播放。本发明的装置及其方法，通过对视频和音频依据语义进行实时拼接的方式，能够实现与现场参观者的实时互动，使得现场参观者需要了解的内容，能够适时地出现在播放的音视频中，从而极大地提高了宣传的效果。

Description

基于实时对话语义分析的视频实时拼接装置及其方法

技术领域

本发明涉及计算机技术领域，特别是涉及一种基于实时对话语义分析的视频实时拼接装置及其方法。

背景技术

随着经济的快速发展和各项技术的不断进步，现在无论是政府，或是企事业单位，大都采用影片播放的方式来介绍当地发展情况或是商品的情况，旅游部门也是通过影片来介绍当地的风景名胜。但是，现有的影片通常是内容固定、长度固定，而且只能单方面播放，缺少实时互动性，在播放过程中，对于人们希望了解的部分，不能适时地出现在影片中，从而使得宣传的效果不如人意。

发明内容

本发明的目的在于克服现有技术之不足，提供一种基于实时对话语义分析的视频实时拼接装置及其方法，是通过对视频和音频实时拼接的方式，来实现与现场参观者的实时互动，使得现场参观者需要了解的内容，能够适时地出现在播放的音视频中，从而极大地提高了宣传的效果。

本发明解决其技术问题所采用的技术方案是：一种基于实时对话语义分析的视频实时拼接装置，包括：

视频素材库，该素材库存储有按预置的方式形成的多段视频单元，且每个视频单元都与能够被语义分析模块读取的素材内容索引、素材使用方式索引、素材使用场合索引相关联；

音频素材库，该素材库存储有按预置的方式形成的多段音频单元，且每个音频单元都与能够被语义分析模块读取的素材内容索引、素材使用方式索引、素材使用场合索引相关联；

至少一个的输入装置，该输入装置用来实现身份识别，以及实现语音或者文字的输入；

语义分析模块，该模块对输入进行语义分析，计算出应该由视频素材库中的哪些视频单元应以哪种方式拼接成对应视频，计算出应该由音频素材库中哪些音频单元应以哪种方式拼接成对应的音频，并生成相应的指令发送给实时拼接模块进行对应的处理；

实时拼接模块，该模块根椐语义分析模块的指令，从视频素材库和音频素材库中调取对应的视频单元和音频单元，并按指令要求，进行画面拼接和声音合成，形成完整的音视频片段，供播放装置播放。

所述实时拼接模块至少包括画面拼接子模块、画面融合子模块、画面剪裁子模块和声音合成子模块，分别用来实现画面的拼接、融合、剪裁和声音合成。

所述的音频素材库还包括声音生成子模块。

所述的视频素材库还包括视频生成子模块。

所述输入装置包括身份识别模块，所述身份识别模块包括下列中的一种或二种及二种以上的组合：

生物信息识别模块；

动作信息识别模块；

数字信息识别模块。

所述输入装置包括语音采集模块，用来实现对语音信息输入的采集。

一种基于实时对话语义分析的视频实时拼接方法，包括：

预置一个视频素材库，该素材库存储有按预置的方式形成的多段视频单元，且每个视频单元都与能够被语义分析模块读取的素材内容索引、素材使用方式索引、素材使用场合索引相关联；

预置一个音频素材库，该素材库存储有按预置的方式形成的多段音频单元，且每个音频单元都与能够被语义分析模块读取的素材内容索引、素材使用方式索引、素材使用场合索引相关联；

预置一个语义分析模块，用来语义分析和根据语义分析计算出所需选用的视频单元和音频单元，并生成拼接指令；

预置一个实时拼接模块，用来将选用的视频单元和音频单元拼接成音视频片段；

语义分析模块对输入进行语义分析，计算出应该由视频素材库中的哪些视频单元以哪种方式拼接成对应视频，计算出应该由音频素材库中哪些音频单元以哪种方式拼接成对应的音频，并生成相应的指令发送给实时拼接模块进行对应的处理；实时拼接模块根椐语义分析模块的指令，从视频素材库和音频素材库中调取对应的视频单元和音频单元，并按指令要求，进行画面拼接和声音合成，形成完整的音视频片段，提供给播放装置播放。

与现有技术相比较，本发明的有益效果是：

由于采用了建立一个视频素材库和一个音频素材库，且视频素材库存储有按预置的方式形成的多段视频单元，每个视频单元都与能够被语义分析模块读取的素材内容索引、素材使用方式索引、素材使用场合索引相关联，音频素材库存储有按预置的方式形成的多段音频单元，且每个音频单元都与能够被语义分析模块读取的素材内容索引、素材使用方式索引、素材使用场合索引相关联；然后由语义分析模块对输入进行语义分析，计算出应该由视频素材库中的哪些视频单元拼接成对应视频，计算出应该由音频素材库中哪些音频单元拼接成对应的音频，并生成相应的指令发送给实时拼接模块进行对应的处理；实时拼接模块则根椐语义分析模块的指令，从视频素材库和音频素材库中调取对应的视频单元和音频单元，并按指令要求，进行画面拼接和声音合成，形成完整的音视频片段，提供给播放装置播放。该装置及其方法，通过对视频和音频实时拼接的方式，能够实现与现场参观者的实时互动，使得现场参观者需要了解的内容，能够适时地出现在播放的音视频中，从而极大地提高了宣传的效果。

以下结合附图及实施例对本发明作进一步详细说明；但本发明的一种基于实时对话语义分析的视频实时拼接装置及其方法不局限于实施例。

附图说明

图1是本发明的装置的构成示意图；

图2是本发明的装置的实时拼接模块的构成示意图。

具体实施方式

实施例

参见图1、图2所示，本发明的一种基于实时对话语义分析的视频实时拼接装置，包括：

视频素材库1，该素材库1存储有按预置的方式形成的多段视频单元，且每个视频单元都与能够被语义分析模块读取的素材内容索引、素材使用方式索引、素材使用场合索引相关联；

音频素材库2，该素材库2存储有按预置的方式形成的多段音频单元，且每个音频单元都与能够被语义分析模块读取的素材内容索引、素材使用方式索引、素材使用场合索引相关联；

至少一个的输入装置，该输入装置用来实现身份识别，以及实现语音或者文字的输入；

语义分析模块3，该模块3对输入进行语义分析，计算出应该由视频素材库中的哪些视频单元应以哪种方式拼接成对应视频，计算出应该由音频素材库中哪些音频单元应以哪种方式拼接成对应的音频，并生成相应的指令发送给实时拼接模块进行对应的处理；

实时拼接模块4，该模块4根椐语义分析模块的指令，从视频素材库1和音频素材库2中调取对应的视频单元和音频单元，并按指令要求，进行画面拼接和声音合成，形成完整的音视频片段，供播放装置播放。

所述实时拼接模块4至少包括画面拼接子模块41、画面融合子模块42、画面剪裁子模块43和声音合成子模块44，分别用来实现画面的拼接、融合、剪裁和声音合成。画面拼接、画面融合、画面剪裁和声音合成已经有成熟的技术可以应用，在此就不在累述。

所述的音频素材库2还包括声音生成子模块。

所述的视频素材库1还包括视频生成子模块。

所述输入装置包括身份识别模块，所述身份识别模块包括下列中的一种或二种及二种以上的组合：

生物信息识别模块51；

动作信息识别模块52；

数字信息识别模块53；

生物信息识别模块51、动作信息识别模块52和数字信息识别模块53分别已有成熟的技术可以应用，在此就不在累述。

所述输入装置还包括语音采集模块54，用来实现对语音信息输入的采集，以及输入模块55，输入模块55用来实现键盘输入或触摸屏输入等多种方式。

本发明的一种基于实时对话语义分析的视频实时拼接方法，包括：

预置一个视频素材库1，该素材库存储有按预置的方式形成的多段视频单元，且每个视频单元都与能够被语义分析模块读取的素材内容索引、素材使用方式索引、素材使用场合索引相关联；

预置一个音频素材库2，该素材库存储有按预置的方式形成的多段音频单元，且每个音频单元都与能够被语义分析模块读取的素材内容索引、素材使用方式索引、素材使用场合索引相关联；

预置一个语义分析模块3，用来语义分析和根据语义分析计算出所需选用的视频单元和音频单元，并生成拼接指令；

预置一个实时拼接模块4，用来将选用的视频单元和音频单元拼接成音视频片段；

语义分析模块3对输入进行语义分析，计算出应该由视频素材库1中的哪些视频单元以哪种方式拼接成对应视频，计算出应该由音频素材库2中哪些音频单元以哪种方式拼接成对应的音频，并生成相应的指令发送给实时拼接模块4进行对应的处理；实时拼接模块4根椐语义分析模块的指令，从视频素材库1和音频素材库2中调取对应的视频单元和音频单元，并按指令要求，进行画面拼接和声音合成，形成完整的音视频片段，提供给播放装置播放。

以下例举一个具体例来说明本发明的一种基于实时对话语义分析的视频实时拼接装置及其方法。

某展厅，每个参观者发一个智能手机，影片的开始画面由实时拼接模块4将说话和闭口等待的视频片段按比例拼接，音频素材由声音生成工具生成语音，询问参观者想了解什么内容，想花多长时间了解，参观者在手机上做出选择，可用语音输入、文字输入、按键输入多种方式，语义分析模块3分析用户的输入，统计用户的选择，将结果发送给实时拼接模块4，实时拼接模块4根据用户的选择拼接出合适的影片进行播放，这样就可以根据用户的提问，准确的以影片的方式回答用户的问题，让影片素材发挥更大的互动作用。

上述实施例仅用来进一步说明本发明的一种基于实时对话语义分析的视频实时拼接装置及其方法，但本发明并不局限于实施例，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均落入本发明技术方案的保护范围内。

Claims (6)

1.一种基于实时对话语义分析的视频实时拼接装置，其特征在于：包括：

视频素材库，该素材库存储有按预置的方式形成的多段视频单元，且每个视频单元都与能够被语义分析模块读取的素材内容索引、素材使用方式索引、素材使用场合索引相关联；

音频素材库，该素材库存储有按预置的方式形成的多段音频单元，且每个音频单元都与能够被语义分析模块读取的素材内容索引、素材使用方式索引、素材使用场合索引相关联；

至少一个的输入装置，该输入装置用来实现身份识别，以及实现语音或者文字的输入；

语义分析模块，该模块对输入进行语义分析，计算出应该由视频素材库中的哪些视频单元应以哪种方式拼接成对应视频，计算出应该由音频素材库中哪些音频单元应以哪种方式拼接成对应的音频，并生成相应的指令发送给实时拼接模块进行对应的处理；

实时拼接模块，该模块根椐语义分析模块的指令，从视频素材库和音频素材库中调取对应的视频单元和音频单元，并按指令要求，进行画面拼接和声音合成，形成完整的音视频片段，供播放装置播放。

2.根据权利要求1所述的基于实时对话语义分析的视频实时拼接装置，其特征在于：所述实时拼接模块至少包括画面拼接子模块、画面融合子模块、画面剪裁子模块和声音合成子模块，分别用来实现画面的拼接、融合、剪裁和声音合成。

3.根据权利要求1所述的基于实时对话语义分析的视频实时拼接装置，其特征在于：所述的音频素材库还包括声音生成子模块；所述的视频素材库还包括视频生成子模块。

4.根据权利要求1所述的基于实时对话语义分析的视频实时拼接装置，其特征在于：所述输入装置包括身份识别模块，所述身份识别模块包括下列中的一种或二种及二种以上的组合：

生物信息识别模块；

动作信息识别模块；

数字信息识别模块。

5.根据权利要求1所述的基于实时对话语义分析的视频实时拼接装置，其特征在于：所述输入装置包括语音采集模块，用来实现对语音信息输入的采集。

6.一种基于实时对话语义分析的视频实时拼接方法，其特征在于：包括：

预置一个视频素材库，该素材库存储有按预置的方式形成的多段视频单元，且每个视频单元都与能够被语义分析模块读取的素材内容索引、素材使用方式索引、素材使用场合索引相关联；

预置一个音频素材库，该素材库存储有按预置的方式形成的多段音频单元，且每个音频单元都与能够被语义分析模块读取的素材内容索引、素材使用方式索引、素材使用场合索引相关联；

预置一个语义分析模块，用来语义分析和根据语义分析计算出所需选用的视频单元和音频单元，并生成拼接指令；

预置一个实时拼接模块，用来将选用的视频单元和音频单元拼接成音视频片段；

语义分析模块对输入进行语义分析，计算出应该由视频素材库中的哪些视频单元以哪种方式拼接成对应视频，计算出应该由音频素材库中哪些音频单元以哪种方式拼接成对应的音频，并生成相应的指令发送给实时拼接模块进行对应的处理；实时拼接模块根椐语义分析模块的指令，从视频素材库和音频素材库中调取对应的视频单元和音频单元，并按指令要求，进行画面拼接和声音合成，形成完整的音视频片段，提供给播放装置播放。