CN113490027A - 一种短视频制作生成处理方法、设备及计算机存储介质 - Google Patents

一种短视频制作生成处理方法、设备及计算机存储介质 Download PDF

Info

Publication number
CN113490027A
CN113490027A CN202110766814.6A CN202110766814A CN113490027A CN 113490027 A CN113490027 A CN 113490027A CN 202110766814 A CN202110766814 A CN 202110766814A CN 113490027 A CN113490027 A CN 113490027A
Authority
CN
China
Prior art keywords
video
sub
segment
short
short video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110766814.6A
Other languages
English (en)
Inventor
孔祥兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Yirong Xinke Technology Co ltd
Original Assignee
Wuhan Yirong Xinke Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Yirong Xinke Technology Co ltd filed Critical Wuhan Yirong Xinke Technology Co ltd
Priority to CN202110766814.6A priority Critical patent/CN113490027A/zh
Publication of CN113490027A publication Critical patent/CN113490027A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Circuits (AREA)

Abstract

本发明公开一种短视频制作生成处理方法、设备及计算机存储介质，通过获取短视频素材内各段子视频中各视频帧图像的前景和背景图像，并检测短视频素材内各段子视频中各视频帧图像的前景和背景图像对比度，分析短视频素材内各段子视频的综合图像对比度，计算短视频素材内各段子视频中字幕对比度，同时识别和审核短视频素材内各段子视频中文本信息，获取短视频素材内各段子视频中音频出现和音频消失时间，计算短视频素材内各段子视频中字幕出现速度，并将短视频素材内各段子视频中文本信息进行对应的字幕对比度设置和对应出现时间段内对应字幕出现速度的调整处理，从而提高短视频的整体观看质量，满足人们的多样化观看需求。

Description

一种短视频制作生成处理方法、设备及计算机存储介质
技术领域
本发明涉及短视频制作生成技术领域，涉及到一种短视频制作生成处理方法、设备及计算机存储介质。
背景技术
随着移动终端的不断普及和网络访问速度的加快，短视频因其短平快、大流量等特点，逐渐获得用户的青睐。人们在短视频制作过程中，喜欢对短视频进行生成编辑处理，这样能够大大地丰富短视频内容。
目前，现有的短视频制作生成处理技术存在如下缺陷：
1、现有的短视频制作生成处理方法大部分通过人工手动为短视频添加字幕，这样不仅导致短视频制作生成处理的智能化程度降低，而且存在短视频的播放音频与字幕不匹配的问题，从而使得短视频的正常观看效果受到影响，进而降低人们对短视频的观看体验感和兴趣感；
2、现有的短视频制作生成处理方法根据人工制作经验设置字幕对比度，无法根据短视频的图像对比度进行智能设置，存在短视频字幕与图像对比度差异不明显的问题，导致短视频的整体观看质量降低，从而无法满足人们的多样化观看需求；
为了解决以上问题，现设计一种短视频制作生成处理方法、设备及计算机存储介质。
发明内容
本发明的目的在于提供一种短视频制作生成处理方法、设备及计算机存储介质，本发明通过将短视频素材划分成各段子视频，获取短视频素材内各段子视频中各视频帧图像的前景图像和背景图像，并进行图像处理，同时检测短视频素材内各段子视频中各视频帧图像的前景和背景处理图像对比度，分析短视频素材内各段子视频的综合图像对比度，计算短视频素材内各段子视频中字幕对比度，同时识别和审核短视频素材内各段子视频中文本信息，获取短视频素材内各段子视频中音频出现时间和音频消失时间，计算短视频素材内各段子视频中字幕出现速度，并将短视频素材内各段子视频中文本信息进行对应的字幕对比度设置和对应出现时间段内对应字幕出现速度的调整处理，解决了背景技术中存在的问题。
本发明的目的可以通过以下技术方案实现：
一种短视频制作生成处理方法，包括以下步骤：
S1、短视频素材划分：通过将导入的短视频素材进行划分，按照设定的划分规则将短视频素材划分成各段子视频，并依次进行编号；
S2、视频帧图像分割：通过获取短视频素材内各段子视频中各视频帧图像，分别对短视频素材内各段子视频中各视频帧图像进行分割，得到短视频素材内各段子视频中各视频帧图像的前景图像和背景图像；
S3、视频帧图像处理：通过采用图像处理技术分别对短视频素材内各段子视频中各视频帧图像的前景图像和背景图像进行处理，得到短视频素材内各段子视频中各视频帧图像的前景处理图像和背景处理图像；
S4、图像对比度检测：通过分别检测短视频素材内各段子视频中各视频帧图像的前景处理图像对比度和背景处理图像对比度，分析短视频素材内各段子视频的综合图像对比度；
S5、字幕对比度分析：通过提取存储数据库中存储的短视频中视频图像与字幕的标准对比度比值，计算短视频素材内各段子视频中字幕对比度；
S6、视频音频信息识别：通过语音识别技术分别对短视频素材内各段子视频中音频信息进行识别，转换获得短视频素材内各段子视频中文本信息；
S7、文本信息审核：通过分别对短视频素材内各段子视频中文本信息进行语义关联审核和结构关联审核，若短视频素材内某段子视频中文本信息的语义关联或结构关联不符合，则通过人工对该段子视频中文本信息进行适当修正；
S8、音频出现、消失时间获取：通过获取短视频素材内各段子视频中音频出现时间和音频消失时间，统计短视频素材内各段子视频中文本信息出现的时间段，计算短视频素材内各段子视频中字幕出现速度；
S9、视频字幕设置处理：通过将短视频素材内各段子视频中文本信息按照对应的字幕对比度进行设置，并将短视频素材内各段子视频中文本信息在对应出现时间段内进行对应的字幕出现速度调整处理。
进一步地，所述步骤S1中通过按照视频语音停顿顺序将短视频素材划分成各段子视频，并按照视频播放先后顺序依次进行编号，其中短视频素材内各段子视频的编号分别为1,2,...,i,...,n。
进一步地，所述步骤S2中包括统计短视频素材内各段子视频中各视频帧图像的前景图像，构成短视频素材内各段子视频中各视频帧图像的前景图像集合PiA(pia1,pia2,...,piaj,...,piam)，piaj表示为短视频素材内第i段子视频中第j个视频帧图像的前景图像；同时统计短视频素材内各段子视频中各视频帧图像的背景图像，构成短视频素材内各段子视频中各视频帧图像的背景景图像集合PiB(pib1,pib2,...,pibj,...,pibm)，pibj表示为短视频素材内第i段子视频中第j个视频帧图像的背景图像。
进一步地，所述步骤S3中采用的图像处理技术包括分别对短视频素材内各段子视频中各视频帧图像的前景图像和背景图像进行几何归一化处理，变换为固定标准形式的各段子视频中各视频帧图像的前景图像和背景图像，并对变换后各段子视频中各视频帧图像的前景图像进行优化增强处理，对变换后各段子视频中各视频帧图像的背景图像进行虚化处理。
进一步地，所述步骤S4中包括以下步骤：
S41、对短视频素材内各段子视频中各视频帧图像的前景处理图像对比度进行检测，构成短视频素材内各段子视频中各视频帧图像的前景处理图像对比度集合kiA(kia1,kia2,...,kiaj,...,kiam)，kiaj表示为短视频素材内第i段子视频中第j个视频帧图像的前景处理图像对比度；
S42、并对短视频素材内各段子视频中各视频帧图像的背景处理图像对比度进行检测，构成短视频素材内各段子视频中各视频帧图像的背景处理图像对比度集合kiB(kib1,kib2,...,kibj,...,kibm)，kibj表示为短视频素材内第i段子视频中第j个视频帧图像的背景处理图像对比度；
S43、计算短视频素材内各段子视频的综合图像对比度
Figure BDA0003152038330000041
表示为短视频素材内第i段子视频的综合图像对比度，m表示为短视频素材内第i段子视频中视频帧图像数量，α、β分别表示为视频帧图像中前景图像、背景图像对应的权重比例系数，其中α+β＝1。
进一步地，所述短视频素材内各段子视频中字幕对比度计算公式为
Figure BDA0003152038330000042
k′i表示为短视频素材内第i段子视频中字幕对比度，λ标表示为短视频中视频图像与字幕的标准对比度比值。
进一步地，所述步骤S6中采用的语音识别技术包括以下步骤：
S61、对短视频素材内各段子视频中音频信息进行滤波、分帧预处理，除去冗余信息；
S62、提取各段子视频中音频信息内影响语音识别的关键信息和表达语音含义的特征信息；
S63、根据各段子视频中音频信息内特征信息，用最小单元识别字词，并根据各段子视频中音频信息对应的语法，按照先后顺序依次识别字词；
S64、按照语义分析将各段子视频中识别出的字词进行连接，同时根据语句意思调整句子构成，得到短视频素材内各段子视频中文本信息。
进一步地，所述步骤S8中包括以下步骤：
S81、获取短视频素材内各段子视频中音频出现时间，构成短视频素材内各段子视频中音频出现时间集合t(t1,t2,...,ti,...,tn)，ti表示为短视频素材内第i段子视频中音频出现时间；
S82、并获取短视频素材内各段子视频中音频消失时间，构成短视频素材内各段子视频中音频消失时间集合t′(t′1,t′2,...,t′i,...,t′n)，t′i表示为短视频素材内第i段子视频中音频消失时间；
S83、提取短视频素材内各段子视频中文本信息的字数，计算短视频素材内各段子视频中字幕出现速度
Figure BDA0003152038330000051
vi表示为短视频素材内第i段子视频中字幕出现速度，xi表示为短视频素材内第i段子视频中文本信息的字数。
一种设备，包括：处理器，以及与处理器连接的内存和网络接口；所述网络接口与服务器中的非易失性存储器连接；所述处理器在运行时通过所述网络接口从所述非易失性存储器中调取计算机程序，并通过所述内存运行所述计算机程序，以执行上述本发明所述的一种短视频制作生成处理方法。
一种计算机存储介质，所述计算机存储介质烧录有计算机程序，所述计算机程序在服务器的内存中运行时实现上述本发明所述的一种短视频制作生成处理方法。
有益效果：
(1)本发明提供的一种短视频制作生成处理方法、设备及计算机存储介质，通过将短视频素材划分成各段子视频，获取短视频素材内各段子视频中各视频帧图像的前景图像和背景图像，并进行图像处理，从而减少图像分析所需的时间以及任务量，同时检测短视频素材内各段子视频中各视频帧图像的前景和背景处理图像对比度，分析短视频素材内各段子视频的综合图像对比度，计算短视频素材内各段子视频中字幕对比度，并将短视频素材内各段子视频中文本信息进行对应的字幕对比度设置，从而实现短视频字幕对比度的智能设置功能，使得短视频字幕与图像对比度差异足够明显，提高短视频的整体观看质量，进而满足人们的多样化观看需求。
(2)本发明通过识别和审核短视频素材内各段子视频中文本信息，从而增加短视频中文本信息识别的准确性和可靠性，并获取短视频素材内各段子视频中音频出现时间和音频消失时间，计算短视频素材内各段子视频中字幕出现速度，并将短视频素材内各段子视频中文本信息进行对应出现时间段内对应字幕出现速度的调整处理，从而保证短视频的播放音频与字幕能够匹配，避免影响短视频的正常观看效果，进而提高短视频制作生成处理的智能化程度，增加人们对短视频的观看体验感和兴趣感。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1所示，一种短视频制作生成处理方法，包括以下步骤：
S1、短视频素材划分：通过将导入的短视频素材进行划分，按照设定的划分规则将短视频素材划分成各段子视频，并依次进行编号。
在本实施例中，所述步骤S1中通过按照视频语音停顿顺序将短视频素材划分成各段子视频，并按照视频播放先后顺序依次进行编号，其中短视频素材内各段子视频的编号分别为1,2,...,i,...,n，为后期分析短视频素材内各段子视频的相关数据奠定基础。
S2、视频帧图像分割：通过获取短视频素材内各段子视频中各视频帧图像，分别对短视频素材内各段子视频中各视频帧图像进行分割，得到短视频素材内各段子视频中各视频帧图像的前景图像和背景图像。
在本实施例中，所述步骤S2中包括统计短视频素材内各段子视频中各视频帧图像的前景图像，构成短视频素材内各段子视频中各视频帧图像的前景图像集合PiA(pia1,pia2,...,piaj,...,piam)，piaj表示为短视频素材内第i段子视频中第j个视频帧图像的前景图像；同时统计短视频素材内各段子视频中各视频帧图像的背景图像，构成短视频素材内各段子视频中各视频帧图像的背景景图像集合PiB(pib1,pib2,...,pibj,...,pibm)，pibj表示为短视频素材内第i段子视频中第j个视频帧图像的背景图像。
S3、视频帧图像处理：通过采用图像处理技术分别对短视频素材内各段子视频中各视频帧图像的前景图像和背景图像进行处理，得到短视频素材内各段子视频中各视频帧图像的前景处理图像和背景处理图像。
在本实施例中，所述步骤S3中采用的图像处理技术包括分别对短视频素材内各段子视频中各视频帧图像的前景图像和背景图像进行几何归一化处理，变换为固定标准形式的各段子视频中各视频帧图像的前景图像和背景图像，并对变换后各段子视频中各视频帧图像的前景图像进行优化增强处理，对变换后各段子视频中各视频帧图像的背景图像进行虚化处理。
具体地，本发明通过将短视频素材划分成各段子视频，获取短视频素材内各段子视频中各视频帧图像的前景图像和背景图像，并进行图像处理，从而减少图像分析所需的时间以及任务量。
S4、图像对比度检测：通过分别检测短视频素材内各段子视频中各视频帧图像的前景处理图像对比度和背景处理图像对比度，分析短视频素材内各段子视频的综合图像对比度。
在本实施例中，所述步骤S4中包括以下步骤：
S41、对短视频素材内各段子视频中各视频帧图像的前景处理图像对比度进行检测，构成短视频素材内各段子视频中各视频帧图像的前景处理图像对比度集合kiA(kia1,kia2,...,kiaj,...,kiam)，kiaj表示为短视频素材内第i段子视频中第j个视频帧图像的前景处理图像对比度；
S42、并对短视频素材内各段子视频中各视频帧图像的背景处理图像对比度进行检测，构成短视频素材内各段子视频中各视频帧图像的背景处理图像对比度集合kiB(kib1,kib2,...,kibj,...,kibm)，kibj表示为短视频素材内第i段子视频中第j个视频帧图像的背景处理图像对比度；
S43、计算短视频素材内各段子视频的综合图像对比度
Figure BDA0003152038330000091
表示为短视频素材内第i段子视频的综合图像对比度，m表示为短视频素材内第i段子视频中视频帧图像数量，α、β分别表示为视频帧图像中前景图像、背景图像对应的权重比例系数，其中α+β＝1。
S5、字幕对比度分析：通过提取存储数据库中存储的短视频中视频图像与字幕的标准对比度比值，计算短视频素材内各段子视频中字幕对比度。
在本实施例中，所述短视频素材内各段子视频中字幕对比度计算公式为
Figure BDA0003152038330000092
k′i表示为短视频素材内第i段子视频中字幕对比度，λ标表示为短视频中视频图像与字幕的标准对比度比值。
具体地，本发明通过检测短视频素材内各段子视频中各视频帧图像的前景和背景处理图像对比度，分析短视频素材内各段子视频的综合图像对比度，计算短视频素材内各段子视频中字幕对比度，从而使得短视频字幕与图像对比度差异足够明显，提高短视频的整体观看质量，进而满足人们的多样化观看需求，为后期对各段子视频中字幕对比度设置提供可靠的参考依据。
S6、视频音频信息识别：通过语音识别技术分别对短视频素材内各段子视频中音频信息进行识别，转换获得短视频素材内各段子视频中文本信息。
在本实施例中，所述步骤S6中采用的语音识别技术包括以下步骤：
S61、对短视频素材内各段子视频中音频信息进行滤波、分帧预处理，除去冗余信息；
S62、提取各段子视频中音频信息内影响语音识别的关键信息和表达语音含义的特征信息；
S63、根据各段子视频中音频信息内特征信息，用最小单元识别字词，并根据各段子视频中音频信息对应的语法，按照先后顺序依次识别字词；
S64、按照语义分析将各段子视频中识别出的字词进行连接，同时根据语句意思调整句子构成，得到短视频素材内各段子视频中文本信息。
S7、文本信息审核：通过分别对短视频素材内各段子视频中文本信息进行语义关联审核和结构关联审核，若短视频素材内某段子视频中文本信息的语义关联或结构关联不符合，则对该段子视频中文本信息进行适当修正。
在本实施例中，若短视频素材内某段子视频中文本信息的语义关联和结构关联均符合，表明该段子视频中文本信息审核通过，若短视频素材内某段子视频中文本信息的语义关联或结构关联不符合，表明该段子视频中文本信息审核不通过，则通过人工对该段子视频中文本信息进行适当修正。
具体地，本发明通过识别和审核短视频素材内各段子视频中文本信息，从而增加短视频中文本信息识别的准确性和可靠性。
S8、音频出现、消失时间获取：通过获取短视频素材内各段子视频中音频出现时间和音频消失时间，统计短视频素材内各段子视频中文本信息出现的时间段，计算短视频素材内各段子视频中字幕出现速度。
在本实施例中，所述步骤S8中包括以下步骤：
S81、获取短视频素材内各段子视频中音频出现时间，构成短视频素材内各段子视频中音频出现时间集合t(t1,t2,...,ti,...,tn)，ti表示为短视频素材内第i段子视频中音频出现时间；
S82、并获取短视频素材内各段子视频中音频消失时间，构成短视频素材内各段子视频中音频消失时间集合t′(t′1,t′2,...,t′i,...,t′n)，t′i表示为短视频素材内第i段子视频中音频消失时间；
S83、提取短视频素材内各段子视频中文本信息的字数，计算短视频素材内各段子视频中字幕出现速度
Figure BDA0003152038330000111
vi表示为短视频素材内第i段子视频中字幕出现速度，xi表示为短视频素材内第i段子视频中文本信息的字数。
具体地，本发明通过获取短视频素材内各段子视频中音频出现时间和音频消失时间，计算短视频素材内各段子视频中字幕出现速度，从而保证短视频的播放音频与字幕能够匹配，避免影响短视频的正常观看效果，为后期对各子视频中字幕调整处理提供可靠的参考依据。
S9、视频字幕设置处理：通过将短视频素材内各段子视频中文本信息按照对应的字幕对比度进行设置，并将短视频素材内各段子视频中文本信息在对应出现时间段内进行对应的字幕出现速度调整处理。
具体地，本发明通过将短视频素材内各段子视频中文本信息进行对应的字幕对比度设置，从而实现短视频字幕对比度的智能设置功能，并将短视频素材内各段子视频中文本信息进行对应出现时间段内对应字幕出现速度的调整处理，从而提高短视频制作生成处理的智能化程度，增加人们对短视频的观看体验感和兴趣感。
一种设备，包括：处理器，以及与处理器连接的内存和网络接口；所述网络接口与服务器中的非易失性存储器连接；所述处理器在运行时通过所述网络接口从所述非易失性存储器中调取计算机程序，并通过所述内存运行所述计算机程序，以执行上述本发明所述的一种短视频制作生成处理方法。
一种计算机存储介质，所述计算机存储介质烧录有计算机程序，所述计算机程序在服务器的内存中运行时实现上述本发明所述的一种短视频制作生成处理方法。
以上内容仅仅是对本发明的构思所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的构思或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (10)

1.一种短视频制作生成处理方法，其特征在于：包括以下步骤：
S1、短视频素材划分：通过将导入的短视频素材进行划分，按照设定的划分规则将短视频素材划分成各段子视频，并依次进行编号；
S2、视频帧图像分割：通过获取短视频素材内各段子视频中各视频帧图像，分别对短视频素材内各段子视频中各视频帧图像进行分割，得到短视频素材内各段子视频中各视频帧图像的前景图像和背景图像；
S3、视频帧图像处理：通过采用图像处理技术分别对短视频素材内各段子视频中各视频帧图像的前景图像和背景图像进行处理，得到短视频素材内各段子视频中各视频帧图像的前景处理图像和背景处理图像；
S4、图像对比度检测：通过分别检测短视频素材内各段子视频中各视频帧图像的前景处理图像对比度和背景处理图像对比度，分析短视频素材内各段子视频的综合图像对比度；
S5、字幕对比度分析：通过提取存储数据库中存储的短视频中视频图像与字幕的标准对比度比值，计算短视频素材内各段子视频中字幕对比度；
S6、视频音频信息识别：通过语音识别技术分别对短视频素材内各段子视频中音频信息进行识别，转换获得短视频素材内各段子视频中文本信息；
S7、文本信息审核：通过分别对短视频素材内各段子视频中文本信息进行语义关联审核和结构关联审核，若短视频素材内某段子视频中文本信息的语义关联或结构关联不符合，则通过人工对该段子视频中文本信息进行适当修正；
S8、音频出现、消失时间获取：通过获取短视频素材内各段子视频中音频出现时间和音频消失时间，统计短视频素材内各段子视频中文本信息出现的时间段，计算短视频素材内各段子视频中字幕出现速度；
S9、视频字幕设置处理：通过将短视频素材内各段子视频中文本信息按照对应的字幕对比度进行设置，并将短视频素材内各段子视频中文本信息在对应出现时间段内进行对应的字幕出现速度调整处理。
2.根据权利要求1所述的一种短视频制作生成处理方法，其特征在于：所述步骤S1中通过按照视频语音停顿顺序将短视频素材划分成各段子视频，并按照视频播放先后顺序依次进行编号，其中短视频素材内各段子视频的编号分别为1,2,...,i,...,n。
3.根据权利要求1所述的一种短视频制作生成处理方法，其特征在于：所述步骤S2中包括统计短视频素材内各段子视频中各视频帧图像的前景图像，构成短视频素材内各段子视频中各视频帧图像的前景图像集合PiA(pia1,pia2,...,piaj,...,piam)，piaj表示为短视频素材内第i段子视频中第j个视频帧图像的前景图像；同时统计短视频素材内各段子视频中各视频帧图像的背景图像，构成短视频素材内各段子视频中各视频帧图像的背景景图像集合PiB(pib1,pib2,...,pibj,...,pibm)，pibj表示为短视频素材内第i段子视频中第j个视频帧图像的背景图像。
4.根据权利要求1所述的一种短视频制作生成处理方法，其特征在于：所述步骤S3中采用的图像处理技术包括分别对短视频素材内各段子视频中各视频帧图像的前景图像和背景图像进行几何归一化处理，变换为固定标准形式的各段子视频中各视频帧图像的前景图像和背景图像，并对变换后各段子视频中各视频帧图像的前景图像进行优化增强处理，对变换后各段子视频中各视频帧图像的背景图像进行虚化处理。
5.根据权利要求1所述的一种短视频制作生成处理方法，其特征在于：所述步骤S4中包括以下步骤：
S41、对短视频素材内各段子视频中各视频帧图像的前景处理图像对比度进行检测，构成短视频素材内各段子视频中各视频帧图像的前景处理图像对比度集合kiA(kia1,kia2,...,kiaj,...,kiam)，kiaj表示为短视频素材内第i段子视频中第j个视频帧图像的前景处理图像对比度；
S42、并对短视频素材内各段子视频中各视频帧图像的背景处理图像对比度进行检测，构成短视频素材内各段子视频中各视频帧图像的背景处理图像对比度集合kiB(kib1,kib2,...,kibj,...,kibm)，kibj表示为短视频素材内第i段子视频中第j个视频帧图像的背景处理图像对比度；
S43、计算短视频素材内各段子视频的综合图像对比度
Figure FDA0003152038320000031
Figure FDA0003152038320000032
表示为短视频素材内第i段子视频的综合图像对比度，m表示为短视频素材内第i段子视频中视频帧图像数量，α、β分别表示为视频帧图像中前景图像、背景图像对应的权重比例系数，其中α+β＝1。
6.根据权利要求1所述的一种短视频制作生成处理方法，其特征在于：所述短视频素材内各段子视频中字幕对比度计算公式为
Figure FDA0003152038320000033
k′i表示为短视频素材内第i段子视频中字幕对比度，λ标表示为短视频中视频图像与字幕的标准对比度比值。
7.根据权利要求1所述的一种短视频制作生成处理方法，其特征在于：所述步骤S6中采用的语音识别技术包括以下步骤：
S61、对短视频素材内各段子视频中音频信息进行滤波、分帧预处理，除去冗余信息；
S62、提取各段子视频中音频信息内影响语音识别的关键信息和表达语音含义的特征信息；
S63、根据各段子视频中音频信息内特征信息，用最小单元识别字词，并根据各段子视频中音频信息对应的语法，按照先后顺序依次识别字词；
S64、按照语义分析将各段子视频中识别出的字词进行连接，同时根据语句意思调整句子构成，得到短视频素材内各段子视频中文本信息。
8.根据权利要求1所述的一种短视频制作生成处理方法，其特征在于：所述步骤S8中包括以下步骤：
S81、获取短视频素材内各段子视频中音频出现时间，构成短视频素材内各段子视频中音频出现时间集合t(t1,t2,...,ti,...,tn)，ti表示为短视频素材内第i段子视频中音频出现时间；
S82、并获取短视频素材内各段子视频中音频消失时间，构成短视频素材内各段子视频中音频消失时间集合t′(t′1,t′2,...,t′i,...,t′n)，t′i表示为短视频素材内第i段子视频中音频消失时间；
S83、提取短视频素材内各段子视频中文本信息的字数，计算短视频素材内各段子视频中字幕出现速度
Figure FDA0003152038320000041
vi表示为短视频素材内第i段子视频中字幕出现速度，xi表示为短视频素材内第i段子视频中文本信息的字数。
9.一种设备，其特征在于：包括：处理器，以及与处理器连接的内存和网络接口；所述网络接口与服务器中的非易失性存储器连接；所述处理器在运行时通过所述网络接口从所述非易失性存储器中调取计算机程序，并通过所述内存运行所述计算机程序，以执行上述权利要求1-8任一项所述的一种短视频制作生成处理方法。
10.一种计算机存储介质，其特征在于：所述计算机存储介质烧录有计算机程序，所述计算机程序在服务器的内存中运行时实现上述权利要求1-8任一项所述的一种短视频制作生成处理方法。
CN202110766814.6A 2021-07-07 2021-07-07 一种短视频制作生成处理方法、设备及计算机存储介质 Pending CN113490027A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110766814.6A CN113490027A (zh) 2021-07-07 2021-07-07 一种短视频制作生成处理方法、设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110766814.6A CN113490027A (zh) 2021-07-07 2021-07-07 一种短视频制作生成处理方法、设备及计算机存储介质

Publications (1)

Publication Number Publication Date
CN113490027A true CN113490027A (zh) 2021-10-08

Family

ID=77941740

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110766814.6A Pending CN113490027A (zh) 2021-07-07 2021-07-07 一种短视频制作生成处理方法、设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN113490027A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114466137A (zh) * 2022-01-11 2022-05-10 隗建华 一种短视频拍摄远程实时同步监控***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1879403A (zh) * 2003-11-10 2006-12-13 皇家飞利浦电子股份有限公司 基于周围的视频内容适配闭路字幕文字
CN101345820A (zh) * 2008-08-01 2009-01-14 中兴通讯股份有限公司 一种图像亮度的增强方法
CN102999901A (zh) * 2012-10-17 2013-03-27 中国科学院计算技术研究所 基于深度传感器的在线视频分割后的处理方法及***
US20130129206A1 (en) * 2011-05-31 2013-05-23 John W. Worthington Methods and Apparatus for Improved Display of Foreground Elements
US20140050355A1 (en) * 2012-08-20 2014-02-20 Behavioral Recognition Systems, Inc. Method and system for detecting sea-surface oil
CN107124561A (zh) * 2016-12-27 2017-09-01 福建新大陆自动识别技术有限公司 一种基于cmos的条码图像曝光调整***和方法
CN111986656A (zh) * 2020-08-31 2020-11-24 上海松鼠课堂人工智能科技有限公司 教学视频自动字幕处理方法与***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1879403A (zh) * 2003-11-10 2006-12-13 皇家飞利浦电子股份有限公司 基于周围的视频内容适配闭路字幕文字
CN101345820A (zh) * 2008-08-01 2009-01-14 中兴通讯股份有限公司 一种图像亮度的增强方法
US20130129206A1 (en) * 2011-05-31 2013-05-23 John W. Worthington Methods and Apparatus for Improved Display of Foreground Elements
US20140050355A1 (en) * 2012-08-20 2014-02-20 Behavioral Recognition Systems, Inc. Method and system for detecting sea-surface oil
CN102999901A (zh) * 2012-10-17 2013-03-27 中国科学院计算技术研究所 基于深度传感器的在线视频分割后的处理方法及***
CN107124561A (zh) * 2016-12-27 2017-09-01 福建新大陆自动识别技术有限公司 一种基于cmos的条码图像曝光调整***和方法
CN111986656A (zh) * 2020-08-31 2020-11-24 上海松鼠课堂人工智能科技有限公司 教学视频自动字幕处理方法与***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114466137A (zh) * 2022-01-11 2022-05-10 隗建华 一种短视频拍摄远程实时同步监控***
CN114466137B (zh) * 2022-01-11 2024-05-24 隗建华 一种短视频拍摄远程实时同步监控***

Similar Documents

Publication Publication Date Title
CN108766440B (zh) 说话人分离模型训练方法、两说话人分离方法及相关设备
Yang et al. LRW-1000: A naturally-distributed large-scale benchmark for lip reading in the wild
Chung et al. Spot the conversation: speaker diarisation in the wild
US10497382B2 (en) Associating faces with voices for speaker diarization within videos
US10304458B1 (en) Systems and methods for transcribing videos using speaker identification
CN109257547B (zh) 中文在线音视频的字幕生成方法
CN110222719B (zh) 一种基于多帧音视频融合网络的人物识别方法及***
CN111488487B (zh) 一种面向全媒体数据的广告检测方法及检测***
Chuang et al. Improved lite audio-visual speech enhancement
CN108615532B (zh) 一种应用于声场景的分类方法及装置
CN113490027A (zh) 一种短视频制作生成处理方法、设备及计算机存储介质
CN116708055B (zh) 智能多媒体视听图像处理方法、***及存储介质
CN116567351B (zh) 一种视频处理方法、装置、设备及介质
CN112466306B (zh) 会议纪要生成方法、装置、计算机设备及存储介质
JP7137825B2 (ja) 映像情報提供システム
Jitaru et al. Lrro: a lip reading data set for the under-resourced romanian language
CN114495946A (zh) 声纹聚类方法、电子设备和存储介质
CN111128190B (zh) 一种表情匹配的方法及***
CN113329190B (zh) 一种动漫设计视频制作分析管理方法、设备、***及计算机存储介质
Bendris et al. Talking faces indexing in TV-content
CN118248147A (zh) 基于自监督学习的视听语音识别方法、设备和存储介质
CN116229943B (zh) 一种对话式数据集的生成方法和装置
Lim et al. Dynamic Subtitle Authoring Method Based on Audio Analysis for the Hearing Impaired
CN115914742A (zh) 一种视频字幕的人物识别方法、装置、设备及存储介质
Ma et al. Pure Voice: Efficient Speech Separation with Audio-Visual Attention

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20211008