CN114637867A - 视频特效配置方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请实施例涉及视频处理技术领域，公开了一种视频特效配置方法、装置、电子设备和存储介质，该方法包括：对从视频中截取的基准图像进行分割，得到若干目标区域图像，目标区域图像至少包括屋顶区域图像、墙体区域图像和门窗区域图像；提取目标区域图像的特征，将各目标区域图像的特征输入至预训练的建筑分类模型，确定所述建筑物的类型，建筑物的类型至少包括古代建筑、乡村建筑和现代城市建筑；根据建筑物的类型、建筑物对应的地理位置和预设的特效素材库，生成与视频对应的特效推荐列表，从而为视频添加更符合视频内容本身的特效，提升了视频的趣味性和艺术性，同时提升观看视频的用户和自媒体从业者双方的使用体验。

Description

视频特效配置方法、装置、电子设备和存储介质

技术领域

本申请实施例涉及视频处理技术领域，特别涉及一种视频特效配置方法、装置、电子设备和存储介质。

背景技术

随着互联网技术的普及与发展，网民不断增加，越来越多的网民愿意在自媒体平台上分享自己的日常瞬间、旅行摄影、人生感悟等，自媒体平台的私人化、平民化、普泛化、自主化的特性也催生了大量的自媒体从业者，自媒体从业者在自媒体平台上发布自己创作的内容，以达到推广、引流、盈利的目的，自媒体内容的主要表现形式有文字、图片、音频、视频等，随着用户对简单、快捷、碎片化娱乐的需求，直播、短视频形式的自媒体内容迎来了广阔的市场和超高速的发展。

自媒体从业者在自媒体平台发布视频内容时，为了提升视频的点击率、趣味性、艺术性，会在视频中添加贴图、配乐、滤镜、艺术字等特效，但专业性不是很强的自媒体从业者往往会选用自媒体平台预设的特效，以配乐特效为例，自媒体平台预设的配乐特效基本是近期流行的口水歌，这样不合理、单调、与视频内容严重不协调的特效不但无法吸引用户观看，反而会招致用户的反感，用户很可能不会再继续关注该自媒体从业者发布的内容。

发明内容

本申请实施例的目的在于提供一种视频特效配置方法、装置、电子设备和存储介质，可以为视频添加更符合视频内容本身的特效，提升了视频的趣味性和艺术性，同时提升观看视频的用户和自媒体从业者双方的使用体验。

为解决上述技术问题，本申请的实施例提供了一种视频特效配置方法，包括以下步骤：对从视频中截取的基准图像进行分割，得到若干目标区域图像；其中，所述基准图像包含完整的建筑物，所述目标区域图像至少包括屋顶区域图像、墙体区域图像和门窗区域图像；提取所述目标区域图像的特征，将各所述目标区域图像的特征输入至预训练的建筑分类模型，确定所述建筑物的类型；其中，所述特征至少包括屋顶特征、墙体特征和门窗特征，所述建筑物的类型至少包括古代建筑、乡村建筑和现代城市建筑；根据所述建筑物的类型、所述建筑物对应的地理位置和预设的特效素材库，生成与所述视频对应的特效推荐列表。

本申请的实施例还提供了一种视频特效配置装置，包括：定位模块，用于从视频中截取基准图像，所述基准图像包含完整的建筑物；特征提取模块，用于对所述基准图像进行分割，得到若干目标区域图像，并提取所述目标区域图像的特征，其中，所述目标区域图像至少包括屋顶区域图像、墙体区域图像和门窗区域图像，所述特征至少包括屋顶特征、墙体特征和门窗特征；分类模块，用于将各所述目标区域图像的特征输入至预训练的建筑分类模型，确定所述建筑物的类型，其中，所述建筑物的类型至少包括古代建筑、乡村建筑和现代城市建筑；执行模块，用于根据所述建筑物的类型、所述建筑物对应的地理位置和预设的特效素材库，生成与所述视频对应的特效推荐列表。

本申请的实施例还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述视频特效配置方法。

本申请的实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述视频特效配置方法。

本申请的实施例提供的视频特效配置方法、装置、电子设备和存储介质，服务器对从视频中截取的包含完整的建筑物的基准图像进行分割，得到包括建筑物的屋顶区域图像、墙体区域图像和门窗区域图像在内的若干目标区域图像，随后提取目标区域图像的特征，将各目标区域图像的特征输入至预训练的建筑分类模型，确定建筑物的类型；各目标区域图像的特征至少包括屋顶特征、墙体特征和门窗特征，建筑物的类型至少包括古代建筑、乡村建筑和现代城市建筑，服务器确定建筑物的类型后，根据建筑物的类型、建筑物对应的地理位置和预设的特效素材库，生成与视频对应的特效推荐列表，考虑到自媒体从业者选择将自媒体平台预设的特效配置到创作的视频中时，自媒体平台预设的特效很单一、只符合近期的流行内容，与视频内容关系不大，添加了这样的特效的视频不但无法吸引用户观看，反而会招致用户的反感，而本申请的实施例以视频内容为配置特效的基础，通过检测视频中的建筑物的屋顶特征、墙体特征和门窗特征等，来确定视频中的建筑物的类型，从而结合建筑物的类型以及建筑物对应的地理位置，为自媒体从业者私人定制更符合视频内容本身的特效，提升了视频的趣味性和艺术性，同时提升观看视频的用户和自媒体从业者双方的使用体验。

另外，若所述目标区域图像为所述屋顶区域图像，则所述提取所述目标区域图像的特征，包括：根据所述屋顶区域图像中屋脊的数量、屋脊的弧度和各所述屋脊之间的位置关系，确定所述屋顶区域图像的屋脊特征；根据所述屋顶区域图像中屋檐的装饰物，确定所述屋顶区域图像的屋檐特征；根据所述屋顶区域图像中坡面瓦的颜色，确定所述屋顶区域图像的屋顶颜色特征；对所述屋脊特征、所述屋檐特征和所述屋顶颜色特征进行聚合，得到所述屋顶特征，对于建筑物来说，屋顶部分的特征有很多，比如屋脊的排布类型、是否有宝顶、是否有山墙、屋檐是什么样式，雕刻的是什么花纹、铺的是什么瓦等等，而本申请的目的是确定建筑物是古代建筑、乡村建筑、还是现代城市建筑，无需精细地、广泛地确定屋顶部分的每个特征，而屋檐的数量、弧度、各屋檐之间相对位置关系、屋檐的装饰物、坡面瓦的颜色等都比较容易被机器识别出来，并且这些因素可以很好地表征建筑物的类型，服务器基于这些因素可以准确、快速地提取出屋顶特征，从而提升特效配置的速度和效率。

另外，若所述目标区域图像为所述墙体区域图像，则所述提取所述目标区域图像的特征，包括：根据所述墙体区域图像中墙体的颜色、墙体的材质和墙体中子区域的划分方式，确定所述墙体特征；其中，所述墙体的材质包括木质墙体、砖混墙体、混凝土墙体和玻璃墙体，对于建筑物的墙体来说，墙体的材质和颜色可以很好地反映建筑物的风格，并且这些因素很容易被机器识别，而某些仿古建筑、仿西式建筑虽然使用混凝土一体式外墙，但是通过标线、划线的方式伪装成砖混结构、木质结构，因此本申请在提取墙体区域特征时还考虑墙体中子区域的划分方式，能够很好地提升提取出的墙体特征的准确性。

另外，若所述目标区域图像为所述门窗区域图像，则所述提取所述目标区域图像的特征，包括：根据所述门窗区域图像中门的数量、门的形状和门上的装饰物，确定所述门窗区域图像的门的特征；根据所述门窗区域图像中窗户的数量、窗户的形状、窗户的材质和各窗户之间的位置关系，确定所述门窗区域图像的窗户的特征；其中，所述窗户的材质包括玻璃窗户和窗户纸；根据所述门的特征、所述窗户的特征和所述门与各所述窗户之间的位置关系，确定所述门窗特征，对于某些仿古建筑来说，为了确保安全性，通常会安装刷了仿古漆的现代化的门，并且将古代建筑中窗户上糊的窗户纸替换为现代的玻璃窗户，虽然是用现代技术但其本质上还是古代建筑，如果分开检测门窗或只检测门窗材质的话，容易错误地对建筑物分类，因此本申请综合考虑门窗数量、门窗形状、门上的装饰物、窗户的形状、以及门窗之间的相对位置关系等容易被机器识别的因素，从而确定门窗特征，可以提升后续建筑物的类型确定的准确性，从而使得生成的特效推荐列表更符合视频的内容。

另外，所述建筑物对应的地理位置，通过以下方式确定：在对从视频中截取的基准图像进行分割之前，获取拍摄所述视频的设备在拍摄所述视频时的拍摄位置坐标，将所述拍摄位置坐标作为所述建筑物对应的地理位置；或者，在所述提取所述目标区域图像的特征之后，在所述根据所述建筑物的类型、所述建筑物对应的地理位置和预设的特效素材库，生成与所述视频对应的特效推荐列表之前，将各所述目标区域图像的特征输入至预训练的地理位置估计模型，确定所述建筑物对应的地理位置，由于仿古建筑的原因，建筑物所在的位置坐标并不一定符合建筑物对应的地理位置，比如在横店仿制的明清紫禁城乾清宫，为该视频推荐横店所在位置对应的江南风格特效并不符合视频的内容，反而应该为视频推荐北京明清风格的特效，因此本申请可以根据建筑物的特征估计建筑物对应的地理位置，从而进一步提升视频特效配置的贴合度。

另外，所述建筑分类模型通过以下步骤训练：获取若干个标注有建筑物的类型标签的包含完整建筑物的样本图像，分别对若干个所述样本图像进行分割，得到各所述样本图像对应的样本目标区域图像；其中，所述样本目标区域图像包括样本屋顶区域图像、样本墙体区域图像和样本门窗区域图像，所述样本图像包括古代建筑样本图像、乡村建筑样本图像和现代城市建筑样本图像；遍历各所述样本图像，提取当前样本图像的对应的各样本目标区域图像的特征；根据各所述样本图像对应的各样本目标区域图像的特征、各所述样本图像标注的所述建筑物的类型标签和预设的损失函数，训练预设的深度学习网络至收敛，得到所述建筑分类模型，本申请对海量的古代建筑样本图像、乡村建筑样本图像和现代城市建筑样本图像进行分割，分割出各样本图像对应的样本目标区域图像，再提取特征进行训练，训练出的建筑分类模型性能稳定、分类效果好。

另外，在所述对从视频中截取的基准图像进行分割之前，还包括：获取所述视频中的第一目标帧，并截取所述第一目标帧得到第一候选图像；其中，所述第一候选图像包含完整的建筑物；以所述第一目标帧为起点向前获取连续的N个第二目标帧，并向后获取连续的M个第二目标帧；其中，所述N和所述M均为大于1的整数；分别截取N+M个所述第二目标帧得到N+M个第二候选图像；将所述第一候选图像和包含所述第一候选图像中的建筑物的第二候选图像，作为所述基准图像，由于拍摄角度、清晰度等原因，仅根据一张图像可能不能非常准确的对视频中的建筑物进行分类，因此本申请选取连续的基准图像进行检测分类，可以更准确地确定建筑物的类型，进而生成与视频内容更加贴合的特效推荐列表。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定。

图1是本申请的一个实施例的视频特效配置方法的流程图一；

图2是本申请的一个实施例中，提取屋顶特征的流程图；

图3是本申请的一个实施例中提供的一种建筑物的屋顶的示意图；

图4是本申请的一个实施例中，提取门窗特征的流程图；

图5是本申请的另一个实施例的视频特效配置方法的流程图二；

图6是本申请的一个实施例中，对建筑分类模型进行训练的流程图；

图7是本申请的一个实施例中，获取基准图像的流程图；

图8是本申请的另一个实施例的视频特效配置装置的示意图；

图9是本申请的另一个实施例的电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本申请的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。

本申请的一个实施例涉及一种视频特效配置方法，应用于电子设备，其中，电子设备可以为终端或服务器，本实施例以及以下各个实施例中电子设备以服务器为例进行说明，下面对本实施例的视频特效配置方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。

本实施例的视频特效配置方法的具体流程可以如图1所示，包括：

步骤101，对从视频中截取的基准图像进行分割，得到若干目标区域图像，目标区域图像至少包括屋顶区域图像、墙体区域图像和门窗区域图像。

在具体实现中，该视频为用户用手机或专业摄像机等设备拍摄的视频，服务器先获取视频中的目标帧，该目标帧可以是用户选定的，也可以是服务器自动确定的，视频的目标帧中包含完整的建筑物，服务器截取该目标帧得到基准图像，因此基准图像中也包含完整的建筑物，服务器对从视频中截取的基准图像进行分割，得到若干目标区域图像，目标区域图像至少包括屋顶区域图像、墙体区域图像和门窗区域图像。

在一个例子中，服务器可以使用预训练的目标区域分割模型，对从视频中截取的基准图像进行分割，服务器将基准图像输入值预训练的目标区域分割模型中，获得目标区域分割模型输出的包括屋顶区域图像、墙体区域图像和门窗区域图像在内的若干个目标区域图像，其中，目标区域分割模型可以是从互联网上下载的开源模型，也可以是基于海量的建筑样本图像训练得到的模型。

步骤102，提取目标区域图像的特征，将各目标区域图像的特征输入至预训练的建筑分类模型，确定建筑物的类型，建筑物的类型至少包括古代建筑、乡村建筑和现代城市建筑。

在具体实现中，服务器在得到若干目标区域图像后，可以分别提取目标区域图像的特征，并将提取到的各目标区域图像的特征输入至预训练的建筑分类模型中，获得建筑分类模型输出的基准图像中的建筑物的类型，由于目标区域图像至少包括屋顶区域图像、墙体区域图像和门窗区域图像，所以服务器提取到的特征包括屋顶特征、墙体特征和门窗特征。

在一个例子中，服务器可以根据实际需要选择建筑分类模型，不同建筑分类模型的分类标准不同，比如一个建筑分类模型可以将建筑物分类为古代建筑、乡村建筑和现代城市建筑，而另一个建筑分类模型可以将建筑物分类为西式建筑和中式建筑等。

在一个例子中，服务器可以基于预设的特征提取算法提取目标区域图像的特征，预设的特征提取算法如方向梯度直方图算法（Histogram of Oriented Gradient，简称：HOG）、局部二值模式算法（Local Binary Pattern，简称：LBP）、Haar-like特征提取算法等。

在一个例子中，服务器在提取目标区域图像的特征时，可以先确定目标区域图像的类别，再根据目标区域图像的类别调用对应的特征提取算法，基于对应的特征提取算法提取目标区域图像的特征，比如，若目标区域图像为屋顶区域图像，则服务器调用适用于屋顶特征提取算法，从屋顶区域图像中提取到屋顶特征，若目标区域图像为门窗区域图像，则服务器调用适用于门窗特征提取算法，从门窗区域图像中提取到门窗特征。

步骤103，根据建筑物的类型、建筑物对应的地理位置和预设的特效素材库，生成与视频对应的特效推荐列表。

具体而言，服务器生成的特效推荐列表中包括推荐配乐、推荐滤镜、推荐艺术字、推荐贴图等。

在具体实现中，服务器在确定基准图像中建筑物的类型后，可以根据建筑物的类型、建筑物对应的地理位置和预设的特效素材库，生成与视频对应的特效推荐列表，其中，建筑物对应的地理位置可以是用户自行输入的，虽然本申请确定了建筑物的类型，但仅根据建筑物的类型不一定可以为视频添加合适的特效，比如乾清宫和木渎古镇都属于古代建筑，服务器可以为乾清宫和木渎古镇配置古风特效，如增加古典配乐、应用暖色滤镜等，但乾清宫和木渎古镇所属的文化派系差异很大，以配乐为例，为乾清宫对应的视频配明清宫廷礼乐更为合适，而为木渎古镇对应的视频配苏州评弹更为合适，如果将二者反过来则显得不伦不类，容易引起观看视频的用户的反感，因此本申请结合建筑物的类型和建筑物对应的地理位置两方面进行考虑，在预设的特效素材库中进行挑选生成符合视频内容的预设的特效素材库，可以有效提升视频的趣味性和艺术性。

在一个例子中，服务器确定建筑物的类型为现代城市建筑，建筑物对应的地理位置为广州，则服务器可以为该视频推荐粤语流行歌曲配乐、港风电影滤镜、中英双语电影式字体字幕等特效。

在一个例子中，服务器确定建筑物的类型为乡村建筑，建筑物对应的地理位置为黑龙江虎林，则服务器可以为该视频推荐二人转风格配乐、田园乡村滤镜、麻雀贴图、稻草人贴图等特效。

在一个例子中，服务器确定建筑物的类型为古代建筑，建筑物对应的地理位置为陕西西安，则服务器可以为该视频推荐“秦王破阵乐”等配乐、暖色滤镜、颜真卿字体字幕等特效。

本实施例，服务器对从视频中截取的包含完整的建筑物的基准图像进行分割，得到包括建筑物的屋顶区域图像、墙体区域图像和门窗区域图像在内的若干目标区域图像，随后提取目标区域图像的特征，将各目标区域图像的特征输入至预训练的建筑分类模型，确定建筑物的类型；各目标区域图像的特征至少包括屋顶特征、墙体特征和门窗特征，建筑物的类型至少包括古代建筑、乡村建筑和现代城市建筑，服务器确定建筑物的类型后，根据建筑物的类型、建筑物对应的地理位置和预设的特效素材库，生成与视频对应的特效推荐列表，考虑到自媒体从业者选择将自媒体平台预设的特效配置到创作的视频中时，自媒体平台预设的特效很单一、只符合近期的流行内容，与视频内容关系不大，添加了这样的特效的视频不但无法吸引用户观看，反而会招致用户的反感，而本申请的实施例以视频内容为配置特效的基础，通过检测视频中的建筑物的屋顶特征、墙体特征和门窗特征等，来确定视频中的建筑物的类型，从而结合建筑物的类型以及建筑物对应的地理位置，为自媒体从业者私人定制更符合视频内容本身的特效，提升了视频的趣味性和艺术性，同时提升观看视频的用户和自媒体从业者双方的使用体验。

在一个实施例中，当目标区域图像为屋顶区域图像，服务器可以通过如图2所示的各步骤，提取屋顶特征，具体如下：

步骤201，根据屋顶区域图像中屋脊的数量、屋脊的弧度和各屋脊之间的位置关系，确定屋顶区域图像的屋脊特征。

具体而言，服务器在从基准图像中分割出屋顶区域图像后，可以检测屋顶区域图像中的屋脊，确定屋顶区域图像中有无屋脊、屋脊的数量、屋脊的弧度、以及各屋脊之间的位置关系，从而组合成屋脊特征。

在具体实现中，屋脊通常是屋顶的重要组成部分，屋脊包括正脊、垂脊、围脊、角脊等，屋脊的数量、弧度、排布方式往往是区分不同类别、不同风格的建筑的关键因素，而屋脊的数量、弧度、排布方式很容易通过机器识别，因此本申请选择获取屋脊特征，将屋脊特征作为屋顶特征的重要组成部分。

在一个例子中，如图2所示，服务器没有在该屋顶区域图像中检测到正脊，而是检测到若干圆脊，服务器确定该屋顶区域图像的屋脊特征为没有正脊但有若干圆脊，实际上图2中的屋顶是典型的“卷棚顶”，常用于古代北方民居建筑。

在一个例子中，服务器在屋顶区域图像中检测到四条屋脊，平且四条均匀分布围着中间的一个平顶，服务器可以将检测到的这些特征作为该屋顶区域图像的屋脊特征，实际上，具有这样的屋脊的屋顶是典型的“盝顶”，常用于古代寺庙建筑。

步骤202，根据屋顶区域图像中屋檐的装饰物，确定屋顶区域图像的屋檐特征。

在具体实现中，屋檐的装饰物可以很好地表征建筑物的类型，比如古代宫廷建筑中屋檐的装饰物通常为龙，西式建筑中屋檐的装饰物通常为希腊诸神等，因此本申请选择获取屋檐特征，将屋檐特征作为屋顶特征的重要组成部分。

步骤203，根据屋顶区域图像中坡面瓦的颜色，确定屋顶区域图像的屋顶颜色特征。

在具体实现中，坡面瓦的颜色可以很好地表征建筑物的类型，比如古代建筑中有“金顶”、“红顶”建筑，而现代建筑一般都是灰色顶、青色顶，因此本申请选择获取屋顶颜色特征，将屋顶颜色特征作为屋顶特征的重要组成部分。

步骤204，对屋脊特征、屋檐特征和屋顶颜色特征进行聚合，得到屋顶特征。

在具体实现中，服务器在确定屋脊特征、屋檐特征和屋顶颜色特征后，可以对屋脊特征、屋檐特征和屋顶颜色特征进行聚合、组合，从而得到屋顶特征。

本实施例，考虑到对于建筑物来说，屋顶部分的特征有很多，比如屋脊的排布类型、是否有宝顶、是否有山墙、屋檐是什么样式，雕刻的是什么花纹、铺的是什么瓦等等，而本申请的目的是确定建筑物是古代建筑、乡村建筑、还是现代城市建筑，无需精细地、广泛地确定屋顶部分的每个特征，而屋檐的数量、弧度、各屋檐之间相对位置关系、屋檐的装饰物、坡面瓦的颜色等都比较容易被机器识别出来，并且这些因素可以很好地表征建筑物的类型，服务器基于这些因素可以准确、快速地提取出屋顶特征，从而提升特效配置的速度和效率。

在一个实施例中，若目标区域图像为墙体区域图像，服务器可以根据墙体区域图像中墙体的颜色、墙体的材质和墙体中子区域的划分方式，确定墙体特征。

具体而言，墙体的材质包括木质墙体、砖混墙体、混凝土墙体和玻璃墙体。

在具体实现中，对于墙体来说，墙体的材质和颜色可以很好地反映建筑物的风格，并且这些因素很容易被机器识别，一些乡村建筑使用木质墙体、茅草墙体等，一些现代建筑使用纯玻璃墙体，一些现代建筑使用混凝土一体墙，古代建筑大多使用砖混墙体，而某些仿古建筑、仿西式建筑虽然使用混凝土一体式外墙，但是通过标线、划线的方式伪装成砖混结构、木质结构，因此本申请在提取墙体区域特征时还考虑墙体中子区域的划分方式，能够很好地提升提取出的墙体特征的准确性。

在一个实施例中，若目标区域图像为门窗区域图像，则服务器可以通过如图4所示的个步骤提取门窗特征，具体如下：

步骤301，根据门窗区域图像中门的数量、门的形状和门上的装饰物，确定门窗区域图像的门的特征。

在具体实现中，门是建筑物的重要标识之一，比如古建筑多使用拱门，门上装有若干门钉，而现代城市建筑多使用转门、并排的玻璃门等，因此本申请选择获取门窗区域图像的门的特征，将门的特征作为门窗特征的重要组成部分。

步骤302，根据门窗区域图像中窗户的数量、窗户的形状、窗户的材质和各窗户之间的位置关系，确定门窗区域图像的窗户的特征。

具体而言，窗户的材质包括玻璃窗户和窗户纸。

在具体实现中，窗户更是建筑物的灵魂，尤其是窗户的材质，古代建筑一般糊窗户纸，而现代城市建筑大多使用明亮的玻璃窗，因此本申请选择获取门窗区域图像的窗户的特征，将窗户的特征作为门窗特征的重要组成部分。

步骤303，根据门的特征、窗户的特征、以及门与各窗户之间的位置关系，确定门窗特征。

在具体实现中，考虑到仿古建筑在施工时，为了确保安全性，通常会安装刷了仿古漆的现代化的门，并且将古代建筑中窗户上糊的窗户纸替换为现代的玻璃窗户，如果分开检测门窗或者只检测门窗材质的话，容易错误地对建筑物分类，因此本申请综合考虑门窗数量、门窗形状、门上的装饰物、窗户的形状、以及门窗之间的相对位置关系等容易被机器识别的因素，综合性地确定门窗特征，可以提升后续建筑物的类型确定的准确性，从而使得生成的特效推荐列表更符合视频的内容。

本申请的另一个实施例涉及一种视频特效配置方法，下面对本实施例的视频特效配置方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须，本实施例的视频特效配置方法的具体流程可以如图5所示，包括：

步骤401，对从视频中截取的基准图像进行分割，得到若干目标区域图像，目标区域图像至少包括屋顶区域图像、墙体区域图像和门窗区域图像。

步骤402，提取目标区域图像的特征，将各目标区域图像的特征输入至预训练的建筑分类模型，确定建筑物的类型，建筑物的类型至少包括古代建筑、乡村建筑、以及现代城市建筑。

其中，步骤401至步骤402与步骤101至步骤102大致相同，此处不再赘述。

步骤403，将各目标区域图像的特征输入至预训练的地理位置估计模型，确定建筑物对应的地理位置。

在具体实现中，考虑到仿古建筑所在的位置坐标并不一定符合该建筑物对应的地理位置，比如在横店仿制的明清紫禁城乾清宫，为该视频推荐横店所在位置对应的江南风格特效并不符合视频的内容，反而应该为视频推荐北京明清风格的特效，因此本申请可以根据建筑物的特征估计建筑物对应的地理位置，从而进一步提升视频特效配置的贴合度。

步骤404，根据建筑物的类型、建筑物对应的地理位置和预设的特效素材库，生成与视频对应的特效推荐列表。

其中，步骤404与步骤103大致相同，此处不再赘述。

在一个例子中，建筑物对应的地理位置也可以由服务器在对从视频中截取的基准图像进行分割之前，获取拍摄所该视频的设备在拍摄该视频时的拍摄位置坐标，将获取到的拍摄位置坐标作为建筑物对应的地理位置。

在一个实施例中，服务器通过如图6所示的各步骤对建筑分类模型进行训练，具体包括：

步骤501，获取若干个标注有建筑物的类型标签的包含完整建筑物的样本图像，分别对若干个样本图像进行分割，得到各样本图像对应的样本目标区域图像。

步骤502，遍历各样本图像，提取当前样本图像对应的各样本目标区域图像的特征。

步骤503，根据各样本图像对应的各样本目标区域图像的特征、各样本图像标注的建筑物的类型标签和预设的损失函数，训练预设的深度学习网络至收敛，得到建筑分类模型。

在具体实现中，服务器对海量的古代建筑样本图像、乡村建筑样本图像和现代城市建筑样本图像进行分割，分割出各样本图像对应的样本目标区域图像，再提取特征进行训练，训练出的建筑分类模型性能稳定、分类效果好。

在一个实施例中，服务器可以通过如图7所示的各步骤获取基准图像，具体包括：

步骤601，获取视频中的第一目标帧，并截取第一目标帧得到第一候选图像，第一候选图像包含完整的建筑物。

在具体实现中，服务器可以获取用户输入的第一目标帧，视频的第一目标帧中包含完整的建筑物，服务器截取视频的第一目标帧得到第一候选图像，因此第一候选图像也包含完整的建筑物。

步骤602，以第一目标帧为起点向前获取连续的N个第二目标帧，并向后获取连续的M个第二目标帧。

步骤603，分别截取N+M个第二目标帧得到N+M个第二候选图像。

在具体实现中，服务器可以以第一目标帧为起点向前获取连续的N个第二目标帧，并向后获取连续的M个第二目标帧，其中，N和M均为大于0的整数，N和M可以相等，服务器获取到总共N+M个第二目标帧后，可以分别从视频中截取这N+M个第二目标帧，从而得到N+M个第二候选图像。

步骤604，将第一候选图像和包含第一候选图像中的建筑物的第二候选图像，作为基准图像。

具体而言，服务器获取到N+M个第二候选图像后，可以检测这N+M个第二候选图像是否包含建筑物，检测这N+M个第二候选图像中包含的建筑物是否与第一候选图像中包含的建筑物相同，服务器将第一候选图像和包含第一候选图像中的建筑物的第二候选图像，作为基准图像，以进行视频特效配置。

在具体实现中，考虑到由于拍摄角度、清晰度等原因，仅根据一张基准图像可能不能非常准确的对视频中的建筑物进行分类，因此本申请选取连续的基准图像进行检测分类，可以更准确地确定建筑物的类型，进而生成与视频内容更加贴合的特效推荐列表。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本申请的另一个实施例涉及一种视频特效配置装置，下面对本实施例的视频特效配置装置的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须，本实施例的视频特效配置装置的示意图可以如图8所示，包括：

定位模块701，用于从视频中截取基准图像，基准图像包含完整的建筑物。

特征提取模块702，用于对基准图像进行分割，得到若干目标区域图像，并提取目标区域图像的特征，其中，目标区域图像至少包括屋顶区域图像、墙体区域图像和门窗区域图像，特征至少包括屋顶特征、墙体特征和门窗特征。

分类模块703，用于将各目标区域图像的特征输入至预训练的建筑分类模型，确定建筑物的类型，其中，建筑物的类型至少包括古代建筑、乡村建筑和现代城市建筑。

执行模块704，用于根据建筑物的类型、建筑物对应的地理位置和预设的特效素材库，生成与视频对应的特效推荐列表。

值得一提的是，本实施例中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本申请的创新部分，本实施例中并没有将与解决本申请所提出的技术问题关系不太密切的单元引入，但这并不表明本实施例中不存在其它的单元。

本申请另一个实施例涉及一种电子设备，如图9所示，包括：至少一个处理器801；以及，与所述至少一个处理器801通信连接的存储器802；其中，所述存储器802存储有可被所述至少一个处理器801执行的指令，所述指令被所述至少一个处理器801执行，以使所述至少一个处理器801能够执行上述各实施例中的视频特效配置方法。

其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。

处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，***接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。

本申请另一个实施例涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-OnlyMemory ，简称：ROM）、随机存取存储器（Random Access Memory，简称：RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施例是实现本申请的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。

Claims (10)

1.一种视频特效配置方法，其特征在于，包括：

对从视频中截取的基准图像进行分割，得到若干目标区域图像；其中，所述基准图像包含完整的建筑物，所述目标区域图像至少包括屋顶区域图像、墙体区域图像和门窗区域图像；

提取所述目标区域图像的特征，将各所述目标区域图像的特征输入至预训练的建筑分类模型，确定所述建筑物的类型；其中，所述特征至少包括屋顶特征、墙体特征和门窗特征，所述建筑物的类型至少包括古代建筑、乡村建筑和现代城市建筑；

根据所述建筑物的类型、所述建筑物对应的地理位置和预设的特效素材库，生成与所述视频对应的特效推荐列表。

2.根据权利要求1所述的视频特效配置方法，其特征在于，若所述目标区域图像为所述屋顶区域图像，则所述提取所述目标区域图像的特征，包括：

根据所述屋顶区域图像中屋脊的数量、屋脊的弧度和各所述屋脊之间的位置关系，确定所述屋顶区域图像的屋脊特征；

根据所述屋顶区域图像中屋檐的装饰物，确定所述屋顶区域图像的屋檐特征；

根据所述屋顶区域图像中坡面瓦的颜色，确定所述屋顶区域图像的屋顶颜色特征；

对所述屋脊特征、所述屋檐特征和所述屋顶颜色特征进行聚合，得到所述屋顶特征。

3.根据权利要求1所述的视频特效配置方法，其特征在于，若所述目标区域图像为所述墙体区域图像，则所述提取所述目标区域图像的特征，包括：

根据所述墙体区域图像中墙体的颜色、墙体的材质和墙体中子区域的划分方式，确定所述墙体特征；其中，所述墙体的材质包括木质墙体、砖混墙体、混凝土墙体和玻璃墙体。

4.根据权利要求1所述的视频特效配置方法，其特征在于，若所述目标区域图像为所述门窗区域图像，则所述提取所述目标区域图像的特征，包括：

根据所述门窗区域图像中门的数量、门的形状和门上的装饰物，确定所述门窗区域图像的门的特征；

根据所述门窗区域图像中窗户的数量、窗户的形状、窗户的材质和各窗户之间的位置关系，确定所述门窗区域图像的窗户的特征；其中，所述窗户的材质包括玻璃窗户和窗户纸；

根据所述门的特征、所述窗户的特征和所述门与各所述窗户之间的位置关系，确定所述门窗特征。

5.根据权利要求1至权利要求4中任一项所述的视频特效配置方法，其特征在于，所述建筑物对应的地理位置，通过以下方式确定：

在对从视频中截取的基准图像进行分割之前，获取拍摄所述视频的设备在拍摄所述视频时的拍摄位置坐标，将所述拍摄位置坐标作为所述建筑物对应的地理位置；

或者，在所述提取所述目标区域图像的特征之后，所述根据所述建筑物的类型、所述建筑物对应的地理位置和预设的特效素材库，生成与所述视频对应的特效推荐列表之前，将各所述目标区域图像的特征输入至预训练的地理位置估计模型，确定所述建筑物对应的地理位置。

6.根据权利要求1至权利要求4中任一项所述的视频特效配置方法，其特征在于，所述建筑分类模型通过以下步骤训练：

获取若干个标注有建筑物的类型标签的包含完整建筑物的样本图像，分别对若干个所述样本图像进行分割，得到各所述样本图像对应的样本目标区域图像；其中，所述样本目标区域图像包括样本屋顶区域图像、样本墙体区域图像和样本门窗区域图像，所述样本图像包括古代建筑样本图像、乡村建筑样本图像和现代城市建筑样本图像；

遍历各所述样本图像，提取当前样本图像的对应的各样本目标区域图像的特征；

根据各所述样本图像对应的各样本目标区域图像的特征、各所述样本图像标注的所述建筑物的类型标签和预设的损失函数，训练预设的深度学习网络至收敛，得到所述建筑分类模型。

7.根据权利要求1至权利要求4中任一项所述的视频特效配置方法，其特征在于，在所述对从视频中截取的基准图像进行分割之前，还包括：

获取所述视频中的第一目标帧，并截取所述第一目标帧得到第一候选图像；其中，所述第一候选图像包含完整的建筑物；

以所述第一目标帧为起点向前获取连续的N个第二目标帧，并向后获取连续的M个第二目标帧；其中，所述N和所述M均为大于1的整数；

分别截取N+M个所述第二目标帧得到N+M个第二候选图像；

将所述第一候选图像和包含所述第一候选图像中的建筑物的第二候选图像，作为所述基准图像。

8.一种视频特效配置装置，其特征在于，包括：

定位模块，用于从视频中截取基准图像，所述基准图像包含完整的建筑物；

特征提取模块，用于对所述基准图像进行分割，得到若干目标区域图像，并提取所述目标区域图像的特征，其中，所述目标区域图像至少包括屋顶区域图像、墙体区域图像和门窗区域图像，所述特征至少包括屋顶特征、墙体特征和门窗特征；

分类模块，用于将各所述目标区域图像的特征输入至预训练的建筑分类模型，确定所述建筑物的类型，其中，所述建筑物的类型至少包括古代建筑、乡村建筑和现代城市建筑；

执行模块，用于根据所述建筑物的类型、所述建筑物对应的地理位置和预设的特效素材库，生成与所述视频对应的特效推荐列表。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至权利要求7中任一所述的视频特效配置方法。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至权利要求7中任一项所述的视频特效配置方法。

Images