CN109379643B - 视频合成方法、装置、终端及存储介质 - Google Patents

视频合成方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN109379643B
CN109379643B CN201811392903.3A CN201811392903A CN109379643B CN 109379643 B CN109379643 B CN 109379643B CN 201811392903 A CN201811392903 A CN 201811392903A CN 109379643 B CN109379643 B CN 109379643B
Authority
CN
China
Prior art keywords
audio
video
clip
target
segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811392903.3A
Other languages
English (en)
Other versions
CN109379643A (zh
Inventor
郭劭泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Reach Best Technology Co Ltd
Original Assignee
Reach Best Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Reach Best Technology Co Ltd filed Critical Reach Best Technology Co Ltd
Priority to CN201811392903.3A priority Critical patent/CN109379643B/zh
Publication of CN109379643A publication Critical patent/CN109379643A/zh
Priority to US17/257,560 priority patent/US11551726B2/en
Priority to PCT/CN2019/106251 priority patent/WO2020103548A1/zh
Application granted granted Critical
Publication of CN109379643B publication Critical patent/CN109379643B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本公开是关于一种视频合成方法、装置、终端及存储介质，属于视频处理领域。所述方法包括：获取至少一个视频片段；根据所述至少一个视频片段的视频内容和片段数量，获取与所述视频内容适配的目标音频，所述目标音频的音频变化点的数量大于或等于所述片段数量减一，所述音频变化点是指音频中音频特征变化符合预设条件的时间点；根据所述目标音频中所包括的音频变化点，将所述至少一个视频片段与所述目标音频合成得到视频文件。本公开提供的这种将至少一个视频片段合成配有目标音频的视频合成方式，能够提高视频合成效率。

Description

视频合成方法、装置、终端及存储介质
技术领域
本公开涉及视频处理领域，尤其涉及一种视频合成方法、装置、终端及存储介质。
背景技术
随着互联网的发展，越来越多的用户喜欢在网络上发布视频，这些视频大多经过视频合成得到，如这些视频可以包含多个视频片段，且配有相应的背景音乐。
相关技术将多个视频片段合成配有背景音乐的视频，一般需要经过如下过程：用户在终端上选择多个视频片段，通过观看该多个视频片段的内容，选择一段与该内容适配的音乐作为背景音乐，然后利用终端上的视频合成应用，将该多个视频片段与背景音乐合成一个视频。
上述技术在视频合成过程中，用户往往需要尝试播放多首音乐，才能从中找出与多个视频片段的内容适配的背景音乐，因此，亟需一种视频合成方法，在将多个视频片段合成配有背景音乐的视频时，提高视频合成效率。
发明内容
本公开提供一种视频合成方法、装置、终端及存储介质，可以在将多个视频片段合成配有背景音乐的视频时，提高视频合成效率。
根据本公开实施例的第一方面，提供一种视频合成方法，包括：
获取至少一个视频片段；
根据所述至少一个视频片段的视频内容和片段数量，获取与所述视频内容适配的目标音频，所述目标音频的音频变化点的数量大于或等于所述片段数量减一，所述音频变化点是指音频中音频特征变化符合预设条件的时间点；
根据所述目标音频中所包括的音频变化点，将所述至少一个视频片段与所述目标音频合成得到视频文件。
在一种可能实现方式中，所述根据所述至少一个视频片段的视频内容和片段数量，获取与所述视频内容适配的目标音频，包括：
对所述至少一个视频片段中的各个视频片段进行识别，确定所述各个视频片段的视频内容；
根据所述各个视频片段的视频内容，确定所述各个视频片段的视频内容分别对应的风格；
当所述各个视频片段的视频内容对应于同一种风格时，获取风格为所述同一种风格，且音频变化点的数量大于或等于所述片段数量减一的音频作为所述目标音频。
在一种可能实现方式中，所述获取风格为所述同一种风格，且音频变化点的数量大于或等于所述片段数量减一的音频作为所述目标音频，包括：
获取风格为所述同一种风格，且音频变化点的数量大于或等于所述片段数量减一的一个音频作为所述目标音频；或，
获取风格为所述同一种风格，且音频变化点的总数量大于或等于所述片段数量减一的多个音频作为所述目标音频。
在一种可能实现方式中，所述根据所述各个视频片段的视频内容，确定所述各个视频片段的视频内容分别对应的风格之后，所述方法还包括：
当所述各个视频片段的视频内容对应于多种风格时，获取风格与目标视频片段的视频内容对应，且音频变化点的数量大于或等于所述片段数量减一的音频作为所述目标音频，所述目标视频片段为所述至少一个视频片段中的一个视频片段。
在一种可能实现方式中，所述获取风格与目标视频片段的视频内容对应，且音频变化点的数量大于或等于所述片段数量减一的音频作为所述目标音频，包括：
获取风格与目标视频片段的视频内容对应，且音频变化点的数量大于或等于所述片段数量减一的一个音频作为所述目标音频；或，
获取风格与目标视频片段的视频内容对应，且音频变化点的总数量大于或等于所述片段数量减一的多个音频作为所述目标音频。
在一种可能实现方式中，所述目标视频片段的确定过程包括：
将所述至少一个视频片段中时长最大的视频片段作为所述目标视频片段；或，
将所述至少一个视频片段中权值最大的视频片段作为所述目标视频片段，所述权值用于表示视频片段的重要程度。
在一种可能实现方式中，所述根据所述各个视频片段的视频内容，确定所述各个视频片段的视频内容分别对应的风格之后，所述方法还包括：
当所述各个视频片段的视频内容对应于多种风格时，确定多个视频片段集合，每个视频片段集合中的视频片段的视频内容对应于所述多种风格中的一种风格；
对于所述多个视频片段集合中的每个视频片段集合，获取风格为所述视频片段集合中视频片段的视频内容对应的风格，且音频变化点的数量大于或等于所述视频片段集合中视频片段的数量减一的音频；
将获取到的多个音频作为所述目标音频。
在一种可能实现方式中，所述对所述至少一个视频片段中的各个视频片段进行识别，确定所述各个视频片段的视频内容，包括：
对于每个视频片段，对所述视频片段进行识别，将识别得到的所述视频片段中的目标物和环境信息中至少一项作为所述视频片段的视频内容。
在一种可能实现方式中，所述对所述视频片段进行识别包括：
使用视频识别模型，将所述视频片段输入所述视频识别模型，输出所述视频片段中的目标物和环境信息中至少一项，所述视频识别模型用于根据输入的视频片段输出目标物和环境信息中至少一项。
在一种可能实现方式中，所述视频识别模型的获取过程包括：
获取多个样本视频片段以及每个样本视频片段的标注信息，所述标注信息包括目标物和环境信息中至少一项；
基于所述多个样本视频片段以及对应的标注信息，对神经网络模型进行训练，得到所述视频识别模型。
在一种可能实现方式中，所述根据所述各个视频片段的视频内容，确定所述各个视频片段的视频内容分别对应的风格，包括：
对于每个视频片段，根据所述视频片段的视频内容以及视频内容与风格之间的对应规则，确定所述视频片段的视频内容对应的风格。
在一种可能实现方式中，当所述目标音频为一个音频时，所述目标音频的音频变化点为所述一个音频所包括的音频变化点；当所述目标音频为多个音频时，所述目标音频的音频变化点包括所述多个音频中每个音频所包括的音频变化点；
对于任一个音频，所述目标音频的音频变化点的获取过程包括：
根据所述目标音频的振幅信息，确定所述目标音频的音频变化点，所述音频变化点的振幅与目标时间点的振幅之间的差值大于振幅阈值，所述目标时间点为所述目标音频中与所述音频变化点之间的时间间隔小于时间阈值的时间点；或，
使用音频识别模型，将所述目标音频输入所述音频识别模型，输出所述目标音频的音频变化点，所述音频识别模型用于根据输入的音频输出音频变化点。
在一种可能实现方式中，所述音频识别模型的获取过程包括：
获取多个样本音频以及每个样本音频中标记的音频变化点；
基于所述多个样本音频以及对应的音频变化点，对神经网络模型进行训练，得到所述音频识别模型。
在一种可能实现方式中，所述根据所述目标音频中所包括的音频变化点，将所述至少一个视频片段与所述目标音频合成得到视频文件，包括：
根据所述目标音频的音频变化点和所述至少一个视频片段的播放顺序，确定各个视频片段分别对应的相邻音频变化点；
对于每个视频片段，根据所述视频片段对应的相邻音频变化点，将所述视频片段与所述视频片段对应的音频片段标记相同的时间戳，执行合成视频文件的步骤，所述音频片段为所述目标音频中与所述视频片段对应的相邻音频变化点之间的音频片段，所述时间戳包括起始时间戳和结束时间戳。
在一种可能实现方式中，所述根据所述目标音频的音频变化点和所述至少一个视频片段的播放顺序，确定各个视频片段分别对应的相邻音频变化点，包括：
当所述目标音频为一个音频时，根据所述一个音频的音频变化点的位置顺序和所述至少一个视频片段的播放顺序，确定各个视频片段分别对应的相邻音频变化点；
当所述目标音频为多个音频时，根据所述多个音频的播放顺序、所述多个音频中每个音频的音频变化点的位置顺序和所述至少一个视频片段的播放顺序，确定各个视频片段分别对应的相邻音频变化点。
在一种可能实现方式中，所述将所述视频片段与所述视频片段对应的音频片段标记相同的时间戳，包括：
当所述视频片段的时长等于所述视频片段对应的音频片段的时长时，将所述视频片段与所述视频片段对应的音频片段标记相同的时间戳；
当所述视频片段的时长大于所述视频片段对应的音频片段的时长时，对所述视频片段进行剪裁，将剪裁后的视频片段与所述视频片段对应的音频片段标记相同的时间戳，所述剪裁后的视频片段的时长等于所述视频片段对应的音频片段的时长；
当所述视频片段的时长小于所述视频片段对应的音频片段的时长时，对所述视频片段对应的音频片段进行剪裁后，将所述视频片段与剪裁后的音频片段标记相同的时间戳，所述剪裁后的音频片段的时长等于所述视频片段的时长。
根据本公开实施例的第二方面，提供一种视频合成装置，包括：
获取模块，被配置为执行获取至少一个视频片段；
所述获取模块还被配置为执行根据所述至少一个视频片段的视频内容和片段数量，获取与所述视频内容适配的目标音频，所述目标音频的音频变化点的数量大于或等于所述片段数量减一，所述音频变化点是指音频中音频特征变化符合预设条件的时间点；
合成模块，被配置为执行根据所述目标音频中所包括的音频变化点，将所述至少一个视频片段与所述目标音频合成得到视频文件。
在一种可能实现方式中，所述获取模块被配置为执行：
对所述至少一个视频片段中的各个视频片段进行识别，确定所述各个视频片段的视频内容；
根据所述各个视频片段的视频内容，确定所述各个视频片段的视频内容分别对应的风格；
当所述各个视频片段的视频内容对应于同一种风格时，获取风格为所述同一种风格，且音频变化点的数量大于或等于所述片段数量减一的音频作为所述目标音频。
在一种可能实现方式中，所述获取模块被配置为获取风格为所述同一种风格，且音频变化点的数量大于或等于所述片段数量减一的一个音频作为所述目标音频；或，获取风格为所述同一种风格，且音频变化点的总数量大于或等于所述片段数量减一的多个音频作为所述目标音频。
在一种可能实现方式中，所述获取模块还被配置为当所述各个视频片段的视频内容对应于多种风格时，获取风格与目标视频片段的视频内容对应，且音频变化点的数量大于或等于所述片段数量减一的音频作为所述目标音频，所述目标视频片段为所述至少一个视频片段中的一个视频片段。
在一种可能实现方式中，所述获取模块被配置为获取风格与目标视频片段的视频内容对应，且音频变化点的数量大于或等于所述片段数量减一的一个音频作为所述目标音频；或，获取风格与目标视频片段的视频内容对应，且音频变化点的总数量大于或等于所述片段数量减一的多个音频作为所述目标音频。
在一种可能实现方式中，所述获取模块被配置为执行将所述至少一个视频片段中时长最大的视频片段作为所述目标视频片段；或，将所述至少一个视频片段中权值最大的视频片段作为所述目标视频片段，所述权值用于表示视频片段的重要程度。
在一种可能实现方式中，所述获取模块还被配置为执行：
当所述各个视频片段的视频内容对应于多种风格时，确定多个视频片段集合，每个视频片段集合中的视频片段的视频内容对应于所述多种风格中的一种风格；
对于所述多个视频片段集合中的每个视频片段集合，获取风格为所述视频片段集合中视频片段的视频内容对应的风格，且音频变化点的数量大于或等于所述视频片段集合中视频片段的数量减一的音频；
将获取到的多个音频作为所述目标音频。
在一种可能实现方式中，所述获取模块被配置为执行对于每个视频片段，对所述视频片段进行识别，将识别得到的所述视频片段中的目标物和环境信息中至少一项作为所述视频片段的视频内容。
在一种可能实现方式中，所述获取模块被配置为执行使用视频识别模型，将所述视频片段输入所述视频识别模型，输出所述视频片段中的目标物和环境信息中至少一项，所述视频识别模型用于根据输入的视频片段输出目标物和环境信息中至少一项。
在一种可能实现方式中，所述获取模块被配置为执行获取多个样本视频片段以及每个样本视频片段的标注信息，所述标注信息包括目标物和环境信息中至少一项；基于所述多个样本视频片段以及对应的标注信息，对神经网络模型进行训练，得到所述视频识别模型。
在一种可能实现方式中，所述获取模块被配置为执行对于每个视频片段，根据所述视频片段的视频内容以及视频内容与风格之间的对应规则，确定所述视频片段的视频内容对应的风格。
在一种可能实现方式中，当所述目标音频为一个音频时，所述目标音频的音频变化点为所述一个音频所包括的音频变化点；当所述目标音频为多个音频时，所述目标音频的音频变化点包括所述多个音频中每个音频所包括的音频变化点；
所述获取模块被配置为执行：
对于任一个音频，根据所述目标音频的振幅信息，确定所述目标音频的音频变化点，所述音频变化点的振幅与目标时间点的振幅之间的差值大于振幅阈值，所述目标时间点为所述目标音频中与所述音频变化点之间的时间间隔小于时间阈值的时间点；或，
使用音频识别模型，将所述目标音频输入所述音频识别模型，输出所述目标音频的音频变化点，所述音频识别模型用于根据输入的音频输出音频变化点。
在一种可能实现方式中，所述获取模块被配置为执行获取多个样本音频以及每个样本音频中标记的音频变化点；基于所述多个样本音频以及对应的音频变化点，对神经网络模型进行训练，得到所述音频识别模型。
在一种可能实现方式中，所述合成模块被配置为执行：
根据所述目标音频的音频变化点和所述至少一个视频片段的播放顺序，确定各个视频片段分别对应的相邻音频变化点；
对于每个视频片段，根据所述视频片段对应的相邻音频变化点，将所述视频片段与所述视频片段对应的音频片段标记相同的时间戳，执行合成视频文件的步骤，所述音频片段为所述目标音频中与所述视频片段对应的相邻音频变化点之间的音频片段，所述时间戳包括起始时间戳和结束时间戳。
在一种可能实现方式中，所述合成模块被配置为执行：
当所述目标音频为一个音频时，根据所述一个音频的音频变化点的位置顺序和所述至少一个视频片段的播放顺序，确定各个视频片段分别对应的相邻音频变化点；
当所述目标音频为多个音频时，根据所述多个音频的播放顺序、所述多个音频中每个音频的音频变化点的位置顺序和所述至少一个视频片段的播放顺序，确定各个视频片段分别对应的相邻音频变化点。
在一种可能实现方式中，所述合成模块被配置为执行：
当所述视频片段的时长等于所述视频片段对应的音频片段的时长时，将所述视频片段与所述视频片段对应的音频片段标记相同的时间戳；
当所述视频片段的时长大于所述视频片段对应的音频片段的时长时，对所述视频片段进行剪裁，将剪裁后的视频片段与所述视频片段对应的音频片段标记相同的时间戳，所述剪裁后的视频片段的时长等于所述视频片段对应的音频片段的时长；
当所述视频片段的时长小于所述视频片段对应的音频片段的时长时，对所述视频片段对应的音频片段进行剪裁后，将所述视频片段与剪裁后的音频片段标记相同的时间戳，所述剪裁后的音频片段的时长等于所述视频片段的时长。
根据本公开实施例的第三方面，提供了一种终端，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取至少一个视频片段；
根据所述至少一个视频片段的视频内容和片段数量，获取与所述视频内容适配的目标音频，所述目标音频的音频变化点的数量大于或等于所述片段数量减一，所述音频变化点是指音频中音频特征变化符合预设条件的时间点；
根据所述目标音频中所包括的音频变化点，将所述至少一个视频片段与所述目标音频合成得到视频文件。
根据本公开实施例的第四方面，提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端的处理器执行时，使得终端能够执行一种视频合成方法，所述方法包括：
获取至少一个视频片段；
根据所述至少一个视频片段的视频内容和片段数量，获取与所述视频内容适配的目标音频，所述目标音频的音频变化点的数量大于或等于所述片段数量减一，所述音频变化点是指音频中音频特征变化符合预设条件的时间点；
根据所述目标音频中所包括的音频变化点，将所述至少一个视频片段与所述目标音频合成得到视频文件。
根据本公开实施例的第五方面，提供一种应用程序产品，当所述应用程序产品中的指令由终端的处理器执行时，使得终端能够执行一种视频合成方法，所述方法包括：
获取至少一个视频片段；
根据所述至少一个视频片段的视频内容和片段数量，获取与所述视频内容适配的目标音频，所述目标音频的音频变化点的数量大于或等于所述片段数量减一，所述音频变化点是指音频中音频特征变化符合预设条件的时间点；
根据所述目标音频中所包括的音频变化点，将所述至少一个视频片段与所述目标音频合成得到视频文件。
本公开的实施例提供的技术方案可以包括以下有益效果：
通过根据至少一个视频片段的视频内容和片段数量，自动适配目标音频，并根据目标音频的音频变化点，将至少一个视频片段与目标音频合成一个视频文件，使得各个视频片段可以与目标音频的音频变化点完美契合，这种将至少一个视频片段合成配有目标音频的视频合成方式，能够提高视频合成效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种视频合成方法的流程图。
图2是根据一示例性实施例示出的一种视频合成方法的流程图。
图3是根据一示例性实施例示出的一种视频合成装置的框图。
图4是根据一示例性实施例示出的一种终端400的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种视频合成方法的流程图，如图1所示，视频合成方法用于终端中，包括以下步骤。
在步骤S11中，获取至少一个视频片段。
在步骤S12中，根据该至少一个视频片段的视频内容和片段数量，获取与该视频内容适配的目标音频，该目标音频的音频变化点的数量大于或等于该片段数量减一，该音频变化点是指音频中音频特征变化符合预设条件的时间点。
在步骤S13中，根据该目标音频中所包括的音频变化点，将该至少一个视频片段与该目标音频合成得到视频文件。
本公开实施例提供的方法，通过根据至少一个视频片段的视频内容和片段数量，自动适配目标音频，并根据目标音频的音频变化点，将至少一个视频片段与目标音频合成一个视频文件，使得各个视频片段可以与目标音频的音频变化点完美契合，这种将至少一个视频片段合成配有目标音频的视频合成方式，能够提高视频合成效率。
在一种可能实现方式中，该根据该至少一个视频片段的视频内容和片段数量，获取与该视频内容适配的目标音频，包括：
对该至少一个视频片段中的各个视频片段进行识别，确定该各个视频片段的视频内容；
根据该各个视频片段的视频内容，确定该各个视频片段的视频内容分别对应的风格；
当该各个视频片段的视频内容对应于同一种风格时，获取风格为该同一种风格，且音频变化点的数量大于或等于该片段数量减一的音频作为该目标音频。
在一种可能实现方式中，该获取风格为该同一种风格，且音频变化点的数量大于或等于该片段数量减一的音频作为该目标音频，包括：
获取风格为该同一种风格，且音频变化点的数量大于或等于该片段数量减一的一个音频作为该目标音频；或，
获取风格为该同一种风格，且音频变化点的总数量大于或等于该片段数量减一的多个音频作为该目标音频。
在一种可能实现方式中，该根据该各个视频片段的视频内容，确定该各个视频片段的视频内容分别对应的风格之后，该方法还包括：
当该各个视频片段的视频内容对应于多种风格时，获取风格与目标视频片段的视频内容对应，且音频变化点的数量大于或等于该片段数量减一的音频作为该目标音频，该目标视频片段为该至少一个视频片段中的一个视频片段。
在一种可能实现方式中，该获取风格与目标视频片段的视频内容对应，且音频变化点的数量大于或等于该片段数量减一的音频作为该目标音频，包括：
获取风格与目标视频片段的视频内容对应，且音频变化点的数量大于或等于该片段数量减一的一个音频作为该目标音频；或，
获取风格与目标视频片段的视频内容对应，且音频变化点的总数量大于或等于该片段数量减一的多个音频作为该目标音频。
在一种可能实现方式中，该目标视频片段的确定过程包括：
将该至少一个视频片段中时长最大的视频片段作为该目标视频片段；或，
将该至少一个视频片段中权值最大的视频片段作为该目标视频片段，该权值用于表示视频片段的重要程度。
在一种可能实现方式中，该根据该各个视频片段的视频内容，确定该各个视频片段的视频内容分别对应的风格之后，该方法还包括：
当该各个视频片段的视频内容对应于多种风格时，确定多个视频片段集合，每个视频片段集合中的视频片段的视频内容对应于该多种风格中的一种风格；
对于该多个视频片段集合中的每个视频片段集合，获取风格为该视频片段集合中视频片段的视频内容对应的风格，且音频变化点的数量大于或等于该视频片段集合中视频片段的数量减一的音频；
将获取到的多个音频作为该目标音频。
在一种可能实现方式中，该对该至少一个视频片段中的各个视频片段进行识别，确定该各个视频片段的视频内容，包括：
对于每个视频片段，对该视频片段进行识别，将识别得到的该视频片段中的目标物和环境信息中至少一项作为该视频片段的视频内容。
在一种可能实现方式中，该对该视频片段进行识别包括：
使用视频识别模型，将该视频片段输入该视频识别模型，输出该视频片段中的目标物和环境信息中至少一项，该视频识别模型用于根据输入的视频片段输出目标物和环境信息中至少一项。
在一种可能实现方式中，该视频识别模型的获取过程包括：
获取多个样本视频片段以及每个样本视频片段的标注信息，该标注信息包括目标物和环境信息中至少一项；
基于该多个样本视频片段以及对应的标注信息，对神经网络模型进行训练，得到该视频识别模型。
在一种可能实现方式中，该根据该各个视频片段的视频内容，确定该各个视频片段的视频内容分别对应的风格，包括：
对于每个视频片段，根据该视频片段的视频内容以及视频内容与风格之间的对应规则，确定该视频片段的视频内容对应的风格。
在一种可能实现方式中，当该目标音频为一个音频时，该目标音频的音频变化点为该一个音频所包括的音频变化点；当该目标音频为多个音频时，该目标音频的音频变化点包括该多个音频中每个音频所包括的音频变化点；
在一种可能实现方式中，当该目标音频为一个音频时，该目标音频的音频变化点为该一个音频所包括的音频变化点；当该目标音频为多个音频时，该目标音频的音频变化点包括该多个音频中每个音频所包括的音频变化点；
对于任一个音频，该音频的音频变化点的获取过程包括：
根据该音频的振幅信息，确定该音频的音频变化点，该音频变化点的振幅与目标时间点的振幅之间的差值大于振幅阈值，该目标时间点为该音频中与该音频变化点之间的时间间隔小于时间阈值的时间点；或，
使用音频识别模型，将该音频输入该音频识别模型，输出该音频的音频变化点，该音频识别模型用于根据输入的音频输出音频变化点。
在一种可能实现方式中，该音频识别模型的获取过程包括：
获取多个样本音频以及每个样本音频中标记的音频变化点；
基于该多个样本音频以及对应的音频变化点，对神经网络模型进行训练，得到该音频识别模型。
在一种可能实现方式中，该根据该目标音频中所包括的音频变化点，将该至少一个视频片段与该目标音频合成得到视频文件，包括：
根据该目标音频的音频变化点和该至少一个视频片段的播放顺序，确定各个视频片段分别对应的相邻音频变化点；
对于每个视频片段，根据该视频片段对应的相邻音频变化点，将该视频片段与该视频片段对应的音频片段标记相同的时间戳，执行合成视频文件的步骤，该音频片段为该目标音频中与该视频片段对应的相邻音频变化点之间的音频片段，该时间戳包括起始时间戳和结束时间戳。
在一种可能实现方式中，该根据该目标音频的音频变化点和该至少一个视频片段的播放顺序，确定各个视频片段分别对应的相邻音频变化点，包括：
当该目标音频为一个音频时，根据该一个音频的音频变化点的位置顺序和该至少一个视频片段的播放顺序，确定各个视频片段分别对应的相邻音频变化点；
当该目标音频为多个音频时，根据该多个音频的播放顺序、该多个音频中每个音频的音频变化点的位置顺序和该至少一个视频片段的播放顺序，确定各个视频片段分别对应的相邻音频变化点。
在一种可能实现方式中，该将该视频片段与该视频片段对应的音频片段标记相同的时间戳，包括：
当该视频片段的时长等于该视频片段对应的音频片段的时长时，将该视频片段与该视频片段对应的音频片段标记相同的时间戳；
当该视频片段的时长大于该视频片段对应的音频片段的时长时，对该视频片段进行剪裁，将剪裁后的视频片段与该视频片段对应的音频片段标记相同的时间戳，该剪裁后的视频片段的时长等于该视频片段对应的音频片段的时长；
当该视频片段的时长小于该视频片段对应的音频片段的时长时，对该视频片段对应的音频片段进行剪裁后，将该视频片段与剪裁后的音频片段标记相同的时间戳，该剪裁后的音频片段的时长等于该视频片段的时长。
图2是根据一示例性实施例示出的一种视频合成方法的流程图，如图2所示，视频合成方法用于终端中，包括以下步骤：
在步骤S21中，获取至少一个视频片段。
本公开实施例中，该至少一个视频片段可以来源于一个视频，例如，用户可以在终端上选择一个视频，如从终端的相册中选择一个视频，通过相应操作触发终端将该视频切分成多个视频片段后，从该多个视频片段中选取至少一个视频片段。
当然，该至少一个视频片段也可以来源于多个视频，例如，用户可以在终端上选择多个视频，如从终端的相册中选择多个视频，通过相应操作触发终端将多个视频切分成多个视频片段后，从不同视频切分成的视频片段中选取该至少一个视频片段。公开实施例对视频片段的获取方式不做具体限定。
在步骤S22中，对该至少一个视频片段中的各个视频片段进行识别，确定该各个视频片段的视频内容。
在一种可能实现方式中，视频内容的获取过程可以包括：对于每个视频片段，终端可以对该视频片段进行识别，将识别得到的该视频片段中的目标物和环境信息中至少一项作为该视频片段的视频内容。
其中，该目标物可以是人、动物、车辆等，环境信息可以是家里、马路上、田野、海边等。例如，终端可以采用视频识别技术，对视频片段进行识别，将识别结果作为视频片段的视频内容，该识别结果可以包括目标物和环境信息中至少一项。
在一种可能实现方式中，终端可以使用视频识别模型，将该视频片段输入该视频识别模型，输出该视频片段中的目标物和环境信息中至少一项，该视频识别模型用于根据输入的视频片段输出目标物和环境信息中至少一项。
其中，该视频识别模型的获取过程包括：获取多个样本视频片段以及每个样本视频片段的标注信息，该标注信息包括目标物和环境信息中至少一项；基于该多个样本视频片段以及对应的标注信息，对神经网络模型进行训练，得到该视频识别模型。
通过搜集多个样本视频片段，并由人工对每个样本视频片段中的目标物和环境信息中至少一项进行标注，得到每个样本视频片段的标注信息，以多个样本视频片段以及对应的标注信息为训练集，训练神经网络模型，将训练好的神经网络模型作为视频识别模型。当需要对视频片段进行识别时，电子设备可以将视频片段输入到该视频识别模型，通过该视频识别模型对视频片段进行识别，从而得到视频片段中的目标物和环境信息中至少一项。
通过将视频片段中的目标物和/或环境信息作为视频内容，用于后续获取目标音频，这样获取到的目标音频的风格与视频片段中的目标物和/或环境信息是契合的，可以保证较好的视频合成效果。
在步骤S23中，根据该各个视频片段的视频内容，确定该各个视频片段的视频内容分别对应的风格。
其中，风格可以是指情绪方面的风格，如欢快、伤感等，风格也可以是环境方面的，如城市、乡村等。
在一种可能实现方式中，对于每个视频片段，根据该视频片段的视频内容以及视频内容与风格之间的对应规则，确定该视频片段的视频内容对应的风格。例如，终端上可以预先存储有视频内容与风格之间的对应规则，这样，当获取到任一视频片段的视频内容时，终端可以利用该对应规则，确定获取到的视频内容所对应的风格。例如，该视频内容为小狗，则其对应的风格可以为欢快。
通过预先设置视频内容与风格之间的对应规则，使得终端可以根据待合成的视频片段的视频内容，快速地找到对应的风格，进而找到符合该风格的音频用于视频合成，提高了视频合成效率。
在步骤S24中，当该各个视频片段的视频内容对应于同一种风格时，获取风格为该同一种风格，且音频变化点的数量大于或等于该片段数量减一的音频作为目标音频。
其中，该目标音频可以是一个或多个完整音频，也可以是一个或多个音频片段，音频变化点是指音频中音频特征变化符合预设条件的时间点。当该目标音频为一个音频时，该目标音频的音频变化点为该一个音频所包括的音频变化点；当该目标音频为多个音频时，该目标音频的音频变化点包括该多个音频中每个音频所包括的音频变化点。
本公开实施例中，如果各个视频片段的视频内容对应于同一种风格，则终端可以根据该风格，来获取符合该风格的音频。在一种可能实现方式中，该目标音频的获取过程包括但不限于以下两种方式：
第一种方式、获取风格为该同一种风格，且音频变化点的数量大于或等于该片段数量减一的一个音频作为该目标音频。
该方式获取到的目标音频为一个音频。终端可以根据该风格，从多个音频中，获取符合该风格，且音频变化点的数量大于或等于该片段数量减一的一个音频作为该目标音频。其中，该多个音频可以是终端本地存储的音频，也可以是网络上的音频。
例如，该多个音频可以具有相应的描述信息，该描述信息中记录了该多个音频的风格，这样终端可以根据该多个音频的描述信息，搜索得到符合该风格的音频。另外，终端每获取到一个符合该风格的音频，则可以识别该音频，得到该音频的音频变化点，如果音频变化点的数量大于或等于该片段数量减一，则将当前获取到的音频作为该目标音频。
第二种方式、获取风格为该同一种风格，且音频变化点的总数量大于或等于该片段数量减一的多个音频作为该目标音频。
该方式获取到的目标音频为多个音频。终端可以根据该风格，从多个音频中，获取符合该风格，且音频变化点的总数量大于或等于该片段数量减一的多个音频作为该目标音频。终端可以根据该多个音频的描述信息，搜索得到符合该风格的音频，终端获取到第一个符合该风格的音频时，可以识别获取到的第一个音频，得到该第一个音频的音频变化点，如果音频变化点的数量小于该片段数量减一，则继续获取下一个符合该风格的音频，并识别获取到的下一个音频，得到该下一个音频的音频变化点，如果第一个音频和下一个音频的音频变化点的总数量大于或等于该片段数量减一时，则将该第一个音频和下一个音频作为目标音频，否则，继续获取下一个符合该风格的音频，直至获取到的各个音频的音频变化点的总数量大于或等于该片段数量减一时，将当前获取到的各个音频作为目标音频。
在一种可能实现方式中，对于任一个音频，该音频的音频变化点的获取过程包括：根据该音频的振幅信息，确定该音频的音频变化点，该音频变化点的振幅与目标时间点的振幅之间的差值大于振幅阈值，该目标时间点为该音频中与该音频变化点之间的时间间隔小于时间阈值的时间点；或，使用音频识别模型，将该音频输入该音频识别模型，输出该音频的音频变化点，该音频识别模型用于根据输入的音频输出音频变化点。
其中，振幅信息是音频的一种音频特征，终端可以采用振幅检测算法，对音频进行检测，得到音频中各个时间点的振幅信息，该振幅信息可以反映音频的振幅变化规则，进而，终端可以从中确定振幅突变的时间点，也即是，相比于附近时间点振幅较大的时间点，将这些时间点作为音频变化点，这些音频变化点也即是音频的强音位置，是适合视频转场或切换的时间点。
终端也可以采用音频识别模型，对音频进行识别，将该音频识别模型输出的结果作为音频的音频变化点。
该音频识别模型的获取过程可以为：获取多个样本音频以及每个样本音频中标记的音频变化点；基于该多个样本音频以及对应的音频变化点，对神经网络模型进行训练，得到该音频识别模型。该音频识别模型的训练过程可以采用机器学习的方法实现。其中，样本音频中的音频变化点可以通过人工标记得到，例如，技术人员可以通过搜集多个样本音频，并人工对每个样本音频中的音频变化点进行标记，如在样本音频中标记出适合转场的音频变化点，使得电子设备可以获取到每个样本音频中标记的音频变化点。然后，电子设备以多个样本音频以及对应的音频变化点为训练集，训练神经网络模型，将训练好的神经网络模型作为音频识别模型。当需要获取音频的音频变化点时，电子设备可以将音频输入到该音频识别模型，通过该音频识别模型输出该音频的音频变化点。通过采用机器学习训练的音频识别模型来获取音频的音频变化点，该音频变化点可以是训练过程中标记的任意适合转场的音频变化点，既可以保证识别效率，又可以保证音频变化点的可选性和灵活性。
音频变化点可以包括音频的起始时间点，也可以包括音频的结束时间点，还可以包括音频的起始时间点和结束时间点之间的时间点。当一个音频的音频变化点均为起始时间点和结束时间点之间的时间点时，如果该音频的风格与视频内容适配，且该音频的音频变化点的数量等于片段数量减一，则终端可以将该音频作为目标音频。
当一个音频的音频变化点包括音频的起始时间点或结束时间点时，如果该音频的风格与视频内容适配，且该音频的音频变化点的数量大于片段数量减一，如该音频的音频变化点的数量等于片段数量，则终端可以将该音频作为目标音频。
在步骤S25中，当该各个视频片段的视频内容对应于多种风格时，获取风格与目标视频片段的视频内容对应，且音频变化点的数量大于或等于该片段数量减一的音频作为目标音频，该目标视频片段为该至少一个视频片段中的一个视频片段。
本公开实施例中，如果各个视频片段的视频内容对应于多种风格，则终端可以从中选择一个目标视频片段，确定与该目标视频片段的视频内容对应的风格，进而获取符合该风格，且音频变化点的数量大于或等于该片段数量减一的音频作为目标视频，在一种可能实现方式中，该目标音频的获取过程包括：获取风格与目标视频片段的视频内容对应，且音频变化点的数量大于或等于该片段数量减一的一个音频作为该目标音频；或，获取风格与目标视频片段的视频内容对应，且音频变化点的总数量大于或等于该片段数量减一的多个音频作为该目标音频。具体获取过程与步骤S24中获取目标音频的两种方式同理，此处不再赘述。
在一种可能实现方式中，该目标视频片段的确定过程包括：将该至少一个视频片段中时长最大的视频片段作为该目标视频片段；或，将该至少一个视频片段中权值最大的视频片段作为该目标视频片段，该权值用于表示该视频片段的重要程度。
其中，视频片段的权值可以根据权重分配规则得到，例如，该权重分配规则可以根据视频片段的视频内容中包含的目标物确定，不同种类的目标物对应不同的权重，又如，该权重分配规则可以根据视频片段的视频内容中包含的环境信息确定，不同环境对应不同的权重，再如，该权重分配规则可以根据视频片段中包含的目标物和环境信息共同确定，如将该目标物对应的权重与环境信息对应的权重各自乘以相应系数后进行求和，将求和结果作为视频片段的权重。
通过将时长最大的视频片段或最重要的视频片段作为目标视频片段，进而根据该目标视频片段的视频内容获取目标音频，使得获取到的目标音频可以与内容最多的视频片段或内容最重要的视频片段达到契合。
需要说明的是，该步骤S25是以当该各个视频片段的视频内容对应于多种风格时，根据其中一个视频片段来获取目标音频为例进行说明，实际上，当对应于多种风格时，也可以根据各个视频片段分别对应的风格来获取目标音频。相应地，在一种可能实现方式中，该目标视频的获取过程可以包括：当该各个视频片段的视频内容对应于多种风格时，确定多个视频片段集合，每个视频片段集合中的视频片段的视频内容对应于该多种风格中的一种风格；对于该多个视频片段集合中的每个视频片段集合，获取风格为该视频片段集合中视频片段的视频内容对应的风格，且音频变化点的数量大于或等于该视频片段集合中视频片段的数量减一的音频；将获取到的多个音频作为该目标音频。
电子设备可以将各个视频片段中视频内容对应于同一种风格的视频片段作为一个视频片段集合，以此得到多个视频片段集合，每个视频片段集合中的各个视频片段的视频内容对应于同一种风格，然后，对于每个视频片段集合，电子设备可以通过与步骤S24同理的过程获取到一个或多个音频，然后将获取到的所有音频作为目标音频。
需要说明的是，上述步骤S22至步骤S25是根据该至少一个视频片段的视频内容和片段数量，获取与该视频内容适配的目标音频的一种可能实现方式。该实现方式是以音频的风格作为是否适配的判断标准，通过根据各个视频片段的视频内容，确定与各个视频片段的视频内容对应的风格，或与其中一个视频片段对应的风格，进而根据该风格和片段数量获取适配的目标音频，可以保证目标音频的准确性。
实际上，终端也可以根据除风格以外的其他信息，如音频的使用频率、受欢迎程度等，来获取与视频内容视频的目标音频，本公开实施例对此不做具体限定。
步骤S26中，根据该目标音频中所包括的音频变化点，将该至少一个视频片段与该目标音频合成得到视频文件。
在一种可能实现方式中，合成视频文件的过程包括以下步骤a和b：
步骤a、根据该目标音频的音频变化点和该至少一个视频片段的播放顺序，确定各个视频片段分别对应的相邻音频变化点。
在一种可能实现方式中，当该目标音频为一个音频时，该步骤a可以包括：根据该一个音频的音频变化点的位置顺序和该至少一个视频片段的播放顺序，确定各个视频片段分别对应的相邻音频变化点。
其中，该至少一个视频片段的播放顺序可以由用户进行指定，例如，终端在获取到该至少一个视频片段后，可以提示用户设置该至少一个视频片段的播放顺序。该播放顺序也可以由终端自动确定，例如，如果该至少一个视频片段通过拆分一个视频得到，则终端可以采用该至少一个视频片段在原视频中的播放顺序，又如，终端可以根据该至少一个视频片段的时长或权值，来确定该至少一个视频片段的播放顺序，如时长越大的视频片段的播放顺序越靠前，或权值越大的视频片段的播放顺序越靠前。
电子设备可以根据至少一个视频片段的播放顺序，按照播放顺序从前到后的顺序，依次确定每个视频片段对应的相邻音频变化点，视频片段的播放顺序越靠前，则对应的相邻音频变化点在音频中的位置顺序越靠前。例如，该至少一个视频片段为视频片段A、视频片段B和视频片段C，它们的播放顺序为视频片段A->视频片段B->视频片段C，目标音频的音频变化点的位置顺序为第一时间点->第二时间点->第三时间点，其中，第三时间点为目标音频的结束时间点，则视频片段A对应的相邻音频变化点为目标音频的开始时间点和第一时间点，视频片段B对应的相邻音频变化点为第一时间点和第二时间点，视频片段C对应的相邻音频变化点为第二时间点和第三时间点。
在一种可能实现方式中，当该目标音频为一个音频时，该步骤a可以包括：根据该多个音频的播放顺序、该多个音频中每个音频的音频变化点的位置顺序和该至少一个视频片段的播放顺序，确定各个视频片段分别对应的相邻音频变化点。
其中，该多个音频的播放顺序可以由用户进行指定，也可以由终端自动确定，本发明实施例对此不做具体限定。
电子设备可以根据多个音频的播放顺序、该多个音频中每个音频的音频变化点的位置顺序，确定多对相邻音频变化点，相邻音频变化点可以为同一个音频中位置顺序相邻的两个音频变化点，也可以是播放顺序相邻的两个音频中各自的一个音频变化点。电子设备可以根据至少一个视频片段的播放顺序，按照播放顺序从前到后的顺序，依次确定每个视频片段对应的相邻音频变化点，视频片段的播放顺序越靠前，则对应的相邻音频变化点所属音频的播放顺序以及在音频中的位置顺序越靠前。
步骤b、对于每个视频片段，根据该视频片段对应的相邻音频变化点，将该视频片段与该视频片段对应的音频片段标记相同的时间戳，执行合成视频文件的步骤，该音频片段为该目标音频中与该视频片段对应的相邻音频变化点之间的音频片段，该时间戳包括起始时间戳和结束时间戳。
对于每个视频片段，终端可以根据该视频片段对应的相邻音频变化点，确定目标音频中与该视频片段对应的音频片段，进而对应标记时间戳，具体可以包括以下几种情况：
第一种情况、当该视频片段的时长等于该视频片段对应的音频片段的时长时，将该视频片段与该视频片段对应的音频片段标记相同的时间戳。
该情况下，终端无需对视频片段或音频片段进行剪裁，可以直接将视频片段和音频片段标记相同的起始时间戳和结束时间戳，然后终端可以将各个视频片段与该目标音频合成得到视频文件。这样，在该视频文件的播放过程中，该视频片段和音频片段可以同步播放。
第二种情况、当该视频片段的时长大于该视频片段对应的音频片段的时长时，对该视频片段进行剪裁，将剪裁后的视频片段与该视频片段对应的音频片段标记相同的时间戳，该剪裁后的视频片段的时长等于该视频片段对应的音频片段的时长。
该情况下，终端可以先将视频片段剪裁为与音频片段的时长相同的视频片段，将剪裁后的视频片段和音频片段标记相同的起始时间戳和结束时间戳，然后将各个视频片段与该目标音频合成得到视频文件，其中，该各个视频片段包括该剪裁后的视频片段以及该至少一个视频片段中除该视频片段以外的剩余视频片段，该剩余视频片段可以是未剪裁的，也可以是剪裁后的。这样，在该视频文件的播放过程中，该剪裁后的视频片段和音频片段可以同步播放。
第三种情况、当该视频片段的时长小于该视频片段对应的音频片段的时长时，对该视频片段对应的音频片段进行剪裁后，将该视频片段与剪裁后的音频片段标记相同的时间戳，该剪裁后的音频片段的时长等于该视频片段的时长。
该情况下，终端可以先将音频片段剪裁为与视频片段的时长相同的音频片段，将该视频片段和剪裁后的音频片段标记相同的起始时间戳和结束时间戳，然后将各个视频片段与该目标音频合成得到视频文件，其中，该目标音频包括该剪裁后的音频片段以及该目标音频中除该音频片段以外的剩余音频片段，该剩余音频片段可以是未剪裁的，也可以是剪裁后的。这样，在该视频文件的播放过程中，该视频片段可以和剪裁后的音频片段可以同步播放。
本公开实施例提供的方法，通过根据至少一个视频片段的视频内容和片段数量，自动适配目标音频，并根据目标音频的音频变化点，将至少一个视频片段与目标音频合成一个视频文件，使得各个视频片段可以与目标音频的音频变化点完美契合，这种将至少一个视频片段合成配有目标音频的视频合成方式，能够提高视频合成效率。
图3是根据一示例性实施例示出的一种视频合成装置的框图。参照图3，该装置包括获取模块301和合成模块302。
该获取模块301被配置为执行获取至少一个视频片段；
该获取模块301还被配置为执行根据该至少一个视频片段的视频内容和片段数量，获取与该视频内容适配的目标音频，该目标音频的音频变化点的数量大于或等于该片段数量减一，该音频变化点是指音频中音频特征变化符合预设条件的时间点；
该合成模块302被配置为执行根据该目标音频中所包括的音频变化点，将该至少一个视频片段与该目标音频合成得到视频文件。
在一种可能实现方式中，该获取模块301被配置为执行：
对该至少一个视频片段中的各个视频片段进行识别，确定该各个视频片段的视频内容；
根据该各个视频片段的视频内容，确定该各个视频片段的视频内容分别对应的风格；
当该各个视频片段的视频内容对应于同一种风格时，获取风格为该同一种风格，且音频变化点的数量大于或等于该片段数量减一的音频作为该目标音频。
在一种可能实现方式中，该获取模块301被配置为获取风格为该同一种风格，且音频变化点的数量大于或等于该片段数量减一的一个音频作为该目标音频；或，获取风格为该同一种风格，且音频变化点的总数量大于或等于该片段数量减一的多个音频作为该目标音频。
在一种可能实现方式中，该获取模块301还被配置为当该各个视频片段的视频内容对应于多种风格时，获取风格与目标视频片段的视频内容对应，且音频变化点的数量大于或等于该片段数量减一的音频作为该目标音频，该目标视频片段为该至少一个视频片段中的一个视频片段。
在一种可能实现方式中，该获取模块301被配置为获取风格与目标视频片段的视频内容对应，且音频变化点的数量大于或等于该片段数量减一的一个音频作为该目标音频；或，获取风格与目标视频片段的视频内容对应，且音频变化点的总数量大于或等于该片段数量减一的多个音频作为该目标音频。
在一种可能实现方式中，该获取模块301被配置为执行将该至少一个视频片段中时长最大的视频片段作为该目标视频片段；或，将该至少一个视频片段中权值最大的视频片段作为该目标视频片段，该权值用于表示视频片段的重要程度。
在一种可能实现方式中，该获取模块301还被配置为执行：
当该各个视频片段的视频内容对应于多种风格时，确定多个视频片段集合，每个视频片段集合中的视频片段的视频内容对应于该多种风格中的一种风格；
对于该多个视频片段集合中的每个视频片段集合，获取风格为该视频片段集合中视频片段的视频内容对应的风格，且音频变化点的数量大于或等于该视频片段集合中视频片段的数量减一的音频；
将获取到的多个音频作为该目标音频。
在一种可能实现方式中，该获取模块301被配置为执行对于每个视频片段，对该视频片段进行识别，将识别得到的该视频片段中的目标物和环境信息中至少一项作为该视频片段的视频内容。
在一种可能实现方式中，该获取模块301被配置为执行对于每个视频片段，对该视频片段进行识别，将识别得到的该视频片段中的目标物和环境信息中至少一项作为该视频片段的视频内容。
在一种可能实现方式中，该获取模块301被配置为执行使用视频识别模型，将该视频片段输入该视频识别模型，输出该视频片段中的目标物和环境信息中至少一项，该视频识别模型用于根据输入的视频片段输出目标物和环境信息中至少一项。
在一种可能实现方式中，该获取模块301被配置为执行获取多个样本视频片段以及每个样本视频片段的标注信息，该标注信息包括目标物和环境信息中至少一项；基于该多个样本视频片段以及对应的标注信息，对神经网络模型进行训练，得到该视频识别模型。
在一种可能实现方式中，该获取模块301被配置为执行对于每个视频片段，根据该视频片段的视频内容以及视频内容与风格之间的对应规则，确定该视频片段的视频内容对应的风格。
在一种可能实现方式中，当该目标音频为一个音频时，该目标音频的音频变化点为该一个音频所包括的音频变化点；当该目标音频为多个音频时，该目标音频的音频变化点包括该多个音频中每个音频所包括的音频变化点；
该获取模块301被配置为执行：
对于任一个音频，根据该目标音频的振幅信息，确定该目标音频的音频变化点，该音频变化点的振幅与目标时间点的振幅之间的差值大于振幅阈值，该目标时间点为该目标音频中与该音频变化点之间的时间间隔小于时间阈值的时间点；或，
使用音频识别模型，将该目标音频输入该音频识别模型，输出该目标音频的音频变化点，该音频识别模型用于根据输入的音频输出音频变化点。
在一种可能实现方式中，该获取模块301被配置为执行获取多个样本音频以及每个样本音频中标记的音频变化点；基于该多个样本音频以及对应的音频变化点，对神经网络模型进行训练，得到该音频识别模型。
在一种可能实现方式中，该合成模块302被配置为执行：
根据该目标音频的音频变化点和该至少一个视频片段的播放顺序，确定各个视频片段分别对应的相邻音频变化点；
对于每个视频片段，根据该视频片段对应的相邻音频变化点，将该视频片段与该视频片段对应的音频片段标记相同的时间戳，执行合成视频文件的步骤，该音频片段为该目标音频中与该视频片段对应的相邻音频变化点之间的音频片段，该时间戳包括起始时间戳和结束时间戳。
在一种可能实现方式中，该合成模块302被配置为执行：
当该目标音频为一个音频时，根据该一个音频的音频变化点的位置顺序和该至少一个视频片段的播放顺序，确定各个视频片段分别对应的相邻音频变化点；
当该目标音频为多个音频时，根据该多个音频的播放顺序、该多个音频中每个音频的音频变化点的位置顺序和该至少一个视频片段的播放顺序，确定各个视频片段分别对应的相邻音频变化点。
在一种可能实现方式中，该合成模块302被配置为执行：
当该视频片段的时长等于该视频片段对应的音频片段的时长时，将该视频片段与该视频片段对应的音频片段标记相同的时间戳；
当该视频片段的时长大于该视频片段对应的音频片段的时长时，对该视频片段进行剪裁，将剪裁后的视频片段与该视频片段对应的音频片段标记相同的时间戳，该剪裁后的视频片段的时长等于该视频片段对应的音频片段的时长；
当该视频片段的时长小于该视频片段对应的音频片段的时长时，对该视频片段对应的音频片段进行剪裁后，将该视频片段与剪裁后的音频片段标记相同的时间戳，该剪裁后的音频片段的时长等于该视频片段的时长。
本公开实施例提供的装置，通过根据至少一个视频片段的视频内容和片段数量，自动适配目标音频，并根据目标音频的音频变化点，将至少一个视频片段与目标音频合成一个视频文件，使得各个视频片段可以与目标音频的音频变化点完美契合，这种将至少一个视频片段合成配有目标音频的视频合成方式，能够提高视频合成效率。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图4是根据一示例性实施例示出的一种终端400的框图。该终端400可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端400还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端400包括有：处理器401和存储器402。
处理器401可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器401可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器401也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器401可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器401还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器402可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器402还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器402中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器401所执行以实现本申请中方法实施例提供的视频合成方法。
在一些实施例中，终端400还可选包括有：***设备接口403和至少一个***设备。处理器401、存储器402和***设备接口403之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口403相连。具体地，***设备包括：射频电路404、显示屏405、摄像头组件406、音频电路407、定位组件408和电源409中的至少一种。
***设备接口403可被用于将I/O(Input/Output，输入/输出)相关的至少一个***设备连接到处理器401和存储器402。在一些实施例中，处理器401、存储器402和***设备接口403被集成在同一芯片或电路板上；在一些其他实施例中，处理器401、存储器402和***设备接口403中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路404用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路404通过电磁信号与通信网络以及其他通信设备进行通信。射频电路404将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路404包括：天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路404可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路404还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏405用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏405是触摸显示屏时，显示屏405还具有采集在显示屏405的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器401进行处理。此时，显示屏405还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏405可以为一个，设置终端400的前面板；在另一些实施例中，显示屏405可以为至少两个，分别设置在终端400的不同表面或呈折叠设计；在再一些实施例中，显示屏405可以是柔性显示屏，设置在终端400的弯曲表面上或折叠面上。甚至，显示屏405还可以设置成非矩形的不规则图形，也即异形屏。显示屏405可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件406用于采集图像或视频。可选地，摄像头组件406包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件406还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路407可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器401进行处理，或者输入至射频电路404以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端400的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器401或射频电路404的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路407还可以包括耳机插孔。
定位组件408用于定位终端400的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件408可以是基于美国的GPS(GlobalPositioning System，全球定位***)、中国的北斗***、俄罗斯的格雷纳斯***或欧盟的伽利略***的定位组件。
电源409用于为终端400中的各个组件进行供电。电源409可以是交流电、直流电、一次性电池或可充电电池。当电源409包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端400还包括有一个或多个传感器410。该一个或多个传感器410包括但不限于：加速度传感器411、陀螺仪传感器412、压力传感器413、指纹传感器414、光学传感器415以及接近传感器416。
加速度传感器411可以检测以终端400建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器411可以用于检测重力加速度在三个坐标轴上的分量。处理器401可以根据加速度传感器411采集的重力加速度信号，控制触摸显示屏405以横向视图或纵向视图进行用户界面的显示。加速度传感器411还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器412可以检测终端400的机体方向及转动角度，陀螺仪传感器412可以与加速度传感器411协同采集用户对终端400的3D动作。处理器401根据陀螺仪传感器412采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器413可以设置在终端400的侧边框和/或触摸显示屏405的下层。当压力传感器413设置在终端400的侧边框时，可以检测用户对终端400的握持信号，由处理器401根据压力传感器413采集的握持信号进行左右手识别或快捷操作。当压力传感器413设置在触摸显示屏405的下层时，由处理器401根据用户对触摸显示屏405的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器414用于采集用户的指纹，由处理器401根据指纹传感器414采集到的指纹识别用户的身份，或者，由指纹传感器414根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器401授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器414可以被设置终端400的正面、背面或侧面。当终端400上设置有物理按键或厂商Logo时，指纹传感器414可以与物理按键或厂商Logo集成在一起。
光学传感器415用于采集环境光强度。在一个实施例中，处理器401可以根据光学传感器415采集的环境光强度，控制触摸显示屏405的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏405的显示亮度；当环境光强度较低时，调低触摸显示屏405的显示亮度。在另一个实施例中，处理器401还可以根据光学传感器415采集的环境光强度，动态调整摄像头组件406的拍摄参数。
接近传感器416，也称距离传感器，通常设置在终端400的前面板。接近传感器416用于采集用户与终端400的正面之间的距离。在一个实施例中，当接近传感器416检测到用户与终端400的正面之间的距离逐渐变小时，由处理器401控制触摸显示屏405从亮屏状态切换为息屏状态；当接近传感器416检测到用户与终端400的正面之间的距离逐渐变大时，由处理器401控制触摸显示屏405从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图4中示出的结构并不构成对终端400的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种非临时性计算机可读存储介质，当该存储介质中的指令由终端的处理器执行时，使得终端能够执行一种视频合成方法，该方法包括：
获取至少一个视频片段；
根据该至少一个视频片段的视频内容和片段数量，获取与该视频内容适配的目标音频，该目标音频的音频变化点的数量大于或等于该片段数量减一，该音频变化点是指音频中音频特征变化符合预设条件的时间点；
根据该目标音频中所包括的音频变化点，将该至少一个视频片段与该目标音频合成得到视频文件。
在示例性实施例中，还提供了一种应用程序产品，当该应用程序产品中的指令由终端的处理器执行时，使得终端能够执行一种视频合成方法，方法包括：
获取至少一个视频片段；
根据该至少一个视频片段的视频内容和片段数量，获取与该视频内容适配的目标音频，该目标音频的音频变化点的数量大于或等于该片段数量减一，该音频变化点是指音频中音频特征变化符合预设条件的时间点；
根据该目标音频中所包括的音频变化点，将该至少一个视频片段与该目标音频合成得到视频文件。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (34)

1.一种视频合成方法，其特征在于，包括：
获取至少一个视频片段；
根据所述至少一个视频片段的视频内容和片段数量，获取与所述视频内容适配的目标音频，所述目标音频的音频变化点的数量大于或等于所述片段数量减一，所述音频变化点是指音频中音频特征变化符合预设条件的时间点；
根据所述目标音频中所包括的音频变化点，将所述至少一个视频片段与所述目标音频合成得到视频文件。
2.根据权利要求1所述的视频合成方法，其特征在于，所述根据所述至少一个视频片段的视频内容和片段数量，获取与所述视频内容适配的目标音频，包括：
对所述至少一个视频片段中的各个视频片段进行识别，确定所述各个视频片段的视频内容；
根据所述各个视频片段的视频内容，确定所述各个视频片段的视频内容分别对应的风格；
当所述各个视频片段的视频内容对应于同一种风格时，获取风格为所述同一种风格，且音频变化点的数量大于或等于所述片段数量减一的音频作为所述目标音频。
3.根据权利要求2所述的视频合成方法，其特征在于，所述获取风格为所述同一种风格，且音频变化点的数量大于或等于所述片段数量减一的音频作为所述目标音频，包括：
获取风格为所述同一种风格，且音频变化点的数量大于或等于所述片段数量减一的一个音频作为所述目标音频；或，
获取风格为所述同一种风格，且音频变化点的总数量大于或等于所述片段数量减一的多个音频作为所述目标音频。
4.根据权利要求2所述的视频合成方法，其特征在于，所述根据所述各个视频片段的视频内容，确定所述各个视频片段的视频内容分别对应的风格之后，所述方法还包括：
当所述各个视频片段的视频内容对应于多种风格时，获取风格与目标视频片段的视频内容对应，且音频变化点的数量大于或等于所述片段数量减一的音频作为所述目标音频，所述目标视频片段为所述至少一个视频片段中的一个视频片段。
5.根据权利要求4所述的视频合成方法，其特征在于，所述获取风格与目标视频片段的视频内容对应，且音频变化点的数量大于或等于所述片段数量减一的音频作为所述目标音频，包括：
获取风格与目标视频片段的视频内容对应，且音频变化点的数量大于或等于所述片段数量减一的一个音频作为所述目标音频；或，
获取风格与目标视频片段的视频内容对应，且音频变化点的总数量大于或等于所述片段数量减一的多个音频作为所述目标音频。
6.根据权利要求4所述的视频合成方法，其特征在于，所述目标视频片段的确定过程包括：
将所述至少一个视频片段中时长最大的视频片段作为所述目标视频片段；或，
将所述至少一个视频片段中权值最大的视频片段作为所述目标视频片段，所述权值用于表示视频片段的重要程度。
7.根据权利要求2所述的视频合成方法，其特征在于，所述根据所述各个视频片段的视频内容，确定所述各个视频片段的视频内容分别对应的风格之后，所述方法还包括：
当所述各个视频片段的视频内容对应于多种风格时，确定多个视频片段集合，每个视频片段集合中的视频片段的视频内容对应于所述多种风格中的一种风格；
对于所述多个视频片段集合中的每个视频片段集合，获取风格为所述视频片段集合中视频片段的视频内容对应的风格，且音频变化点的数量大于或等于所述视频片段集合中视频片段的数量减一的音频；
将获取到的多个音频作为所述目标音频。
8.根据权利要求2所述的视频合成方法，其特征在于，所述对所述至少一个视频片段中的各个视频片段进行识别，确定所述各个视频片段的视频内容，包括：
对于每个视频片段，对所述视频片段进行识别，将识别得到的所述视频片段中的目标物和环境信息中至少一项作为所述视频片段的视频内容。
9.根据权利要求8所述的视频合成方法，其特征在于，所述对所述视频片段进行识别包括：
使用视频识别模型，将所述视频片段输入所述视频识别模型，输出所述视频片段中的目标物和环境信息中至少一项，所述视频识别模型用于根据输入的视频片段输出目标物和环境信息中至少一项。
10.根据权利要求9所述的视频合成方法，其特征在于，所述视频识别模型的获取过程包括：
获取多个样本视频片段以及每个样本视频片段的标注信息，所述标注信息包括目标物和环境信息中至少一项；
基于所述多个样本视频片段以及对应的标注信息，对神经网络模型进行训练，得到所述视频识别模型。
11.根据权利要求2所述的视频合成方法，其特征在于，所述根据所述各个视频片段的视频内容，确定所述各个视频片段的视频内容分别对应的风格，包括：
对于每个视频片段，根据所述视频片段的视频内容以及视频内容与风格之间的对应规则，确定所述视频片段的视频内容对应的风格。
12.根据权利要求1所述的视频合成方法，其特征在于，当所述目标音频为一个音频时，所述目标音频的音频变化点为所述一个音频所包括的音频变化点；当所述目标音频为多个音频时，所述目标音频的音频变化点包括所述多个音频中每个音频所包括的音频变化点；
对于任一个音频，所述音频的音频变化点的获取过程包括：
根据所述音频的振幅信息，确定所述音频的音频变化点，所述音频变化点的振幅与目标时间点的振幅之间的差值大于振幅阈值，所述目标时间点为所述音频中与所述音频变化点之间的时间间隔小于时间阈值的时间点；或，
使用音频识别模型，将所述音频输入所述音频识别模型，输出所述音频的音频变化点，所述音频识别模型用于根据输入的音频输出音频变化点。
13.根据权利要求12所述的视频合成方法，其特征在于，所述音频识别模型的获取过程包括：
获取多个样本音频以及每个样本音频中标记的音频变化点；
基于所述多个样本音频以及对应的音频变化点，对神经网络模型进行训练，得到所述音频识别模型。
14.根据权利要求1所述的视频合成方法，其特征在于，所述根据所述目标音频中所包括的音频变化点，将所述至少一个视频片段与所述目标音频合成得到视频文件，包括：
根据所述目标音频的音频变化点和所述至少一个视频片段的播放顺序，确定各个视频片段分别对应的相邻音频变化点；
对于每个视频片段，根据所述视频片段对应的相邻音频变化点，将所述视频片段与所述视频片段对应的音频片段标记相同的时间戳，执行合成视频文件的步骤，所述音频片段为所述目标音频中与所述视频片段对应的相邻音频变化点之间的音频片段，所述时间戳包括起始时间戳和结束时间戳。
15.根据权利要求14所述的视频合成方法，其特征在于，所述根据所述目标音频的音频变化点和所述至少一个视频片段的播放顺序，确定各个视频片段分别对应的相邻音频变化点，包括：
当所述目标音频为一个音频时，根据所述一个音频的音频变化点的位置顺序和所述至少一个视频片段的播放顺序，确定各个视频片段分别对应的相邻音频变化点；
当所述目标音频为多个音频时，根据所述多个音频的播放顺序、所述多个音频中每个音频的音频变化点的位置顺序和所述至少一个视频片段的播放顺序，确定各个视频片段分别对应的相邻音频变化点。
16.根据权利要求14所述的视频合成方法，其特征在于，所述将所述视频片段与所述视频片段对应的音频片段标记相同的时间戳，包括：
当所述视频片段的时长等于所述视频片段对应的音频片段的时长时，将所述视频片段与所述视频片段对应的音频片段标记相同的时间戳；
当所述视频片段的时长大于所述视频片段对应的音频片段的时长时，对所述视频片段进行剪裁，将剪裁后的视频片段与所述视频片段对应的音频片段标记相同的时间戳，所述剪裁后的视频片段的时长等于所述视频片段对应的音频片段的时长；
当所述视频片段的时长小于所述视频片段对应的音频片段的时长时，对所述视频片段对应的音频片段进行剪裁后，将所述视频片段与剪裁后的音频片段标记相同的时间戳，所述剪裁后的音频片段的时长等于所述视频片段的时长。
17.一种视频合成装置，其特征在于，包括：
获取模块，被配置为执行获取至少一个视频片段；
所述获取模块还被配置为执行根据所述至少一个视频片段的视频内容和片段数量，获取与所述视频内容适配的目标音频，所述目标音频的音频变化点的数量大于或等于所述片段数量减一，所述音频变化点是指音频中音频特征变化符合预设条件的时间点；
合成模块，被配置为执行根据所述目标音频中所包括的音频变化点，将所述至少一个视频片段与所述目标音频合成得到视频文件。
18.根据权利要求17所述的视频合成装置，其特征在于，所述获取模块被配置为执行：
对所述至少一个视频片段中的各个视频片段进行识别，确定所述各个视频片段的视频内容；
根据所述各个视频片段的视频内容，确定所述各个视频片段的视频内容分别对应的风格；
当所述各个视频片段的视频内容对应于同一种风格时，获取风格为所述同一种风格，且音频变化点的数量大于或等于所述片段数量减一的音频作为所述目标音频。
19.根据权利要求18所述的视频合成装置，其特征在于，所述获取模块被配置为获取风格为所述同一种风格，且音频变化点的数量大于或等于所述片段数量减一的一个音频作为所述目标音频；或，获取风格为所述同一种风格，且音频变化点的总数量大于或等于所述片段数量减一的多个音频作为所述目标音频。
20.根据权利要求18所述的视频合成装置，其特征在于，所述获取模块还被配置为当所述各个视频片段的视频内容对应于多种风格时，获取风格与目标视频片段的视频内容对应，且音频变化点的数量大于或等于所述片段数量减一的音频作为所述目标音频，所述目标视频片段为所述至少一个视频片段中的一个视频片段。
21.根据权利要求20所述的视频合成装置，其特征在于，所述获取模块被配置为获取风格与目标视频片段的视频内容对应，且音频变化点的数量大于或等于所述片段数量减一的一个音频作为所述目标音频；或，获取风格与目标视频片段的视频内容对应，且音频变化点的总数量大于或等于所述片段数量减一的多个音频作为所述目标音频。
22.根据权利要求20所述的视频合成装置，其特征在于，所述获取模块被配置为执行将所述至少一个视频片段中时长最大的视频片段作为所述目标视频片段；或，将所述至少一个视频片段中权值最大的视频片段作为所述目标视频片段，所述权值用于表示视频片段的重要程度。
23.根据权利要求18所述的视频合成装置，其特征在于，所述获取模块还被配置为执行：
当所述各个视频片段的视频内容对应于多种风格时，确定多个视频片段集合，每个视频片段集合中的视频片段的视频内容对应于所述多种风格中的一种风格；
对于所述多个视频片段集合中的每个视频片段集合，获取风格为所述视频片段集合中视频片段的视频内容对应的风格，且音频变化点的数量大于或等于所述视频片段集合中视频片段的数量减一的音频；
将获取到的多个音频作为所述目标音频。
24.根据权利要求18所述的视频合成装置，其特征在于，所述获取模块被配置为执行对于每个视频片段，对所述视频片段进行识别，将识别得到的所述视频片段中的目标物和环境信息中至少一项作为所述视频片段的视频内容。
25.根据权利要求24所述的视频合成装置，其特征在于，所述获取模块被配置为执行使用视频识别模型，将所述视频片段输入所述视频识别模型，输出所述视频片段中的目标物和环境信息中至少一项，所述视频识别模型用于根据输入的视频片段输出目标物和环境信息中至少一项。
26.根据权利要求25所述的视频合成装置，其特征在于，所述获取模块被配置为执行获取多个样本视频片段以及每个样本视频片段的标注信息，所述标注信息包括目标物和环境信息中至少一项；基于所述多个样本视频片段以及对应的标注信息，对神经网络模型进行训练，得到所述视频识别模型。
27.根据权利要求18所述的视频合成装置，其特征在于，所述获取模块被配置为执行对于每个视频片段，根据所述视频片段的视频内容以及视频内容与风格之间的对应规则，确定所述视频片段的视频内容对应的风格。
28.根据权利要求17所述的视频合成装置，其特征在于，当所述目标音频为一个音频时，所述目标音频的音频变化点为所述一个音频所包括的音频变化点；当所述目标音频为多个音频时，所述目标音频的音频变化点包括所述多个音频中每个音频所包括的音频变化点；
所述获取模块被配置为执行：
对于任一个音频，根据所述音频的振幅信息，确定所述音频的音频变化点，所述音频变化点的振幅与目标时间点的振幅之间的差值大于振幅阈值，所述目标时间点为所述音频中与所述音频变化点之间的时间间隔小于时间阈值的时间点；或，
使用音频识别模型，将所述音频输入所述音频识别模型，输出所述音频的音频变化点，所述音频识别模型用于根据输入的音频输出音频变化点。
29.根据权利要求28所述的视频合成装置，其特征在于，所述获取模块被配置为执行获取多个样本音频以及每个样本音频中标记的音频变化点；基于所述多个样本音频以及对应的音频变化点，对神经网络模型进行训练，得到所述音频识别模型。
30.根据权利要求17所述的视频合成装置，其特征在于，所述合成模块被配置为执行：
根据所述目标音频的音频变化点和所述至少一个视频片段的播放顺序，确定各个视频片段分别对应的相邻音频变化点；
对于每个视频片段，根据所述视频片段对应的相邻音频变化点，将所述视频片段与所述视频片段对应的音频片段标记相同的时间戳，执行合成视频文件的步骤，所述音频片段为所述目标音频中与所述视频片段对应的相邻音频变化点之间的音频片段，所述时间戳包括起始时间戳和结束时间戳。
31.根据权利要求30所述的视频合成装置，其特征在于，所述合成模块被配置为执行：
当所述目标音频为一个音频时，根据所述一个音频的音频变化点的位置顺序和所述至少一个视频片段的播放顺序，确定各个视频片段分别对应的相邻音频变化点；
当所述目标音频为多个音频时，根据所述多个音频的播放顺序、所述多个音频中每个音频的音频变化点的位置顺序和所述至少一个视频片段的播放顺序，确定各个视频片段分别对应的相邻音频变化点。
32.根据权利要求30所述的视频合成装置，其特征在于，所述合成模块被配置为执行：
当所述视频片段的时长等于所述视频片段对应的音频片段的时长时，将所述视频片段与所述视频片段对应的音频片段标记相同的时间戳；
当所述视频片段的时长大于所述视频片段对应的音频片段的时长时，对所述视频片段进行剪裁，将剪裁后的视频片段与所述视频片段对应的音频片段标记相同的时间戳，所述剪裁后的视频片段的时长等于所述视频片段对应的音频片段的时长；
当所述视频片段的时长小于所述视频片段对应的音频片段的时长时，对所述视频片段对应的音频片段进行剪裁后，将所述视频片段与剪裁后的音频片段标记相同的时间戳，所述剪裁后的音频片段的时长等于所述视频片段的时长。
33.一种终端，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取至少一个视频片段；
根据所述至少一个视频片段的视频内容和片段数量，获取与所述视频内容适配的目标音频，所述目标音频的音频变化点的数量大于或等于所述片段数量减一，所述音频变化点是指音频中音频特征变化符合预设条件的时间点；
根据所述目标音频中所包括的音频变化点，将所述至少一个视频片段与所述目标音频合成得到视频文件。
34.一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种视频合成方法，所述方法包括：
获取至少一个视频片段；
根据所述至少一个视频片段的视频内容和片段数量，获取与所述视频内容适配的目标音频，所述目标音频的音频变化点的数量大于或等于所述片段数量减一，所述音频变化点是指音频中音频特征变化符合预设条件的时间点；
根据所述目标音频中所包括的音频变化点，将所述至少一个视频片段与所述目标音频合成得到视频文件。
CN201811392903.3A 2018-11-21 2018-11-21 视频合成方法、装置、终端及存储介质 Active CN109379643B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201811392903.3A CN109379643B (zh) 2018-11-21 2018-11-21 视频合成方法、装置、终端及存储介质
US17/257,560 US11551726B2 (en) 2018-11-21 2019-09-17 Video synthesis method terminal and computer storage medium
PCT/CN2019/106251 WO2020103548A1 (zh) 2018-11-21 2019-09-17 视频合成方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811392903.3A CN109379643B (zh) 2018-11-21 2018-11-21 视频合成方法、装置、终端及存储介质

Publications (2)

Publication Number Publication Date
CN109379643A CN109379643A (zh) 2019-02-22
CN109379643B true CN109379643B (zh) 2020-06-09

Family

ID=65377052

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811392903.3A Active CN109379643B (zh) 2018-11-21 2018-11-21 视频合成方法、装置、终端及存储介质

Country Status (3)

Country Link
US (1) US11551726B2 (zh)
CN (1) CN109379643B (zh)
WO (1) WO2020103548A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109379643B (zh) 2018-11-21 2020-06-09 北京达佳互联信息技术有限公司 视频合成方法、装置、终端及存储介质
CN111726684B (zh) * 2019-03-22 2022-11-04 腾讯科技（深圳）有限公司 一种音视频处理方法、装置及存储介质
CN110233976B (zh) * 2019-06-21 2022-09-09 广州酷狗计算机科技有限公司 视频合成的方法及装置
CN110602550A (zh) * 2019-08-09 2019-12-20 咪咕动漫有限公司 一种视频处理方法、电子设备及存储介质
CN112565882A (zh) 2019-09-26 2021-03-26 北京字节跳动网络技术有限公司 视频生成方法、装置、电子设备和计算机可读介质
CN110958386B (zh) * 2019-11-12 2022-05-06 北京达佳互联信息技术有限公司 视频合成方法、装置、电子设备及计算机可读存储介质
CN112822541B (zh) * 2019-11-18 2022-05-20 北京字节跳动网络技术有限公司 视频生成方法、装置、电子设备和计算机可读介质
CN111901626B (zh) * 2020-08-05 2021-12-14 腾讯科技（深圳）有限公司 背景音频确定方法、视频剪辑方法、装置和计算机设备
CN114390367A (zh) * 2020-10-16 2022-04-22 上海哔哩哔哩科技有限公司 一种音视频处理方法及装置
CN112669885B (zh) * 2020-12-31 2023-04-28 咪咕文化科技有限公司 一种音频剪辑方法、电子设备及存储介质
CN112866584B (zh) * 2020-12-31 2023-01-20 北京达佳互联信息技术有限公司 视频合成方法、装置、终端及存储介质
CN113099297B (zh) * 2021-03-24 2022-09-30 北京达佳互联信息技术有限公司 卡点视频的生成方法、装置、电子设备及存储介质
CN116033204B (zh) * 2022-07-08 2023-10-20 荣耀终端有限公司 屏幕录制方法、电子设备及存储介质

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5664227A (en) * 1994-10-14 1997-09-02 Carnegie Mellon University System and method for skimming digital audio/video data
US7512886B1 (en) * 2004-04-15 2009-03-31 Magix Ag System and method of automatically aligning video scenes with an audio track
US20060204214A1 (en) * 2005-03-14 2006-09-14 Microsoft Corporation Picture line audio augmentation
US8774598B2 (en) * 2011-03-29 2014-07-08 Sony Corporation Method, apparatus and system for generating media content
US9767850B2 (en) * 2012-09-08 2017-09-19 Michael Brough Method for editing multiple video files and matching them to audio files
US20150113408A1 (en) * 2013-10-18 2015-04-23 Apple Inc. Automatic custom sound effects for graphical elements
US9508385B2 (en) * 2013-11-21 2016-11-29 Microsoft Technology Licensing, Llc Audio-visual project generator
US20170092323A1 (en) * 2014-03-10 2017-03-30 Paul Goldman Audio/Video Merge Tool
US9818216B2 (en) * 2014-04-08 2017-11-14 Technion Research And Development Foundation Limited Audio-based caricature exaggeration
CN104202540B (zh) * 2014-09-28 2017-07-28 北京金山安全软件有限公司 一种利用图片生成视频的方法及***
US9535654B2 (en) * 2014-11-13 2017-01-03 Here Global B.V. Method and apparatus for associating an audio soundtrack with one or more video clips
AU2016201380A1 (en) * 2015-03-05 2016-09-22 Jason Kerry Jamieson Media track organising system and method therefor
CN105227864A (zh) * 2015-10-16 2016-01-06 南阳师范学院 一种图片生成动画并与视频片段拼接合成的视频编辑方法
US10546575B2 (en) * 2016-12-14 2020-01-28 International Business Machines Corporation Using recurrent neural network for partitioning of audio data into segments that each correspond to a speech feature cluster identifier
CN108322638A (zh) 2017-01-17 2018-07-24 中兴通讯股份有限公司 视频录制方法及装置
CN107393569B (zh) * 2017-08-16 2019-10-29 成都品果科技有限公司 音视频剪辑方法及装置
CN107888963B (zh) * 2017-10-27 2021-02-23 北京雷石天地电子技术有限公司 基于节奏合成视频的方法及***
CN107770626B (zh) * 2017-11-06 2020-03-17 腾讯科技（深圳）有限公司 视频素材的处理方法、视频合成方法、装置及存储介质
CN108012190A (zh) 2017-12-07 2018-05-08 北京搜狐新媒体信息技术有限公司 一种视频合并方法及装置
US10719744B2 (en) * 2017-12-28 2020-07-21 Intel Corporation Automated semantic inference of visual features and scenes
CN108419035A (zh) * 2018-02-28 2018-08-17 北京小米移动软件有限公司 图片视频的合成方法及装置
CN109379643B (zh) 2018-11-21 2020-06-09 北京达佳互联信息技术有限公司 视频合成方法、装置、终端及存储介质

Also Published As

Publication number Publication date
US20210249052A1 (en) 2021-08-12
WO2020103548A1 (zh) 2020-05-28
CN109379643A (zh) 2019-02-22
US11551726B2 (en) 2023-01-10

Similar Documents

Publication Publication Date Title
CN109379643B (zh) 视频合成方法、装置、终端及存储介质
CN108401124B (zh) 视频录制的方法和装置
CN110572711B (zh) 视频封面生成方法、装置、计算机设备及存储介质
CN108965922B (zh) 视频封面生成方法、装置和存储介质
CN110650379B (zh) 视频摘要生成方法、装置、电子设备及存储介质
CN108965757B (zh) 视频录制方法、装置、终端及存储介质
CN109922356B (zh) 视频推荐方法、装置和计算机可读存储介质
CN109346111B (zh) 数据处理方法、装置、终端及存储介质
CN109192218B (zh) 音频处理的方法和装置
CN109144346B (zh) 歌曲分享方法、装置及存储介质
CN109522863B (zh) 耳部关键点检测方法、装置及存储介质
CN110933468A (zh) 播放方法、装置、电子设备及介质
CN109003621B (zh) 一种音频处理方法、装置及存储介质
CN112261491B (zh) 视频时序标注方法、装置、电子设备及存储介质
CN111880888B (zh) 预览封面生成方法、装置、电子设备及存储介质
CN109547843B (zh) 对音视频进行处理的方法和装置
CN110688082A (zh) 确定音量的调节比例信息的方法、装置、设备及存储介质
CN109743461B (zh) 音频数据处理方法、装置、终端及存储介质
CN110956971A (zh) 音频处理方法、装置、终端及存储介质
CN109065068B (zh) 音频处理方法、装置及存储介质
CN110827195A (zh) 虚拟物品添加方法、装置、电子设备及存储介质
CN113763228A (zh) 图像处理方法、装置、电子设备及存储介质
CN109961802B (zh) 音质比较方法、装置、电子设备及存储介质
CN109547847B (zh) 添加视频信息的方法、装置及计算机可读存储介质
CN111327819A (zh) 选择图像的方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant