CN116170626A - 视频编辑方法、装置、电子设备及存储介质 - Google Patents

视频编辑方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116170626A
CN116170626A CN202310181230.1A CN202310181230A CN116170626A CN 116170626 A CN116170626 A CN 116170626A CN 202310181230 A CN202310181230 A CN 202310181230A CN 116170626 A CN116170626 A CN 116170626A
Authority
CN
China
Prior art keywords
materials
editing
video
selection operation
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310181230.1A
Other languages
English (en)
Inventor
邹铃玉
赵文争
刘春晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202310181230.1A priority Critical patent/CN116170626A/zh
Publication of CN116170626A publication Critical patent/CN116170626A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4431—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB characterized by the use of Application Program Interface [API] libraries

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本公开关于一种视频编辑方法、装置、电子设备及存储介质，属于视频处理技术领域。视频编辑方法：响应于对第一编辑项目的选择操作，展示第一编辑项目对应的视频编辑界面，视频编辑界面中包括第一素材和素材添加控件，第一素材来源于第一素材库；响应于对素材添加控件的选择操作，展示N个第二素材，N个第二素材的主题与第一素材的主题一致，且N个第二素材的风格与第一素材的风格一致，N个第二素材来源于第二素材库；响应于对N个第二素材中M个第二素材的选择操作，将选中的M个第二素材添加至第一编辑项目上，以便用户进行视频编辑。本公开实施例中提供的第二素材与第一素材的风格和主题均一致，方便用户找到需求的素材以完成视频的编辑处理。

Description

视频编辑方法、装置、电子设备及存储介质
技术领域
本公开涉及视频处理技术领域，尤其涉及视频编辑方法、装置、电子设备及存储介质。
背景技术
随着互联网技术的发展以及5g时代的来临，短视频成为了一种主流娱乐方式，因而，越来越多的人开始使用视频剪辑软件制作及发布视频。在视频剪辑软件中，用户可以根据自身的需要，对多个视频素材进行剪辑拼接处理，制作拼接视频。
在编辑视频的过程中，有时会出现素材不足的情况，用户需要通过各类素材网站寻找所需的视频素材，用户需要先退出视频剪辑软件，然后进入素材网站寻找素材，找到素材后，还需要下载素材，最后再导入至视频剪辑软件，整个过程流程复杂，耗费时间长。
发明内容
本公开提供一种视频编辑方法、装置、电子设备及存储介质，以至少解决相关技术中通过各类素材网站寻找视频素材，流程复杂，耗时较长，影响编辑处理视频效率的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种视频编辑方法，包括：
响应于对第一编辑项目的选择操作，展示所述第一编辑项目对应的视频编辑界面，所述视频编辑界面中包括第一素材和素材添加控件，所述第一素材来源于第一素材库；
响应于对所述素材添加控件的选择操作，展示N个第二素材，所述N个第二素材的主题与所述第一素材的主题一致，且所述N个第二素材的风格与所述第一素材的风格一致，所述N个第二素材来源于第二素材库；
响应于对所述N个第二素材中M个第二素材的选择操作，将选中的所述M个第二素材添加至所述第一编辑项目上，以使用户基于所述第一素材和所述M个第二素材进行视频编辑；
其中，N和M均为正整数。
在本公开的一种示例性实施例中，所述将选中的所述M个第二素材添加至所述第一编辑项目上，包括：
获取所述素材添加控件在所述视频编辑界面上的落点位置；
将选中的所述M个第二素材添加至所述落点位置。
在本公开的一种示例性实施例中，所述响应于对所述素材添加控件的选择操作，展示N个第二素材，包括：
响应于对所述素材添加控件的选择操作，显示素材库界面，所述素材库界面设置有第一类型控件和第二类型控件；
响应于对所述第一类型控件的选择操作，展示所述N个第二素材；
所述方法还包括：
响应于对所述第二类型控件的选择操作，展示所述第一素材库中的素材。
在本公开的一种示例性实施例中，所述第一类型控件关联多个子类控件，所述方法还包括：
响应于对所述多个子类控件中任一子类控件的选择操作，展示所述子类控件关联的第二素材。
在本公开的一种示例性实施例中，所述方法还包括：
获取所述第一编辑项目的多模态特征，所述多模态特征包括所述第一编辑项目中第一素材的文本特征、图像特征和音频特征；
基于所述文本特征、所述图像特征和所述音频特征，在所述第二素材库中进行同模态匹配和/或跨模态匹配，得到所述N个第二素材。
在本公开的一种示例性实施例中，所述基于所述文本特征、所述图像特征和所述音频特征，在所述第二素材库中进行同模态匹配和/或跨模态匹配，得到所述N个第二素材，包括：
基于所述文本特征、所述图像特征和所述音频特征，在所述第二素材库中进行同模态匹配和/或跨模态匹配，得到与所述第一编辑项目的主题一致的候选素材集合；
基于所述第一编辑项目的风格，对所述候选素材集合进行筛选处理，得到与所述第一编辑项目的主题一致，且风格一致的所述N个第二素材。
在本公开的一种示例性实施例中，所述基于所述文本特征、所述图像特征和所述音频特征，在所述第二素材库中进行同模态匹配和/或跨模态匹配，得到与所述第一编辑项目的主题一致的候选素材集合，包括：
基于所述文本特征、所述图像特征和所述音频特征，在所述第二素材库中进行同模态匹配和/或跨模态匹配，得到与所述第一编辑项目的主题一致的初始素材集合；
去除所述初始素材集合中，与所述第一编辑项目中的素材之间的素材内容相似度大于预设阈值的素材，得到所述候选素材集合。
根据本公开实施例的第二方面，提供一种视频编辑装置，包括：
第一显示模块，用于响应于对第一编辑项目的选择操作，展示所述第一编辑项目对应的视频编辑界面，所述视频编辑界面中包括第一素材和素材添加控件，所述第一素材来源于第一素材库；
第二显示模块，用于响应于对所述素材添加控件的选择操作，展示N个第二素材，所述N个第二素材的主题与所述第一素材的主题一致，且所述N个第二素材的风格与所述第一素材的风格一致，所述N个第二素材来源于第二素材库；
编辑处理模块，用于响应于对所述N个第二素材中M个第二素材的选择操作，将选中的所述M个第二素材添加至所述第一编辑项目上，以使用户基于所述第一素材和所述M个第二素材进行视频编辑；
其中，N和M为正整数。
在本公开的一种示例性实施例中，编辑处理模块，用于获取所述素材添加控件在所述视频编辑界面上的落点位置；将选中的所述M个第二素材添加至所述落点位置。
在本公开的一种示例性实施例中，第二显示模块，用于响应于对所述素材添加控件的选择操作，显示素材库界面，所述素材库界面设置有第一类型控件和第二类型控件；响应于对所述第一类型控件的选择操作，展示所述N个第二素材；
所述第二显示模块，还用于响应于对所述第二类型控件的选择操作，展示所述第一素材库中的素材。
在本公开的一种示例性实施例中，所述第一类型控件关联多个子类控件，所述视频编辑装置，还可以包括：
第三显示模块，用于响应于对所述多个子类控件中任一子类控件的选择操作，展示所述子类控件关联的第二素材。
在本公开的一种示例性实施例中，所述视频编辑装置，还可以包括：
特征获取模块，用于获取所述第一编辑项目的多模态特征，所述多模态特征包括所述第一编辑项目中第一素材的文本特征、图像特征和音频特征；
匹配模块，用于基于所述文本特征、所述图像特征和所述音频特征，在所述第二素材库中进行同模态匹配和/或跨模态匹配，得到所述N个第二素材。
在本公开的一种示例性实施例中，所述匹配模块，包括：
第一处理单元，用于基于所述文本特征、所述图像特征和所述音频特征，在所述第二素材库中进行同模态匹配和/或跨模态匹配，得到与所述第一编辑项目的主题一致的候选素材集合；
第二处理单元，用于基于所述第一编辑项目的风格，对所述候选素材集合进行筛选处理，得到与所述第一编辑项目的主题一致，且风格一致的所述N个第二素材。
在本公开的一种示例性实施例中，所述第一处理单元，用于基于所述文本特征、所述图像特征和所述音频特征，在所述第二素材库中进行同模态匹配和/或跨模态匹配，得到与所述第一编辑项目的主题一致的初始素材集合；去除所述初始素材集合中，与所述第一编辑项目中的素材之间的素材内容相似度大于预设阈值的素材，得到所述候选素材集合。
在本公开实施例中，术语“第一”、“第二”和“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
还需要说明的是，本公开实施例中不同的显示模块可以是同一模块，也可以代表不同的模块。
根据本公开的第三方面，提供一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行指令，以实现上述任意一项所述视频编辑方法。
根据本公开的第四方面，提供一种计算机可读存储介质，当计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任意一项所述视频编辑方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序/指令，计算机程序/指令被处理器执行时实现上述任意一项所述视频编辑方法。
根据本公开实施例的第六方面，提供一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述视频编辑方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
本公开提供一种视频编辑方法、装置、电子设备及存储介质，在第一编辑项目需要添加新的素材时，可以提供与第一编辑项目中第一素材的风格一致且主题一致的第二素材，方便用户找到需求的素材；将选中的第二素材添加至第一编辑项目中，方便用户继续对视频进行编辑处理。
此外，第二素材来源于第二素材库，而第一编辑项目中的第一素材来源于第一素材库，也就是说，本公开中提供的第二素材可以与第一编辑项目中的素材来源不同，不局限于同一数据库，素材更丰富。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种视频编辑方法的流程图。
图2是根据一示例性实施例示出的一种视频编辑界面示意图。
图3是根据一示例性实施例示出的另一种视频编辑界面示意图。
图4是根据一示例性实施例示出的从开始编辑控件进入视频编辑界面的界面变化示意图。
图5是根据一示例性实施例示出的从历史编辑项目进入视频编辑界面的界面变化示意图。
图6是根据一示例性实施例示出的第二素材示意图。
图7是根据一示例性实施例示出的选择一个第二素材的界面示意图。
图8是根据一示例性实施例示出的选择两个第二素材的界面示意图。
图9是根据一示例性实施例示出的选中两个第二素材至视频编辑界面的界面变化示意图。
图10是根据一示例性实施例示出的一种素材库界面示意图。
图11是根据一示例性实施例示出的另一种素材库界面示意图。
图12是根据一示例性实施例示出的确定第二素材的流程示意图。
图13是根据一示例性实施例示出的另一种视频编辑方法的流程图。
图14是根据一示例性实施例示出的一种视频编辑装置的框图。
图15根据一示例性实施例示出的一种电子设备的结构框图；
图16根据一示例性实施例示出的一种电子设备的硬件结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开实施例提供的视频编辑方法、装置、电子设备及存储介质，可以应用于视频处理的场景，视频处理的场景可以是通过视频剪辑软件或视频剪辑客户端，对多个视频素材进行剪辑拼接处理，制作拼接视频。
制作好的视频可以在各类视频平台进行发布。在各类视频平台中，视频质量、视频数量及视频发布频率是决定视频曝光度的重要因素。为了获得更好地曝光度，视频创作者需要持续高效地，制作发布高质量视频。
视频创作者在剪辑视频时，如果遇到自己拍摄的素材不充分以至于无法完成视频故事情节(storyline)，而又没有时间进行补拍，便需要通过各类素材网站寻找所需的视频素材。上述场景中，视频创造者需要先退出视频编辑软件，然后进入素材网站寻找素材，找到素材后，还需要下载素材，最后再导入至视频编辑软件，整个过程流程复杂，耗费时间长，影响用户体验。
图1是根据一示例性实施例示出的一种视频编辑方法的流程图，如图1所示，视频编辑方法用于视频处理中，包括步骤S110-S130。
在S110中，响应于对第一编辑项目的选择操作，展示第一编辑项目对应的视频编辑界面，视频编辑界面中包括第一素材和素材添加控件，第一素材来源于第一素材库。
视频编辑界面可以是视频剪辑软件或视频剪辑客户端的视频编辑界面。
第一编辑项目中可以包括多个素材，多个素材中可以包括第一素材。第一素材来源于第一素材库，第一素材库可以是本地素材库，本地素材库用于存储用户自有的素材，用户自有的素材包括用户拍摄的视频和/或图像素材。
在一个实施例中，素材可以是视频、音频、图像等。音频可以是第一编辑项目的背景音乐，或视频中的音频等。
在另一个实施例中，素材也可以包括文本素材，文本素材可以是第一编辑项目的字幕、名称等。
与相关技术相似，第一编辑项目中的素材位于时间轴的相应位置，素材所对应的时间轴的长短，表示素材所对应的视频时长。在一个实施例中，图像素材在时间轴上也对应一段长度，在基于素材生成视频后，图像也有一段的展示时长，因此，在一些情况下，图像素材也可以称为视频素材。
视频编辑界面中还包括素材添加控件，在用户想要向第一编辑项目中添加素材，或替换第一编辑项目中的某一个素材时，可以选择素材添加控件。素材添加控件的形式可以是图像或文字，在此不作限定。
视频编辑界面中还可以设置有视频播放控件、生成视频控件，添加字幕控件等。
图2示出一种示例性视频编辑界面示意图，如图2所示，第一编辑项目210位于时间轴220下方，第一编辑项目210包括第一素材211。图2所示视频编辑界面中还设置有视频预览区域230、视频播放控件240、生成视频控件250，用户可以通过点击视频播放控件，在视频预览区域230预览第一编辑项目210的视频播放效果，用户也可以通过点击生成视频控件250，将第一编辑项目中的素材渲染为一个视频。
此外，视频编辑界面中还可以设置有其它控件，如图3所示，该视频编辑界面中还设置有剪辑工具301、比例选项302、画中画303、特效工具304等。
在一些实施例中，如图4所示，用户在打开视频剪辑软件后，可以点击开始剪辑控件401，然后选择素材构建第一编辑项目，并转入视频编辑界面402。
在一些实施例中，如图5所示，用户在打开视频剪辑软件后，可以在历史编辑项目中选择第一编辑项目501，然后转入视频编辑界面502。此外，视频剪辑软件中还可以包括其它控件，在此不作限定。
在S120中，响应于对素材添加控件的选择操作，展示N个第二素材，N个第二素材的主题与第一素材的主题一致，且N个第二素材的风格与第一素材的风格一致，N个第二素材来源于第二素材库。
其中，N为正整数。
对素材添加控件的选择操作可以是对视频编辑界面中素材添加控件的触控输入，或者为用户输入的语音指令，或者为用户输入的特定手势，还可以是对物理按键的输入，具体的可以根据实际使用需求确定，本公开实施例对此不作限定。
本公开实施例中的特定手势可以为单击手势、滑动手势、拖动手势、压力识别手势、长按手势、面积变化手势、双按手势、双击手势中的任意一种。本公开实施例中的点击输入可以为单击输入、双击输入或任意次数的点击输入等，还可以为长按输入或短按输入。
在一个实施例中，对素材添加控件的选择操作可以是对素材添加控件的点击输入，用户点击素材添加控件后，界面展示与第一编辑项目的风格和主题对应的N个第二素材。
在一些实施例中，N个第二素材的主题与第一素材的主题一致，且N个第二素材的风格与第一素材的风格一致，但是每个第二素材的素材内容与第一素材的素材内容的相似度低于预设阈值。
在一些实施例中，第二素材可以是图像素材，图像素材的风格可以是基于图像的色彩、色调、对比度等划分的图像类别。
在一个实施例中，图像素材的风格可以包括清新风格、文艺风格、私房风格、时尚风格、黑白风格等。
清新风格，可以用于表现青春、朝气、阳光。清新风格的图像可以通过亮色调来表现。
文艺风格，与清新风格有一些相似之处。它通常来表现人物的忧郁思索，伤感。以自然光线下较弱的明暗关系来烘托怀旧气氛。
私房风格，一种私人的私密的人像摄影作品，呈现个性化的情绪和形体表达，通常在室内拍摄。
时尚风格，多以展示时尚的服装，配饰，妆容或者其他时尚物品为内容。时尚风格的摄影色调丰富多样，可表现为高调、暗调、强硬、温柔，浓郁色彩，黑白对比等效果。
黑白风格，只有黑白灰组成，画面对比更加强烈。
在一些实施例中，第二素材可以是视频素材，视频素材的风格可以是视频的剪辑风格。剪辑风格可以根据视频的剪辑点选择、镜头长短、转换快慢等确定。一般说来，镜头短、画面转换快，能引起急迫、紧张感；镜头长、画面转换慢，可导致迟缓或压抑感。
在一个实施例中，剪辑风格可以根据剪接率确定，剪接率可以通过影片中一个段落的镜头的数目来计算得到。
在一些实施例中，第二素材可以是音频素材，音频素材的风格可以是音乐风格，音乐风格可以包括：嘻哈、说唱、摇滚、节奏布鲁斯、电子音乐等。
主题可以是第一编辑项目的主要内容，或第一编辑项目所要表现的中心思想。
在一个实施例中，第一编辑项目的主题可以是风景，如图6所示，N个第二素材可以是风景视频和风景图像，且风景视频的剪辑风格和第一素材的剪辑风格相似，例如，风景视频的剪接率和第一素材的剪接率之差小于预设阈值。
在S130中，响应于对N个第二素材中M个第二素材的选择操作，将选中的M个第二素材添加至第一编辑项目上，以使用户基于第一素材和M个第二素材进行视频编辑。
N和M均为正整数，M不大于N。
在一些实施例中，在选择第二素材时，还可以显示选中的素材的时长，如图7所示，图像素材可以对应一个预设的图像时长。如图8所示，在选中两个第二素材时，显示选中的两个第二素材的总时长，在选择完后，可以将选中的两个第二素材添加至视频编辑界面的时间轴上，如图9所示，两个第二素材在时间轴上对应的时长与上文中的显示时长对应，第二素材901时长7秒，第二素材902时长2秒，在时间轴上分别对应素材903时长7秒和素材904时长2秒。
本公开实施例所提供的视频编辑方法，在第一编辑项目需要添加新的素材时，可以提供与第一编辑项目的风格和主题对应的第二素材，方便用户找到需求的素材；将选中的第二素材添加至第一编辑项目的时间轴上，方便用户继续对视频进行编辑处理。
此外，第二素材来源于第二素材库，而第一编辑项目中的第一素材来源于第一素材库，也就是说，本公开中提供的第二素材可以与第一编辑项目中的素材来源不同，不局限于同一数据库，素材更丰富。
在一些实施例中，S130将选中的M个第二素材添加至第一编辑项目上，可以是获取素材添加控件在视频编辑界面上的落点位置；将选中的M个第二素材添加至落点位置，也就是将选中的M个第二素材添加至第一编辑项目对应的时间轴的第一位置，第一位置为接收对素材添加控件的选择操作时，素材添加控件在时间轴处的对应位置。
参考附图1，素材添加控件可以表示为“+”，可以通过移动“+”的位置来选择添加素材的位置，也可以通过移动第一编辑项目中素材的位置，来选择添加素材的位置。本公开中素材添加控件还可以通过其它形式表示，在此不作限定。
本公开实施例，能够选择添加素材的位置，进而在将选中的M个第二素材添加至视频编辑界面的时间轴上后，用户便可以直接进行下一步的视频编辑，流程更加简便。
在一些实施例中，S120可以是响应于对素材添加控件的选择操作，显示素材库界面，素材库界面设置有第一类型控件和第二类型控件；响应于对第一类型控件的选择操作，展示N个第二素材。
在一个实施例中，如图10所示，素材库界面包括第一类型控件1010和第二类型控件1020，第一类型控件1010关联的第一区域1030展示有与第一编辑项目的风格和主题对应的N个第二素材，这里，第二素材是动物视频和动物图像，且动物视频的剪辑风格和第一素材的剪辑风格相似。
在一个实施例中，上述方法还可以包括响应于对第二类型控件的选择操作，展示第一素材库中的素材。
第一素材库可以是本地素材库，本地素材库中可以包含第一编辑项目中的第一素材。
本公开实施例中，可以包括多个素材库，第二素材库(网络素材库)和第一素材库(本地素材库)等，本公开能够在用户添加素材时，为用户提供非第一素材库中与第一素材的风格和主题对应的第二素材，用户无需退出软件查找素材，以及导入素材，整个流程更加简单，能够有效提升用户处理视频的效率。
在一些实施例中，第一类型控件关联多个子类控件，上述方法还可以包括响应于对多个子类控件中任一子类控件的选择操作，展示子类控件关联的第二素材。
在一个实施例中，如图11所示，素材库界面包括第一类型控件1110和第二类型控件1120，第一类型控件1110关联的第一区域1130展示有与第一编辑项目的风格和主题对应的N个第二素材。第一类型控件1110关联多个子类控件1111，在用户选择任一子类控件后，第一区域1130展示与该子类控件关联的第二素材。
在一个实施例中，子类控件可以根据素材的类型划分，例如视频或图像；子类控件也可以根据素材的主题对象划分，例如，在主题是动物的情况下，子类控件可以包括狗和猫等；子类控件也可以根据素材所适合的位置划分，例如，开场和结尾等。
本公开实施例在为用户提供相关的第二素材的基础上，还支持进一步的根据子类控件筛选，使得用户更容易找到需求的素材，提升用户制作视频的效率。
在一些实施例中，如图12所示，上述方法还可以包括步骤S1210-S1220。
在S1210中，获取第一编辑项目的多模态特征，多模态特征包括第一编辑项目中第一素材的文本特征、图像特征和音频特征。
文本特征可以包括第一编辑项目的字幕；图像特征可以包括从视频帧中提取得到的特征，视频中的对象、动作等，也可以称为视频特征；音频特征可以包括音乐的类型、风格等。
在S1220中，基于文本特征、图像特征和音频特征，在第二素材库中进行同模态匹配和/或跨模态匹配，得到N个第二素材。
在一些实施例中，同模态匹配可以是相同特征之间进行匹配，即视频-视频匹配、文本-文本匹配等，跨模态匹配可以是不同的特征之间进行匹配，即视频-文本跨模态匹配、文本-结构化标签匹配等。作为一个示例，跨模态匹配可以是通过第一素材的文本特征与第二素材库中素材的图像特征进行匹配，也就是不同的特征之间进行匹配。
本公开实施例中，可以通过同模态匹配和/或跨模态匹配得到N个第二素材，推荐的准确率更高，便于用户查找素材，提高视频编辑处理的效率。
在一些实施例中，S1220可以实现如下基于文本特征、图像特征和音频特征，在第二素材库中进行同模态匹配和/或跨模态匹配，得到与第一编辑项目的主题一致的候选素材集合；基于第一编辑项目的风格，对候选素材集合进行筛选处理，得到与第一编辑项目的主题一致，且风格一致的N个第二素材。
上述基于第一编辑项目的风格，对候选素材集合进行筛选处理，可以是基于候选素材集合，通过预先训练的时序模型筛选处理。
本公开实施例中，在同模态匹配和/或跨模态匹配之后还进一步使用时序模型筛选，从而保障第二素材的主题及风格与第一素材对应。
在一些实施例中，上述基于文本特征、图像特征和音频特征，在第二素材库中进行同模态匹配和/或跨模态匹配，得到N个第二素材，可以包括基于文本特征、图像特征和音频特征，在第二素材库中进行同模态匹配和/或跨模态匹配，得到与第一编辑项目的主题一致的初始素材集合；去除初始素材集合中，与第一编辑项目中的素材之间的素材内容相似度大于预设阈值的素材，得到候选素材集合。
本公开实施例中，能够过滤掉与第一编辑项目中素材内容相似度过高的素材，使得推荐的第二素材更适于用户的需求，便于用户进行选择。
在一些实施例中，如图13所示，用户在视频剪辑App上传本地素材，进入视频编辑界面，在时间轴区域点击素材添加控件，进入素材添加页面。
在素材添加页面选择第一类型控件，进行智能素材匹配。
智能素材匹配后，对用户上传的素材进行多模态特征提取，即通过ASR、OCR、音频处理、视频向量化(embedding)、文本embedding、情感倾向分析等能力提取素材文本、图像特征(视频特征)。将对素材的内容理解结果包括文本标签、视频标签与自建素材库中的素材及其metainfo进行跨模态匹配，即视频-视频匹配、视频-文本跨模态匹配、文本-结构化标签匹配等。再利用相似视频检索能力，过滤掉与用户上传素材高度一致的视频素材。最后通过时序建模进行风格一致性约束，保证推荐素材与用户上传素材风格、主题一致。
用户直接选择推荐的视频素材，进行内容补充，最后高效完成视频生产动作。
需要说明的是，本公开实施例提供的视频编辑方法，执行主体还可以为视频编辑装置，或者该视频编辑装置中的用于执行视频编辑方法的控制模块。本公开实施例中以视频编辑装置执行视频编辑方法为例，说明本公开实施例提供的视频编辑装置。
图14是根据一示例性实施例示出的一种视频编辑装置框图。参照图14，该装置包括第一显示模块1410、第二显示模块1420、编辑处理模块1430。
第一显示模块1410，用于响应于对第一编辑项目的选择操作，展示第一编辑项目对应的视频编辑界面，视频编辑界面中包括第一素材和素材添加控件，第一素材来源于第一素材库；
第二显示模块1420，用于响应于对素材添加控件的选择操作，展示N个第二素材，N个第二素材的主题与第一素材的主题一致，且N个第二素材的风格与第一素材的风格一致，N个第二素材来源于第二素材库；
编辑处理模块1430，用于响应于对N个第二素材中M个第二素材的选择操作，将选中的M个第二素材添加至第一编辑项目上，以使用户基于第一素材和M个第二素材进行视频编辑；
其中，N和M为正整数。
在本公开的一种示例性实施例中，编辑处理模块1430，用于获取素材添加控件在视频编辑界面上的落点位置；将选中的M个第二素材添加至落点位置。
在本公开的一种示例性实施例中，第二显示模块1420，用于响应于对素材添加控件的选择操作，显示素材库界面，素材库界面设置有第一类型控件和第二类型控件；响应于对第一类型控件的选择操作，展示N个第二素材；
第二显示模块1420，还用于响应于对第二类型控件的选择操作，展示第一素材库中的素材。
在本公开的一种示例性实施例中，第一类型控件关联多个子类控件，视频编辑装置，还可以包括：
第三显示模块，用于响应于对多个子类控件中任一子类控件的选择操作，展示子类控件关联的第二素材。
在本公开的一种示例性实施例中，视频编辑装置，还可以包括：
特征获取模块，用于获取第一编辑项目的多模态特征，多模态特征包括第一编辑项目中第一素材的文本特征、图像特征和音频特征；
匹配模块，用于基于文本特征、图像特征和音频特征，在第二素材库中进行同模态匹配和/或跨模态匹配，得到N个第二素材。
在本公开的一种示例性实施例中，匹配模块，包括：
第一处理单元，用于基于文本特征、图像特征和音频特征，在第二素材库中进行同模态匹配和/或跨模态匹配，得到与第一编辑项目的主题一致的候选素材集合；
第二处理单元，用于基于第一编辑项目的风格，对候选素材集合进行筛选处理，得到与第一编辑项目的主题一致，且风格一致的N个第二素材。
在本公开的一种示例性实施例中，第一处理单元，用于基于文本特征、图像特征和音频特征，在第二素材库中进行同模态匹配和/或跨模态匹配，得到与第一编辑项目的主题一致的初始素材集合；去除初始素材集合中，与第一编辑项目中的素材之间的素材内容相似度大于预设阈值的素材，得到候选素材集合。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开实施例中的视频编辑装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本公开实施例不作具体限定。
本公开实施例中的视频编辑装置可以为具有操作***的装置。该操作***可以为安卓(Android)操作***，可以为IOS操作***，还可以为其他可能的操作***，本公开实施例不作具体限定。
本公开实施例提供的视频编辑装置能够实现图1至图13的方法实施例实现的各个过程，为避免重复，这里不再赘述。
如图15所示，本公开实施例还提供一种电子设备1500，包括处理器1501，存储器1502，存储在存储器1502上并可在所述处理器1501上运行的程序或指令，该程序或指令被处理器1501执行时实现上述视频编辑方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本公开实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图16为实现本公开实施例的一种电子设备的硬件结构示意图。
该电子设备1600包括但不限于：射频单元1601、网络模块1602、音频输出单元1603、输入单元1604、传感器1605、显示单元1606、用户输入单元1607、接口单元1608、存储器1609、以及处理器1610等部件。
本领域技术人员可以理解，电子设备1600还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理***与处理器1610逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。图16中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，显示单元1606，用于响应于对第一编辑项目的选择操作，展示第一编辑项目对应的视频编辑界面，视频编辑界面中包括第一素材和素材添加控件，第一素材来源于第一素材库；响应于对素材添加控件的选择操作，展示N个第二素材，N个第二素材的主题与第一素材的主题一致，且N个第二素材的风格与第一素材的风格一致，N个第二素材来源于第二素材库；
处理器1610，用于响应于对N个第二素材中M个第二素材的选择操作，将选中的M个第二素材添加至第一编辑项目上，以使用户基于第一素材和M个第二素材进行视频编辑；
其中，N和M均为正整数。
在一些实施例中，处理器1610，用于获取素材添加控件在视频编辑界面上的落点位置；将选中的M个第二素材添加至落点位置。
在一些实施例中，显示单元1606，用于响应于对素材添加控件的选择操作，显示素材库界面，素材库界面设置有第一类型控件和第二类型控件；响应于对第一类型控件的选择操作，展示N个第二素材；
显示单元1606，还用于响应于对第二类型控件的选择操作，展示第一素材库中的素材。
在一些实施例中，第一类型控件关联多个子类控件，显示单元1606，还用于响应于对多个子类控件中任一子类控件的选择操作，展示子类控件关联的第二素材。
在一些实施例中，处理器1610，还用于获取第一编辑项目的多模态特征，多模态特征包括第一编辑项目中第一素材的文本特征、图像特征和音频特征；基于文本特征、图像特征和音频特征，在第二素材库中进行同模态匹配和/或跨模态匹配，得到N个第二素材。
在一些实施例中，处理器1610，用于基于文本特征、图像特征和音频特征，在第二素材库中进行同模态匹配和/或跨模态匹配，得到与第一编辑项目的主题一致的候选素材集合；基于第一编辑项目的风格，对候选素材集合进行筛选处理，得到与第一编辑项目的主题一致，且风格一致的N个第二素材。
在一些实施例中，处理器1610，用于基于文本特征、图像特征和音频特征，在第二素材库中进行同模态匹配和/或跨模态匹配，得到与第一编辑项目的主题一致的初始素材集合；去除初始素材集合中，与第一编辑项目中的素材之间的素材内容相似度大于预设阈值的素材，得到候选素材集合。
应理解的是，本公开实施例中，输入单元1604可以包括图形处理器(GraphicsProcessing Unit，GPU)16041和麦克风16042，图形处理器16041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1606可包括显示面板16061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板16061。用户输入单元1607包括触控面板16071以及其他输入设备16072。触控面板16071，也称为触摸屏。触控面板16071可包括触摸检测装置和触摸控制器两个部分。其他输入设备16072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器1609可用于存储软件程序以及各种数据，包括但不限于应用程序和操作***。处理器1610可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1610中。
本公开实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述视频编辑方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。计算机可读存储介质，可以是计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等。
本公开实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像生成方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本公开实施例提到的芯片还可以称为***级芯片、***芯片、芯片***或片上***芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本公开实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本公开各个实施例所述的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种视频编辑方法，其特征在于，包括：
响应于对第一编辑项目的选择操作，展示所述第一编辑项目对应的视频编辑界面，所述视频编辑界面中包括第一素材和素材添加控件，所述第一素材来源于第一素材库；
响应于对所述素材添加控件的选择操作，展示N个第二素材，所述N个第二素材的主题与所述第一素材的主题一致，且所述N个第二素材的风格与所述第一素材的风格一致，所述N个第二素材来源于第二素材库；
响应于对所述N个第二素材中M个第二素材的选择操作，将选中的所述M个第二素材添加至所述第一编辑项目上，以使用户基于所述第一素材和所述M个第二素材进行视频编辑；
其中，N和M均为正整数。
2.根据权利要求1所述的方法，其特征在于，所述将选中的所述M个第二素材添加至所述第一编辑项目上，包括：
获取所述素材添加控件在所述视频编辑界面上的落点位置；
将选中的所述M个第二素材添加至所述落点位置。
3.根据权利要求1所述的方法，其特征在于，所述响应于对所述素材添加控件的选择操作，展示N个第二素材，包括：
响应于对所述素材添加控件的选择操作，显示素材库界面，所述素材库界面设置有第一类型控件和第二类型控件；
响应于对所述第一类型控件的选择操作，展示所述N个第二素材；
所述方法还包括：
响应于对所述第二类型控件的选择操作，展示所述第一素材库中的素材。
4.根据权利要求3所述的方法，其特征在于，所述第一类型控件关联多个子类控件，所述方法还包括：
响应于对所述多个子类控件中任一子类控件的选择操作，展示所述子类控件关联的第二素材。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述第一编辑项目的多模态特征，所述多模态特征包括所述第一编辑项目中第一素材的文本特征、图像特征和音频特征；
基于所述文本特征、所述图像特征和所述音频特征，在所述第二素材库中进行同模态匹配和/或跨模态匹配，得到所述N个第二素材。
6.根据权利要求5所述的方法，其特征在于，所述基于所述文本特征、所述图像特征和所述音频特征，在所述第二素材库中进行同模态匹配和/或跨模态匹配，得到所述N个第二素材，包括：
基于所述文本特征、所述图像特征和所述音频特征，在所述第二素材库中进行同模态匹配和/或跨模态匹配，得到与所述第一编辑项目的主题一致的候选素材集合；
基于所述第一编辑项目的风格，对所述候选素材集合进行筛选处理，得到与所述第一编辑项目的主题一致，且风格一致的所述N个第二素材。
7.根据权利要求6所述的方法，其特征在于，所述基于所述文本特征、所述图像特征和所述音频特征，在所述第二素材库中进行同模态匹配和/或跨模态匹配，得到与所述第一编辑项目的主题一致的候选素材集合，包括：
基于所述文本特征、所述图像特征和所述音频特征，在所述第二素材库中进行同模态匹配和/或跨模态匹配，得到与所述第一编辑项目的主题一致的初始素材集合；
去除所述初始素材集合中，与所述第一编辑项目中的素材之间的素材内容相似度大于预设阈值的素材，得到所述候选素材集合。
8.一种视频编辑装置，其特征在于，包括：
第一显示模块，用于响应于对第一编辑项目的选择操作，展示所述第一编辑项目对应的视频编辑界面，所述视频编辑界面中包括第一素材和素材添加控件，所述第一素材来源于第一素材库；
第二显示模块，用于响应于对所述素材添加控件的选择操作，展示N个第二素材，所述N个第二素材的主题与所述第一素材的主题一致，且所述N个第二素材的风格与所述第一素材的风格一致，所述N个第二素材来源于第二素材库；
编辑处理模块，用于响应于对所述N个第二素材中M个第二素材的选择操作，将选中的所述M个第二素材添加至所述第一编辑项目上，以使用户基于所述第一素材和所述M个第二素材进行视频编辑；
其中，N和M为正整数。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述视频编辑方法。
10.一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至7中任一项所述的视频编辑方法。
CN202310181230.1A 2023-02-16 2023-02-16 视频编辑方法、装置、电子设备及存储介质 Pending CN116170626A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310181230.1A CN116170626A (zh) 2023-02-16 2023-02-16 视频编辑方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310181230.1A CN116170626A (zh) 2023-02-16 2023-02-16 视频编辑方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116170626A true CN116170626A (zh) 2023-05-26

Family

ID=86421763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310181230.1A Pending CN116170626A (zh) 2023-02-16 2023-02-16 视频编辑方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116170626A (zh)

Similar Documents

Publication Publication Date Title
CN110968736B (zh) 视频生成方法、装置、电子设备及存储介质
CN109729426B (zh) 一种视频封面图像的生成方法及装置
KR102028198B1 (ko) 동영상 장면과 메타데이터 저작 방법
CN112579826A (zh) 视频显示及处理方法、装置、***、设备、介质
CN113766296B (zh) 直播画面的展示方法和装置
CN111526427B (zh) 视频生成方法、装置及电子设备
CN113806570A (zh) 图像生成方法和生成装置、电子设备和存储介质
CN110781346A (zh) 基于虚拟形象的新闻生产方法、***、装置和存储介质
CN111125384B (zh) 一种多媒体答案生成方法、装置、终端设备以及存储介质
CN114339076A (zh) 视频拍摄方法、装置、电子设备以及存储介质
CN112083863A (zh) 图像处理方法、装置、电子设备及可读存储介质
CN115309487A (zh) 显示方法、装置、电子设备和可读存储介质
CN112653919B (zh) 字幕添加方法及装置
CN112261321B (zh) 字幕处理方法、装置及电子设备
CN116170626A (zh) 视频编辑方法、装置、电子设备及存储介质
CN113268961A (zh) 游记生成方法及装置
CN114245174B (zh) 视频预览方法以及相关设备
CN111833283B (zh) 数据处理方法、装置及电子设备
CN112272330B (zh) 显示方法、装置和电子设备
JP7240505B2 (ja) 音声パケット推薦方法、装置、電子機器およびプログラム
CN118118747A (zh) 视频简介生成方法、装置、存储介质及计算机设备
CN115842953A (zh) 拍摄方法及其装置
CN116437163A (zh) 视频生成方法及装置
CN113850722A (zh) 图像处理方法、装置和电子设备
CN116975337A (zh) 图像搜索方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination