CN115174823A - 一种卡点特效视频生成方法、装置及存储介质 - Google Patents

一种卡点特效视频生成方法、装置及存储介质 Download PDF

Info

Publication number
CN115174823A
CN115174823A CN202210723026.3A CN202210723026A CN115174823A CN 115174823 A CN115174823 A CN 115174823A CN 202210723026 A CN202210723026 A CN 202210723026A CN 115174823 A CN115174823 A CN 115174823A
Authority
CN
China
Prior art keywords
special effect
point
stuck point
amplitude
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210723026.3A
Other languages
English (en)
Other versions
CN115174823B (zh
Inventor
陆赞信
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iMusic Culture and Technology Co Ltd
Original Assignee
iMusic Culture and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iMusic Culture and Technology Co Ltd filed Critical iMusic Culture and Technology Co Ltd
Priority to CN202210723026.3A priority Critical patent/CN115174823B/zh
Publication of CN115174823A publication Critical patent/CN115174823A/zh
Application granted granted Critical
Publication of CN115174823B publication Critical patent/CN115174823B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Processing Or Creating Images (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

本发明公开了一种卡点特效视频生成方法、装置及存储介质，本发明通过获取上存内容，可以根据用户上存的音频文件以及图片进行卡点特效视频的生成，提高了便捷性以及灵活性；根据所述音频文件生成音频幅值波形图，获取输入的卡点区域时长，并根据所述卡点区域时长以及所述音频幅值波形图计算卡点区域的贝塞尔曲线，所述贝塞尔曲线具有至少一个卡点区域，根据所述贝塞尔曲线从预设特效中匹配所述卡点区域的目标特效，提高了目标特效的准确性，根据所述目标特效、所述卡点区域以及所述图片进行渲染，得到卡点特效视频，效果好，本发明可广泛应用于计算机技术领域。

Description

一种卡点特效视频生成方法、装置及存储介质
技术领域
本发明涉及计算机技术领域，尤其是一种卡点特效视频生成方法、装置及存储介质。
背景技术
现有的平台为用户提供卡点视频的生成功能，通常采用两种方式：1、通过视频编辑工具，人工设置卡点特效或内容，具有效率低，存在较强的主观性、卡点特效匹配准确度低的缺点；2、从待处理视频的视频数据中提取画面切换点，从待处理视频的音频数据中提取至少一个类型的卡点，根据画面切换点和至少一个类型的卡点，确定待处理视频的卡点类型，从待处理视频的卡点类型对应的卡点中，获取与画面切换点对应的卡点，根据与画面切换点对应的卡点，生成与音频数据对应的卡点模板，从而生成与卡点模板对应的卡点视频，该方式中音乐和卡点特效必须与原视频一致、模板生成后音乐和特效属于固定素材，用户无法修改或者无法自行上传音乐生成卡点视频，便捷性差，因此需要寻求解决方案。
发明内容
有鉴于此，为了解决上述技术问题的至少之一，本发明的目的是提供一种卡点特效视频生成方法、装置及存储介质，提高便捷性以及准确性。
本发明实施例采用的技术方案是：
一种卡点特效视频生成方法，包括：
获取上存内容；所述上存内容包括音频文件以及图片；
根据所述音频文件生成音频幅值波形图，获取输入的卡点区域时长，并根据所述卡点区域时长以及所述音频幅值波形图计算卡点区域的贝塞尔曲线；所述贝塞尔曲线具有至少一个卡点区域，所述卡点区域时长表征所述图片的显示时长；
根据所述贝塞尔曲线从预设特效中匹配所述卡点区域的目标特效；
根据所述目标特效、所述卡点区域以及所述图片进行渲染，得到卡点特效视频。
进一步，所述获取上存内容之后还包括：
读取音频文件的编码方式；
当所述编码方式为PCM编码方式以外的方式，对所述音频文件进行解码，并通过PCM方式对解码后的音频文件进行编码，得到PCM编码方式的音频文件。
进一步，所述根据所述卡点区域时长以及所述音频幅值波形图计算卡点区域的贝塞尔曲线，包括：
根据峰值阈值对所述音频幅值波形图进行过滤；
根据过滤后的音频幅值波形图确定起始点幅值、中间点幅值以及终点幅值；其中所述卡点区域时长内每个起始点与每个终点之间为一个卡点区域，所述起始点幅值为波峰和波谷中其中一个的幅值，所述终点幅值为波峰和波谷中另一个的幅值，所述中间点幅值为位于波峰和波谷之间的轨迹上幅值正态分布的峰值；
根据所述卡点区域时长、所述起始点幅值、所述中间点幅值以及所述终点幅值计算所述卡点区域的贝塞尔曲线。
进一步，所述卡点特效视频生成方法还包括：
在所述根据所述卡点区域时长以及所述音频幅值波形图计算卡点区域的贝塞尔曲线的步骤之前，根据预设幅值阈值对所述音频幅值波形图进行坐标转化处理；
或者，
在所述根据所述卡点区域时长以及所述音频幅值波形图计算卡点区域的贝塞尔曲线的步骤之后，根据预设幅值阈值对所述贝塞尔曲线进行坐标转化处理；坐标通过时间以及幅值表征。
进一步，所述根据所述贝塞尔曲线从预设特效中匹配所述卡点区域的目标特效，包括：
根据预设幅值阈值确定区域边界点；
将所述贝塞尔曲线延长至所述区域边界点以使得延长前的贝塞尔曲线最靠近所述区域边界点的起始点以及终点更新为区域边界点；
根据延长后的贝塞尔曲线从预设特效中匹配所述卡点区域的目标特效。
进一步，所述预设特效包括固定轨迹特效、轨迹可伸缩特效以及无轨迹特效中的至少一种；所述固定轨迹特效对应的属性具有第一特效轨迹曲线，所述第一特效轨迹曲线包括第一起始点、第一中间点以及第一终点；
所述根据延长后的贝塞尔曲线从预设特效中匹配所述卡点区域的目标特效，包括：
分别计算延长后的贝塞尔曲线的起始点与所述第一起始点的第一误差、延长后的贝塞尔曲线的中间点与所述第一中间点的第二误差、延长后的贝塞尔曲线的终点与所述第一终点的第三误差以及延长后的贝塞尔曲线与所述第一特效轨迹曲线与的时长误差；
当所述第一误差、所述第二误差以及所述第三误差均小于或等于第一误差阈值，所述第一误差、所述第二误差以及所述第三误差的符号均相同，所述时长误差小于或等于时长阈值，从所述固定轨迹特效中确定所述卡点区域的目标特效，否则根据所述轨迹可伸缩特效或者所述无轨迹特效匹配所述卡点区域的目标特效。
进一步，所述轨迹可伸缩特效对应的属性具有第二特效轨迹曲线，所述第二特效轨迹曲线包括第二起始点以及第二终点；所述无轨迹特效对应的属性包括特效时长范围；所述根据所述轨迹可伸缩特效或者所述无轨迹特效匹配所述卡点区域的目标特效，包括：
分别计算延长后的贝塞尔曲线的起始点与所述第二起始点的第四误差、延长后的贝塞尔曲线的终点与所述第二终点的第五误差；
当所述第四误差以及所述第五误差均小于或等于第二误差阈值，所述第四误差以及所述第五误差的符号均相同，延长后的贝塞尔曲线的起始点在所述第二起始点的预设幅值可变范围内，延长后的贝塞尔曲线的起始点的时间在所述第二起始点的预设时间可变范围内，从所述轨迹可伸缩特效中确定所述卡点区域的目标特效；
否则，计算所述特效时长范围与所述卡点区域的时间的时间误差，根据最小的时间误差从所述无轨迹特效中确定所述卡点区域的目标特效。
本发明实施例还提供一种卡点特效视频生成装置，包括：
获取模块，用于获取上存内容；所述上存内容包括音频文件以及图片；
计算模块，用于根据所述音频文件生成音频幅值波形图，获取输入的卡点区域时长，并根据所述卡点区域时长以及所述音频幅值波形图计算卡点区域的贝塞尔曲线；所述贝塞尔曲线具有至少一个卡点区域，所述卡点区域时长表征所述图片的显示时长；
匹配模块，用于根据所述贝塞尔曲线从预设特效中匹配所述卡点区域的目标特效；
渲染模块，用于根据所述目标特效、所述卡点区域以及所述图片进行渲染，得到卡点特效视频。
本发明实施例还提供一种卡点特效视频生成装置，包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现所述方法。
本发明实施例还提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现所述方法。
本发明的有益效果是：通过获取上存内容，可以根据用户上存的音频文件以及图片进行卡点特效视频的生成，提高了便捷性以及灵活性；根据所述音频文件生成音频幅值波形图，获取输入的卡点区域时长，并根据所述卡点区域时长以及所述音频幅值波形图计算卡点区域的贝塞尔曲线，所述贝塞尔曲线具有至少一个卡点区域，根据所述贝塞尔曲线从预设特效中匹配所述卡点区域的目标特效，提高了目标特效的准确性，根据所述目标特效、所述卡点区域以及所述图片进行渲染，得到卡点特效视频，效果好。
附图说明
图1为本发明卡点特效视频生成方法的步骤流程示意图；
图2为本发明具体实施例贝塞尔曲线的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
如图1所示，本发明实施例提供一种卡点特效视频生成方法，包括步骤S100-S400：
S100、获取上存内容。
本发明实施例中，上存内容包括但不限于音频文件以及图片等素材，用户可自主选择所需要的音频文件以及图片通过终端上存，灵活性高，满足不同用户的个性化需求。
可选地，在步骤S100之后还可以包括步骤S110-S120：
S110、读取音频文件的编码方式。
S120、当编码方式为PCM编码方式以外的方式，对音频文件进行解码，并通过PCM方式对解码后的音频文件进行编码，得到PCM编码方式的音频文件。
具体地，当读取到当前的音频文件的编码方式为PCM编码方式，此时不对当前的音频文件进行处理；而当编码方式为PCM编码方式以外的方式，此时对音频文件进行解码，并通过PCM方式对解码后的音频文件进行编码，得到PCM编码方式的音频文件。需要说明的是，在后续处理过程中利用的音频文件为PCM编码方式的音频文件。
S200、根据音频文件生成音频幅值波形图，获取输入的卡点区域时长，并根据卡点区域时长以及音频幅值波形图计算卡点区域的贝塞尔曲线。
本发明实施例中，根据音频文件绘制音频文件对应的音频幅值波形图，该音频幅值波形图中横坐标为时间，纵坐标为幅值。可选地，贝塞尔曲线具有至少一个卡点区域(或称为卡点域)，卡点区域时长表征图片的显示时长，用户可以在观察音频幅值波形图后确定卡点区域时长并通过终端输入卡点区域时长Tmin。
具体地，步骤S200中根据卡点区域时长以及音频幅值波形图计算卡点区域的贝塞尔曲线，包括步骤S211-S213：
S211、根据峰值阈值对音频幅值波形图进行过滤。
可选地，峰值阈值Wmin可以为预设的阈值或者为用户观察音频幅值波形图后所输入的值，根据峰值阈值Wmin过滤音频幅值波形图中的无效峰值，在每个Tmin内的连续峰值统计为一个峰值，取最大值为有效峰值。
S212、根据过滤后的音频幅值波形图确定起始点幅值、中间点幅值以及终点幅值。
本发明实施例中，卡点区域时长内每个起始点与每个终点之间为一个卡点区域，过滤后的音频幅值波形图可以具有多个卡点区域，起始点幅值为起始点的幅值，例如波峰和波谷中其中一个的幅值，终点幅值为终点的幅值，例如波峰和波谷中另一个的幅值，中间点位于其实电脑以及终点之间，中间点幅值为位于波峰和波谷之间的轨迹上幅值正态分布的峰值。
S213、根据卡点区域时长、起始点幅值、中间点幅值以及终点幅值计算卡点区域的贝塞尔曲线。
具体地，假设轨迹区间内的时长即卡点区域时长设为1，根据贝塞尔曲线的公式，卡点区域的轨迹内每个时间t(t∈[0,1])对应的幅值为：
Figure BDA0003712325010000051
其中，卡点区域的轨迹内设了起始点P0、中间点P1、终点P2的三类基准点，Wi为索引号i的基准点的幅值，基准点索引号i从0计数，所以基准点最大索引号n＝2，代入后展开：
生成贝塞尔曲线W(t)的公式为：
W(t)＝W0(1-t)2+2W1(1-t)t+W2t2
其中，W0为起始点幅值，W1为中间点幅值，W2为终点幅值，生成的卡点区域的贝塞尔曲线如图2所示，贝塞尔曲线具有多个卡点区域，同样地贝塞尔曲线中各个点的坐标通过时间以及幅值表征，横坐标为时间(未图示)，纵坐标为幅值(未图示)。
可选地，本发明实施例的卡点特效视频生成方法，还包括坐标转换步骤A，具体地可以为A1或者A2：
A1、在根据卡点区域时长以及音频幅值波形图计算卡点区域的贝塞尔曲线的步骤之前，根据预设幅值阈值对音频幅值波形图进行坐标转化处理。
A2、在根据卡点区域时长以及音频幅值波形图计算卡点区域的贝塞尔曲线的步骤之后，根据预设幅值阈值对贝塞尔曲线进行坐标转化处理。
需要说明的是，坐标通过时间以及幅值表征，即横坐标为时间，纵坐标为幅值；由于不同用户所输入的音频文件的幅值、以及音频文件的幅值与后续待匹配的预设特效的幅值可能存在差异，因此需要进行坐标的标准转换，提高后续匹配的准确性。示例性地，预设幅值阈值以1.0为例，假设音频幅值波形图中最大的幅值的点坐标为(0.5，10.0)，此时通过预设幅值阈值进行坐标转化处理，当前幅值乘以1/10，使得该点坐标为(0.5，1.0)，其他点同理；类似地，假设贝塞尔曲线中最大的幅值的点坐标为(0.5，5.0)，此时通过预设幅值阈值进行坐标转化处理，当前幅值乘以1/5，使得该点坐标为(0.5，1.0)，其他点同理。需要说明的是，在执行步骤S300时，利用的是坐标转化处理后的点。
S300、根据贝塞尔曲线从预设特效中匹配卡点区域的目标特效。
本发明实施例中，通过贝塞尔曲线实现音频卡点与预设特效的匹配计算，准确地为音频卡点素材搜索到匹配的目标特效进行渲染。
可选地，步骤S300包括步骤S311-S313：
S311、根据预设幅值阈值确定区域边界点。
示例性，如步骤A以预设幅值阈值为1.0例，可以确定区域边界，区域边界具有区域边界点(0.0,0.0),(0.0,1.0),(1.0,1.0),(1.0,0.0)。
S312、将贝塞尔曲线延长至区域边界点以使得延长前的贝塞尔曲线最靠近区域边界点的起始点以及终点更新为区域边界点。
可选地，延长前的贝塞尔曲线最靠近区域边界点的起始点以及终点，例如可以为与区域边界点距离最小的起始点以及终点，将贝塞尔曲线两端进行延长至区域边界点，此时与区域边界点距离最小的起始点以及终点更新为区域边界点，例如分别更新为(0.0,0.0)、(1.0,0.0)，得到延长后的贝塞尔曲线。
S313、根据延长后的贝塞尔曲线从预设特效中匹配卡点区域的目标特效。
本发明实施例中，预设特效包括固定轨迹特效、轨迹可伸缩特效以及无轨迹特效，其他实施例中可以包括固定轨迹特效、轨迹可伸缩特效以及无轨迹特效中的一种或者多种，不作具体限定。可选地，固定轨迹特效对应的属性具有第一特效轨迹曲线，每一第一特效轨迹曲线对应一第一特效，第一特效轨迹曲线包括第一起始点、第一中间点以及第一终点，第一起始点、第一中间点以及第一终点确定方式与坐标转换与步骤S200、步骤A类似；轨迹可伸缩特效对应的属性具有第二特效轨迹曲线，每一第二特效轨迹曲线对应一第二特效，第二特效轨迹曲线包括第二起始点以及第二终点，确定方式与坐标转换与步骤S200、步骤A类似；无轨迹特效对应的属性包括特效时长范围，每一特效时长范围对应一第三特效。
具体地，步骤S313包括步骤S3131-S3132：
S3131、分别计算延长后的贝塞尔曲线的起始点与第一起始点的第一误差、延长后的贝塞尔曲线的中间点与第一中间点的第二误差、延长后的贝塞尔曲线的终点与第一终点的第三误差以及延长后的贝塞尔曲线与第一特效轨迹曲线与的时长误差。
可选地，第一误差、第二误差以及第三误差为坐标点的之间的误差，是一个有向向量，因此具有符号；第一特效轨迹曲线中第一起始点与第一终点之间具有第一时间间隔，计算时长误差可以为：计算卡点区域的时长与第一时间间隔的差值的绝对值，然后将该绝对值除以卡点区域的时长或者第一时间间隔。
S3132、当第一误差、第二误差以及第三误差均小于或等于第一误差阈值，第一误差、第二误差以及第三误差的符号均相同，时长误差小于或等于时长阈值，从固定轨迹特效中确定卡点区域的目标特效，否则根据轨迹可伸缩特效或者无轨迹特效匹配卡点区域的目标特效。
示例性地，以第一误差阈值为0.1、时长阈值为10％为例，符号可以为正或者负，不构成对第一误差阈值和时长阈值的限制。当第一误差、第二误差以及第三误差均小于或等于0.1，第一误差、第二误差以及第三误差的符号均相同，且时长误差小于或等于10％，从固定轨迹特效中确定满足上述条件的第一特效作为卡点区域的目标特效，例如优先将第一误差、第二误差以及第三误差最小的第一特效作为目标特效，否则根据轨迹可伸缩特效或者无轨迹特效匹配卡点区域的目标特效。需要说明的是，部分卡点区域或全部卡点区域可以通过步骤S3132匹配到第一特效，或者部分卡点区域或全部卡点区域无法通过S3132匹配到第一特效，此时没有匹配到第一特效的卡点区域可以根据轨迹可伸缩特效或者无轨迹特效匹配卡点区域的目标特效，具体地，通过步骤S320实现，步骤S320包括步骤S3201-S3203：
S3201、分别计算延长后的贝塞尔曲线的起始点与第二起始点的第四误差、延长后的贝塞尔曲线的终点与第二终点的第五误差。
类似地，第四误差、第五误差可以为有向向量。
S3202、当第四误差以及第五误差均小于或等于第二误差阈值，第四误差以及第五误差的符号均相同，延长后的贝塞尔曲线的起始点在第二起始点的预设幅值可变范围内，延长后的贝塞尔曲线的起始点的时间在第二起始点的预设时间可变范围内，从轨迹可伸缩特效中确定卡点区域的目标特效。
可选地，预设幅值可变范围、预设时间可变范围、可以根据需要设定，以第二误差阈值为0.1为例，符号可以为正或者负，不构成对第二误差阈值的限制。需要说明的是，可以根据第二起始点的幅值以及预设幅值可变范围，确定一个幅值范围，当延长后的贝塞尔曲线的起始点位于该幅值范围内则认为延长后的贝塞尔曲线的起始点在第二起始点的预设幅值可变范围内，预设时间可变范围的判断类似，不再赘述。具体地，当第四误差以及第五误差均小于或等于0.1，第四误差以及第五误差的符号均相同，延长后的贝塞尔曲线的起始点在第二起始点的预设幅值可变范围内，延长后的贝塞尔曲线的起始点的时间在第二起始点的预设时间可变范围内，从轨迹可伸缩特效中确定第二特效作为卡点区域的目标特效，例如优先将第四误差以及第五误差最小的第二特效作为目标特效。
同样地，通过步骤S3202可能有部分卡点区域匹配到第二特效或者无法匹配到第二特效，此时无法匹配到第二特效的卡点区域通过步骤S3203匹配：
S3203、否则，计算特效时长范围与卡点区域的时间的时间误差，根据最小的时间误差从无轨迹特效中确定卡点区域的目标特效。
可选地，可以为通过计算特效时长范围与卡点区域的时间的差值的绝对值得到特效时长范围与卡点区域的时间的时间误差，将该时间误差由小到大进行排列，从最小的时间误差开始搜索，优先将最小的时间误差的第三特效作为卡点区域的目标特效。
S400、根据目标特效、卡点区域以及图片进行渲染，得到卡点特效视频。
具体地，将目标特效、卡点区域以及图片输入至特效渲染器进行渲染，从而得到最终的卡点特效视频，达到个性化、灵活性高、便捷、卡点准确性高的卡点特效视频的生成的效果。
本发明实施例还提供一种卡点特效视频生成装置，包括：
获取模块，用于获取上存内容；上存内容包括音频文件以及图片；
计算模块，用于根据音频文件生成音频幅值波形图，获取输入的卡点区域时长，并根据卡点区域时长以及音频幅值波形图计算卡点区域的贝塞尔曲线；贝塞尔曲线具有至少一个卡点区域，卡点区域时长表征图片的显示时长；
匹配模块，用于根据贝塞尔曲线从预设特效中匹配卡点区域的目标特效；
渲染模块，用于根据目标特效、卡点区域以及图片进行渲染，得到卡点特效视频。
其中，获取模块以及计算模块可以位于音频卡点分析器中，匹配模块可以位于特效分析器中，渲染模块可以位于特效渲染器中。
上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
本发明实施例还提供了一种卡点特效视频生成装置，包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现前述实施例的卡点特效视频生成方法。本发明实施例的卡点特效视频生成装置包括但不限于手机、平板电脑、电脑、车载电脑、服务器等。
上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
本发明实施例还提供一种计算机可读存储介质，存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现前述实施例的卡点特效视频生成方法。
本发明实施例还提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前述实施例的卡点特效视频生成方法。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。
以上，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种卡点特效视频生成方法，其特征在于，包括：
获取上存内容；所述上存内容包括音频文件以及图片；
根据所述音频文件生成音频幅值波形图，获取输入的卡点区域时长，并根据所述卡点区域时长以及所述音频幅值波形图计算卡点区域的贝塞尔曲线；所述贝塞尔曲线具有至少一个卡点区域，所述卡点区域时长表征所述图片的显示时长；
根据所述贝塞尔曲线从预设特效中匹配所述卡点区域的目标特效；
根据所述目标特效、所述卡点区域以及所述图片进行渲染，得到卡点特效视频。
2.根据权利要求1所述卡点特效视频生成方法，其特征在于：所述获取上存内容之后还包括：
读取音频文件的编码方式；
当所述编码方式为PCM编码方式以外的方式，对所述音频文件进行解码，并通过PCM方式对解码后的音频文件进行编码，得到PCM编码方式的音频文件。
3.根据权利要求1所述卡点特效视频生成方法，其特征在于：所述根据所述卡点区域时长以及所述音频幅值波形图计算卡点区域的贝塞尔曲线，包括：
根据峰值阈值对所述音频幅值波形图进行过滤；
根据过滤后的音频幅值波形图确定起始点幅值、中间点幅值以及终点幅值；其中所述卡点区域时长内每个起始点与每个终点之间为一个卡点区域，所述起始点幅值为波峰和波谷中其中一个的幅值，所述终点幅值为波峰和波谷中另一个的幅值，所述中间点幅值为位于波峰和波谷之间的轨迹上幅值正态分布的峰值；
根据所述卡点区域时长、所述起始点幅值、所述中间点幅值以及所述终点幅值计算所述卡点区域的贝塞尔曲线。
4.根据权利要求3所述卡点特效视频生成方法，其特征在于：所述卡点特效视频生成方法还包括：
在所述根据所述卡点区域时长以及所述音频幅值波形图计算卡点区域的贝塞尔曲线的步骤之前，根据预设幅值阈值对所述音频幅值波形图进行坐标转化处理；
或者，
在所述根据所述卡点区域时长以及所述音频幅值波形图计算卡点区域的贝塞尔曲线的步骤之后，根据预设幅值阈值对所述贝塞尔曲线进行坐标转化处理；坐标通过时间以及幅值表征。
5.根据权利要求4所述卡点特效视频生成方法，其特征在于：所述根据所述贝塞尔曲线从预设特效中匹配所述卡点区域的目标特效，包括：
根据预设幅值阈值确定区域边界点；
将所述贝塞尔曲线延长至所述区域边界点以使得延长前的贝塞尔曲线最靠近所述区域边界点的起始点以及终点更新为区域边界点；
根据延长后的贝塞尔曲线从预设特效中匹配所述卡点区域的目标特效。
6.根据权利要求5所述卡点特效视频生成方法，其特征在于：所述预设特效包括固定轨迹特效、轨迹可伸缩特效以及无轨迹特效中的至少一种；所述固定轨迹特效对应的属性具有第一特效轨迹曲线，所述第一特效轨迹曲线包括第一起始点、第一中间点以及第一终点；
所述根据延长后的贝塞尔曲线从预设特效中匹配所述卡点区域的目标特效，包括：
分别计算延长后的贝塞尔曲线的起始点与所述第一起始点的第一误差、延长后的贝塞尔曲线的中间点与所述第一中间点的第二误差、延长后的贝塞尔曲线的终点与所述第一终点的第三误差以及延长后的贝塞尔曲线与所述第一特效轨迹曲线与的时长误差；
当所述第一误差、所述第二误差以及所述第三误差均小于或等于第一误差阈值，所述第一误差、所述第二误差以及所述第三误差的符号均相同，所述时长误差小于或等于时长阈值，从所述固定轨迹特效中确定所述卡点区域的目标特效，否则根据所述轨迹可伸缩特效或者所述无轨迹特效匹配所述卡点区域的目标特效。
7.根据权利要求6所述卡点特效视频生成方法，其特征在于：所述轨迹可伸缩特效对应的属性具有第二特效轨迹曲线，所述第二特效轨迹曲线包括第二起始点以及第二终点；所述无轨迹特效对应的属性包括特效时长范围；所述根据所述轨迹可伸缩特效或者所述无轨迹特效匹配所述卡点区域的目标特效，包括：
分别计算延长后的贝塞尔曲线的起始点与所述第二起始点的第四误差、延长后的贝塞尔曲线的终点与所述第二终点的第五误差；
当所述第四误差以及所述第五误差均小于或等于第二误差阈值，所述第四误差以及所述第五误差的符号均相同，延长后的贝塞尔曲线的起始点在所述第二起始点的预设幅值可变范围内，延长后的贝塞尔曲线的起始点的时间在所述第二起始点的预设时间可变范围内，从所述轨迹可伸缩特效中确定所述卡点区域的目标特效；
否则，计算所述特效时长范围与所述卡点区域的时间的时间误差，根据最小的时间误差从所述无轨迹特效中确定所述卡点区域的目标特效。
8.一种卡点特效视频生成装置，其特征在于，包括：
获取模块，用于获取上存内容；所述上存内容包括音频文件以及图片；
计算模块，用于根据所述音频文件生成音频幅值波形图，获取输入的卡点区域时长，并根据所述卡点区域时长以及所述音频幅值波形图计算卡点区域的贝塞尔曲线；所述贝塞尔曲线具有至少一个卡点区域，所述卡点区域时长表征所述图片的显示时长；
匹配模块，用于根据所述贝塞尔曲线从预设特效中匹配所述卡点区域的目标特效；
渲染模块，用于根据所述目标特效、所述卡点区域以及所述图片进行渲染，得到卡点特效视频。
9.一种卡点特效视频生成装置，其特征在于：包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-7中任一项所述方法。
10.一种计算机可读存储介质，其特征在于：所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1-7中任一项所述方法。
CN202210723026.3A 2022-06-24 2022-06-24 一种卡点特效视频生成方法、装置及存储介质 Active CN115174823B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210723026.3A CN115174823B (zh) 2022-06-24 2022-06-24 一种卡点特效视频生成方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210723026.3A CN115174823B (zh) 2022-06-24 2022-06-24 一种卡点特效视频生成方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN115174823A true CN115174823A (zh) 2022-10-11
CN115174823B CN115174823B (zh) 2023-04-18

Family

ID=83486937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210723026.3A Active CN115174823B (zh) 2022-06-24 2022-06-24 一种卡点特效视频生成方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN115174823B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116866498A (zh) * 2023-06-15 2023-10-10 天翼爱音乐文化科技有限公司 一种视频模板生成方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002163662A (ja) * 2000-09-01 2002-06-07 Sony Computer Entertainment Inc 記録媒体、プログラム、画像処理方法及び画像処理装置
US20110191674A1 (en) * 2004-08-06 2011-08-04 Sensable Technologies, Inc. Virtual musical interface in a haptic virtual environment
CN110265057A (zh) * 2019-07-10 2019-09-20 腾讯科技（深圳）有限公司 生成多媒体的方法及装置、电子设备、存储介质
CN110933487A (zh) * 2019-12-18 2020-03-27 北京百度网讯科技有限公司 卡点视频的生成方法、装置、设备及存储介质
CN111064992A (zh) * 2019-12-10 2020-04-24 懂频智能科技(上海)有限公司 一种根据音乐节拍自动进行视频内容切换的方法
CN113488083A (zh) * 2021-08-23 2021-10-08 北京字节跳动网络技术有限公司 数据匹配方法、装置、介质及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002163662A (ja) * 2000-09-01 2002-06-07 Sony Computer Entertainment Inc 記録媒体、プログラム、画像処理方法及び画像処理装置
US20110191674A1 (en) * 2004-08-06 2011-08-04 Sensable Technologies, Inc. Virtual musical interface in a haptic virtual environment
CN110265057A (zh) * 2019-07-10 2019-09-20 腾讯科技（深圳）有限公司 生成多媒体的方法及装置、电子设备、存储介质
CN111064992A (zh) * 2019-12-10 2020-04-24 懂频智能科技(上海)有限公司 一种根据音乐节拍自动进行视频内容切换的方法
CN110933487A (zh) * 2019-12-18 2020-03-27 北京百度网讯科技有限公司 卡点视频的生成方法、装置、设备及存储介质
CN113488083A (zh) * 2021-08-23 2021-10-08 北京字节跳动网络技术有限公司 数据匹配方法、装置、介质及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116866498A (zh) * 2023-06-15 2023-10-10 天翼爱音乐文化科技有限公司 一种视频模板生成方法、装置、电子设备及存储介质
CN116866498B (zh) * 2023-06-15 2024-04-05 天翼爱音乐文化科技有限公司 一种视频模板生成方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN115174823B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN111815755B (zh) 虚拟物体被遮挡的区域确定方法、装置及终端设备
CN108010112B (zh) 动画处理方法、装置及存储介质
US8724963B2 (en) Method and system for gesture based searching
CN111832449B (zh) 工程图纸的显示方法及相关装置
CN109376256B (zh) 图像搜索方法及装置
CN108492338B (zh) 动画文件的压缩方法、装置、存储介质和电子装置
CN107133263B (zh) Poi推荐方法、装置、设备及计算机可读存储介质
CN111177813B (zh) 图元识别的方法、装置和电子***
CN115174823B (zh) 一种卡点特效视频生成方法、装置及存储介质
CN111768760A (zh) 一种多模态语音端点检测方法及装置
CN111818385B (zh) 视频处理方法、视频处理装置及终端设备
CN110781835B (zh) 一种数据处理方法、装置、电子设备和存储介质
US20160345018A1 (en) Video encoding and decoding
CN109271027B (zh) 页面控制方法、装置及电子设备
CN109871465B (zh) 一种时间轴计算方法、装置、电子设备及存储介质
CN107998660A (zh) 场景物体处理方法、装置及电子设备
CN114238223A (zh) 图片移除方法、装置、计算机设备及计算机可读存储介质
CN112449249A (zh) 视频流处理方法及装置、电子设备及存储介质
CN112579846A (zh) 用户行为轨迹的可视化方法及***
CN110662104B (zh) 视频拖动条生成方法、装置、电子设备及存储介质
CN116664413B (zh) 一种基于阿贝尔收敛算子的图像体积雾消除方法及装置
CN114115528B (zh) 虚拟对象控制方法、装置、计算机设备和存储介质
CN114363627B (zh) 图像处理方法、装置及电子设备
CN104469546B (zh) 一种处理视频片段的方法和装置
CN115205313B (zh) 一种基于最小二乘算法的画面优化方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant