CN108322802A - 视频图像的贴图处理方法、计算机可读存储介质及终端 - Google Patents

视频图像的贴图处理方法、计算机可读存储介质及终端 Download PDF

Info

Publication number
CN108322802A
CN108322802A CN201711476832.0A CN201711476832A CN108322802A CN 108322802 A CN108322802 A CN 108322802A CN 201711476832 A CN201711476832 A CN 201711476832A CN 108322802 A CN108322802 A CN 108322802A
Authority
CN
China
Prior art keywords
beat point
textures
music
point
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711476832.0A
Other languages
English (en)
Inventor
危文
袁少龙
周宇涛
丘智鉴
颜乐驹
魏启征
李敬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Baiguoyuan Information Technology Co Ltd
Original Assignee
Guangzhou Baiguoyuan Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Baiguoyuan Information Technology Co Ltd filed Critical Guangzhou Baiguoyuan Information Technology Co Ltd
Priority to CN201711476832.0A priority Critical patent/CN108322802A/zh
Publication of CN108322802A publication Critical patent/CN108322802A/zh
Priority to PCT/CN2018/119266 priority patent/WO2019114582A1/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H04N21/8113—Monomedia components thereof involving special audio data, e.g. different tracks for different languages comprising music, e.g. song in MP3 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明提供一种视频图像的贴图处理方法，该方法包括：获取播放视频中的图像，在所述图像中增加贴图；获取欲在播放视频中播放的音乐的音乐信号，根据所述音乐信号检测出所述音乐的节拍点；确定在播放视频中播放音乐时，在当前播放位置出现节拍点；获取所述节拍点对应的贴图特效；根据所述贴图特效对所述图像中的贴图进行处理，获得包含所述贴图特效的视频图像。该方法可实现用户通过自定义设置的音乐、贴图以及贴图特效来表达自己的个性并实时编辑获得个性化的播放视频，满足了用户的个性化播放视频设计需求，增加视频应用的趣味性及应用与用户的互动性，显著提高用户体验的满意度。

Description

视频图像的贴图处理方法、计算机可读存储介质及终端
技术领域
本发明涉及图像处理技术领域，具体而言，本发明涉及一种视频图像的贴图处理方法、计算机可读存储介质及终端。
背景技术
随着互联网技术以及图像处理技术的不断发展，在视频拍摄时在视频图像中添加贴图的拍摄方式逐渐受到了人们的追捧。用户可通过相应的贴图应用在所拍摄的视频图像中添加自己喜欢的贴纸，进而增加拍摄过程的趣味性。
然而，现有技术的贴图应用，通常只能简单地在视频图像上添加用户选定的贴图，贴图展示方式单一，未能充分调动用户与应用之间的互动性，用户在拍摄过程中获得的乐趣较少，用户体验满意度不高。
发明内容
为克服以上技术问题，特别是现有技术无法提高用户与应用之间的互动积极性、应用体验趣味性不足的问题，特提出以下技术方案：
本发明的实施例根据一个方面，提供了一种视频图像的贴图处理方法，包括：
获取播放视频中的图像，在所述图像中增加贴图；
获取欲在播放视频中播放的音乐的音乐信号，根据所述音乐信号检测出所述音乐的节拍点；
确定在播放视频中播放音乐时，在当前播放位置出现节拍点；
获取所述节拍点对应的贴图特效；
根据所述贴图特效对所述图像中的贴图进行处理，获得包含所述贴图特效的视频图像。
优选地，所述贴图包括：基于AR增强现实的二维模型贴图和/或三维模型贴图。
优选地，所述获取播放视频中的图像，在所述图像中增加贴图，包括：
获取播放视频中的图像，识别所述图像中的人脸区域，在所述人脸区域增加贴图。
优选地，所述获取播放视频中的图像，在所述图像中增加贴图之后，还包括：
确认接收到贴图切换指令；切换在所述图像中增加的贴图。
进一步地，所述确认接收到贴图切换指令，包括：
获取所述播放视频中的声音，识别所述声音的音频特征；若所述音频特征与预置的贴图切换口令的音频特征匹配一致，确认接收到所述贴图切换指令；或
识别所述图像中的人物区域，若在所述人物区域检测到预置的贴图切换动作，确认接收到所述贴图切换指令。
优选地，所述视频为直播视频；
所述获取播放视频中的图像，在所述图像中增加贴图之前，还包括：
判断直播端的主播是否执行预置的增加贴图请求动作；
若是，获取所述主播预置的贴图；进行所述获取播放视频中的图像，在所述图像中增加贴图的步骤。
优选地，所述节拍点包括强节拍点和弱节拍点；
所述根据所述音乐信号检测出所述音乐的节拍点，包括：
对所述音乐信号进行滤波，滤波后进行短时傅立叶变换，获得频谱；
根据所述频谱，确定检测点的能量变化值；
根据能量变化值，检测出检测点出现强节拍点或弱节拍点。
优选地，所述节拍点包括强节拍点和弱节拍点；
所述根据所述音乐信号检测出所述音乐的节拍点，包括：
对所述音乐信号进行加权处理，获得加权后的音乐信号；
根据所述加权后的音乐信号的能量强度值，检测出检测点出现强节拍点或弱节拍点。
优选地，所述节拍点包括强节拍点；
所述根据所述音乐信号检测出所述音乐的节拍点，包括：
根据所述音乐信号的能量强度值获得候选节拍点；
根据各候选节拍点，统计各相邻两个候选节拍点所在帧之间的时间间隔；
根据所述时间间隔，检测出候选节拍点对应检测点出现强节拍点。
优选地，所述节拍点包括强节拍点；
所述根据所述音乐信号检测出所述音乐的节拍点，包括：
根据检测点的音乐信号的能量变化差值，获得候选节拍点；
根据所述候选节拍点，以各相邻两个候选节拍点作为信号起始点截取两段音乐信号；
根据两段音乐信号的对比结果，检测出候选节拍点对应检测点出现强节拍点。
优选地，所述获取欲在播放视频中播放的音乐的音乐信号，根据所述音乐信号检测出所述音乐的节拍点，包括：
获取欲在播放视频中播放的音乐的音乐信号，判断检测强节拍点，还是检测强节拍点和弱节拍点；
若检测强节拍点，判断采用强度值检测还是变化值检测；
若采用强度值检测，根据所述音乐信号的能量强度值获得候选节拍点，根据各候选节拍点，统计各相邻两个候选节拍点所在帧之间的时间间隔，根据所述时间间隔，检测出候选节拍点对应检测点出现强节拍点；
若采用变化值检测，根据检测点的音乐信号的能量变化差值，获得候选节拍点，根据所述候选节拍点，以各相邻两个所述候选节拍点作为信号起始点截取两段音乐信号，根据两段音乐信号的对比结果，检测出候选节拍点对应检测点出现强节拍点；
若检测强节拍点和弱节拍点，判断采用强度值检测还是变化值检测；
若采用强度值检测，对所述音乐信号进行加权处理，获得加权后的音乐信号，根据所述加权后的音乐信号的能量强度值，检测出检测点出现强节拍点或弱节拍点；
若采用变化值检测，对所述音乐信号进行滤波，滤波后进行短时傅立叶变换，获得频谱，根据所述频谱，确定检测点的能量变化值，根据能量变化值，检测出检测点出现弱节拍点或强候选节拍点；
所述判断检测强节拍点，还是检测强节拍点和弱节拍点，包括：
获取视频所需贴图特效类型，根据视频所需贴图特效类型判断检测强节拍点，还是检测强节拍点和弱节拍点；
所述若检测强节拍点，判断采用强度值检测还是变化值检测，包括：
若检测强节拍点，获取所述音乐的类型，根据类型判断采用强度值检测还是变化值检测；
所述若检测强节拍点和弱节拍点，判断采用强度值检测还是变化值检测，包括：
若检测强节拍点和弱节拍点，获取所述音乐的类型，根据类型判断采用强度值检测还是变化值检测。
优选地，所述根据所述音乐信号检测出所述音乐的节拍点之后，还包括，记录所述音乐播放位置与节拍点的对应关系；
所述确定在播放视频中播放音乐时，在当前播放位置出现节拍点，包括：
根据所述对应关系，确定在播放视频中播放音乐时，在当前播放位置出现节拍点。
本发明的实施例根据另一个方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述的视频图像的贴图处理方法。
本发明的实施例根据又一个方面，还提供了一种终端，所述终端包括一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行上述的视频图像的贴图处理方法。
本发明与现有技术相比，具有以下有益效果：
本发明提供的视频图像的贴图处理方法，通过在视频图像中增加贴图，并对欲在播放视频中播放的音乐进行节拍点检测，并在音乐播放过程中根据所检测到的节拍点在视频图像中显示该节拍点对应的贴图特效，以使视频图像上显示的贴图特效与所选定的视频播放音乐的节拍点紧密关联，提高了在播放视频中播放的音乐与显示的贴图在听觉以及视觉上的感染力；且用户可通过自定义设置的音乐、贴图以及贴图特效来表达自己的个性并可实时编辑获得个性化的播放视频，本方法满足了用户的个性化播放视频设计需求，增加视频应用的趣味性及应用与用户的互动性，显著提高用户体验的满意度。
此外，本发明提供的视频图像的贴图处理方法，结合多个节拍点检测方法，实现快速、准确地检测出所选定视频播放音乐的节拍点，且可根据视频所需贴图特效类型和音乐的类型来选择所需检测节拍点的类型以及检测节拍点的方法，以实现采用合适的方法来得到准确的节拍点，且可减少运算量，缩短检测时长，进一步保证视频图像上显示的贴图特效与所选定的视频播放音乐的节拍点紧密关联性；用户可通过方便快捷地根据自己的意愿增加或切换贴图，进一步增加了视频应用的趣味性及应用与用户的互动性；在应用于视频直播领域时，能够满足直播的要求，烘托直播氛围，且更好促进主播与观众的互动，进一步提高用户体验的满意度。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例的一种视频图像的贴图处理方法的方法流程图；
图2为本发明实施例的一种终端的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
实施例一
本发明实施例提供了一种视频图像的贴图处理方法，如图1所示，该方法包括：
步骤S101、获取播放视频中的图像，在所述图像中增加贴图。
对于本实施例，所述贴图可以是基于AR增强现实的二维模型贴图，也可以是基于AR增强现实的三维模型贴图。所述AR(Augmented Reality)，是一种将真实世界信息和虚拟世界信息结合并展示的增强现实技术。通过增强现实技术，在播放视频中的图像中增加基于AR增强现实的贴图，可将播放视频中真实世界的图像与计算机虚拟图像叠加在同一画面中，以实现真实世界和虚拟世界的信息集成及交互。
对于本实施例，所述贴图具体可以是用作背景类贴图的烟花、爱心、雪花等素材，也可以是用作人脸装饰类贴图的犄角、胡子、眼镜等素材，所述素材的具体表现形式在本实施例中不做限定。其中，在播放视频图像中增加的贴图可以是用户自定义设置的，也可以是视频应用默认设置的。在确定贴图后，终端对播放视频中的图像进行场景识别，进而在视频图像的相应位置增加贴图。
步骤S102、获取欲在播放视频中播放的音乐的音乐信号，根据所述音乐信号检测出所述音乐的节拍点。
对于本实施例，所述欲在播放视频中播放的音乐可以是从视频应用中的预存音乐选定的音乐，也可以是从用户终端的预存音乐选定加载于视频应用中的音乐，还可以是在视频应用中通过麦克风获取的采用其他设备播放的现场音乐，所述音乐的来源在本实施例中不做限定。
对于本实施例，所述获取音乐信号的动作执行于用户选定欲在播放视频中播放的音乐之后，而选定所述音乐的动作可在播放视频前执行，也可在播放视频中执行。
例如，应用于视频直播领域时，所述音乐可在视频直播前或视频直播中选定，终端会随即获取所选定的音乐的音乐信号，并根据所述音乐信号检测出所述音乐的节拍点。
又例如，应用于短视频的录制时，所述音乐在播放视频前，即视频录制前选定，在选定音乐后终端会立刻获取所选定的音乐的音乐信号，并根据所述音乐信号检测出所述音乐的节拍点。
对于本实施例，所述根据所述音乐信号检测出所述音乐的节拍点可采用多种方法实现。
例如，对于本方法，所述节拍点包括强节拍点和弱节拍点；该方法包括：对所述音乐信号进行滤波，滤波后进行短时傅立叶变换，获得频谱；根据所述频谱，确定检测点的能量变化值；根据能量变化值，检测出检测点出现强节拍点或弱节拍点。
又例如，对于本方法，所述节拍点包括强节拍点和弱节拍点；该方法包括：对所述音乐信号进行加权处理，获得加权后的音乐信号；根据所述加权后的音乐信号的能量强度值，检测出检测点出现强节拍点或弱节拍点。
又例如，对于本方法，所述节拍点包括强节拍点；该方法包括：根据所述音乐信号的能量强度值获得候选节拍点；根据各候选节拍点，统计各相邻两个候选节拍点所在帧之间的时间间隔；根据所述时间间隔，检测出候选节拍点对应检测点出现强节拍点。
再例如，对于本方法，所述节拍点包括强节拍点；该方法包括：根据检测点的音乐信号的能量变化差值，获得候选节拍点；根据所述候选节拍点，以各相邻两个候选节拍点作为信号起始点截取两段音乐信号；根据两段音乐信号的对比结果，检测出候选节拍点对应检测点出现强节拍点。
步骤S103、确定在播放视频中播放音乐时，在当前播放位置出现节拍点。
对于本实施例，在步骤S102中检测到的各节拍点对应于所述音乐的不同播放位置，在视频直播中播放音乐时，若音乐当前播放位置对应有步骤S102检测出的节拍点，则确定该节拍点为强节拍点还是弱节拍点。
步骤S104、获取所述节拍点对应的贴图特效。
对于本实施例，所述贴图特效指的是贴图对应不同外形特征参数时的贴图状态。所述贴图中的素材可设置不同的外形特征参数，所述外形特征参数包括状态参数、尺寸参数、颜色参数等，在本实施例中不做限定。此外，一首音乐中的所述节拍点通常包括强节拍点和弱节拍点，所述强节拍点和弱节拍点对应的贴图特效中的所述素材相同，但素材的外形特征参数不相同。例如，用户选取的贴图为小熊三维模型，并针对该贴图在强节拍点和弱节拍点时设置不同的外形特征参数，在强节拍点时小熊三维模型在视频图像中跳舞的舞步频率较大，在弱节拍点时其跳舞的舞步频率则较低。
步骤S105、根据所述贴图特效对所述图像中的贴图进行处理，获得包含所述贴图特效的视频图像。
对于本实施例，通过获取所述贴图特效中的设置有某一外形特征参数的素材，并以图层叠加方式将所述素材与所述播放视频中的图像进行合成，得到包含所述贴图特效中的素材的视频图像。在其他实施方式中，还可以采用将贴图特效与图像进行数据整合或根据贴图特效中素材的外形特征参数修改图像等其他方式实现获得所述包含所述贴图特效的视频图像。
例如，在视频直播领域中，可以将贴图特效的数据与视频直播图像数据进行数据整合得到视频图像数据包，并将所述数据包发送至客户端，以使客户端显示包含该贴图特效的视频图像。
又例如，可以通过获取贴图特效中素材的外形特征参数，根据所述外形特征参数对图像进行缩放处理，以获得可实现特效效果凸显的视频图像。
本发明提供的视频图像的贴图处理方法，通过在视频图像中增加贴图，并对欲在播放视频中播放的音乐进行节拍点检测，并在音乐播放过程中根据所检测到的节拍点在视频图像中显示该节拍点对应的贴图特效，以使视频图像上显示的贴图特效与所选定的视频播放音乐的节拍点紧密关联，提高了在播放视频中播放的音乐与显示的贴图在听觉以及视觉上的感染力；且用户可通过自定义设置的音乐、贴图以及贴图特效来表达自己的个性并可实时编辑获得个性化的播放视频，本方法满足了用户的个性化播放视频设计需求，增加视频应用的趣味性及应用与用户的互动性，显著提高用户体验的满意度。
此外，本发明提供的视频图像的贴图处理方法，结合多个节拍点检测方法，实现快速、准确地检测出所选定视频播放音乐的节拍点，进一步保证视频图像上显示的贴图特效与所选定的视频播放音乐的节拍点紧密关联性，进一步提高用户体验的满意度。
实施例二
本发明实施例的另一种可能的实现方式，在实施例一所示的基础上，还包括实施例二所示的步骤，其中，
所述步骤S102之后，还包括，记录所述音乐播放位置与节拍点的对应关系。
对于本实施例，在根据所述音乐信号检测出所述音乐的节拍点之后，将所述节拍点与其对应的音乐播放位置建立对应关系，并记录所述对应关系。所述对应关系的建立方法在本实施例中不做限定，其可以是添加标签信息的方式。
例如，在所述节拍点对应的音乐播放位置的信号数据添加标签信息，该标签信息携带有表示该音乐播放位置有节拍点且该节拍点为强节拍点或弱节拍点的信息。
所述步骤S103，包括：根据所述对应关系，确定在播放视频中播放音乐时，在当前播放位置出现节拍点。
对于本实施例，在播放视频中播放音乐时在当前播放位置存在有与节拍点对应的记录时，获取所述音乐播放位置与节拍点的对应关系记录，提取所述对应关系，进而根据所述对应关系确定当前播放位置出现节拍点并确定该节拍点为强节拍点或弱节拍点。
对于本实施例，通过记录所述音乐播放位置与节拍点的对应关系，可实现简单、快速地确定当前播放位置是否出现节拍点以及节拍点为强节拍点还是弱节拍点。
实施例三
本发明实施例的另一种可能的实现方式，在实施例一所示的基础上，还包括实施例三所示的步骤，其中，
所述步骤S101，包括：
获取播放视频中的图像，识别所述图像中的人脸区域，在所述人脸区域增加贴图。
对于本实施例，所述贴图主要为人脸装饰类贴图，例如犄角、胡子、眼镜等素材，终端通过对播放视频中的图像进行人脸识别，进而在视频图像中人脸的相应位置增加贴图。例如，选定在播放视频中的人脸区域增加虚拟的耳朵、胡须等贴图，贴图会随着用户的脸一起移动，实现虚拟与现实的结合与互动。
对于本实施例，用户可通过自定义设置贴图及贴图特效来表达自己的个性并可实时编辑获得其个性化形象设计的播放视频，满足了用户的个性化形象设计需求，增加视频应用的趣味性及应用与用户的互动性，显著提高用户体验的满意度。
实施例四
本发明实施例的另一种可能的实现方式，在实施例一所示的基础上，还包括实施例四所示的步骤，其中，
所述步骤S101之后，还包括：
确认接收到贴图切换指令；切换在所述图像中增加的贴图。
对于本实施例，当用户对在视频图像中增加的贴图不满意时，可向终端发出贴图切换指令以将贴图切换为自己喜欢的贴图素材。所述指示贴图切换的方式可以是语音指示、动作指示和输入指示等方式，本实施例对此不做限定。
例如，通过语音来指示贴图的切换时，终端首先获取所述播放视频中的声音，并识别所述声音的音频特征，随后将所述音频特征与预置的贴图切换口令，如“切换”、“变”等口令的音频特征进行匹配，若匹配一致，则确认接收到所述贴图切换指令，并对贴图进行切换。
又例如，通过动作来指示贴图的切换时，终端首先识别出所述图像中的人物区域，并对人物区域内的人物动作进行检测，若在所述人物区域检测到预置的贴图切换动作，如“摆手”、“摇头”等动作，则确认接收到所述贴图切换指令，并对贴图进行切换。
再例如，通过输入来指示贴图的切换时，用户只需在视频应用中重新输入选择另一贴图，即可对当前贴图进行切换。
对于本实施例，用户可通过方便快捷地根据自己的意愿对贴图进行切换，进一步增加了视频应用的趣味性及应用与用户的互动性，显著提高了用户体验的满意度。
实施例五
对于本实施例，所述视频为直播视频，即本实施例中的方法主要应用于视频直播领域。
本发明实施例的另一种可能的实现方式，在实施例一所示的基础上，还包括实施例五所示的步骤，其中，
所述步骤S101之前，还包括：
判断直播端的主播是否执行预置的增加贴图请求动作；
若是，获取所述主播预置的贴图；进行所述获取播放视频中的图像，在所述图像中增加贴图的步骤。
对于本实施例，主播可在视频直播过程中通过执行预置的增加贴图请求来获取包含贴图的视频直播图像。所述请求增加贴图的方式可以是语音请求、动作请求和输入请求等方式，本实施例对此不做限定。
例如，通过语音来请求增加贴图时，终端首先获取所述播放视频中的声音，并识别所述声音的音频特征，随后将所述音频特征与预置的增加贴图口令，如“贴图”、“变身”等口令的音频特征进行匹配，若匹配一致，便在播放视频的图像中增加贴图。
又例如，通过动作来请求增加贴图时，终端首先识别出所述图像中的人物区域，并对人物区域内的人物动作进行检测，若在所述人物区域检测到预置的贴图切换动作，如“比心”、“飞吻”等动作，便在播放视频的图像中增加贴图。
再例如，通过输入来请求增加贴图时，用户只需在视频应用中点击选择一个贴图，便在播放视频的图像中增加该贴图。
在其他实施例中，所述贴图还可以由视频直播间内的观众选定，也可以由主播依据视频直播间观众的意愿选择热度最高的贴图。该方法能够满足直播的要求，烘托直播氛围，且更好促进主播与观众的互动，进一步提高用户体验的满意度。
实施例六
本发明实施例的另一种可能的实现方式，在实施例一所示的基础上，还包括实施例六所示的步骤，其中，
所述步骤S102，包括：
获取欲在播放视频中播放的音乐的音乐信号，判断检测强节拍点，还是检测强节拍点和弱节拍点；
若检测强节拍点，判断采用强度值检测还是变化值检测；若采用强度值检测，根据所述音乐信号的能量强度值获得候选节拍点，根据各候选节拍点，统计各相邻两个候选节拍点所在帧之间的时间间隔，根据所述时间间隔，检测出候选节拍点对应检测点出现强节拍点；若采用变化值检测，根据检测点的音乐信号的能量变化差值，获得候选节拍点，根据所述候选节拍点，以各相邻两个所述候选节拍点作为信号起始点截取两段音乐信号，根据两段音乐信号的对比结果，检测出候选节拍点对应检测点出现强节拍点；
若检测强节拍点和弱节拍点，判断采用强度值检测还是变化值检测；若采用强度值检测，对所述音乐信号进行加权处理，获得加权后的音乐信号，根据所述加权后的音乐信号的能量强度值，检测出检测点出现强节拍点或弱节拍点；若采用变化值检测，对所述音乐信号进行滤波，滤波后进行短时傅立叶变换，获得频谱，根据所述频谱，确定检测点的能量变化值，根据能量变化值，检测出检测点出现弱节拍点或强候选节拍点；
对于本实施例，针对不同的所需检测节拍点的类型以及检测标准，对应有不同的节拍检测方法。
其中，所述判断检测强节拍点，还是检测强节拍点和弱节拍点，包括：
获取视频所需贴图特效类型，根据视频所需贴图特效类型判断检测强节拍点，还是检测强节拍点和弱节拍点；所述若检测强节拍点，判断采用强度值检测还是变化值检测，包括：若检测强节拍点，获取所述音乐的类型，根据类型判断采用强度值检测还是变化值检测；所述若检测强节拍点和弱节拍点，判断采用强度值检测还是变化值检测，包括：若检测强节拍点和弱节拍点，获取所述音乐的类型，根据类型判断采用强度值检测还是变化值检测。
对于本实施例，可通过获取的视频所需贴图特效类型来判断所需检测节拍点的类型的。所述视频所需贴图特效类型为用户选择的或视频应用默认的贴图特效类型。例如，用户希望在播放视频中有层出不穷的贴图特效，故根据其视频所需贴图特效类型判断出既要检测强节拍点，也要检测弱节拍点。
对于本实施例，是通过获取的音乐的类型来判断检测标准的。例如，所获取的音乐的类型为摇滚，该音乐类型的音乐信号往往都有很高的强度值，但其变化值不明显，故根据其类型选择通过检测强度值来检测该音乐的节拍点。
对于本实施例，可根据视频所需贴图特效类型和音乐的类型来选择所需检测节拍点的类型以及检测节拍点的方法，以实现采用合适的方法来得到准确的节拍点，且可减少运算量，缩短检测时长，进一步保证视频图像上显示的贴图特效与音乐节拍点的紧密关联性，进一步提高用户体验的满意度。
此外，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现以上实施例一至六所述的视频图像的贴图处理方法。其中，所述计算机可读存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random AcceSSMemory，随即存储器)、EPROM(EraSable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically EraSable Programmable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，存储设备包括由设备(例如，计算机、手机)以能够读的形式存储或传输信息的任何介质，可以是只读存储器，磁盘或光盘等。
本发明实施例提供的一种计算机可读存储介质，可实现通过在视频图像中增加贴图，并对欲在播放视频中播放的音乐进行节拍点检测，并在音乐播放过程中根据所检测到的节拍点在视频图像中显示该节拍点对应的贴图特效，以使视频图像上显示的贴图特效与所选定的视频播放音乐的节拍点紧密关联，提高了在播放视频中播放的音乐与显示的贴图在听觉以及视觉上的感染力；且用户可通过自定义设置的音乐、贴图以及贴图特效来表达自己的个性并可实时编辑获得个性化的播放视频，本方法满足了用户的个性化播放视频设计需求，增加视频应用的趣味性及应用与用户的互动性，显著提高用户体验的满意度。此外，所述计算机可读存储介质还可用于：结合多个节拍点检测方法，实现快速、准确地检测出所选定视频播放音乐的节拍点，且可根据视频所需贴图特效类型和音乐的类型来选择所需检测节拍点的类型以及检测节拍点的方法，以实现采用合适的方法来得到准确的节拍点，且可减少运算量，缩短检测时长，进一步保证视频图像上显示的贴图特效与所选定的视频播放音乐的节拍点紧密关联性；用户可通过方便快捷地根据自己的意愿增加或切换贴图，进一步增加了视频应用的趣味性及应用与用户的互动性；在应用于视频直播领域时，能够满足直播的要求，烘托直播氛围，且更好促进主播与观众的互动，进一步提高用户体验的满意度。
本发明实施例提供的计算机可读存储介质可以实现上述提供的方法实施例，具体功能实现请参见方法实施例中的说明，在此不再赘述。
此外，本发明实施例还提供了一种终端，如图2所示，所述终端可以包括一个或者一个以上的处理器201，还包括存储器202、WiFi(wireless fidelity，无线保真)电路203、RF(Radio Frequency，射频)电路204、音频电路205、传感器206、输出设备207、输入设备204、电源209，处理器201是终端的控制中心，利用各种接口和线路连接以上各部分。本领域技术人员可以理解，图2中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
WiFi电路203可为用户提供无线局域网或互联网访问；其可包括天线、WiFi模块等。RF电路204可收发信息，或在通话过程中信号的接收和发送；其可包括天线、至少一个放大器、调谐器、一个或多个振荡器、耦合器、双工器等。音频电路205可将接收到的音频数据转换成电信号，传输到扬声器，也可将传声器收集的声音信号转换为音频数据，发给处理器201处理；其可设置扬声器、传声器、耳机接口等。传感器206可用于感应外界信号，并发给处理器201处理；其可包括运动传感器、光传感器等。输出设备207可用于显示各种信号；其可为采用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-EmittingDiode,有机发光二极管)等形式来配置显示面板。输入设备204可用于输入数字和字符等信息；其可为物理按键、触控面板等。电源209可为终端各部分供电，通过电源管理***与处理器209逻辑连接；其可包括一个或一个以上的直流或交流电源、充电***、电源状态指示器等组件。存储器202可用于存储软件程序以及模块；其可为计算机可读存储介质，具体的为硬盘、闪存等。处理器是终端的控制中心，通过运行或执行存储在存储器202内的软件程序和/或模块，以及调用存储在存储器202的数据，执行终端各种功能、处理终端数据。
作为一个实施例，终端包括：一个或多个处理器201，存储器202，一个或多个应用程序，其中所述一个或多个应用程序被存储在存储器202中并被配置为由所述一个或多个处理器201执行，所述一个或多个程序配置用于执行以上实施例一至六所述的视频图像的贴图处理方法。
本发明实施例提供的一种终端，可实现通过在视频图像中增加贴图，并对欲在播放视频中播放的音乐进行节拍点检测，并在音乐播放过程中根据所检测到的节拍点在视频图像中显示该节拍点对应的贴图特效，以使视频图像上显示的贴图特效与所选定的视频播放音乐的节拍点紧密关联，提高了在播放视频中播放的音乐与显示的贴图在听觉以及视觉上的感染力；且用户可通过自定义设置的音乐、贴图以及贴图特效来表达自己的个性并可实时编辑获得个性化的播放视频，本方法满足了用户的个性化播放视频设计需求，增加视频应用的趣味性及应用与用户的互动性，显著提高用户体验的满意度。此外，所述终端还可用于：结合多个节拍点检测方法，实现快速、准确地检测出所选定视频播放音乐的节拍点，且可根据视频所需贴图特效类型和音乐的类型来选择所需检测节拍点的类型以及检测节拍点的方法，以实现采用合适的方法来得到准确的节拍点，且可减少运算量，缩短检测时长，进一步保证视频图像上显示的贴图特效与所选定的视频播放音乐的节拍点紧密关联性；用户可通过方便快捷地根据自己的意愿增加或切换贴图，进一步增加了视频应用的趣味性及应用与用户的互动性；在应用于视频直播领域时，能够满足直播的要求，烘托直播氛围，且更好促进主播与观众的互动，进一步提高用户体验的满意度。
本发明实施例提供的终端可以实现上述提供的方法实施例，具体功能实现请参见方法实施例中的说明，在此不再赘述。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (14)

1.一种视频图像的贴图处理方法，其特征在于，包括如下步骤：
获取播放视频中的图像，在所述图像中增加贴图；
获取欲在播放视频中播放的音乐的音乐信号，根据所述音乐信号检测出所述音乐的节拍点；
确定在播放视频中播放音乐时，在当前播放位置出现节拍点；
获取所述节拍点对应的贴图特效；
根据所述贴图特效对所述图像中的贴图进行处理，获得包含所述贴图特效的视频图像。
2.根据权利要求1所述的贴图处理方法，其特征在于，所述贴图包括：基于AR增强现实的二维模型贴图和/或三维模型贴图。
3.根据权利要求1所述的贴图处理方法，其特征在于，所述获取播放视频中的图像，在所述图像中增加贴图，包括：
获取播放视频中的图像，识别所述图像中的人脸区域，在所述人脸区域增加贴图。
4.根据权利要求1所述的贴图处理方法，其特征在于，所述获取播放视频中的图像，在所述图像中增加贴图之后，还包括：
确认接收到贴图切换指令；切换在所述图像中增加的贴图。
5.根据权利要求4所述的贴图处理方法，其特征在于，所述确认接收到贴图切换指令，包括：
获取所述播放视频中的声音，识别所述声音的音频特征；若所述音频特征与预置的贴图切换口令的音频特征匹配一致，确认接收到所述贴图切换指令；或
识别所述图像中的人物区域，若在所述人物区域检测到预置的贴图切换动作，确认接收到所述贴图切换指令。
6.根据权利要求1所述的贴图处理方法，其特征在于，所述视频为直播视频；
所述获取播放视频中的图像，在所述图像中增加贴图之前，还包括：
判断直播端的主播是否执行预置的增加贴图请求动作；
若是，获取所述主播预置的贴图；进行所述获取播放视频中的图像，在所述图像中增加贴图的步骤。
7.根据权利要求1所述的贴图处理方法，其特征在于，所述节拍点包括强节拍点和弱节拍点；
所述根据所述音乐信号检测出所述音乐的节拍点，包括：
对所述音乐信号进行滤波，滤波后进行短时傅立叶变换，获得频谱；
根据所述频谱，确定检测点的能量变化值；
根据能量变化值，检测出检测点出现强节拍点或弱节拍点。
8.根据权利要求1所述的贴图处理方法，其特征在于，所述节拍点包括强节拍点和弱节拍点；
所述根据所述音乐信号检测出所述音乐的节拍点，包括：
对所述音乐信号进行加权处理，获得加权后的音乐信号；
根据所述加权后的音乐信号的能量强度值，检测出检测点出现强节拍点或弱节拍点。
9.根据权利要求1所述的贴图处理方法，其特征在于，所述节拍点包括强节拍点；
所述根据所述音乐信号检测出所述音乐的节拍点，包括：
根据所述音乐信号的能量强度值获得候选节拍点；
根据各候选节拍点，统计各相邻两个候选节拍点所在帧之间的时间间隔；
根据所述时间间隔，检测出候选节拍点对应检测点出现强节拍点。
10.根据权利要求1所述的贴图处理方法，其特征在于，所述节拍点包括强节拍点；
所述根据所述音乐信号检测出所述音乐的节拍点，包括：
根据检测点的音乐信号的能量变化差值，获得候选节拍点；
根据所述候选节拍点，以各相邻两个候选节拍点作为信号起始点截取两段音乐信号；
根据两段音乐信号的对比结果，检测出候选节拍点对应检测点出现强节拍点。
11.根据权利要求1所述的贴图处理方法，其特征在于，所述获取欲在播放视频中播放的音乐的音乐信号，根据所述音乐信号检测出所述音乐的节拍点，包括：
获取欲在播放视频中播放的音乐的音乐信号，判断检测强节拍点，还是检测强节拍点和弱节拍点；
若检测强节拍点，判断采用强度值检测还是变化值检测；
若采用强度值检测，根据所述音乐信号的能量强度值获得候选节拍点，根据各候选节拍点，统计各相邻两个候选节拍点所在帧之间的时间间隔，根据所述时间间隔，检测出候选节拍点对应检测点出现强节拍点；
若采用变化值检测，根据检测点的音乐信号的能量变化差值，获得候选节拍点，根据所述候选节拍点，以各相邻两个所述候选节拍点作为信号起始点截取两段音乐信号，根据两段音乐信号的对比结果，检测出候选节拍点对应检测点出现强节拍点；
若检测强节拍点和弱节拍点，判断采用强度值检测还是变化值检测；
若采用强度值检测，对所述音乐信号进行加权处理，获得加权后的音乐信号，根据所述加权后的音乐信号的能量强度值，检测出检测点出现强节拍点或弱节拍点；
若采用变化值检测，对所述音乐信号进行滤波，滤波后进行短时傅立叶变换，获得频谱，根据所述频谱，确定检测点的能量变化值，根据能量变化值，检测出检测点出现弱节拍点或强候选节拍点；
所述判断检测强节拍点，还是检测强节拍点和弱节拍点，包括：
获取视频所需贴图特效类型，根据视频所需贴图特效类型判断检测强节拍点，还是检测强节拍点和弱节拍点；
所述若检测强节拍点，判断采用强度值检测还是变化值检测，包括：
若检测强节拍点，获取所述音乐的类型，根据类型判断采用强度值检测还是变化值检测；
所述若检测强节拍点和弱节拍点，判断采用强度值检测还是变化值检测，包括：
若检测强节拍点和弱节拍点，获取所述音乐的类型，根据类型判断采用强度值检测还是变化值检测。
12.根据权利要求1所述的贴图处理方法，其特征在于，所述根据所述音乐信号检测出所述音乐的节拍点之后，还包括，记录所述音乐播放位置与节拍点的对应关系；
所述确定在播放视频中播放音乐时，在当前播放位置出现节拍点，包括：
根据所述对应关系，确定在播放视频中播放音乐时，在当前播放位置出现节拍点。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现权利要求1至12任一项所述的贴图处理方法。
14.一种终端，其特征在于，其包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行根据权利要求1至12任一项所述的贴图处理方法。
CN201711476832.0A 2017-12-15 2017-12-29 视频图像的贴图处理方法、计算机可读存储介质及终端 Pending CN108322802A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711476832.0A CN108322802A (zh) 2017-12-29 2017-12-29 视频图像的贴图处理方法、计算机可读存储介质及终端
PCT/CN2018/119266 WO2019114582A1 (zh) 2017-12-15 2018-12-05 视频图像处理方法及计算机存储介质、终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711476832.0A CN108322802A (zh) 2017-12-29 2017-12-29 视频图像的贴图处理方法、计算机可读存储介质及终端

Publications (1)

Publication Number Publication Date
CN108322802A true CN108322802A (zh) 2018-07-24

Family

ID=62894187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711476832.0A Pending CN108322802A (zh) 2017-12-15 2017-12-29 视频图像的贴图处理方法、计算机可读存储介质及终端

Country Status (1)

Country Link
CN (1) CN108322802A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986842A (zh) * 2018-08-14 2018-12-11 百度在线网络技术（北京）有限公司 音乐风格识别处理方法及终端
CN109034063A (zh) * 2018-07-27 2018-12-18 北京微播视界科技有限公司 人脸特效的多人脸跟踪方法、装置和电子设备
CN109120992A (zh) * 2018-09-13 2019-01-01 北京金山安全软件有限公司 视频生成方法及其装置、电子设备、存储介质
CN109361852A (zh) * 2018-10-18 2019-02-19 维沃移动通信有限公司 一种图像处理方法及装置
CN109379623A (zh) * 2018-11-08 2019-02-22 北京微播视界科技有限公司 视频内容生成方法、装置、计算机设备和存储介质
CN109618229A (zh) * 2018-12-21 2019-04-12 广州酷狗计算机科技有限公司 音视频的关联播放方法、装置、服务器及存储介质
CN109688324A (zh) * 2018-12-04 2019-04-26 深圳市子瑜杰恩科技有限公司 短视频道具切换方法及相关产品
CN109729394A (zh) * 2018-12-05 2019-05-07 深圳市子瑜杰恩科技有限公司 短视频的道具排序方法及相关产品
WO2019114582A1 (zh) * 2017-12-15 2019-06-20 广州市百果园信息技术有限公司 视频图像处理方法及计算机存储介质、终端
CN110069641A (zh) * 2019-03-27 2019-07-30 北京字节跳动网络技术有限公司 图像处理方法、装置和电子设备
CN110072047A (zh) * 2019-01-25 2019-07-30 北京字节跳动网络技术有限公司 图像形变的控制方法、装置和硬件装置
CN110675310A (zh) * 2019-07-02 2020-01-10 北京达佳互联信息技术有限公司 视频处理方法、装置、电子设备及存储介质
CN110798737A (zh) * 2019-11-29 2020-02-14 北京达佳互联信息技术有限公司 视音频合成方法、终端和存储介质
CN111225232A (zh) * 2018-11-23 2020-06-02 北京字节跳动网络技术有限公司 基于视频的贴纸动画引擎、实现方法、服务器和介质
CN111597984A (zh) * 2020-05-15 2020-08-28 北京百度网讯科技有限公司 贴纸测试方法、装置、电子设备及计算机可读存储介质
CN111857923A (zh) * 2020-07-17 2020-10-30 北京字节跳动网络技术有限公司 特效展示方法、装置、电子设备及计算机可读介质
CN113055738A (zh) * 2019-12-26 2021-06-29 北京字节跳动网络技术有限公司 视频特效处理方法及装置
CN113632498A (zh) * 2019-03-28 2021-11-09 多玩国株式会社 内容发布***、内容发布方法、以及内容发布程序
EP4167192A4 (en) * 2020-07-10 2023-12-13 Beijing Bytedance Network Technology Co., Ltd. IMAGE PROCESSING METHOD AND APPARATUS FOR AUGMENTED REALITY, ELECTRONIC DEVICE AND RECORDING MEDIUM

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101123086A (zh) * 2006-08-09 2008-02-13 株式会社河合乐器制作所 节奏检测装置及节奏检测用计算机程序
CN101165773A (zh) * 2006-10-20 2008-04-23 索尼株式会社 信号处理设备及方法、程序和记录介质
CN104103300A (zh) * 2014-07-04 2014-10-15 厦门美图之家科技有限公司 一种根据音乐节拍自动处理视频的方法
US20150007708A1 (en) * 2009-05-27 2015-01-08 Microsoft Corporation Detecting beat information using a diverse set of correlations
CN104822095A (zh) * 2015-02-08 2015-08-05 苏州乐聚一堂电子科技有限公司 复合节拍特效***及复合节拍特效处理方法
CN105872838A (zh) * 2016-04-28 2016-08-17 徐文波 即时视频的媒体特效发送方法和装置
CN106331735A (zh) * 2016-08-18 2017-01-11 北京奇虎科技有限公司 一种特效处理方法、电子设备及服务器
CN106658035A (zh) * 2016-12-09 2017-05-10 武汉斗鱼网络科技有限公司 一种特效礼物动态展示方法及装置
CN107103917A (zh) * 2017-03-17 2017-08-29 福建星网视易信息***有限公司 音乐节奏检测方法及其***
CN107124624A (zh) * 2017-04-21 2017-09-01 腾讯科技（深圳）有限公司 视频数据生成的方法和装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101123086A (zh) * 2006-08-09 2008-02-13 株式会社河合乐器制作所 节奏检测装置及节奏检测用计算机程序
CN101165773A (zh) * 2006-10-20 2008-04-23 索尼株式会社 信号处理设备及方法、程序和记录介质
US20150007708A1 (en) * 2009-05-27 2015-01-08 Microsoft Corporation Detecting beat information using a diverse set of correlations
CN104103300A (zh) * 2014-07-04 2014-10-15 厦门美图之家科技有限公司 一种根据音乐节拍自动处理视频的方法
CN104822095A (zh) * 2015-02-08 2015-08-05 苏州乐聚一堂电子科技有限公司 复合节拍特效***及复合节拍特效处理方法
CN105872838A (zh) * 2016-04-28 2016-08-17 徐文波 即时视频的媒体特效发送方法和装置
CN106331735A (zh) * 2016-08-18 2017-01-11 北京奇虎科技有限公司 一种特效处理方法、电子设备及服务器
CN106658035A (zh) * 2016-12-09 2017-05-10 武汉斗鱼网络科技有限公司 一种特效礼物动态展示方法及装置
CN107103917A (zh) * 2017-03-17 2017-08-29 福建星网视易信息***有限公司 音乐节奏检测方法及其***
CN107124624A (zh) * 2017-04-21 2017-09-01 腾讯科技（深圳）有限公司 视频数据生成的方法和装置

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019114582A1 (zh) * 2017-12-15 2019-06-20 广州市百果园信息技术有限公司 视频图像处理方法及计算机存储介质、终端
CN109034063A (zh) * 2018-07-27 2018-12-18 北京微播视界科技有限公司 人脸特效的多人脸跟踪方法、装置和电子设备
US11749020B2 (en) 2018-07-27 2023-09-05 Beijing Microlive Vision Technology Co., Ltd Method and apparatus for multi-face tracking of a face effect, and electronic device
CN108986842A (zh) * 2018-08-14 2018-12-11 百度在线网络技术（北京）有限公司 音乐风格识别处理方法及终端
CN109120992A (zh) * 2018-09-13 2019-01-01 北京金山安全软件有限公司 视频生成方法及其装置、电子设备、存储介质
CN109361852A (zh) * 2018-10-18 2019-02-19 维沃移动通信有限公司 一种图像处理方法及装置
CN109379623A (zh) * 2018-11-08 2019-02-22 北京微播视界科技有限公司 视频内容生成方法、装置、计算机设备和存储介质
CN111225232A (zh) * 2018-11-23 2020-06-02 北京字节跳动网络技术有限公司 基于视频的贴纸动画引擎、实现方法、服务器和介质
CN109688324A (zh) * 2018-12-04 2019-04-26 深圳市子瑜杰恩科技有限公司 短视频道具切换方法及相关产品
CN109729394A (zh) * 2018-12-05 2019-05-07 深圳市子瑜杰恩科技有限公司 短视频的道具排序方法及相关产品
CN109618229A (zh) * 2018-12-21 2019-04-12 广州酷狗计算机科技有限公司 音视频的关联播放方法、装置、服务器及存储介质
WO2020151491A1 (zh) * 2019-01-25 2020-07-30 北京字节跳动网络技术有限公司 图像形变的控制方法、装置和硬件装置
CN110072047A (zh) * 2019-01-25 2019-07-30 北京字节跳动网络技术有限公司 图像形变的控制方法、装置和硬件装置
US11409794B2 (en) 2019-01-25 2022-08-09 Beijing Bytedance Network Technology Co., Ltd. Image deformation control method and device and hardware device
CN110069641A (zh) * 2019-03-27 2019-07-30 北京字节跳动网络技术有限公司 图像处理方法、装置和电子设备
CN110069641B (zh) * 2019-03-27 2021-04-20 北京字节跳动网络技术有限公司 图像处理方法、装置和电子设备
CN113632498A (zh) * 2019-03-28 2021-11-09 多玩国株式会社 内容发布***、内容发布方法、以及内容发布程序
US11961190B2 (en) 2019-03-28 2024-04-16 Dwango Co., Ltd. Content distribution system, content distribution method, and content distribution program
US11705160B2 (en) 2019-07-02 2023-07-18 Beijing Dajia Internet Information Technology Co., Ltd. Method and device for processing video
US11114130B2 (en) 2019-07-02 2021-09-07 Beijing Dajia Internet Information Technology Co., Ltd. Method and device for processing video
CN110675310A (zh) * 2019-07-02 2020-01-10 北京达佳互联信息技术有限公司 视频处理方法、装置、电子设备及存储介质
CN110798737A (zh) * 2019-11-29 2020-02-14 北京达佳互联信息技术有限公司 视音频合成方法、终端和存储介质
WO2021129628A1 (zh) * 2019-12-26 2021-07-01 北京字节跳动网络技术有限公司 视频特效处理方法及装置
CN113055738A (zh) * 2019-12-26 2021-06-29 北京字节跳动网络技术有限公司 视频特效处理方法及装置
US11882244B2 (en) 2019-12-26 2024-01-23 Beijing Bytedance Network Technology Co., Ltd. Video special effects processing method and apparatus
CN111597984A (zh) * 2020-05-15 2020-08-28 北京百度网讯科技有限公司 贴纸测试方法、装置、电子设备及计算机可读存储介质
CN111597984B (zh) * 2020-05-15 2023-09-26 北京百度网讯科技有限公司 贴纸测试方法、装置、电子设备及计算机可读存储介质
EP4167192A4 (en) * 2020-07-10 2023-12-13 Beijing Bytedance Network Technology Co., Ltd. IMAGE PROCESSING METHOD AND APPARATUS FOR AUGMENTED REALITY, ELECTRONIC DEVICE AND RECORDING MEDIUM
WO2022012182A1 (zh) * 2020-07-17 2022-01-20 北京字节跳动网络技术有限公司 特效展示方法、装置、电子设备及计算机可读介质
CN111857923A (zh) * 2020-07-17 2020-10-30 北京字节跳动网络技术有限公司 特效展示方法、装置、电子设备及计算机可读介质

Similar Documents

Publication Publication Date Title
CN108322802A (zh) 视频图像的贴图处理方法、计算机可读存储介质及终端
CN108111909A (zh) 视频图像处理方法及计算机存储介质、终端
CN108259925A (zh) 视频直播中的音乐礼物处理方法、存储介质及终端
CN108259983A (zh) 一种视频图像处理方法、计算机可读存储介质和终端
CN109302538B (zh) 音乐播放方法、装置、终端及存储介质
CN108259984A (zh) 视频图像处理方法、计算机可读存储介质及终端
CN109756784B (zh) 音乐播放方法、装置、终端及存储介质
CN108810576A (zh) 连麦直播的方法、装置及存储介质
CN109448761B (zh) 播放歌曲的方法和装置
CN110267067A (zh) 直播间推荐的方法、装置、设备及存储介质
CN106162369A (zh) 一种实现虚拟场景中互动的方法、装置及***
US10828552B2 (en) Wireless electronic table game scoreboard
CN110244998A (zh) 页面背景、直播页面背景的设置方法、装置及存储介质
CN108401124A (zh) 视频录制的方法和装置
CN109151593A (zh) 主播推荐方法、装置存储介质
CN109040297A (zh) 用户画像生成方法及装置
CN109348247A (zh) 确定音视频播放时间戳的方法、装置及存储介质
CN109587549B (zh) 视频录制方法、装置、终端及存储介质
CN108922506A (zh) 歌曲音频生成方法、装置和计算机可读存储介质
CN108965922A (zh) 视频封面生成方法、装置和存储介质
CN107982918A (zh) 游戏对局结果的展示方法、装置及终端
CN109525883A (zh) 互动特效显示方法、装置、电子设备、服务器及存储介质
CN109346111A (zh) 数据处理方法、装置、终端及存储介质
CN112541959A (zh) 虚拟对象显示方法、装置、设备及介质
JP2022531372A (ja) 対戦外環境での対戦中の行動のプレビュー方法、装置、端末、及びコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180724

RJ01 Rejection of invention patent application after publication