CN110971840A - 视频贴图方法及装置、计算机设备及存储介质 - Google Patents

视频贴图方法及装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN110971840A
CN110971840A CN201911239406.4A CN201911239406A CN110971840A CN 110971840 A CN110971840 A CN 110971840A CN 201911239406 A CN201911239406 A CN 201911239406A CN 110971840 A CN110971840 A CN 110971840A
Authority
CN
China
Prior art keywords
video
mapping
map
image
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911239406.4A
Other languages
English (en)
Other versions
CN110971840B (zh
Inventor
刘春宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Kugou Computer Technology Co Ltd
Original Assignee
Guangzhou Kugou Computer Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Kugou Computer Technology Co Ltd filed Critical Guangzhou Kugou Computer Technology Co Ltd
Priority to CN201911239406.4A priority Critical patent/CN110971840B/zh
Publication of CN110971840A publication Critical patent/CN110971840A/zh
Application granted granted Critical
Publication of CN110971840B publication Critical patent/CN110971840B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本公开公开了一种视频贴图方法及装置、计算机设备及存储介质,属于视频处理技术技术领域。该方法包括:获取用于对源视频进行贴图处理所使用的至少一个贴图图像,每个贴图图像用于贴图至所述源视频的一个源图像帧;基于所述至少一个贴图图像和所述源视频的视频参数,生成包括多个贴图图像帧的贴图视频,在所述多个贴图图像帧中的至少一个贴图图像帧中,每个贴图图像帧携带有一个或多个贴图图像的信息;向终端发送所述贴图视频,以供所述终端基于所述贴图视频携带的至少一个贴图图像的信息,对所述源视频进行贴图处理。本公开减小了终端的载入负载,减小了载入过程对终端性能的影响。

Description

视频贴图方法及装置、计算机设备及存储介质
技术领域
本公开涉及视频处理技术领域,特别涉及一种视频贴图方法及装置、计算机设备及存储介质。
背景技术
随着科学技术的发展,应用程序的功能越来越多。例如,为了提高用户的视觉体验,可以在终端中根据应用服务商提供的贴图图像对用户选择的视频进行贴图处理,达到使用贴图图像修饰图像帧的目的。其中,对视频进行贴图处理是指:对贴图图像与视频的图像帧进行合成处理,使得合成处理后的图像帧在贴图位置处显示该贴图图像,在非贴图位置处显示该图像帧原有的内容。
相关技术中,在对视频执行贴图处理时,终端需要实时载入贴图图像和视频的图像帧,以便于能够将贴图图像与图像帧进行合成。
但是,该载入方式会对终端的性能造成影响。
发明内容
本公开实施例提供了一种视频贴图方法及装置、计算机设备及存储介质,可以解决对视频进行贴图处理时的载入方式对终端的性能造成影响的问题。所述技术方案如下:
第一方面,提供了一种视频贴图方法,应用于服务器,该视频贴图方法包括:
获取用于对源视频进行贴图处理所使用的至少一个贴图图像,每个贴图图像用于贴图至所述源视频的一个源图像帧;
基于所述至少一个贴图图像和所述源视频的视频参数,生成包括多个贴图图像帧的贴图视频,在所述多个贴图图像帧中的至少一个贴图图像帧中,每个贴图图像帧携带有一个或多个贴图图像的信息;
向终端发送所述贴图视频,以供所述终端基于所述贴图视频携带的至少一个贴图图像的信息,对所述源视频进行贴图处理。
可选地,所述基于所述至少一个贴图图像和所述源视频的视频参数,生成包括多个贴图图像帧的贴图视频,包括:
确定用于被贴图图像贴图的每个目标源图像帧在所述源视频所包括的多个源图像帧中的帧次序;
基于所述至少一个贴图图像和每个目标源图像帧的帧次序,生成所述贴图视频。
可选地,所述基于所述至少一个贴图图像和每个目标源图像帧的帧次序,生成所述贴图视频,包括:
基于任一目标源图像帧的帧次序,确定携带有向所述任一目标源图像帧贴图的贴图图像的信息的贴图图像帧在所述贴图视频中的帧次序;
基于所述至少一个贴图图像和每个贴图图像帧的帧次序,生成所述贴图视频。
可选地,所述基于所述至少一个贴图图像和每个目标源图像帧的帧次序,生成所述贴图视频,包括:
基于每个目标源图像帧的帧次序和所述源视频的帧率,确定任一目标源图像帧相对于所述源视频的起始播放时间的相对播放时间戳;
基于所述任一目标源图像帧的相对播放时间戳,确定携带有向所述任一目标源图像帧贴图的贴图图像的信息的贴图图像帧相对于所述贴图视频的起始播放时间的相对播放时间戳;
基于所述至少一个贴图图像和每个贴图图像帧的相对播放时间戳,生成所述贴图视频。
第二方面,提供了一种视频贴图方法,应用于终端,该视频贴图方法包括:
获取包括多个贴图图像帧的贴图视频,在所述多个贴图图像帧中的至少一个贴图图像帧中,每个贴图图像帧携带有一个或多个贴图图像的信息;
获取包括多个源图像帧的源视频;
基于所述贴图视频携带的至少一个贴图图像的信息,对所述源视频中的源图像帧进行贴图处理。
可选地,所述基于所述贴图视频携带的至少一个贴图图像的信息,对所述源视频中的源图像帧进行贴图处理,包括:
基于所述多个贴图图像帧中第i个贴图图像帧携带的贴图图像的信息,对所述多个源图像帧中第i+m+n×T个源图像帧进行贴图处理,所述i和所述T均为小于或等于所述贴图视频中贴图图像帧的总帧数的正整数,所述m和所述n为大于或等于0的整数,且所述m小于或等于所述源视频中源图像帧的总帧数;
或者,基于所述多个贴图图像帧中相对播放时间戳为t1的贴图图像帧携带的贴图图像的信息,对所述多个源图像帧中相对播放时间戳为t1+t2+n×T的源图像帧进行贴图处理,任一图像帧的相对播放时间戳为所述任一图像帧的播放时间相对于所述任一图像帧所在视频的起始播放时间的时间差,所述t1和所述T均为小于或等于所述贴图视频的总时长的正数,所述t2大于或等于0,且所述t2小于或等于所述源视频的总播放时长。
可选地,所述基于所述贴图视频携带的至少一个贴图图像的信息,对所述源视频中的源图像帧进行贴图处理,包括:
获取所述贴图视频中任一贴图图像帧中用于表示所述贴图图像的每个图像像素点的参考位置;
基于所述任一贴图图像帧中任一参考位置处图像像素点的像素值,更新所述任一贴图图像帧对应的源图像帧中所述任一参考位置处的图像像素点的像素值。
可选地,任一源图像帧与对应的贴图图像帧的分辨率相同。
第三方面,提供了一种视频贴图装置,应用于服务器,该视频贴图装置包括:
获取模块,用于获取用于对源视频进行贴图处理所使用的至少一个贴图图像,每个贴图图像用于贴图至所述源视频的一个源图像帧;
生成模块,用于基于所述至少一个贴图图像和所述源视频的视频参数,生成包括多个贴图图像帧的贴图视频,在所述多个贴图图像帧中的至少一个贴图图像帧中,每个贴图图像帧携带有一个或多个贴图图像的信息;
发送模块,用于向终端发送所述贴图视频,以供所述终端基于所述贴图视频携带的至少一个贴图图像的信息,对所述源视频进行贴图处理。
可选地,所述生成模块,包括:
确定子模块,用于确定用于被贴图图像贴图的每个目标源图像帧在所述源视频所包括的多个源图像帧中的帧次序;
生成子模块,用于基于所述至少一个贴图图像和每个目标源图像帧的帧次序,生成所述贴图视频。
可选地,所述生成子模块具体用于:
基于任一目标源图像帧的帧次序,确定携带有向所述任一目标源图像帧贴图的贴图图像的信息的贴图图像帧在所述贴图视频中的帧次序;
基于所述至少一个贴图图像和每个贴图图像帧的帧次序,生成所述贴图视频。
可选地,所述生成子模块具体用于:
基于每个目标源图像帧的帧次序和所述源视频的帧率,确定任一目标源图像帧相对于所述源视频的起始播放时间的相对播放时间戳;
基于所述任一目标源图像帧的相对播放时间戳,确定携带有向所述任一目标源图像帧贴图的贴图图像的信息的贴图图像帧相对于所述贴图视频的起始播放时间的相对播放时间戳;
基于所述至少一个贴图图像和每个贴图图像帧的相对播放时间戳,生成所述贴图视频。
第四方面,提供了一种视频贴图装置,应用于终端,该视频贴图装置包括:
获取模块,用于获取包括多个贴图图像帧的贴图视频,在所述多个贴图图像帧中的至少一个贴图图像帧中,每个贴图图像帧携带有一个或多个贴图图像的信息;
所述获取模块,还用于获取包括多个源图像帧的源视频;
处理模块,用于基于所述贴图视频携带的至少一个贴图图像的信息,对所述源视频中的源图像帧进行贴图处理。
可选地,所述处理模块具体用于:
基于所述多个贴图图像帧中第i个贴图图像帧携带的贴图图像的信息,对所述多个源图像帧中第i+m+n×T个源图像帧进行贴图处理,所述i和所述T均为小于或等于所述贴图视频中贴图图像帧的总帧数的正整数,所述m和所述n为大于或等于0的整数,且所述m小于或等于所述源视频中源图像帧的总帧数;
或者,基于所述多个贴图图像帧中相对播放时间戳为t1的贴图图像帧携带的贴图图像的信息,对所述多个源图像帧中相对播放时间戳为t1+t2+n×T的源图像帧进行贴图处理,任一图像帧的相对播放时间戳为所述任一图像帧的播放时间相对于所述任一图像帧所在视频的起始播放时间的时间差,所述t1和所述T均为小于或等于所述贴图视频的总时长的正数,所述t2大于或等于0,且所述t2小于或等于所述源视频的总播放时长。
可选地,所述处理模块具体用于:
获取所述贴图视频中任一贴图图像帧中用于表示所述贴图图像的每个图像像素点的参考位置;
基于所述任一贴图图像帧中任一参考位置处图像像素点的像素值,更新所述任一贴图图像帧对应的源图像帧中所述任一参考位置处的图像像素点的像素值。
可选地,任一源图像帧与对应的贴图图像帧的分辨率相同。
第五方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在服务器上运行时,使得所述计算机执行第一方面任一所述的视频贴图方法。
第六方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在终端上运行时,使得所述计算机执行第二方面任一所述的视频贴图方法。
第七方面,提供了一种计算机设备,包括存储器和处理器,所述存储器上存储有可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现第一方面任一所述的视频贴图方法。
第八方面,提供了一种计算机设备,包括存储器和处理器,所述存储器上存储有可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现第二方面任一所述的视频贴图方法。
本公开实施例提供的技术方案带来的有益效果是:
本公开实施例提供的视频贴图方法及装置、计算机设备及计算机可读存储介质,通过基于用于对源视频进行贴图处理所使用的至少一个贴图图像,及该源视频的视频参数,生成包括多个贴图图像帧的贴图视频,并向终端发送贴图视频,使得终端能够基于该贴图视频中贴图图像的信息,对源视频进行贴图处理,使得终端在对源视频进行贴图处理时,终端载入的是源视频和贴图视频,减小了终端的载入负载,减小了载入过程对终端性能的影响。
附图说明
为了更清楚地说明本公开实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本公开实施例提供的一种视频贴图方法所涉及的实施环境的示意图;
图2是本公开实施例提供的一种视频贴图方法的流程图;
图3是本公开实施例提供的另一种视频贴图方法的流程图;
图4是本公开实施例提供的再一种视频贴图方法的流程图;
图5是本公开实施例提供的一种生成贴图视频的方法流程图;
图6是本公开实施例提供的另一种生成贴图视频的方法流程图;
图7是本公开实施例提供的一种视频贴图装置的结构示意图;
图8是本公开实施例提供的一种生成模块的结构示意图;
图9是本公开实施例提供的另一种视频贴图装置的结构示意图;
图10是本公开实施例提供的一种终端的结构示意图;
图11是本公开实施例提供的一种服务器的结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚,下面将结合附图对本公开实施方式作进一步地详细描述。
图1是本公开实施例提供的视频贴图方法所涉及的实施环境的示意图。该实施环境可以包括:服务器01和终端02。
服务器01可以是一台服务器,或者由若干台服务器组成的服务器集群,或者是一个云计算服务中心。终端02具有对视频进行处理的功能,且终端02配置有显示屏。可选地,终端02可以安装有视频处理应用程序,终端02可以使用该视频处理应用程序对视频进行贴图处理,并播放经过贴图处理后的视频。在一种可实现方式中,终端02可以为智能手机、电脑、具有显示屏的多媒体播放器、具有显示屏的可穿戴式设备等多种终端。
服务器01和终端02之间可以通过有线网络或无线网络建立连接。服务器01可以根据用于对源视频中源图像帧进行贴图处理所使用的贴图图像,生成贴图视频,并向终端02提供该贴图视频。终端02可以获取该贴图视频,并根据该贴图视频对源视频进行贴图处理。由于该终端02在对源视频进行贴图处理时,终端载入的是贴图视频和源视频,且由于视频较容易解析,因此,减小了终端的载入负载,使得载入过程中对终端内存的占用相应减小,因此,能够减小载入过程对终端性能的影响。
本公开实施例提供了一种视频贴图方法,该方法可以应用于服务器。图2是本公开实施例提供的一种视频贴图方法的流程图,如图2所示,该方法应用于服务器,该方法可以包括:
步骤201、获取用于对源视频进行贴图处理所使用的至少一个贴图图像。
其中,每个贴图图像用于贴图至源视频的一个源图像帧。
步骤202、基于至少一个贴图图像和源视频的视频参数,生成包括多个贴图图像帧的贴图视频。
其中,在该多个贴图图像帧中的至少一个贴图图像帧中,每个贴图图像帧携带有一个或多个贴图图像的信息。
步骤203、向终端发送贴图视频,以供终端基于贴图视频携带的至少一个贴图图像的信息,对源视频进行贴图处理。
综上所述,本公开实施例提供的视频贴图方法,通过基于用于对源视频进行贴图处理所使用的至少一个贴图图像,及该源视频的视频参数,生成包括多个贴图图像帧的贴图视频,并向终端发送贴图视频,使得终端能够基于该贴图视频中贴图图像的信息,对源视频进行贴图处理,使得终端在对源视频进行贴图处理时,终端载入的是源视频和贴图视频,减小了终端的载入负载,减小了载入过程对终端性能的影响。
本公开实施例提供了一种视频贴图方法,该方法可以应用于终端。图3是本公开实施例提供的一种视频贴图方法的流程图,如图3所示,该方法应用于终端,该方法可以包括:
步骤301、获取包括多个贴图图像帧的贴图视频,在多个贴图图像帧中的至少一个贴图图像帧中,每个贴图图像帧携带有一个或多个贴图图像的信息。
步骤302、获取包括多个源图像帧的源视频。
步骤303、基于贴图视频携带的至少一个贴图图像的信息,对源视频中的源图像帧进行贴图处理。
综上所述,本公开实施例提供的视频贴图方法,通过获取源视频和贴图视频,并基于该贴图视频中贴图图像的信息,对源视频进行贴图处理,使得终端在对源视频进行贴图处理时,终端载入的是源视频和贴图视频,减小了终端的载入负载,减小了载入过程对终端性能的影响。
下面以本公开实施例提供的视频贴图方法涉及的应用场景包括服务器和终端为例,对该视频贴图方法进行说明。如图4所示,该方法可以包括以下步骤:
步骤401、服务器获取用于对源视频进行贴图处理所使用的至少一个贴图图像。
其中,每个贴图图像用于贴图至源视频的一个源图像帧,且每个源图像帧中可以被贴图至少一个贴图图像。
源视频是指视频参数符合一定条件的视频。在应用服务商提供贴图功能时,可以指定该贴图功能能够对视频参数满足指定条件的视频进行处理。即若想使用该贴图功能对视频进行贴图处理,待进行贴图处理的视频的视频参数需要满足该指定条件。此处,源视频用于泛指视频参数满足指定条件的视频,即该源视频用于指示使用该贴图功能的视频需要满足的指定条件。其中,视频参数可以包括以下一项或多项:视频的时长、帧率和视频中每个视频图像帧的分辨率等。示例地,应用服务商可以指定能够使用贴图功能的视频所需满足的指定条件为:帧率为每秒显示60帧,且每个图像帧的分辨率为1280×960,则源视频可以泛指满足该指定条件的所有视频。
此外,应用服务商还可以指定贴图图像在被贴图的源图像帧中的位置等参数。
其中,该步骤401中获取的贴图图像是已确定需要向源视频中的哪一图像帧贴图的图像。并且,向哪个图像帧贴哪个贴图图像,可以是应用服务商根据应用需求确定的,本公开实施例对其不做具体限定。在一种可实现方式中,应用服务商可以根据营销策略确定贴图图像。例如,在母亲节期间,该贴图图像可以为康乃馨的图像。在情人节期间,该贴图图像可以为玫瑰花的图像。在某电视剧的热播期间,该贴图图像可以为反映该电视剧相关元素的图像。
步骤402、服务器基于至少一个贴图图像和源视频的视频参数,生成包括多个贴图图像帧的贴图视频。
其中,在贴图视频的多个贴图图像帧中的至少一个贴图图像帧中,每个贴图图像帧携带有一个或多个贴图图像的信息。
为保证用户使用贴图功能的用户体验,需要保证贴图处理前后的源视频发生改变的内容为该源视频的源图像帧中被贴图的贴图图像。因此,为了保证根据贴图视频对源视频进行贴图处理的处理效果,在本公开实施例中,可以以源视频的视频参数为参考标准,生成贴图视频。其中,源视频的视频参数主要包括决定源视频是否满足指定条件的参数。例如,该视频参数可以为源视频的帧率、分辨率和源图像帧在源视频所包括的多个源图像帧中的帧次序等参数。在一种可实现方式中,可以确定每个目标源图像帧在源视频所包括的多个源图像帧中的帧次序,并基于至少一个贴图图像和每个目标源图像帧的帧次序,生成贴图视频。其中,目标源图像帧为被贴图图像贴图的图像帧。可选地,根据目标源图像帧的帧次序生成贴图视频至少有以下两种可实现方式:
在第一种可实现方式中,如图5所示,其实现过程可以包括:
步骤402a1、服务器基于任一目标源图像帧的帧次序,确定携带有向任一目标源图像帧贴图的贴图图像的信息的贴图图像帧在贴图视频中的帧次序。
应用服务商可以指定能够被贴图图像贴图的源图像帧在源视频中的帧次序,相应的,服务器可以获取目标源图像帧的帧次序。例如,应用服务商可以指定向源视频中的第一个源图像帧中贴图玫瑰花的图像,向源视频中的第三个源图像帧中贴图康乃馨的图像。因此,可以确定被玫瑰花的图像贴图的目标源图像帧的帧次序为1,被康乃馨的图像贴图的目标源图像帧的帧次序为3。
可选地,可以根据贴图视频中第i个贴图图像帧携带的图像信息,对源视频中第i+m+n×T个源图像帧进行贴图处理,相应的,贴图图像帧的帧次序和源图像帧的帧次序可以根据该关系确定。其中,i和T均为小于或等于贴图视频中贴图图像帧的总帧数的正整数,m和n为大于或等于0的整数,且m小于或等于源视频中源图像帧的总帧数。当i、m、n和T的取值不同时,其实现方式不同,下面分别针对不同情况对其实现方式进行说明:
在第一种情况中,m=0且T=0,此时,可以根据第i个贴图图像帧携带的图像信息,对第i个源图像帧进行贴图处理,因此,携带有任一贴图图像的信息的贴图图像帧的帧次序可以等于被该任一贴图图像贴图的源图像帧的帧次序。
表1
贴图图像帧的帧次序 1 2 3 4 5 6 ……
源图像帧的帧次序 1 2 3 4 5 6 ……
示例地,如表1所示,表1中同一列示出了任一贴图图像帧的帧次序和被该任一贴图图像帧贴图的源图像帧的帧次序的对应关系,例如,可以使用第1个贴图图像帧携带的图像信息,对第1个源图像帧进行贴图处理。可以使用第2个贴图图像帧携带的图像信息,对第2个源图像帧进行贴图处理。
在第二种情况中,m=0且T≠0,此时,可以循环使用贴图视频所携带的贴图图像对源图像帧进行贴图处理,可以根据第i个贴图图像帧携带的图像信息,对n取不同值时的第i+n×T个源图像帧进行贴图处理,即可以使用同一贴图图像帧携带的贴图图像对多个源图像帧进行贴图处理,因此,可以根据该规则和被任一贴图图像贴图的源图像帧的帧次序确定贴图图像帧的帧次序。
示例地,假设m=0且T=5,如表2所示,表2中同一列示出了任一贴图图像帧的帧次序和被该任一贴图图像帧贴图的源图像帧的帧次序的对应关系。例如,可以使用第1个贴图图像帧携带的图像信息,对第1+5×n个源图像帧进行贴图处理。可以使用第2个贴图图像帧携带的图像信息,对第2+5×n个源图像帧进行贴图处理。
表2
Figure BDA0002305789950000101
在第三种情况中,m≠0且T≠0,此时,可以循环使用贴图视频所携带的贴图图像对源图像帧进行贴图处理,可以根据第i个贴图图像帧携带的图像信息,对n取不同值时的第i+m+n×T个源图像帧进行贴图处理,即可以使用同一贴图图像帧携带的贴图图像对多个源图像帧进行贴图处理,因此,可以根据该规则和被任一贴图图像贴图的源图像帧的帧次序确定贴图图像帧的帧次序。
示例地,假设m=2且T=5,如表3所示,表3中同一列示出了任一贴图图像帧的帧次序和被该任一贴图图像帧贴图的源图像帧的帧次序的对应关系。可以使用第1个贴图图像帧携带的图像信息,对第3+5×n个源图像帧进行贴图处理。可以使用第2个贴图图像帧携带的图像信息,对第4+5×n个源图像帧进行贴图处理。
表3
贴图图像帧的帧次序 1 2 3 4 5 1 2 3 4 ……
源图像帧的帧次序 1 2 3 4 5 6 7 8 9 10 11 ……
步骤402a2、服务器基于至少一个贴图图像和每个贴图图像帧的帧次序,生成贴图视频。
在确定携带有贴图图像的信息的贴图图像帧在贴图视频中的帧次序后,可以根据各个贴图图像帧的帧次序和每个贴图图像,生成贴图视频。例如,可以预先生成一空白视频,该空白视频的视频参数均为默认参数,且该空白视频中每个图像帧中所有图像像素点的像素值均为默认值,然后按照每个贴图图像帧的帧次序,根据对应贴图图像帧中应携带的贴图图像的信息,更新空白视频中图像帧中该帧次序处的图像帧的图像像素点的像素值,且被更新像素值的像素点的位置可以根据源视频被贴图图像贴图的位置确定,在根据每个贴图图像帧更新空白视频中图像帧的像素点后,还可以根据源视频需要满足的指定条件修改该空白视频的视频参数,例如,修改帧率等视频参数,然后得到贴图视频。
在第二种可实现方式中,如图6所示,其实现过程可以包括:
步骤402b1、服务器基于每个目标源图像帧的帧次序和源视频的帧率,确定任一目标源图像帧相对于源视频的起始播放时间的相对播放时间戳。
其中,源图像帧的相对播放时间戳是源图像帧的播放时间相对于源视频的起始播放时间的时间差。
应用服务商可以指定能够被贴图图像贴图的源图像帧在源视频中的帧次序,相应的,服务器可以获取目标源图像帧的帧次序,且可以根据任一目标源图像帧的帧次序和源视频的帧率,确定该任一目标源图像帧的相对播放时间戳。在一种可实现方式中,假设源视频的起始播放时间为0,任一目标源图像帧的相对播放时间戳t可以等于该任一目标源图像帧的帧次序k与源视频的帧率f的倒数的乘积,即t=k/f。
步骤402b2、服务器基于任一目标源图像帧的相对播放时间戳,确定携带有向任一目标源图像帧贴图的贴图图像信息的贴图图像帧相对于贴图视频的起始播放时间的相对播放时间戳。
可选地,可以根据贴图视频中相对播放时间戳为t1的贴图图像帧携带的图像信息,对源视频中相对播放时间戳为t1+t2+n×T的源图像帧进行贴图处理,相应的,贴图图像帧的相对播放时间戳和源图像帧的相对播放时间戳可以根据该关系确定。其中,t1和T均为小于或等于贴图视频的总时长的正数,t2大于或等于0,且t2小于或等于源视频的总播放时长。当t1、t2、n和T的取值不同时,其实现方式不同,下面分别针对不同情况对其实现方式进行说明:
在第一种情况中,t2=0且T=0,此时,可以根据贴图视频中相对播放时间戳为t1的贴图图像帧携带的图像信息,对源视频中相对播放时间戳为t1的源图像帧进行贴图处理,因此,携带有任一贴图图像的信息的贴图图像帧的相对播放时间戳可以等于被该任一贴图图像贴图的源图像帧的相对播放时间戳。
在第二种情况中,t2=0且T≠0,此时,可以循环使用贴图视频所携带的贴图图像对源图像帧进行贴图处理,可以根据贴图视频中相对播放时间戳为t1的贴图图像帧携带的图像信息,对源视频中相对播放时间戳为t1+n×T的源图像帧进行贴图处理,即可以使用同一贴图图像帧携带的贴图图像对多个源图像帧进行贴图处理,因此,可以根据该规则和被任一贴图图像贴图的源图像帧的相对播放时间戳确定贴图图像帧的相对播放时间戳。
在第三种情况中,m≠0且T≠0,此时,可以循环使用贴图视频所携带的贴图图像对源图像帧进行贴图处理,可以根据贴图视频中相对播放时间戳为t1的贴图图像帧携带的图像信息,对源视频中相对播放时间戳为t1+t2+n×T的源图像帧进行贴图处理,即可以使用同一贴图图像帧携带的贴图图像对多个源图像帧进行贴图处理,因此,可以根据该规则和被任一贴图图像贴图的源图像帧的相对播放时间戳确定贴图图像帧的相对播放时间戳。
步骤402b3、服务器基于至少一个贴图图像和每个贴图图像帧的相对播放时间戳,生成贴图视频。
在确定携带有贴图图像的信息的贴图图像帧的相对播放时间戳后,可以根据各个贴图图像帧的相对播放时间戳和每个贴图图像,生成贴图视频。其中,根据贴图图像帧的相对播放时间戳确定贴图视频的实现过程,请相应参考根据贴图图像帧的帧次序确定确定贴图视频的实现过程,此处不再赘述。
步骤403、服务器向终端发送贴图视频。
服务器在生成贴图视频后,可以向终端发送贴图视频,以便于终端基于贴图视频中贴图图像的信息,对源视频进行贴图处理。其中,服务器可以在生成贴图视频后立即向终端发送贴图视频,也可以在终端请求更新贴图视频的资源时,向终端发送贴图视频,还可以在接收到终端请求使用该贴图视频的请求后,向终端发送该贴图视频,本公开实施例对其不做具体限定。
步骤404、终端获取包括多个源图像帧的源视频。
其中,源视频中源图像帧与对应的贴图图像帧包括的图像像素点的数量相同。
在用户需要对某一视频进行贴图处理时,用户可以在终端中执行指定操作,以触发指示终端对指定视频进行贴图处理的操作。其中,当该被用户指定的视频的视频参数满足使用贴图功能所需满足的指定条件时,该被用户指定的视频即为源视频。当该被用户指定的视频的视频参数不满足使用贴图功能所需满足的指定条件时,可以先对用户指定的视频进行预处理,使得经过预处理的视频满足该指定条件,此时,该经过预处理的视频即为源视频。
步骤405、终端基于贴图视频携带的至少一个贴图图像的信息,对源视频中的源图像帧进行贴图处理。
对应于步骤402的两种可实现方式,该步骤405也可以有一下两种可实现方式:
对应于步骤402的第一种可实现方式,可以基于多个贴图图像帧中第i个贴图图像帧携带的贴图图像的信息,对多个源图像帧中第i+m+n×T个源图像帧进行贴图处理。
对应于步骤402的第二种可实现方式,可以基于多个贴图图像帧中相对播放时间戳为t1的贴图图像帧携带的贴图图像的信息,对多个源图像帧中相对播放时间戳为t1+t2+n×T的源图像帧进行贴图处理。
使用贴图图像对视频进行贴图处理是指:对贴图图像与视频的图像帧进行合成处理,使得合成处理后的图像帧在贴图位置处显示该贴图图像,在非贴图位置处显示该图像帧原有的内容。因此,在该步骤405的第一种和第二种可实现方式中,根据贴图图像帧中的贴图图像的信息对源图像帧进行贴图处理的实现过程,可以包括:获取任一贴图图像帧中用于表示贴图图像的每个图像像素点的参考位置,基于任一贴图图像帧中任一参考位置处图像像素点的像素值,更新该任一贴图图像帧对应的源图像帧中该任一参考位置处的图像像素点的像素值。
并且,在基于贴图图像帧中任一参考位置处图像像素点的像素值更新源图像帧中图像像素点的像素值时,其至少具有以下几种情况:
在第一种情况中,当源图像帧中存在与贴图图像帧中多个图像像素点一一对应的图像像素点时,可以将任一贴图图像帧对应的源图像帧中任一参考位置处的图像像素点的像素值,更新为该任一贴图图像帧中该任一参考位置处图像像素点的像素值。
例如,当贴图图像帧与源图像帧的分辨率相同,且该贴图图像帧的大小不大于源图像帧的大小时,源图像帧中会存在与贴图图像帧中多个图像像素点一一对应的像素点,则可以将任一贴图图像帧对应的源图像帧中任一参考位置处的图像像素点更新为该任一贴图图像帧中该任一参考位置处图像像素点的像素值。
需要说明的是,当源图像帧中存在与贴图图像帧中的图像像素点一一对应的图像像素点时,在使用贴图图像帧对源图像帧进行贴图处理时,由于不需要在源图像帧中确定与贴图图像帧中图像像素点对应的图像像素点,使得无需对贴图图像帧和源图像帧进行额外的处理,因此,能够进一步减小对终端性能的影响。
在第二种情况中,当源图像帧中多个图像像素点与贴图图像帧中多个图像像素点不存在一一对应关系时,在某些贴图图像帧对应的源图像帧中该任一参考位置处可能不存在图像像素点,此时,可以根据任一贴图图像帧中任一参考位置处图像像素点的像素值,更新源图像帧中该任一参考位置处附近的图像像素点的像素值。
并且,需要说明的是,在对源图像帧进行贴图处理时,还可以根据应用需求调整贴图图像在源图像帧中的位置或大小等参数,本公开实施例对其不做具体限定。
综上所述,本公开实施例提供的视频贴图方法,通过基于用于对源视频进对源图像帧中该任一参考位置处附近的图像像素点的像素值进行更新的实现方式也可以有多种。例如,可以将该源图像帧中位于该任一参考位置处周围一圈的图像像素点的像素值均更新为该任一贴图图像帧中任一参考位置处图像像素点的像素值,或者,可以根据指定的权重和该任一贴图图像帧中任一参考位置处图像像素点的像素值,对源图像帧中该任一参考位置处附近的图像像素点的像素值进行更新。
行贴图处理所使用的至少一个贴图图像,及该源视频的视频参数,生成包括多个贴图图像帧的贴图视频,并向终端发送贴图视频,使得终端能够基于该贴图视频中贴图图像的信息,对源视频进行贴图处理,使得终端在对源视频进行贴图处理时,终端载入的是源视频和贴图视频,减小了终端的载入负载,减小了载入过程对终端性能的影响。
需要说明的是,本公开实施例提供的视频贴图方法步骤的先后顺序可以进行适当调整,步骤也可以根据情况进行相应增减。任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到变化的方法,都应涵盖在本公开的保护范围之内,因此不再赘述。
本公开实施例提供了一种视频贴图装置,如图7所示,该视频贴图装置应用于服务器,该视频贴图装置70可以包括:
获取模块701,用于获取用于对源视频进行贴图处理所使用的至少一个贴图图像,每个贴图图像用于贴图至源视频的一个源图像帧。
生成模块702,用于基于至少一个贴图图像和源视频的视频参数,生成包括多个贴图图像帧的贴图视频,在多个贴图图像帧中的至少一个贴图图像帧中,每个贴图图像帧携带有一个或多个贴图图像的信息。
发送模块703,用于向终端发送贴图视频,以供终端基于贴图视频携带的至少一个贴图图像的信息,对源视频进行贴图处理。
综上所述,本公开实施例提供的视频贴图装置,通过生成模块基于用于对源视频进行贴图处理所使用的至少一个贴图图像,及该源视频的视频参数,生成包括多个贴图图像帧的贴图视频,发送模块向终端发送贴图视频,使得终端能够基于该贴图视频中贴图图像的信息,对源视频进行贴图处理,使得终端在对源视频进行贴图处理时,终端载入的是源视频和贴图视频,减小了终端的载入负载,减小了载入过程对终端性能的影响。
可选地,如图8所示,生成模块702,包括:
确定子模块7021,用于确定用于被贴图图像贴图的每个目标源图像帧在源视频所包括的多个源图像帧中的帧次序。
生成子模块7022,用于基于至少一个贴图图像和每个目标源图像帧的帧次序,生成贴图视频。
可选地,生成子模块7022具体用于:
基于任一目标源图像帧的帧次序,确定携带有向任一目标源图像帧贴图的贴图图像的信息的贴图图像帧在贴图视频中的帧次序。
基于至少一个贴图图像和每个贴图图像帧的帧次序,生成贴图视频。
可选地,生成子模块7022具体用于:
基于每个目标源图像帧的帧次序和源视频的帧率,确定任一目标源图像帧相对于源视频的起始播放时间的相对播放时间戳。
基于任一目标源图像帧的相对播放时间戳,确定携带有向任一目标源图像帧贴图的贴图图像的信息的贴图图像帧相对于贴图视频的起始播放时间的相对播放时间戳。
基于至少一个贴图图像和每个贴图图像帧的相对播放时间戳,生成贴图视频。
综上所述,本公开实施例提供的视频贴图装置,通过生成模块基于用于对源视频进行贴图处理所使用的至少一个贴图图像,及该源视频的视频参数,生成包括多个贴图图像帧的贴图视频,发送模块向终端发送贴图视频,使得终端能够基于该贴图视频中贴图图像的信息,对源视频进行贴图处理,使得终端在对源视频进行贴图处理时,终端载入的是源视频和贴图视频,减小了终端的载入负载,减小了载入过程对终端性能的影响。
并且,在服务器中生成贴图视频后,并由服务器向终端提供该贴图视频,能够便利于对贴图视频的管理,简化该视频贴图方法的开发过程。
本公开实施例提供了一种视频贴图装置,如图9所示,该视频贴图装置应用于终端,该视频贴图装置90可以包括:
获取模块901,用于获取包括多个贴图图像帧的贴图视频,在多个贴图图像帧中的至少一个贴图图像帧中,每个贴图图像帧携带有一个或多个贴图图像的信息。
获取模块901,还用于获取包括多个源图像帧的源视频。
处理模块902,用于基于贴图视频携带的至少一个贴图图像的信息,对源视频中的源图像帧进行贴图处理。
综上所述,本公开实施例提供的视频贴图装置,通过获取模块获取源视频和贴图视频,处理模块基于该贴图视频中贴图图像的信息,对源视频进行贴图处理,使得终端在对源视频进行贴图处理时,终端载入的是源视频和贴图视频,减小了终端的载入负载,减小了载入过程对终端性能的影响。
可选地,处理模块902具体用于:
基于多个贴图图像帧中第i个贴图图像帧携带的贴图图像的信息,对多个源图像帧中第i+m+n×T个源图像帧进行贴图处理,i和T均为小于或等于贴图视频中贴图图像帧的总帧数的正整数,m和n为大于或等于0的整数,且m小于或等于源视频中源图像帧的总帧数。
或者,基于多个贴图图像帧中相对播放时间戳为t1的贴图图像帧携带的贴图图像的信息,对多个源图像帧中相对播放时间戳为t1+t2+n×T的源图像帧进行贴图处理,任一图像帧的相对播放时间戳为任一图像帧的播放时间相对于任一图像帧所在视频的起始播放时间的时间差,t1和T均为小于或等于贴图视频的总时长的正数,t2大于或等于0,且t2小于或等于源视频的总播放时长。
可选地,处理模块902具体用于:
获取贴图视频中任一贴图图像帧中用于表示贴图图像的每个图像像素点的参考位置。
基于任一贴图图像帧中任一参考位置处图像像素点的像素值,更新任一贴图图像帧对应的源图像帧中任一参考位置处的图像像素点的像素值。
可选地,任一源图像帧与对应的贴图图像帧的分辨率相同。
综上所述,本公开实施例提供的视频贴图装置,通过获取模块获取源视频和贴图视频,处理模块基于该贴图视频中贴图图像的信息,对源视频进行贴图处理,使得终端在对源视频进行贴图处理时,终端载入的是源视频和贴图视频,减小了终端的载入负载,减小了载入过程对终端性能的影响。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置、模块和子模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本公开实施例还提供了一种计算机可读存储介质,该计算机可读存储介质可以为非易失性计算机可读存储介质。该计算机可读存储介质中存储有指令,当该指令在服务器上运行时,使得服务器执行上述方法实施例提供的视频贴图方法。
本公开实施例还提供了一种计算机可读存储介质,该计算机可读存储介质可以为非易失性计算机可读存储介质。该计算机可读存储介质中存储有指令,当该指令在终端上运行时,使得终端执行上述方法实施例提供的视频贴图方法。
本公开实施例还提供了一种计算机设备,包括存储器和处理器,该存储器上存储有可在处理器上运行的计算机程序,处理器执行计算机程序时,实现上述方法实施例提供的视频贴图方法。
可选地,该计算机设备可以为终端。图10示出了本发明一个示例性实施例提供的终端1000的结构框图。该终端1000可以是便携式移动终端,比如:智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1000还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端1000包括有:处理器1001和存储器1002。
处理器1001可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1001可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1001也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器)。协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1001可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1001还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1002可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1002还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1002中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1001所执行以实现本公开中方法实施例提供的视频贴图方法。
在一些实施例中,终端1000还可选包括有:***设备接口1003和至少一个***设备。处理器1001、存储器1002和***设备接口1003之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口1003相连。具体地,***设备包括:射频电路1004、显示屏1005、摄像头组件1006、音频电路1007、定位组件1008和电源1009中的至少一种。
***设备接口1003可被用于将I/O(Input/Output,输入/输出)相关的至少一个***设备连接到处理器1001和存储器1002。在一些实施例中,处理器1001、存储器1002和***设备接口1003被集成在同一芯片或电路板上。在一些其他实施例中,处理器1001、存储器1002和***设备接口1003中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1004用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1004通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1004将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1004包括:天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1004可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1004还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本公开对此不加以限定。
显示屏1005用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1005是触摸显示屏时,显示屏1005还具有采集在显示屏1005的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1001进行处理。此时,显示屏1005还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1005可以为一个,设置终端1000的前面板。在另一些实施例中,显示屏1005可以为至少两个,分别设置在终端1000的不同表面或呈折叠设计。在再一些实施例中,显示屏1005可以是柔性显示屏,设置在终端1000的弯曲表面上或折叠面上。甚至,显示屏1005还可以设置成非矩形的不规则图形,也即异形屏。显示屏1005可以为LCD(Liquid Crystal Display,液晶显示阵列)显示屏或OLED(Organic Light-EmittingDiode,有机发光二极管)显示屏。
摄像头组件1006用于采集图像或视频。可选地,摄像头组件1006包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1006还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路1007可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1001进行处理,或者输入至射频电路1004以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端1000的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1001或射频电路1004的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1007还可以包括耳机插孔。
定位组件1008用于定位终端1000的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件1008可以是基于美国的GPS(GlobalPositioning System,全球定位***)、中国的北斗***或俄罗斯的伽利略***的定位组件。
电源1009用于为终端1000中的各个组件进行供电。电源1009可以是交流电、直流电、一次性电池或可充电电池。当电源1009包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端1000还包括有一个或多个传感器1010。该一个或多个传感器1010包括但不限于:加速度传感器1011、陀螺仪传感器1012、压力传感器1013、指纹传感器1014、光学传感器1015以及接近传感器1016。
加速度传感器1011可以检测以终端1000建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1011可以用于检测重力加速度在三个坐标轴上的分量。处理器1001可以根据加速度传感器1011采集的重力加速度信号,控制触摸显示屏1005以横向视图或纵向视图进行用户界面的显示。加速度传感器1011还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1012可以检测终端1000的机体方向及转动角度,陀螺仪传感器1012可以与加速度传感器1011协同采集用户对终端1000的3D动作。处理器1001根据陀螺仪传感器1012采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1013可以设置在终端1000的侧边框和/或触摸显示屏1005的下层。当压力传感器1013设置在终端1000的侧边框时,可以检测用户对终端1000的握持信号,由处理器1001根据压力传感器1013采集的握持信号进行左右手识别或快捷操作。当压力传感器1013设置在触摸显示屏1005的下层时,由处理器1001根据用户对触摸显示屏1005的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1014用于采集用户的指纹,由处理器1001根据指纹传感器1014采集到的指纹识别用户的身份,或者,由指纹传感器1014根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器1001授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1014可以被设置终端1000的正面、背面或侧面。当终端1000上设置有物理按键或厂商Logo时,指纹传感器1014可以与物理按键或厂商Logo集成在一起。
光学传感器1015用于采集环境光强度。在一个实施例中,处理器1001可以根据光学传感器1015采集的环境光强度,控制触摸显示屏1005的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏1005的显示亮度。当环境光强度较低时,调低触摸显示屏1005的显示亮度。在另一个实施例中,处理器1001还可以根据光学传感器1015采集的环境光强度,动态调整摄像头组件1006的拍摄参数。
接近传感器1016,也称距离传感器,通常设置在终端1000的前面板。接近传感器1016用于采集用户与终端1000的正面之间的距离。在一个实施例中,当接近传感器1016检测到用户与终端1000的正面之间的距离逐渐变小时,由处理器1001控制触摸显示屏1005从亮屏状态切换为息屏状态。当接近传感器1016检测到用户与终端1000的正面之间的距离逐渐变大时,由处理器1001控制触摸显示屏1005从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图10中示出的结构并不构成对终端1000的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
本公开实施例还提供了一种计算机设备,包括存储器和处理器,该存储器上存储有可在处理器上运行的计算机程序,处理器执行计算机程序时,实现上述方法实施例提供的视频贴图方法。
可选地,该计算机设备可以为服务器。图11是根据一示例性实施例示出的一种服务器的结构示意图。服务器1100包括中央处理单元(CPU)1101、包括随机存取存储器(RAM)1102和只读存储器(ROM)1103的***存储器1104,以及连接***存储器1104和中央处理单元1101的***总线1105。服务器1100还包括帮助计算机内的各个器件之间传输信息的基本输入/输出***(I/O***)1106,和用于存储操作***1113、应用程序1114和其他程序模块1115的大容量存储设备1107。
基本输入/输出***1106包括有用于显示信息的显示器1108和用于用户输入信息的诸如鼠标、键盘之类的输入设备1109。其中显示器1108和输入设备1109都通过连接到***总线1105的输入输出控制器1110连接到中央处理单元1101。基本输入/输出***1106还可以包括输入输出控制器1110以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器1110还提供输出到显示屏、打印机或其他类型的输出设备。
大容量存储设备1107通过连接到***总线1105的大容量存储控制器(未示出)连接到中央处理单元1101。大容量存储设备1107及其相关联的计算机可读介质为服务器1100提供非易失性存储。也就是说,大容量存储设备1107可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术,CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知计算机存储介质不局限于上述几种。上述的***存储器1104和大容量存储设备1107可以统称为存储器。
根据本发明的各种实施例,服务器1100还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器1100可以通过连接在***总线1105上的网络接口单元1111连接到网络1112,或者说,也可以使用网络接口单元1111来连接到其他类型的网络或远程计算机***(未示出)。
存储器还包括一个或者一个以上的程序,一个或者一个以上程序存储于存储器中,中央处理器1101通过执行该一个或一个以上程序来实现上述方法实施例提供的视频贴图方法。
本公开实施例还提供了一种包含指令的计算机程序产品,当其在服务器上运行时,使得服务器执行上述方法实施例提供的视频贴图方法。
本公开实施例还提供了一种包含指令的计算机程序产品,当其在终端上运行时,使得终端执行上述方法实施例提供的视频贴图方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本公开的较佳实施例,并不用以限制本公开,凡在本公开的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。

Claims (12)

1.一种视频贴图方法,应用于服务器,其特征在于,包括:
获取用于对源视频进行贴图处理所使用的至少一个贴图图像,每个贴图图像用于贴图至所述源视频的一个源图像帧;
基于所述至少一个贴图图像和所述源视频的视频参数,生成包括多个贴图图像帧的贴图视频,在所述多个贴图图像帧中的至少一个贴图图像帧中,每个贴图图像帧携带有一个或多个贴图图像的信息;
向终端发送所述贴图视频,以供所述终端基于所述贴图视频携带的至少一个贴图图像的信息,对所述源视频进行贴图处理。
2.根据权利要求1所述的方法,其特征在于,所述基于所述至少一个贴图图像和所述源视频的视频参数,生成包括多个贴图图像帧的贴图视频,包括:
确定用于被贴图图像贴图的每个目标源图像帧在所述源视频所包括的多个源图像帧中的帧次序;
基于所述至少一个贴图图像和每个目标源图像帧的帧次序,生成所述贴图视频。
3.根据权利要求2所述的方法,其特征在于,所述基于所述至少一个贴图图像和每个目标源图像帧的帧次序,生成所述贴图视频,包括:
基于任一目标源图像帧的帧次序,确定携带有向所述任一目标源图像帧贴图的贴图图像的信息的贴图图像帧在所述贴图视频中的帧次序;
基于所述至少一个贴图图像和每个贴图图像帧的帧次序,生成所述贴图视频。
4.根据权利要求2所述的方法,其特征在于,所述基于所述至少一个贴图图像和每个目标源图像帧的帧次序,生成所述贴图视频,包括:
基于每个目标源图像帧的帧次序和所述源视频的帧率,确定任一目标源图像帧相对于所述源视频的起始播放时间的相对播放时间戳;
基于所述任一目标源图像帧的相对播放时间戳,确定携带有向所述任一目标源图像帧贴图的贴图图像的信息的贴图图像帧相对于所述贴图视频的起始播放时间的相对播放时间戳;
基于所述至少一个贴图图像和每个贴图图像帧的相对播放时间戳,生成所述贴图视频。
5.一种视频贴图方法,应用于终端,其特征在于,包括:
获取包括多个贴图图像帧的贴图视频,在所述多个贴图图像帧中的至少一个贴图图像帧中,每个贴图图像帧携带有一个或多个贴图图像的信息;
获取包括多个源图像帧的源视频;
基于所述贴图视频携带的至少一个贴图图像的信息,对所述源视频中的源图像帧进行贴图处理。
6.根据权利要求5所述的方法,其特征在于,所述基于所述贴图视频携带的至少一个贴图图像的信息,对所述源视频中的源图像帧进行贴图处理,包括:
基于所述多个贴图图像帧中第i个贴图图像帧携带的贴图图像的信息,对所述多个源图像帧中第i+m+n×T个源图像帧进行贴图处理,所述i和所述T均为小于或等于所述贴图视频中贴图图像帧的总帧数的正整数,所述m和所述n为大于或等于0的整数,且所述m小于或等于所述源视频中源图像帧的总帧数;
或者,基于所述多个贴图图像帧中相对播放时间戳为t1的贴图图像帧携带的贴图图像的信息,对所述多个源图像帧中相对播放时间戳为t1+t2+n×T的源图像帧进行贴图处理,任一图像帧的相对播放时间戳为所述任一图像帧的播放时间相对于所述任一图像帧所在视频的起始播放时间的时间差,所述t1和所述T均为小于或等于所述贴图视频的总时长的正数,所述t2大于或等于0,且所述t2小于或等于所述源视频的总播放时长。
7.根据权利要求5所述的方法,其特征在于,所述基于所述贴图视频携带的至少一个贴图图像的信息,对所述源视频中的源图像帧进行贴图处理,包括:
获取所述贴图视频中任一贴图图像帧中用于表示所述贴图图像的每个图像像素点的参考位置;
基于所述任一贴图图像帧中任一参考位置处图像像素点的像素值,更新所述任一贴图图像帧对应的源图像帧中所述任一参考位置处的图像像素点的像素值。
8.根据权利要求5至7任一所述的方法,其特征在于,任一源图像帧与对应的贴图图像帧的分辨率相同。
9.一种视频贴图装置,应用于服务器,其特征在于,包括:
获取模块,用于获取用于对源视频进行贴图处理所使用的至少一个贴图图像,每个贴图图像用于贴图至所述源视频的一个源图像帧;
生成模块,用于基于所述至少一个贴图图像和所述源视频的视频参数,生成包括多个贴图图像帧的贴图视频,在所述多个贴图图像帧中的至少一个贴图图像帧中,每个贴图图像帧携带有一个或多个贴图图像的信息;
发送模块,用于向终端发送所述贴图视频,以供所述终端基于所述贴图视频携带的至少一个贴图图像的信息,对所述源视频进行贴图处理。
10.一种视频贴图装置,应用于终端,其特征在于,包括:
获取模块,用于获取包括多个贴图图像帧的贴图视频,在所述多个贴图图像帧中的至少一个贴图图像帧中,每个贴图图像帧携带有一个或多个贴图图像的信息;
所述获取模块,还用于获取包括多个源图像帧的源视频;
处理模块,用于基于所述贴图视频携带的至少一个贴图图像的信息,对所述源视频中的源图像帧进行贴图处理。
11.一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,其特征在于,当所述指令在计算机上运行时,使得所述计算机执行权利要求1至4中任一所述的视频贴图方法,或者,执行权利要求5至8中任一所述的视频贴图方法。
12.一种计算机设备,包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时,实现权利要求1至4中任一所述的视频贴图方法,或者,执行权利要求5至8中任一所述的视频贴图方法。
CN201911239406.4A 2019-12-06 2019-12-06 视频贴图方法及装置、计算机设备及存储介质 Active CN110971840B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911239406.4A CN110971840B (zh) 2019-12-06 2019-12-06 视频贴图方法及装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911239406.4A CN110971840B (zh) 2019-12-06 2019-12-06 视频贴图方法及装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN110971840A true CN110971840A (zh) 2020-04-07
CN110971840B CN110971840B (zh) 2022-07-26

Family

ID=70033221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911239406.4A Active CN110971840B (zh) 2019-12-06 2019-12-06 视频贴图方法及装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN110971840B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112822544A (zh) * 2020-12-31 2021-05-18 广州酷狗计算机科技有限公司 视频素材文件生成方法、视频合成方法、设备及介质
CN112929683A (zh) * 2021-01-21 2021-06-08 广州虎牙科技有限公司 视频处理方法、装置、电子设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006049480A1 (en) * 2004-11-03 2006-05-11 Rimantas Pleikys Method and system of data storage
CN101035279A (zh) * 2007-05-08 2007-09-12 孟智平 一种在视频资源中使用信息集的方法
JP2008306520A (ja) * 2007-06-08 2008-12-18 Softbank Bb Corp 情報配信システム、携帯電話端末及び携帯電話端末における映像コンテンツの再生制御方法
EP2131363A1 (en) * 2008-06-06 2009-12-09 NTT DoCoMo, Inc. Video editing system, video editing server and communication terminal
WO2012087735A1 (en) * 2010-12-22 2012-06-28 Thomson Licensing Method and system for sending video edit information
WO2012119554A1 (zh) * 2011-03-10 2012-09-13 中兴通讯股份有限公司 一种基于视频服务器实现彩信的方法及***
KR20170002831A (ko) * 2015-06-30 2017-01-09 주식회사 벽우 비디오 프로젝트 템플릿을 이용한 영상편집 시스템 및 구동방법
US20180096708A1 (en) * 2016-09-30 2018-04-05 Jocoos Co., Ltd. Video editing system and method
KR20180041879A (ko) * 2016-10-17 2018-04-25 (주)와토시스 동영상 서비스 편집 장치 및 이를 이용한 동영상 서비스 편집 방법
CN108521578A (zh) * 2018-05-15 2018-09-11 北京奇虎科技有限公司 一种检测视频中可贴图区域、实现在视频中贴图的方法
CN109474844A (zh) * 2017-09-08 2019-03-15 腾讯科技(深圳)有限公司 视频信息处理方法及装置、计算机设备
CN109640146A (zh) * 2018-12-28 2019-04-16 鸿视线科技(北京)有限公司 分布式多用户视频同步预览、播放、编辑***及方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006049480A1 (en) * 2004-11-03 2006-05-11 Rimantas Pleikys Method and system of data storage
CN101035279A (zh) * 2007-05-08 2007-09-12 孟智平 一种在视频资源中使用信息集的方法
JP2008306520A (ja) * 2007-06-08 2008-12-18 Softbank Bb Corp 情報配信システム、携帯電話端末及び携帯電話端末における映像コンテンツの再生制御方法
EP2131363A1 (en) * 2008-06-06 2009-12-09 NTT DoCoMo, Inc. Video editing system, video editing server and communication terminal
WO2012087735A1 (en) * 2010-12-22 2012-06-28 Thomson Licensing Method and system for sending video edit information
WO2012119554A1 (zh) * 2011-03-10 2012-09-13 中兴通讯股份有限公司 一种基于视频服务器实现彩信的方法及***
KR20170002831A (ko) * 2015-06-30 2017-01-09 주식회사 벽우 비디오 프로젝트 템플릿을 이용한 영상편집 시스템 및 구동방법
US20180096708A1 (en) * 2016-09-30 2018-04-05 Jocoos Co., Ltd. Video editing system and method
CN107888962A (zh) * 2016-09-30 2018-04-06 乐趣株式会社 视频编辑***和方法
KR20180041879A (ko) * 2016-10-17 2018-04-25 (주)와토시스 동영상 서비스 편집 장치 및 이를 이용한 동영상 서비스 편집 방법
CN109474844A (zh) * 2017-09-08 2019-03-15 腾讯科技(深圳)有限公司 视频信息处理方法及装置、计算机设备
CN108521578A (zh) * 2018-05-15 2018-09-11 北京奇虎科技有限公司 一种检测视频中可贴图区域、实现在视频中贴图的方法
CN109640146A (zh) * 2018-12-28 2019-04-16 鸿视线科技(北京)有限公司 分布式多用户视频同步预览、播放、编辑***及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112822544A (zh) * 2020-12-31 2021-05-18 广州酷狗计算机科技有限公司 视频素材文件生成方法、视频合成方法、设备及介质
CN112822544B (zh) * 2020-12-31 2023-10-20 广州酷狗计算机科技有限公司 视频素材文件生成方法、视频合成方法、设备及介质
CN112929683A (zh) * 2021-01-21 2021-06-08 广州虎牙科技有限公司 视频处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN110971840B (zh) 2022-07-26

Similar Documents

Publication Publication Date Title
CN110674022B (zh) 行为数据获取方法、装置及存储介质
CN108063981B (zh) 设置直播间的属性的方法和装置
CN110368689B (zh) 游戏界面的显示方法、***、电子设备及存储介质
CN110278464B (zh) 显示榜单的方法和装置
CN110740340B (zh) 视频直播方法及装置、存储介质
CN112118477B (zh) 虚拟礼物展示方法、装置、设备以及存储介质
CN107896337B (zh) 信息推广方法、装置及存储介质
CN112965683A (zh) 调节音量的方法、装置、电子设备及介质
CN112256320B (zh) 版本号生成方法、装置、终端及存储介质
CN110032384B (zh) 资源更新的方法、装置、设备及存储介质
CN110147503B (zh) 信息发布方法、装置、计算机设备和存储介质
CN109697113B (zh) 请求重试的方法、装置、设备及可读存储介质
CN109451248B (zh) 视频数据的处理方法、装置、终端及存储介质
CN113384880A (zh) 虚拟场景显示方法、装置、计算机设备及存储介质
CN110971840B (zh) 视频贴图方法及装置、计算机设备及存储介质
CN110839174A (zh) 图像处理的方法、装置、计算机设备以及存储介质
CN111083554A (zh) 直播礼物显示的方法和装置
CN112770177B (zh) 多媒体文件生成方法、多媒体文件发布方法及装置
CN111131272B (zh) 流服务器的调度方法、装置及***、计算设备、存储介质
CN111008083B (zh) 页面通信方法、装置、电子设备及存储介质
CN111064657B (zh) 关注账户分组的方法、装置、***
CN110086814B (zh) 一种数据获取的方法、装置及存储介质
CN109688064B (zh) 数据传输方法、装置、电子设备和存储介质
CN109714628B (zh) 播放音视频的方法、装置、设备、存储介质及***
CN111275607A (zh) 界面显示方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant