CN115049574A - 视频处理方法、装置、电子设备及可读存储介质 - Google Patents

视频处理方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN115049574A
CN115049574A CN202210874585.4A CN202210874585A CN115049574A CN 115049574 A CN115049574 A CN 115049574A CN 202210874585 A CN202210874585 A CN 202210874585A CN 115049574 A CN115049574 A CN 115049574A
Authority
CN
China
Prior art keywords
video
video frame
character model
input
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210874585.4A
Other languages
English (en)
Inventor
胡鹏翔
刘文强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202210874585.4A priority Critical patent/CN115049574A/zh
Publication of CN115049574A publication Critical patent/CN115049574A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本申请公开了一种视频处理方法、装置、电子设备及可读存储介质，属于图像处理技术领域，该方法包括：接收用户对第一3D人物模型和第一视频的第一输入，所述第一视频包括第一视频帧和第二视频帧；响应于所述第一输入，将所述第一3D人物模型与所述第一视频帧融合，得到第三视频帧，将所述第一3D人物模型与所述第二视频帧融合，得到第四视频帧；生成第二视频；其中，所述第二视频与所述第一视频具有关联关系，所述第二视频包括所述第三视频帧和所述第四视频帧。

Description

视频处理方法、装置、电子设备及可读存储介质
技术领域
本申请属于图像处理技术领域，更具体地，涉及一种视频处理方法、装置、电子设备及可读存储介质。
背景技术
现有技术中，3D模型生成技术以及AR(Augmented Reality)技术作为图像处理技术，被应用为图像处理领域。所谓3D模型生成技术，是利用三维制作软件通过虚拟三维空间构建出具有三维数据的模型，用计算机以数学方法描述物体之间的空间关系，进而编辑模型的各个部分。所谓AR技术，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。
目前，基于3D模型生成AR视频的方式较为复杂，操作难度较高，用于难以快速的制作所需要的AR视频。
发明内容
本申请实施例的目的是提供一种视频处理方法、装置、电子设备及可读存储介质，能够解决基于3D模型生成AR视频时较为复杂的问题。
第一方面，本申请实施例提供一种视频处理方法，所述方法包括：
接收用户对第一3D人物模型和第一视频的第一输入，所述第一视频包括第一视频帧和第二视频帧；
响应于所述第一输入，将所述第一3D人物模型与所述第一视频帧融合，得到第三视频帧，将所述第一3D人物模型与所述第二视频帧融合，得到第四视频帧；
生成第二视频；
其中，所述第二视频与所述第一视频具有关联关系，所述第二视频包括所述第三视频帧和所述第四视频帧。
第二方面，本申请实施例提供一种视频处理装置，所述装置包括：
接收模块，用于接收用户对第一3D人物模型和第一视频的第一输入，所述第一视频包括第一视频帧和第二视频帧；
融合模块，用于响应于所述第一输入，将所述第一3D人物模型与所述第一视频帧融合，得到第三视频帧，将所述第一3D人物模型与所述第二视频帧融合，得到第四视频帧；
生成模块，用于生成第二视频；
其中，所述第二视频与所述第一视频具有关联关系，所述第二视频包括所述第三视频帧和所述第四视频帧。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
在本申请实施例中，电子设备在接收到用户对第一3D人物模型和第一视频的第一输入之后，会响应于该第一输入，将第一3D人物模型与第一视频的第一视频帧融合得到第三视频帧，以及将第一3D人物模型与第一视频的第二视频帧融合得到第四视频帧，进而基于第一视频生成第二视频，其中，第二视频包括第三视频帧和第四视频帧。即，该方法会在预先录制好的第一视频的不同视频帧上融合第一3D人物模型以生成第二视频，实现了将虚拟3D人物模型融合真实视频并生成具有故事情节的第二视频的目的。
附图说明
图1为本申请实施例提供的视频处理方法的流程图；
图2为本申请实施例提供的视频播放界面的界面示意图之一；
图3为本申请实施例提供的视频播放界面的界面示意图之二；
图4为本申请实施例提供的视频播放界面的界面示意图之三；
图5为本申请实施例提供的视频播放界面的界面示意图之四；
图6为本申请实施例提供的视频播放界面的界面示意图之五；
图7为本申请实施例提供的视频播放界面的界面示意图之六；
图8为本申请实施例提供的视频播放界面的界面示意图之七；
图9为本申请实施例提供的视频播放界面的界面示意图之八；
图10为本申请实施例提供的视频播放界面的界面示意图之九；
图11为本申请实施例提供的视频播放界面的界面示意图之十；
图12为本申请实施例提供的视频播放界面的界面示意图之十一；
图13为本申请实施例提供的视频播放界面的界面示意图之十二；
图14为本申请实施例提供的视频播放界面的界面示意图之十三；
图15为本申请实施例提供的视频播放界面的界面示意图之十四；
图16为本申请实施例提供的视频播放界面的界面示意图之十五；
图17为本申请实施例提供的视频播放界面的界面示意图之十六；
图18为本申请实施例提供的视频处理装置的结构示意图；
图19为本申请实施例提供的电子设备的结构示意图；
图20为本申请另一实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
本申请实施例提供的视频处理方法，其执行主体可以是本申请实施例提供的视频处理装置，或者集成了该视频处理装置的电子设备，其中该视频处理装置可以采用硬件或软件的方式实现。
通过本申请实施例提供的视频处理方法，用户可在视频中添加虚拟人物，并和视频中的虚拟人物进行互动，例如一起跑步、一起踢球等。
通过本申请实施例提供的视频处理方法，用户也可在视频中添加虚拟人物，并以此视频为剧本、完成剧本视频的故事线，得到自己创作的剧本视频。用户可根据该剧本视频进行表演。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的视频处理方法进行详细地说明。
如图1所示，其是本申请实施例提供的一种视频处理方法，该方法应用于电子设备。如图1所示，该视频处理方法可以包括如下步骤1100～步骤1300，以下予以详细说明。
步骤1100，接收用户对第一3D人物模型和第一视频的第一输入。
第一3D人物模型可以为用户对电子设备提供的待编辑3D人物模型进行编辑所得到的人物模型。参照图4，用户可以对电子设备所提供的待编辑3D人物模型进行编辑，得到“小偷”人物模型作为第一3D人物模型401。
第一3D人物模型可以具有不同动作。参照图4，第一3D人物模型401即“小偷”人物模型可以具有不同的动作，例如第一3D人物模型401可以具有动作1、动作2和动作3。
第一视频可以是用户提前录制好的视频。参照图3，第一视频301为用户跑步的视频。其中，第一视频帧和第二视频帧为第一视频中的两个不同的视频帧。
本实施例中，在执行步骤1100接收用户对第一3D人物模型和第一视频的第一输入之前，参照图2，在电子设备启动相机应用程序的情况下，电子设备显示拍摄预览界面201。其中，拍摄预览界面201上显示有拍照控件、美颜控件、故事视频控件以及录像控件。在此，用户点击故事视频控件，电子设备便可进入故事视频模式，在电子设备进入故事视频模式的情况下，便可由用户选择第一视频，并对待编辑3D人物模型编辑得到第一3D人物模型。
具体地，在电子设备进入故事视频模式的情况下，拍摄预览界面201上提供场景视频控件202和编辑模型控件203，其中，通过场景视频控件202便可选择出第一视频，通过编辑模型控件203便可对待编辑3D人物模型编辑得到第一3D人物模型。以电影中警察捉小偷这个情节作为故事线，在用户点击图2所示的场景视频控件202的情况下，拍摄预览界面201上便可加载显示电子设备中的用户提前录制好的不同视频，例如显示视频1、视频2、视频3……视频6，参照图3，用户可以选择视频1即用户跑步的视频作为第一视频301。
与此同时，在用户点击图2所示的编辑模型控件203的情况下，显示模型编辑界面，参照图4，点击“添加”控件，便可导入待编辑3D人物模型，并将待编辑3D人物模型命名为“小偷”。参照图4，在导入待编辑3D人物模型的情况下，用户通过拖拽，便可调整待编辑3D人物模型，摆出不同的逃跑动作，并分别保存为不同动作，例如动作1、动作2和动作3等。然后点击“保存”控件，便可生成具有不同动作的“小偷”人物模型即第一3D人物模型401。也就是说，基于相机应用程序中的故事视频控件，便可选择出第一视频301，并生成第一3D人物模型401。参照图5，基于相同的方式，可以生成热心市民人物模型作为第一3D人物模型501。
第一输入可以为：用户对第一视频的点击输入，或者为用户输入的语音指令，或者为用户输入的特定手势，具体的可以根据实际使用需求确定，本申请实施例对此不作限定。
本申请实施例中的特定手势可以为单击手势、滑动手势、拖动手势、压力识别手势、长按手势、面积变化手势、双按手势、双击手势中的任意一种；本申请实施例中的点击输入可以为单击输入、双击输入或任意次数的点击输入等，还可以为长按输入或短按输入。
参照图6，在播放第一视频301即用户跑步视频的情况下，用户可以直接拖动第一视频301的播放进度条601至需要***第一3D人物模型的第一视频帧上，例如第一视频帧602可以为第一视频301的播放时刻15:05所显示的视频帧。在此，用户点击图6所示的***人物控件603，便可在第一视频帧602上显示人物选择窗口604，在此，用户可以点击小偷3D人物模型即第一3D人物模型401。
在执行步骤S1100接收用户对第一3D人物模型和第一视频的第一输入之后，进入：
步骤1200，响应于所述第一输入，将所述第一3D人物模型与所述第一视频帧融合，得到第三视频帧，将所述第一3D人物模型与所述第二视频帧融合，得到第四视频帧。
在一个例子中，本步骤S1200中响应于所述第一输入，将所述第一3D人物模型与所述第一视频帧融合，得到第三视频帧可以进一步包括如下步骤S1210～步骤S1220：
步骤S1210，响应于所述第一输入，显示第一选择窗口。
所述第一选择窗口包括至少一个动作控件，所述动作控件用于指示人物模型的动作。示例性地，在用户点击图6所示的小偷3D人物模型即第一3D人物模型401，第一视频帧602上显示第一选择窗口605，第一选择窗口为动作设置窗口。第一选择窗口605上包括动作控件1、动作控件2和动作控件3，其中，动作控件1用于指示第一3D人物模型401的动作1，动作控件2用于指示第一3D人物模型401的动作2，动作控件3用于指示第一3D人物模型401的动作3。
步骤S1220，响应于对所述至少一个动作控件中目标动作控件的第二输入，将所述第一3D人物模型与所述第一视频帧融合，得到第三视频帧。
本步骤S1220中，电子设备可以接收至少一个动作控件中目标动作控件的第二输入，并响应于该第二输入，将第一3D人物模型与第一视频帧融合以得到第三视频帧。
第二输入可以为：用户对至少一个动作控件中目标动作控件的点击输入，或者为用户输入的语音指令，或者为用户输入的特定手势，具体的可以根据实际使用需求确定，本申请实施例对此不作限定。
本申请实施例中的特定手势可以为单击手势、滑动手势、拖动手势、压力识别手势、长按手势、面积变化手势、双按手势、双击手势中的任意一种；本申请实施例中的点击输入可以为单击输入、双击输入或任意次数的点击输入等，还可以为长按输入或短按输入。
参照图6，用户在第一选择窗口605上点击动作控件1，电子设备便可将具有动作1的第一3D人物模型401与第一视频帧融合，得到第三视频帧。
在一个例子中，本步骤S1200中响应于所述第一输入，将所述第一3D人物模型与所述第二视频帧融合，得到第四视频帧可以进一步包括如下步骤S1230～步骤S1240：
步骤S1230，响应于所述第一输入，显示第二选择窗口。
所述第二选择窗口包括至少一个视频帧控件。参照图6，在播放第一视频的情况下，在第一视频的播放进度条601的左边显示第二选择窗口606，第二选择窗口606用于选择出第一视频中的第二视频帧。用户点击图6所示的第二选择窗口606，便可显示出至少一个视频帧控件(图中未示出)。
步骤S1240，响应于对所述至少一个视频帧控件中目标视频帧控件的第三输入，将所述第一3D人物模型与所述第二视频帧融合，得到第四视频帧。
所述目标视频帧控件用于指示所述第二视频帧。
本步骤S1240中，电子设备可以接收至少一个视频帧控件中目标视频帧控件的第二输入，并响应于该第二输入，将第一3D人物模型与第二视频帧融合以得到第四视频帧。
第二输入可以为：用户对至少一个视频帧控件中目标视频帧控件的点击输入，或者为用户输入的语音指令，或者为用户输入的特定手势，具体的可以根据实际使用需求确定，本申请实施例对此不作限定。
本申请实施例中的特定手势可以为单击手势、滑动手势、拖动手势、压力识别手势、长按手势、面积变化手势、双按手势、双击手势中的任意一种；本申请实施例中的点击输入可以为单击输入、双击输入或任意次数的点击输入等，还可以为长按输入或短按输入。
在一个具体地实施例中，以上将第一3D人物模型与第二视频帧融合，得到第四视频帧可以进一步包括：响应于对所述第一3D人物模型的编辑输入，得到第二3D人物模型，将所述第二3D人物模型与所述第二视频帧融合，得到第四视频帧。
参照图6，当用户点击目标视频帧控件的情况下，电子设备便可将目标视频帧控件所指示的第一视频中的视频帧作为第二视频帧，参照图7，第二视频帧701可以为第一视频301的播放时刻15:15所显示的视频帧。在此，用户点击图6所示的编辑人物控件601，并对图6所示的小偷3D人物模型即第一3D人物模型401的动作进行编辑，参照图7，例如编辑得到具有动作4的小偷3D人物模型作为第二3D人物模型702，同时将第二视频帧和第二3D人物模型融合，得到第四视频帧。
可以理解的是，可以将第二视频帧之后的视频帧上融合热心市民3D人物模型501，参照图8，在第二视频帧701之后的视频帧801可以为第一视频301的播放时刻35:15所显示的视频帧，将该视频帧与热心市民3D人物模型501融合，以便创作出用户(警察)和热心市民一起抓小偷的情节。
步骤1300，生成第二视频。
其中，所述第二视频与所述第一视频具有关联关系，也就是说，第二视频是基于第一视频生成的。
所述第二视频包括所述第三视频帧和所述第四视频帧。
本实施例中，本步骤1300中生成第二视频可以进一步包括：根据所述第三视频帧和所述第四视频帧中第一3D人物模型的动作，插帧生成至少一帧第五视频帧；根据所述第三视频帧、所述第四视频帧和所述至少一帧第五视频帧，生成第二视频。
示例性地，根据第三视频帧中具有动作1的小偷3D人物模型，以及第四视频帧中具有动作4的小偷3D人物模型，在第三视频帧和第四视频帧之间插帧生成至少一帧第五视频帧，并根据第三视频帧、第四视频帧和至少一帧第五视频帧生成图9所示的第二视频，进而保证第二视频播放时，小偷人物模型的连贯性。
根据本实施例，电子设备在接收到用户对第一3D人物模型和第一视频的第一输入之后，会响应于该第一输入，将第一3D人物模型与第一视频的第一视频帧融合得到第三视频帧，以及将第一3D人物模型与第一视频的第二视频帧融合得到第四视频帧，进而基于第一视频生成第二视频，其中，第二视频包括第三视频帧和第四视频帧。即，该方法会在预先录制好的第一视频的不同视频帧上融合第一3D人物模型以生成第二视频，实现了将虚拟3D人物模型融合真实视频并生成具有故事情节的第二视频的目的。
在一个实施例中，在执行步骤1300生成第二视频之前，本公开实施例的视频处理方法还包括如下步骤2100～步骤2300：
步骤2100，接收对第三3D人物模型的第四输入。
第三3D人物模型可以为用户对电子设备提供的另一待编辑3D人物进行编辑所得到人物模型。参照图12，用户可以对电子设备所提供的另一待编辑3D人物模型进行编辑，得到“运动分身”人物模型作为第三3D人物模1201。
第三3D人物模型可以具有不同动作。参照图12，第三3D人物模型1201即“运动分身”人物模型可以具有不同的动作，例如第三3D人物模型1201可以具有拿球动作、瞄准动作。
本实施例中，在执行步骤2100接收对第三3D人物模型的第四输入之前，参照图10，在电子设备启动相机应用程序的情况下，电子设备显示拍摄预览界面1001。其中，拍摄预览界面1001上显示有拍照控件、美颜控件、故事视频控件以及录像控件。在此，用户点击故事视频控件，电子设备便可进入故事视频模式，在电子设备进入故事视频模式的情况下，便可由用户选择第一视频，并对待编辑3D人物模型编辑得到第三3D人物模型1201。
具体地，在电子设备进入故事视频模式的情况下，拍摄预览界面1001上提供场景视频控件1002和编辑模型控件1003，其中，通过场景视频控件1002便可选择出场景视频，通过编辑模型控件1003便可对待编辑3D人物模型编辑得到第三3D人物模型。以打篮球精彩投篮这个情节作为故事线，在用户点击图10所示的场景视频控件1002的情况下，拍摄预览界面1001上便可加载显示电子设备中的预先下载好的不同场景视频，例如显示视频1、视频2、视频3……视频6，参照图11，用户可以选择视频2，即篮球场视频作为场景视频。
与此同时，在用户点击图10所示的编辑模型控件1003的情况下，显示模型编辑界面，参照图12，点击“添加”控件，便可导入待编辑3D人物模型，并将待编辑3D人物模型命名为“运动分身”。参照图12，在导入待编辑3D人物模型的情况下，用户通过拖拽，便可调整待编辑3D人物模型，摆出不同的投篮动作，并分别保存为不同动作，例如拿球动作、瞄准动作等。然后点击“保存”控件，便可生成具有不同投篮动作的“运动分身”人物模型即第三3D人物模型1201。也就是说，基于相机应用程序中的故事视频控件，便可生成第三3D人物模型1201。
第四输入可以为：用户对第三3D人物模型的点击输入，或者为用户输入的语音指令，或者为用户输入的特定手势，具体的可以根据实际使用需求确定，本申请实施例对此不作限定。
本申请实施例中的特定手势可以为单击手势、滑动手势、拖动手势、压力识别手势、长按手势、面积变化手势、双按手势、双击手势中的任意一种；本申请实施例中的点击输入可以为单击输入、双击输入或任意次数的点击输入等，还可以为长按输入或短按输入。
参照图13，在播放场景视频即篮球场视频的情况下，用户可以直接拖动篮球场视频的播放进度条1301至需要***第三3D人物模型的视频帧上，例如视频帧1302可以为篮球场视频的播放时刻10:05所显示的视频帧。在此，用户点击图13所示的***人物控件1303，便可在视频帧1302上显示人物选择窗口1304，在此，用户可以点击运动分身人物模型即第三3D人物模型1201，并选择第一选择窗口1305中的拿球动作控件，便可将具有拿球动作的第三3D人物模型1201与视频帧1302融合。
参照图14，例如视频帧1401可以为篮球场视频的播放时刻20:05所显示的视频帧。在此，可以基于相同的方式，将具有瞄准动作的第三3D人物模型1201与视频帧1401融合。
步骤2200，响应于所述第四输入，得到至少两帧视频帧，所述至少两帧视频帧中第三3D人物模型的动作不同。
所述至少两帧视频帧包括第六视频帧，所述第六视频帧中包括至少两个第三3D人物模型。
继续上述示例，所得到的至少两帧视频帧中的其中一帧视频帧可以是：将具有拿球动作的第三3D人物模型1201与视频帧1302融合生成的视频帧。所得到的至少两帧视频帧中的另一视频帧可以是：将具有瞄准动作的第三3D人物模型1201与视频帧1401融合生成的视频帧。在此，为了方便于用户模仿剧本动作，需要在当前视频帧中，呈现出前一帧或者前几帧的运动分身3D人物模型，参照图15，实现在一个视频帧中出现多个动作的第三3D人物模型的效果，进而生成故事线为投篮精彩时刻的AR剧本即图16所示的视频。该视频可以是一个虚拟视频模板，用户可以基于该虚拟视频模板拍摄得到第一视频，即用户模仿该虚拟视频模板中的投篮动作拍摄得到第一视频。
步骤2300，根据所述至少两帧视频帧，调整所述第一视频的视频帧中目标对象的动作。
继续上述示例，可以根据虚拟视频模板中的至少两帧视频帧中的第三3D人物模型的动作，调整对应的第一视频的视频帧中目标对象的动作，从而生成一个与虚拟视频模板的剧情、动作相同的视频，即图17所示的视频。
根据本公开实施例，用户可以模仿虚拟视频模板中的第三3D人物模型的动作，完成投篮故事线并录制真实视频。并且，在用户录制真实视频后，可以基于该虚拟视频模板，将真实视频制作成带分身效果的视频。
与上述实施例相对应，参见图18，本申请实施例还提供一种视频处理装置2100，所述装置2100包括接收模块2110、融合模块2120和生成模块2130。
接收模块2110，用于接收用户对第一3D人物模型和第一视频的第一输入，所述第一视频包括第一视频帧和第二视频帧。
融合模块2120，用于响应于所述第一输入，将所述第一3D人物模型与所述第一视频帧融合，得到第三视频帧，将所述第一3D人物模型与所述第二视频帧融合，得到第四视频帧。
生成模块2130，用于生成第二视频。
其中，所述第二视频与所述第一视频具有关联关系，所述第二视频包括所述第三视频帧和所述第四视频帧。
在一个实施例中，融合模块2120，具体用于响应于所述第一输入，显示第一选择窗口，所述第一选择窗口包括至少一个动作控件，所述动作控件用于指示人物模型的动作；响应于对所述至少一个动作控件中目标动作控件的第二输入，将所述第一3D人物模型与所述第一视频帧融合，得到第三视频帧。
在一个实施例中，融合模块2120，具体用于响应于所述第一输入，显示第二选择窗口，所述第二选择窗口包括至少一个视频帧控件；响应于对所述至少一个视频帧控件中目标视频帧控件的第三输入，将所述第一3D人物模型与所述第二视频帧融合，得到第四视频帧，所述目标视频帧控件用于指示所述第二视频帧。
在一个实施例中，融合模块2120，具体用于响应于对所述第一3D人物模型的编辑输入，得到第二3D人物模型，将所述第二3D人物模型与所述第二视频帧融合，得到第四视频帧。
在一个实施例中，装置2100还包括调整模块(图中未示出)。
接收模块2110，还用于接收对第三3D人物模型的第四输入。
生成模块2130，还用于响应于所述第四输入，得到至少两帧视频帧，所述至少两帧视频帧中第三3D人物模型的动作不同。
调整模块，用于根据所述至少两帧视频帧，调整所述第一视频的视频帧中目标对象的动作。
在一个实施例中，所述至少两帧视频帧包括第六视频帧，所述第六视频帧中包括至少两个第三3D人物模型。
在一个实施例中，生成模块2130，具体用于根据所述第三视频帧和所述第四视频帧中第一3D人物模型的动作，插帧生成至少一帧第五视频帧；根据所述第三视频帧、所述第四视频帧和所述至少一帧第五视频帧，生成第二视频。
在本申请的实施例中，电子设备在接收到用户对第一3D人物模型和第一视频的第一输入之后，会响应于该第一输入，将第一3D人物模型与第一视频的第一视频帧融合得到第三视频帧，以及将第一3D人物模型与第一视频的第二视频帧融合得到第四视频帧，进而基于第一视频生成第二视频，其中，第二视频包括第三视频帧和第四视频帧。即，该方法会在预先录制好的第一视频的不同视频帧上融合第一3D人物模型以生成第二视频，实现了将虚拟3D人物模型融合真实视频并生成具有故事情节的第二视频的目的。
本申请实施例中的视频处理装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personalcomputer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的视频处理装置可以为具有操作***的装置。该操作***可以为安卓(Android)操作***，可以为ios操作***，还可以为其他可能的操作***，本申请实施例不作具体限定。
本申请实施例提供的视频处理装置能够实现图1的方法实施例实现的各个过程，为避免重复，这里不再赘述。
可选地，如图19所示，本申请实施例还提供一种电子设备2200，包括处理器2201和存储器2202，存储器2202上存储有可在所述处理器2201上运行的程序或指令，该程序或指令被处理器2201执行时实现上述视频处理方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图20为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备2300包括但不限于：射频单元2301、网络模块2302、音频输出单元2303、输入单元2304、传感器2305、显示单元2306、用户输入单元2307、接口单元2308、存储器2309、处理器2310等部件。
本领域技术人员可以理解，电子设备2300还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理***与处理器2310逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。图20中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，用户输入单元2307，用于接收用户对第一3D人物模型和第一视频的第一输入，所述第一视频包括第一视频帧和第二视频帧。
处理器2310，用于响应于所述第一输入，将所述第一3D人物模型与所述第一视频帧融合，得到第三视频帧，将所述第一3D人物模型与所述第二视频帧融合，得到第四视频帧。
处理器2310，还用于生成第二视频。
其中，所述第二视频与所述第一视频具有关联关系，所述第二视频包括所述第三视频帧和所述第四视频帧。
根据本实施例，电子设备在接收到用户对第一3D人物模型和第一视频的第一输入之后，会响应于该第一输入，将第一3D人物模型与第一视频的第一视频帧融合得到第三视频帧，以及将第一3D人物模型与第一视频的第二视频帧融合得到第四视频帧，进而基于第一视频生成第二视频，其中，第二视频包括第三视频帧和第四视频帧。即，该方法会在预先录制好的第一视频的不同视频帧上融合第一3D人物模型以生成第二视频，实现了将虚拟3D人物模型融合真实视频并生成具有故事情节的第二视频的目的。
在一个实施例中，显示单元2307，用于响应于所述第一输入，显示第一选择窗口，所述第一选择窗口包括至少一个动作控件，所述动作控件用于指示人物模型的动作。
处理器2310，还用于响应于对所述至少一个动作控件中目标动作控件的第二输入，将所述第一3D人物模型与所述第一视频帧融合，得到第三视频帧。
在一个实施例中，显示单元2307，用于响应于所述第一输入，显示第二选择窗口，所述第二选择窗口包括至少一个视频帧控件。
处理器2310，还用于响应于对所述至少一个视频帧控件中目标视频帧控件的第三输入，将所述第一3D人物模型与所述第二视频帧融合，得到第四视频帧，所述目标视频帧控件用于指示所述第二视频帧。
在一个实施例中，用户输入单元2307，用于接收对第三3D人物模型的第四输入。
处理器2310，用于响应于所述第四输入，得到至少两帧视频帧，所述至少两帧视频帧中第三3D人物模型的动作不同。
处理器2310，用于根据所述至少两帧视频帧，调整所述第一视频的视频帧中目标对象的动作。
在一个实施例中，所述至少两帧视频帧包括第六视频帧，所述第六视频帧中包括至少两个第三3D人物模型。
在一个实施例中，处理器2310，还用于根据所述第三视频帧和所述第四视频帧中第一3D人物模型的动作，插帧生成至少一帧第五视频帧；根据所述第三视频帧、所述第四视频帧和所述至少一帧第五视频帧，生成第二视频。
应理解的是，本申请实施例中，输入单元2304可以包括图形处理器(GraphicsProcessing Unit，GPU)23041和麦克风23042，图形处理器23041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元2306可包括显示面板23061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板23061。用户输入单元2307包括触控面板23071以及其他输入设备23072中的至少一种。触控面板23071，也称为触摸屏。触控面板23071可包括触摸检测装置和触摸控制器两个部分。其他输入设备23072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
存储器2309可用于存储软件程序以及各种数据。存储器2309可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作***、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器2309可以包括易失性存储器或非易失性存储器，或者，存储器2309可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器2309包括但不限于这些和任意其它适合类型的存储器。
处理器2310可包括一个或多个处理单元；可选地，处理器2310集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作***、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器2310中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述视频处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述视频处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为***级芯片、***芯片、芯片***或片上***芯片等。
本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述视频处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种视频处理方法，其特征在于，所述方法包括：
接收用户对第一3D人物模型和第一视频的第一输入，所述第一视频包括第一视频帧和第二视频帧；
响应于所述第一输入，将所述第一3D人物模型与所述第一视频帧融合，得到第三视频帧，将所述第一3D人物模型与所述第二视频帧融合，得到第四视频帧；
生成第二视频；
其中，所述第二视频与所述第一视频具有关联关系，所述第二视频包括所述第三视频帧和所述第四视频帧。
2.根据权利要求1所述的方法，其特征在于，所述响应于所述第一输入，将所述第一3D人物模型与所述第一视频帧融合，得到第三视频帧，包括：
响应于所述第一输入，显示第一选择窗口，所述第一选择窗口包括至少一个动作控件，所述动作控件用于指示人物模型的动作；
响应于对所述至少一个动作控件中目标动作控件的第二输入，将所述第一3D人物模型与所述第一视频帧融合，得到第三视频帧。
3.根据权利要求1所述的方法，其特征在于，所述响应于所述第一输入，将所述第一3D人物模型与所述第二视频帧融合，得到第四视频帧，包括：
响应于所述第一输入，显示第二选择窗口，所述第二选择窗口包括至少一个视频帧控件；
响应于对所述至少一个视频帧控件中目标视频帧控件的第三输入，将所述第一3D人物模型与所述第二视频帧融合，得到第四视频帧，所述目标视频帧控件用于指示所述第二视频帧。
4.根据权利要求1所述的方法，其特征在于，所述将所述第一3D人物模型与所述第二视频帧融合，得到第四视频帧包括：
响应于对所述第一3D人物模型的编辑输入，得到第二3D人物模型，将所述第二3D人物模型与所述第二视频帧融合，得到第四视频帧。
5.根据权利要求1所述的方法，其特征在于，在所述生成第二视频之前，还包括：
接收对第三3D人物模型的第四输入；
响应于所述第四输入，得到至少两帧视频帧，所述至少两帧视频帧中第三3D人物模型的动作不同；
根据所述至少两帧视频帧，调整所述第一视频的视频帧中目标对象的动作。
6.根据权利要求5所述的方法，其特征在于，所述至少两帧视频帧包括第六视频帧，所述第六视频帧中包括至少两个第三3D人物模型。
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述生成第二视频包括：
根据所述第三视频帧和所述第四视频帧中第一3D人物模型的动作，插帧生成至少一帧第五视频帧；
根据所述第三视频帧、所述第四视频帧和所述至少一帧第五视频帧，生成第二视频。
8.一种视频处理装置，其特征在于，所述装置包括：
接收模块，用于接收用户对第一3D人物模型和第一视频的第一输入，所述第一视频包括第一视频帧和第二视频帧；
融合模块，用于响应于所述第一输入，将所述第一3D人物模型与所述第一视频帧融合，得到第三视频帧，将所述第一3D人物模型与所述第二视频帧融合，得到第四视频帧；
生成模块，用于生成第二视频；
其中，所述第二视频与所述第一视频具有关联关系，所述第二视频包括所述第三视频帧和所述第四视频帧。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-7任一项所述的视频处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-7任一项所述的视频处理方法的步骤。
CN202210874585.4A 2022-07-21 2022-07-21 视频处理方法、装置、电子设备及可读存储介质 Pending CN115049574A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210874585.4A CN115049574A (zh) 2022-07-21 2022-07-21 视频处理方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210874585.4A CN115049574A (zh) 2022-07-21 2022-07-21 视频处理方法、装置、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN115049574A true CN115049574A (zh) 2022-09-13

Family

ID=83166488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210874585.4A Pending CN115049574A (zh) 2022-07-21 2022-07-21 视频处理方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN115049574A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115761114A (zh) * 2022-10-28 2023-03-07 如你所视(北京)科技有限公司 视频生成方法、装置及计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115761114A (zh) * 2022-10-28 2023-03-07 如你所视(北京)科技有限公司 视频生成方法、装置及计算机可读存储介质
CN115761114B (zh) * 2022-10-28 2024-04-30 如你所视(北京)科技有限公司 视频生成方法、装置及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN108566519B (zh) 视频制作方法、装置、终端和存储介质
CN109120866B (zh) 动态表情生成方法、装置、计算机可读存储介质和计算机设备
KR101831802B1 (ko) 적어도 하나의 시퀀스에 대한 가상현실 컨텐츠 제작방법 및 장치
CN114387400A (zh) 三维场景的显示方法、显示装置、电子设备和服务器
US20140282000A1 (en) Animated character conversation generator
CN113918522A (zh) 一种文件生成方法、装置及电子设备
CN114222076B (zh) 一种换脸视频生成方法、装置、设备以及存储介质
CN115049574A (zh) 视频处理方法、装置、电子设备及可读存储介质
CN114466232A (zh) 视频处理方法、装置、电子设备和介质
CN112309449A (zh) 音频录制方法及装置
CN114357554A (zh) 模型的渲染方法、渲染装置、终端、服务器和存储介质
CN114025237B (zh) 视频生成方法、装置和电子设备
CN112367487B (zh) 视频录制方法和电子设备
KR101806922B1 (ko) 가상현실 컨텐츠 제작방법 및 장치
CN114785949A (zh) 视频对象处理方法、装置及电子设备
CN114816190A (zh) 视频跟踪处理方法、装置、电子设备及存储介质
CN114125297A (zh) 视频拍摄方法、装置、电子设备及存储介质
CN113873319A (zh) 视频处理方法、装置、电子设备及存储介质
CN112261483A (zh) 视频输出方法及装置
TWM560053U (zh) 線上整合擴增實境的編輯裝置
CN114173178B (zh) 视频播放方法、视频播放装置、电子设备和可读存储介质
CN114173178A (zh) 视频播放方法、视频播放装置、电子设备和可读存储介质
CN115278378A (zh) 信息显示方法、信息显示装置、电子设备和存储介质
CN117395462A (zh) 媒体内容的生成方法、装置、电子设备和可读存储介质
CN114527906A (zh) 显示方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination