CN117528179A - 视频生成方法及其装置 - Google Patents

视频生成方法及其装置 Download PDF

Info

Publication number
CN117528179A
CN117528179A CN202311445773.6A CN202311445773A CN117528179A CN 117528179 A CN117528179 A CN 117528179A CN 202311445773 A CN202311445773 A CN 202311445773A CN 117528179 A CN117528179 A CN 117528179A
Authority
CN
China
Prior art keywords
image
images
group
replacing
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311445773.6A
Other languages
English (en)
Inventor
魏经纬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aiku Software Technology Shanghai Co ltd
Original Assignee
Aiku Software Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aiku Software Technology Shanghai Co ltd filed Critical Aiku Software Technology Shanghai Co ltd
Priority to CN202311445773.6A priority Critical patent/CN117528179A/zh
Publication of CN117528179A publication Critical patent/CN117528179A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种视频生成方法及其装置,属于图像处理技术领域。该方法包括:显示拍摄场景的预览图像,其中,所述预览图像中包括第一对象;在确定所述预览图像中具有第二对象,且所述拍摄场景满足第一条件的情况下,响应于用户的第一输入,得到不同拍摄时刻下拍摄到的N个图像组,其中,每个图像组包括第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像,第一图像包括第二对象,第二图像包括第一对象和第二对象,N为正整数;将每个图像组中的所述第二图像中的所述第二对象替换为所述第一图像中的所述第二对象,得到N个融合图像;基于N个融合图像,生成第一视频。

Description

视频生成方法及其装置
技术领域
本申请属于图像处理技术领域,具体涉及一种视频生成方法及其装置。
背景技术
随着用户对摄影技术需求的提升,如何拍摄出不仅可以放大拍摄对象,而且拍摄场景的取景范围也广的具有大视野背景的延时视频是目前研究的热点话题。
目前,若要拍摄出具有大视野背景的延时视频,首先要拍摄出组成大视野背景的延时视频的多帧图像,然后将多帧图像进行融合,即可得到具有大视野背景的延时视频。
目前,在拍摄组成具有大视野背景的多帧图像时是利用超长焦镜头来对拍摄进行延时拍摄,如此可以拍摄出多张可看出拍摄对象的清晰纹理的拍摄对象图像,但是在利用超长焦镜头对拍摄对象进行拍摄时,无法兼顾背景的取景范围与角度,导致具有清晰纹理的拍摄对象图像与具有大视野的背景图像不可同时得到,进而无法得到效果较好的大视野背景延时视频。
发明内容
本申请实施例的目的是提供一种视频生成方法及其装置,能够解决现有技术中无法得到效果较好的大视野背景延时视频的问题。
第一方面,本申请实施例提供了一种视频生成方法,该方法包括:
显示拍摄场景的预览图像,其中,所述预览图像中包括第一对象;
在确定所述预览图像中具有第二对象,且所述拍摄场景满足第一条件的情况下,响应于用户的第一输入,得到不同拍摄时刻下拍摄到的N个图像组,其中,每个所述图像组包括第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像,所述第一图像包括所述第二对象,所述第二图像包括所述第一对象和所述第二对象,N为正整数;
将每个所述图像组中的所述第二图像中的所述第二对象替换为所述第一图像中的所述第二对象,得到N个融合图像;
基于N个融合图像,生成第一视频。
第二方面,本申请实施例提供了一种视频生成装置,该装置包括:
显示模块,用于显示拍摄场景的预览图像,其中,所述预览图像中包括第一对象;
第一确定模块,用于在确定所述预览图像中具有第二对象,且所述拍摄场景满足第一条件的情况下,响应于用户的第一输入,得到不同拍摄时刻下拍摄到的N个图像组,其中,每个所述图像组包括第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像,所述第一图像包括所述第二对象,所述第二图像包括所述第一对象和所述第二对象,N为正整数;
替换模块,用于将每个所述图像组中的所述第二图像中的所述第二对象替换为所述第一图像中的所述第二对象,得到N个融合图像;
第二确定模块,用于基于N个融合图像,生成第一视频。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
第六方面,本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
在本申请实施例中,在确定显示的拍摄场景的预览图像中具有第二对象,且拍摄场景满足第一条件的情况下,通过响应于用户的第一输入,可得到不同拍摄时刻下拍摄到的N个图像组,每个图像组包括第一摄像头拍摄的包括第二对象的第一图像和第二摄像头拍摄的包括第二对象和第一对象的第二图像,如此通过第一摄像头和第二摄像头可分别得到纹理清晰的第二对象的第一图像,以及具有第二对象和大视野的第一对象的第二图像,如此在将每个图像组中的第二图像中的第二对象替换为第一图像中的第二对象后,可得到具有清晰纹理的第二对象和大视野的第一对象的多个融合图像,进而可得到包括清晰纹理的第二对象和大视野的第一对象的第一视频,即得到效果较好的大视野背景延时视频。
附图说明
图1是本申请的一些实施例提供的视频生成方法的流程示意图;
图2是本申请的一些实施例提供的拍摄场景的预览图像的示意图;
图3(a)是本申请的一些实施例提供的第一图像的示意图;
图3(b)是本申请的一些实施例提供的第二图像的示意图;
图4是本申请的一些实施例提供的融合图像的示意图;
图5是本申请的一些实施例提供的采用本申请实施例的方案得到的第一视频的示意图;
图6是本申请的一些实施例提供的对第一模型的确定过程示意图;
图7是本申请的一些实施例提供的采用常规方式得到的第一视频的示意图;
图8是本申请的一些实施例示出的视频生成装置的结构示意图;
图9是本申请的一些实施例示出的电子设备的结构示意图;
图10是本申请的一些实施例示出的电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
如背景技术所述,现有技术中在拍摄具有大视野背景的延时视频时,存在拍摄的延时视频效果不佳,且拍摄成本较高,拍摄设备不好携带的问题,为了解决上述问题,本申请实施例提供了一种视频生成方法及其装置,在确定显示的拍摄场景的预览图像中具有第二对象,且拍摄场景满足第一条件的情况下,通过响应于用户的第一输入,可得到不同拍摄时刻下拍摄到的N个图像组,每个图像组包括第一摄像头拍摄的包括第二对象的第一图像和第二摄像头拍摄的包括第二对象和第一对象的第二图像,如此通过第一摄像头和第二摄像头可分别得到纹理清晰的第二对象的第一图像,以及具有第二对象和大视野的第一对象的第二图像,如此可在每个图像组中的第二图像中的第二对象替换为第一图像中的第二对象后,可得到具有清晰纹理的第二对象和大视野的第一对象的多个融合图像,进而可得到包括清晰纹理的第二对象和大视野的第一对象的第一视频。
本申请实施例的技术方案可以应用于拍摄出不仅可以放大拍摄对象,而且拍摄场景中的背景的取景范围也广的具有大视野背景延时视频的场景中。例如,用户想要拍摄出一段时间内记录月亮运动轨迹的具有大范围背景的视频,且在该视频中还要可以清晰地看到月亮的纹理,则可应用本申请实施例的技术方案得到具有大视野背景的延时视频。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的视频生成方法进行详细地说明。
图1是本申请实施例所提供的一种视频生成方法的流程示意图,该视频生成方法的执行主体可以是电子设备,该电子设备可以但不限于是个人电脑(Personal Computer,PC)、智能手机、平板电脑或个人数字助理(Personal Digital Assistant,PDA)等。
如图1所示,本申请实施例提供的视频生成方法可以包括S110-S140。
S110、显示拍摄场景的预览图像。
其中,拍摄场景可以是用户想要拍摄的具有大视野背景拍摄效果的延时视频的场景,在该拍摄场景中具有第一对象,这里的第一对象即为用户想要的大范围的背景,例如,要拍摄一段时间内月亮的运动轨迹的大建筑背景的延时视频,在该延时视频中用户还想要清晰的看到月亮的纹理,则需要在具有月亮和建筑作为背景的场景中。
预览图像可以是在电子设备的相机界面显示的拍摄场景的预览图像,该预览图像中包括第一对象。参考图2,若拍摄场景为具有月亮和建筑作为背景的场景,则预览图像可以为图2所示的图像,在该预览图像中具有月亮21和建筑22。
在本申请的一些实施例中,S110具体可以包括:
在确定电子设备处于延时摄影模式的情况下,响应于用户的第二输入,显示拍摄场景的预览图像。
其中,延时摄影模式可以是在该模式下,执行本申请实施例的技术方案可得到包括大视野背景的延时视频。
在本申请的一种实施例中,可以通过在电子设备的设置界面设置电子设备进入延时摄影模式,例如,可以在电子设备的设置界面选中“进入延时摄影模式“控件,则电子设备处于延时摄影模式下。
第二输入是对电子设备的相机应用程序标识进行的输入,上述第二输入用于打开电子设备的相机,显示拍摄场景的预览图像,第二输入可以为第二操作。示例性地,上述第二输入包括但不限于:用户通过手指或者手写笔等触控装置对电子设备的相机应用程序标识的触控输入,或者为用户输入的语音指令,或者为用户输入的特定手势,或者为其他可行性输入,可以根据实际使用需求确定,本发明实施例不作限定。本申请实施例中的特定手势可以为单击手势、滑动手势、拖动手势、压力识别手势、长按手势、面积变化手势、双按手势、双击手势中的任意一种;本申请实施例中的点击输入可以为单击输入、双击输入或任意次数的点击输入等,还可以为长按输入或短按输入。例如,上述的第二输入可以为:用户对相机应用程序标识的点击输入。
在本申请的一些实施例中,用户通过点击相机应用程序标识,例如点击相机应用程序的图标,可进入到相机应用程序中,进而显示出拍摄场景的预览界面。
S120、在确定预览图像中具有第二对象,且拍摄场景满足第一条件的情况下,响应于用户的第一输入,得到不同拍摄时刻下拍摄到的N个图像组。
其中,第二对象可以是用户想要的大视野背景延时视频中的具有清晰纹理的拍摄对象,例如可以是图2中的月亮21。
第一条件可以是预先设置的拍摄场景所要满足的条件,例如可以是拍摄场景要稳定,这里的稳定可以是指用于拍摄大视野背景延时视频的电子设备的稳定性,例如,若要得到一段时间内描述月亮的运动轨迹的大视野背景的延时视频,需要电子设备一直置于具有月亮和大视野背景的拍摄场景中,每隔一段时间拍摄一张月亮图像和背景图像,整个拍摄周期较长,若想要较好的记录拍摄期间月亮的运动轨迹,则需要在拍摄期间,电子设备很稳定的固定在具有月亮和大视野背景的拍摄场景中,避免因为电子设备的晃动或移动,而无法较好的拍摄出随着时间的移动月亮的运动轨迹的图像,进而无法得到精确的用于描述月亮的运动轨迹的大视野背景的延时视频。具体的这里的第一条件可以是用于支撑电子设备的支架要稳定的处于具有第二对象和大视野第一对象的拍摄场景中,以使电子设备稳定的处于具有第二对象和大视野第一对象的拍摄场景中。
第一输入是对电子设备的相机界面的拍摄控件或延时拍摄设置控件进行的输入,上述第一输入用于得到不同拍摄时刻下拍摄到的N个图像组,第一输入可以为第一操作。示例性地,上述第一输入包括但不限于:用户通过手指或者手写笔等触控装置对电子设备的相机界面的拍摄控件或延时拍摄设置控件的触控输入,或者为用户输入的语音指令,或者为用户输入的特定手势,或者为其他可行性输入,可以根据实际使用需求确定,本发明实施例不作限定。本申请实施例中的特定手势可以为单击手势、滑动手势、拖动手势、压力识别手势、长按手势、面积变化手势、双按手势、双击手势中的任意一种;本申请实施例中的点击输入可以为单击输入、双击输入或任意次数的点击输入等,还可以为长按输入或短按输入。例如,上述的第一输入可以为:用户对电子设备的相机界面的拍摄控件或延时拍摄设置控件的点击输入。
在本申请的一些实施例中,用户可以通过点击图2中的“拍摄”控件23或者“延时拍摄”控件24,可得到不同拍摄时刻下拍摄到的N个图像组,每个图像组包括第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像。这里的每个图像组中的第一图像和第二图像均为可得到具有大视野背景效果的延时视频的图像。这里的第一图像中可以包括第二对象,比如图2中月亮21,第二图像中可以包括第二对象和第一对象,比如图2中月亮21和建筑22。
在一个示例中,若用户想要得到晚上6点到晚上12点的月亮运动轨迹的大视野背景延时视频,则用户可在图2所示的显示预览图像的界面中对“延时拍摄”控件24进行设置,具体的可以是设置每隔1小时采集一次图像,则可分别在晚上6点拍摄一张大月亮的第一图像和一张具有建筑背景的第二图像,在晚上7点拍摄一张大月亮的第一图像和一张具有建筑背景的第二图像,在晚上8点拍摄一张大月亮的第一图像和一张具有建筑背景的第二图像,在晚上9点拍摄一张大月亮的第一图像和一张具有建筑背景的第二图像,在晚上10点拍摄一张大月亮的第一图像和一张具有建筑背景的第二图像,在晚上11点拍摄一张大月亮的第一图像和一张具有建筑背景的第二图像,在晚上12点拍摄一张大月亮的第一图像和一张具有建筑背景的第二图像,如此得到7个图像组。
每个图像组中可以包括第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像,第一图像包括第二对象,第二图像包括第一对象和第二对象,N为正整数。
这里的第一摄像头和第二摄像头可以分别是电子设备的相机的两个摄像头,例如第一摄像头和第二摄像头可以分别是电子设备的相机的主摄像头和副摄像头,比如第一摄像头可以是在相机界面“1X”、等效焦距在23-28mm的摄像头,第二摄像头可以为相机界面“2X/3X/5X”、等效焦距在50-120mm的摄像头。
上述的第一摄像头和第二摄像头为电子设备的相机的两个摄像头的情况下,由于是利用同一相机的不同的摄像头来拍摄包括第二对象的第一图像,以及包括第二对象和第一对象的第二图像,如此无需购买超长焦镜头,降低了成本,且相机便于携带,减轻了人力成本。
第一图像可以是第一摄像头拍摄的包括第二对象的图像。第二图像可以是第二摄像头拍摄的包括第二对象和第一对象的图像。需要说明的是,第二图像中的第二对象的纹理不清晰,第一图像中的第二对象的纹理清晰。
继续参考上述示例,参考图3(a)和图3(b),以第二对象为月亮,第一对象为建筑物为例,图3(a)为晚上6点-12点中的其中一个时间拍摄的月亮的图像,该图3(a)中月亮31的纹理清晰,图3(b)为晚上6点-12点中的其中一个时间拍摄的建筑物32的图像,例如可以是与图3(a)为同一拍摄时刻下拍摄的建筑物32的图像,在图3(b)中除了包括建筑物32外,也有月亮31,在图3(b)中月亮31仅为一个很小的小点,纹理不清楚。
在本申请的一些实施例中,可以通过图像检测算法或图像检测模型等方式确定预览图像中是否具有第二对象,具体的如何确定预览图像中是否具有第二对象可以根据用户需求自行设置,在本申请实施例中不做限定。
S130、将每个图像组中的第二图像中的第二对象替换为第一图像中的第二对象,得到N个融合图像。
其中,融合图像可以是将第二图像中的第二对象替换为第一图像中的第二对象后所得到的图像,具体的是将第一图像中的第二对象替换到第二图像中的第二对象的位置处。
在本申请的一些实施例中,针对每个图像组,可以将第二图像中的第二对象替换为第一图像中的第二对象,可得到N个融合图像。
继续参考图3(a)和图3(b),可以将图3(b)中纹理不清晰的月亮31替换为图3(a)中纹理清晰的月亮31,如此可得到图4所示的不仅具有清晰纹理的月亮的图像,建筑物42的范围也广的融合图像。如此针对7个图像组中的每个图像组,均采用上述方式将第二图像中的第二对象替换为第一图像中的第二对象,即可得到7个融合图像。
S140、基于N个融合图像,得到第一视频。
其中,第一视频可以是得到的不仅可以放大第二对象,而且拍摄场景中的第一对象的取景范围也广的具有大视野背景效果的延时视频。
在本申请的一些实施例中,在得到N个融合图像后,可将N个融合图像按照融合图像所对应的第一图像或第二图像的拍摄时间顺序串联成第一视频。
继续参考上述示例,得到7个融合图像后,将7个融合图像按照时间顺序串联,即可得到晚上6点-12点期间,能够清晰描述月亮的运动轨迹的建筑地景的第一视频,在该第一视频中月亮的纹理清晰,如图5所示,图5为用于描述月亮的运动轨迹的建筑地景的第一视频的示意图,由于第一视频中建筑基本是不会有大的变化的,月亮会随着时间的移动不断改变位置,故将第一视频中每一次月亮的位置变化整理在一起,即可得到图5所示的月亮相对建筑物52不断变化的情况,在图5中月亮在位置1处为晚上6点的月亮相对于建筑物52的位置,位置2处为晚上7点的月亮相对于建筑物52的位置,位置3处为晚上8点的月亮相对于建筑物52的位置,位置4处为晚上9点的月亮相对于建筑物52的位置,位置5处为晚上10点的月亮相对于建筑物52的位置,位置6处为晚上11点的月亮相对于建筑物52的位置,位置7处为晚上12点的月亮相对于建筑物52的位置。
在本申请的一些实施例中,为了精确确定预览图像中是否具有第二对象,在步骤120之前,上述所涉及的方法还可以包括:
将预览图像输入至第三模型中,得到预览图像中具有第二对象的概率值;
在确定概率值大于预设概率阈值的情况下,确定预览图像中具有第二对象。
其中,第三模型可以是用于确定预览图像中是否具有第二对象的模型,该模型可以但不限于是神经网络模型、支持向量机或决策树模型等,在本申请实施例中不做限定。
预设概率阈值可以是预先设置的预览图像中的具有第二对象的概率值所对应的阈值,在确定预览图像中具有第二对象的概率值大于该阈值的情况下,确定预览图像中具有第二对象,在确定预览图像中具有第二对象的概率值小于或等于该阈值的情况下,确定预览图像中不具有第二对象。
在本申请的一些实施例中,可将预览图像输入至第三模型中,得到预览图像中具有第二对象的概率值,在确定概率值大于预设概率阈值的情况下,确定预览图像中具有第二对象。
在本申请的实施例中,通过利用模型确定预览图像中是否具有第二对象,提升了第二对象确定的精确性和效率。
在本申请的一些实施例中,在所述将预览图像输入至第三模型中,得到预览图像中具有第二对象的概率值之前,首先要得到第三模型,具体可以通过如下方式得到第三模型,即在所述将预览图像输入至第三模型中,得到预览图像中具有第二对象的概率值之前,上述所涉及的方法还可以包括:
获取第一原始训练集,其中,第一原始训练集包括至少两组第一训练样本,其中,每组第一训练样本包括拍摄的第二对象的第一历史图像,以及与第一历史图像对应的第一标签数据;
将第一历史图像输入至第四模型中,得到第一历史图像中是否具有第二对象的第一预测概率值;
根据第一预测概率值和第一标签数据确定第四模型的损失函数值;
在损失函数值不满足训练停止条件的情况下,调整第四模型的模型参数,并利用第一原始训练集训练参数调整后的第四模型,直至损失函数值满足训练停止条件,得到第三模型。
其中,第一原始训练集可以是用于对第四模型进行训练的训练样本集,这里的第四模型可以是对第三模型进行训练之前的模型。
第一训练样本可以是第一元素训练集中所包含的训练样本,该训练样本包括拍摄第二对象的第一历史图像,以及与第一历史图像对应的第一标签数据。这里的第一历史图像可以是在当前时间之前拍摄的第二对象的图像,第一标签数据可以是用于描述在第一历史图像中是否具有第二对象,比如第一标签数据可以是“第一历史图像中具有第二对象”或者“第一历史图像中没有第二对象”。
第一预测概率值可以是将第一历史图像输入至第四模型后,预测出的第一历史图像中是否具有第二对象的概率值。
训练停止条件可以是预先设置的第四模型训练停止的条件,例如可以是第四模型训练迭代满足一定次数,或者是第四模型的损失函数值小于预设损失函数值,比如可以是第四模型循环训练50次即停止训练,或者第四模型的损失函数值小于0.1%则停止训练。
在本申请的实施例中,针对第一原始训练集中的每组第一训练样本,将第一历史图像输入至第四模型中,得到第一历史图像中是否具有第二对象的第一预测概率值,根据第一预测概率值和第一标签数据确定第四模型的损失函数值,在损失函数值不满足训练停止条件的情况下,调整第四模型的模型参数,并利用第一原始训练集训练参数调整后的第四模型,直至损失函数值满足训练停止条件,可得到第三模型,如此后续可基于该第三模型快速精确的确定预览图像中是否具有第二对象。
在本申请的一些实施例中,为了进一步提升第三模型的生成效率,在所述获取第一原始训练集后,上述所涉及的方法还包括:
对第一历史图像进行预处理,得到预处理后的第一历史图像;
所述将第一历史图像输入至第四模型中,具体可以包括:
将预处理后的第一历史图像输入至第四模型中。
在本申请的一些实施例中,上述的预处理可以是对第一历史图像的格式进行调整,例如可以是将第一原始训练集中的所有第一历史图像均调整为相同的分辨率和对比度等级,如此可确保输入到第四模型的图像均有相同的处理方式,无需对每个第一历史图像分别进行不同的处理,提升了第四模型对第一历史图像的处理效率,进而提升了第三模型的生成效率。
在本申请的一些实施例中,为了进一步提升第三模型对预览图像识别的精确性,在所述获取第一原始训练集后,上述所涉及的方法还包括:
对第一历史图像进行图像增强处理,得到第二历史图像;
将第一历史图像和第二历史图像作为目标历史图像;
将第一标签数据和第二历史图像对应的第二标签数据作为目标标签数据;
将目标历史图像和目标标签数据作为目标训练样本;
所述将第一历史图像输入至第四模型中,得到第一历史图像中是否具有第二对象的第一预测概率值,具体可以包括:
将目标历史图像输入至第四模型中,得到目标历史图像中是否具有第二对象的第一预测概率值;
所述根据第一预测概率值和第一标签数据确定第四模型的损失函数值,包括:
根据第一预测概率值和目标标签数据确定第四模型的损失函数值。
其中,第二历史图像可以是对第一历史图像进行图像增强后的图像,具体的可以是对第一历史图像进行旋转、裁剪和缩放等操作后得到的图像。目标历史图像可以包括第一历史图像和第二历史图像。第二标签数据可以是第二历史图像对应的标签数据。目标标签数据可以包括第一标签数据和第二标签数据。目标训练样本可以是由目标历史图像和目标标签数据组成的训练样本。
在本申请的一些实施例中,可以通过对第一历史图像进行旋转、裁剪和缩放等操作后,得到第二历史图像,如此将第一历史图像和第二历史图像均作为训练样本,增加第四模型对不同场景的适应性。
得到目标训练样本后,可将目标历史图像输入至第四模型中,得到目标历史图像中是否具有第二对象的第一预测概率值,然后根据第一预测概率值和目标标签数据确定第四模型的损失函数值。
在本申请的实施例中,通过对第一历史图像进行旋转、裁剪和缩放等操作后,得到第二历史图像,如此将第一历史图像和第二历史图像均作为训练样本对第四模型进行训练,增加了第四模型对不同场景的适应性,提升了第二对象识别的精度。
在本申请的一些实施例中,在得到第一图像后,若第一图像中的第二对象的清晰度不满足用户的需求,则可对第一图像中的第二对象的清晰度进行增强处理。具体的第一图像中的第二对象的清晰度取决于第一图像的分辨率和像素,可以获取第一图像的分辨率和像素,例如可以通过图像检测算法获取到第一图像的分辨率和像素,进而得到该第一图像的清晰度。
具体的对第一图像中的第二对象的清晰度进行增强处理的方式如下:
为了进一步提升第二对象的纹理,在S130之前,上述所涉及的方法还可以包括:
分别对每个图像组中第一图像中的第二对象的清晰度进行增强处理,得到N个第三图像;
将每个图像组中的第二图像中的第二对象替换为第一图像中的第二对象,得到N个融合图像,包括:
将每个图像组中的第二图像中的第二对象替换为第三图像中的第二对象,得到N个融合图像。
其中,第三图像可以是将第一图像中的第二对象的清晰度进行增强后所得到的图像。
在本申请的一些实施例中,为了进一步提升第二对象的清晰度,可对第一图像中的第二对象的清晰度进行增强处理,如此可得到N个第三图像,进而可将每个图像组中的第二图像中的第二对象替换为第三图像中的第二对象,得到N个融合图像,如此得到的融合图像中的第二对象的清晰度更好。
在本申请的一些实施例中,可以通过图像增强算法或其他的可对图像中的第二对象的清晰度进行增强的算法来对第一图像中的第二对象的清晰度进行增强,具体的采用何种方式对第一图像中的第二对象的清晰度进行增强,可根据用户需求自行选取,在本申请实施例中不做限定。
在本申请的实施例中,通过对第一图像中的第二对象的清晰度进行增强处理,如此可得到清晰度更好的N个第三图像,进而可将每个图像组中的第二图像中的第二对象替换为第三图像中的第二对象,得到N个融合图像,如此得到的融合图像中的第二对象的清晰度更好,进而可得到清晰度较好的第二对象的第一视频。
在本申请的一些实施例中,为了精确对第一图像中的第二对象的清晰度进行增强,所述分别对每个图像组中第一图像中的所述第二对象的清晰度进行增强处理,得到N个第三图像,具体可以包括:
分别将每个图像组中第一图像输入至第一模型中,基于第一模型分别对每个图像组中第一图像中的第二对象的清晰度进行增强处理,得到N个第三图像。
其中,第一模型可以是用于分别对每个图像组中的第一图像中的第二对象的清晰度进行增强处理的模型。
在本申请的一些实施例中,可以分别将每个图像组中第一图像输入至第一模型中,基于第一模型分别对每个图像组中第一图像中的第二对象的清晰度进行增强处理,得到N个第三图像。
在本申请的实施例中,通过第一模型分别对每个图像组中第一图像中的第二对象的清晰度进行增强处理,如此提升了第三图像的确定效率。
在本申请的一些实施例中,为了精确得到第一模型,在所述分别将每个图像组中第一图像输入至第一模型中之前,上述所涉及的方法还可以包括:
获取原始训练集,其中,原始训练集包括至少两组训练样本,其中,每组训练样本包括拍摄的第二对象的历史图像;
针对每组训练样本,将历史图像输入至第二模型的生成器中,得到第一生成图像;
将第一生成图像输入至第二模型的判别器中,得到第一生成图像符合第二条件的概率值;
在概率值不满足训练停止条件的情况下,将第一生成图像输入至生成器中,得到第二生成图像;
将第二生成图像更新为第一生成图像,返回执行将第一生成图像输入至第二模型的判别器中,得到第一生成图像为符合第二预设条件的概率值,在概率值不满足训练停止条件的情况下,将第一生成图像输入至生成器中,得到第二生成图像的步骤,直至第二模型的判别器输出的概率值满足训练停止条件为止,得到第一模型。
其中,原始训练集可以是用于对第二模型进行训练的训练样本的集合。这里的第二模型可以是第一模型训练之前的模型。
训练样本可以是用于对第二模型进行训练的样本。训练样本中可以包括第二对象的历史图像,这里的历史图像可以是在当前时间之前拍摄的第二对象的图像。
第二模型的生成器可以是用于生成假数据的器件,具体的该生成器可以是一个神经网络模型,该生成器可以计算一个随机数据,并生成一个与真实数据类似的假数据,即生成器的目的是生成能够欺骗判别器的假数据。
第二模型的判别器可以是用于判断输入其中的数据是真数据还是假数据。该判别器通常也可以是一个神经网络模型,其接收一个输入数据,并输出该数据为真实数据的概率值。判别器的目标是尽可能地区分出真数据和假数据。
在本申请的一些实施例中,生成器和判别器是一通过对抗学***衡状态,即生成器可以生成与真实数据无法区分的假数据。
第一生成图像可以是将历史图像输入到生成器中后,基于生成器生成与历史图像对应的图像。
第二条件可以是预先设置的第一生成图像所满足的条件,例如可以是判断第一生成图像为真实的第二对象的图像。
训练停止条件可以是第二模型训练停止的条件,该训练停止条件可以是第一生成图像符号第二条件的概率值是否大于某一阈值,若大于某一阈值,则第一生成图像符合第二条件的概率值满足训练停止条件,否则不满足训练停止条件。
第二生成图像可以是在第一生成图像符合第二条件的概率值不满足训练停止条件的情况下,将第一生成图像输入到生成器中后生成的图像。
在本申请的一些实施例中,参考图6,图6为第一模型的确定过程的示意图,第一模型的确定过程包括如下S610-S640。
S610、获取第二对象的历史图像。
S620、将历史图像输入至生成器中,得到第一生成图像。
S630、判断第一生成图像符合第二条件的概率值是否满足训练停止条件,若满足,则执行S640,若不满足,则对抗学习,将第一生成图像输入到生成器中,生成第二生成图像,将第二生成图像作为判别器的输入,判断第二生成图像符合第二预设条件的概率值是否满足训练停止条件,若不满足,则继续对抗学习。
S640、输出第二对象的清晰度增强后的图像。
以第二对象为月亮为例,上述S610-S640的过程即为:将第一摄像头拍摄的第二对象的历史图像输入至第二模型的生成器中,生成第一生成图像,然后将第一生成图像作为判别器的输入,判断第一生成图像符合第二预设条件的概率值是否满足训练停止条件,若第二对象为月亮,则判别器判断生成器生成的月亮的图像是否满足真实月亮的判断,若不满足,则对抗学习,将第一生成图像输入到生成器中,生成第二生成图像,将第二生成图像作为判别器的输入,判断第二生成图像符合第二条件的概率值是否满足训练停止条件,若不满足,则继续对抗学习,若满足,则将生成器最后生成的图像作为最后增强后的图像,即可得到第一模型。
需要说明的是,判别器在判断生成器生成的图像是否满足真实月亮的判断时,是与一张纹理清晰度满足用户需求的月亮的图像作为判断标准的。
在本申请的实施例中,通过利用对抗学习来训练第二模型,可得到更好的对第二对象进行增强处理的第一模型,进而后续可根据该第一模型对第一图像中的第二对象进行增强处理,得到清晰度较好的第三图像,进而得到具有清晰纹理的第二对象的第一视频,提升了第一视频中第二对象的清晰度。
在本申请的一些实施例中,除了上述的可利用第一模型对第一图像中的第二对象的清晰度进行增强处理外,还利用其他的方式对第一图像中的第二对象的清晰度进行处理。具体的方式为:为了进一步提升第一视频中第二对象的清晰度,在S130之前,上述所涉及的方法还可以包括:
对每个图像组中的第一图像进行第一倍数的放大处理,得到N个第四图像;
所述将每个图像组中的第二图像中的第二对象替换为第一图像中的第二对象,得到N个融合图像,具体可以包括:
将每个图像组中的第二图像中的第二对象替换为第四图像中的第二对象,得到N个融合图像。
其中,第四图像可以是对第一图像进行第一倍数的放大处理后的图像。第一倍数可以是预先设置的对第一图像进行放大的倍数,例如可以是3倍,具体的第一倍数的数值可根据用户需求自行设置,在本申请实施例中不做限定。
在本申请的一些实施例中,在得到第一图像后,若第一图像中的第二对象的清晰度未达到用户所需要的清晰度,则可将第一图像进行第一倍数的放大处理,以此来对第一图像中的第二对象的清晰度进行增强处理,得到第四图像,如此在将每个图像组中的第二图像中的第二对象替换为第一图像中的第二对象时可以是将每个图像组中的第二图像中的第二对象替换为第四图像中的第二对象,得到N个融合图像。
在本申请的实施例中,通过将每个图像组中的第一图像进行第一倍数的放大处理,得到N个第四图像,如此可得到更加清晰第二对象的图像,进而得到具有清晰纹理的第二对象的第一视频,提升了第一视频中第二对象的清晰度。
在本申请的一些实施例中,在对第一图像中的第二对象的清晰度进行增强处理时,还可以是采用上述两种增强方式,如此对第二对象的清晰度的增强效果更好。具体的可以是:在分别对每个图像组中第一图像中的第二对象的清晰度进行增强处理,得到N个第三图像之后,上述所涉及的方法还可以包括:
对每个图像组中的第三图像进行第二倍数的放大处理,得到N个第五图像;
所述将每个图像组中的第二图像中的第二对象替换为第三图像中的第二对象,得到N个融合图像,具体可以包括:
将每个图像组中的第二图像中的第二对象替换为第五图像中的第二对象,得到N个融合图像。
其中,第五图像可以是对第三图像进行第二倍数的放大处理后的图像。第二倍数可以是预先设置的对第三图像进行放大的倍数,例如可以是5倍,具体的第二倍数的数值可根据用户需求自行设置,在本申请实施例中不做限定。
在本申请的一些实施例中,在得到第三图像后,若用户觉得第三图像中第二对象的清晰度还未达到用户的需求,则还可对第三图像进行第二倍数的放大处理,继续对第二对象的清晰度进行增强处理,得到第五图像,如此在将每个图像组中的第二图像中的第二对象替换为第三图像中的第二对象时可以是将每个图像组中的第二图像中的第二对象替换为第五图像中的第二对象,得到N个融合图像。
在本申请的实施例中,通过将每个图像组中的第三图像进行第二倍数的放大处理,得到N个第五图像,如此可得到更加清晰第二对象的图像,进而得到具有清晰纹理的第二对象的第一视频,提升了第一视频中第二对象的清晰度。
在本申请的一些实施例中,在采用上述两种清晰度增强方式对第一图像中的第二对象的清晰度进行增强处理时,除了可以先将第一图像输入至第一模型中,得到第三图像后,再对第三图像进行第二倍数的放大处理外,还可以是先对第一图像进行预设倍数的放大处理,然后再将放大处理后的第一图像输入至第一模型中。具体的是先将第一图像输入至第一模型中,再进行预设倍数的放大处理,还是先对第一图像进行预设倍数的放大处理,再将放大处理后的第一图像输入至第一模型中,可根据用户需求自行选择,在本申请实施例中不做限定。
在本申请的一些实施例中,在确定预览图像中不具有第二对象,或拍摄场景不满足第一条件的情况下,上述所涉及的方法还可以包括:
响应于用户的第一输入,得到不同拍摄时刻下拍摄到的M个第六图像,其中,第六图像中包括第二对象和地景,M为正整数;
基于M个第六图像,得到第一视频。
其中,第六图像可以是利用相机的直接拍摄的常规的一张具有第二对象和拍摄场景中的背景的图像,例如可以是如图2所示的图像。
在得到M个第六图像后,可将M个第六图像按照每张第六图像的拍摄时间顺序串联成第一视频。
在一个示例中,以第二对象为月亮,地景为建筑物为例,将晚上6点-12点期间得到的7张第六图像按照时间顺序串联起来,可得到图6所示的用于描述月亮的运动轨迹的建筑地景的第一视频的示意图,由于第一视频中建筑基本是不会有大的变化的,月亮会随着时间的移动不断改变位置,故将第一视频中每一次月亮的位置变化整理在一起,即可得到图7所示的月亮相对建筑物62不断变化的情况,在图7中月亮在位置1处为晚上6点的月亮相对于建筑物62的位置,位置2处为晚上7点的月亮相对于建筑物62的位置,位置3处为晚上8点的月亮相对于建筑物62的位置,位置4处为晚上9点的月亮相对于建筑物62的位置,位置5处为晚上10点的月亮相对于建筑物62的位置,位置6处为晚上11点的月亮相对于建筑物62的位置,位置7处为晚上12点的月亮相对于建筑物62的位置。
从图5和图7中可看出,通过本申请实施例的方案所得到第一视频中的第二对象的纹理相较于现有技术更加而言更加清晰。
本申请实施例提供的视频生成方法,执行主体可以为视频生成装置。本申请实施例中以视频生成装置执行视频生成方法为例,说明本申请实施例提供的视频生成装置。
图8是根据一示例性实施例示出的一种视频生成装置的结构示意图。
如图8所示,该视频生成装置800可以包括:
显示模块810,用于显示拍摄场景的预览图像,其中,所述预览图像中包括第一对象;
第一确定模块820,用于在确定所述预览图像中具有第二对象,且所述拍摄场景满足第一条件的情况下,响应于用户的第一输入,得到不同拍摄时刻下拍摄到的N个图像组,其中,每个所述图像组包括第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像,所述第一图像包括所述第二对象,所述第二图像包括所述第一对象和所述第二对象,N为正整数;
替换模块830,用于将每个所述图像组中的所述第二图像中的所述第二对象替换为所述第一图像中的所述第二对象,得到N个融合图像;
第二确定模块840,用于基于N个融合图像,生成第一视频。
在本申请实施例中,在确定显示的拍摄场景的预览图像中具有第二对象,且拍摄场景满足第一条件的情况下,通过响应于用户的第一输入,可得到不同拍摄时刻下拍摄到的N个图像组,每个图像组包括第一摄像头拍摄的包括第二对象的第一图像和第二摄像头拍摄的包括第二对象和第一对象的第二图像,如此通过第一摄像头和第二摄像头可分别得到纹理清晰的第二对象的第一图像,以及具有第二对象和大视野的第一对象的第二图像,如此在将每个图像组中的第二图像中的第二对象替换为第一图像中的第二对象后,可得到具有清晰纹理的第二对象和大视野的第一对象的多个融合图像,进而可得到包括清晰纹理的第二对象和大视野的第一对象的第一视频。
在本申请的一些实施例中,上述所涉及的装置还可以包括:
增强模块,用于分别对每个所述图像组中所述第一图像中的所述第二对象的清晰度进行增强处理,得到N个第三图像;
替换模块830具体可以用于:
将每个所述图像组中的所述第二图像中的所述第二对象替换为所述第三图像中的所述第二对象,得到N个融合图像。
在本申请的一些实施例中,上述所涉及的装置还可以包括:
第三确定模块,用于对每个所述图像组中的所述第一图像进行第一倍数的放大处理,得到N个第四图像;
替换模块830具体可以用于:
将每个所述图像组中的所述第二图像中的所述第二对象替换为所述第四图像中的所述第二对象,得到N个融合图像。
在本申请的一些实施例中,上述所涉及的装置还可以包括:
第四确定模块,用于对每个所述图像组中的所述第三图像进行第二倍数的放大处理,得到N个第五图像;
替换模块830具体可以用于:
将每个所述图像组中的所述第二图像中的所述第二对象替换为所述第五图像中的所述第二对象,得到N个融合图像。
在本申请的一些实施例中,所述增强模块具体可以用于:
分别将每个所述图像组中所述第一图像输入至第一模型中,基于所述第一模型分别对每个所述图像组中所述第一图像中的所述第二对象的清晰度进行增强处理,得到N个第三图像。
本申请实施例中的视频生成装置可以是电子设备,也可以是电子设备中的部件,例如集成电路或芯片。该电子设备可以是终端,也可以为除终端之外的其他设备。示例性的,电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device,MID)、增强现实(augmented reality,AR)/虚拟现实(virtualreality,VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer,UMPC)、上网本或者个人数字助理(personal digital assistant,PDA)等,还可以为服务器、网络附属存储器(Network Attached Storage,NAS)、个人计算机(personalcomputer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的视频生成装置可以为具有操作***的装置。该操作***可以为安卓(Android)操作***,可以为iOS操作***,还可以为其他可能的操作***,本申请实施例不作具体限定。
本申请实施例提供的视频生成装置能够实现图1的方法实施例实现的各个过程,为避免重复,这里不再赘述。
可选地,如图9所示,本申请实施例还提供一种电子设备900,包括处理器901和存储器902,存储器902上存储有可在所述处理器901上运行的程序或指令,该程序或指令被处理器901执行时实现上述视频生成方法实施例的各个步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图10为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备1000包括但不限于:射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、以及处理器1010等部件。
本领域技术人员可以理解,电子设备1000还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理***与处理器1010逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。图10中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,显示单元1006,用于显示拍摄场景的预览图像,其中,所述预览图像中包括第一对象;
处理器1010,用于在确定所述预览图像中具有第二对象,且所述拍摄场景满足第一条件的情况下,响应于用户的第一输入,得到不同拍摄时刻下拍摄到的N个图像组,其中,每个图像组包括第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像,所述第一图像包括所述第二对象,所述第二图像包括所述第一对象和所述第二对象,N为正整数;将每个所述图像组中的所述第二图像中的所述第二对象替换为所述第一图像中的所述第二对象,得到N个融合图像;基于N个融合图像,生成第一视频。
如此,在确定显示的拍摄场景的预览图像中具有第二对象,且拍摄场景满足第一条件的情况下,通过响应于用户的第一输入,可得到不同拍摄时刻下拍摄到的N个图像组,每个图像组包括第一摄像头拍摄的包括第二对象的第一图像和第二摄像头拍摄的包括第二对象和第一对象的第二图像,如此通过第一摄像头和第二摄像头可分别得到纹理清晰的第二对象的第一图像,以及具有第二对象和大视野的第一对象的第二图像,如此在将每个图像组中的第二图像中的第二对象替换为第一图像中的第二对象后,可得到具有清晰纹理的第二对象和大视野的第一对象的多个融合图像,进而可得到包括清晰纹理的第二对象和大视野的第一对象的第一视频。
可选地,处理器1010,还用于分别对每个所述图像组中所述第一图像中的所述第二对象的清晰度进行增强处理,得到N个第三图像;将每个所述图像组中的所述第二图像中的所述第二对象替换为所述第三图像中的所述第二对象,得到N个融合图像。
如此,通过对第一图像中的第二对象的清晰度进行增强处理,如此可得到清晰度更好的N个第三图像,进而可将每个图像组中的第二图像中的第二对象替换为第三图像中的第二对象,得到N个融合图像,如此得到的融合图像中的第二对象的清晰度更好,进而可得到清晰度较好的第二对象的第一视频。
可选地,处理器1010,还用于对每个所述图像组中的所述第一图像进行第一倍数的放大处理,得到N个第四图像;将每个所述图像组中的所述第二图像中的所述第二对象替换为所述第四图像中的所述第二对象,得到N个融合图像。
如此,通过将每个图像组中的第一图像进行第一倍数的放大处理,得到N个第四图像,如此可得到更加清晰第二对象的图像,进而得到具有清晰纹理的第二对象的第一视频,提升了第一视频中第二对象的清晰度。
可选地,处理器1010,还用于对每个所述图像组中的所述第三图像进行第二倍数的放大处理,得到N个第五图像;将每个所述图像组中的所述第二图像中的所述第二对象替换为所述第五图像中的所述第二对象,得到N个融合图像。
如此,通过将每个图像组中的第三图像进行第二倍数的放大处理,得到N个第五图像,如此可得到更加清晰第二对象的图像,进而得到具有清晰纹理的第二对象的第一视频,提升了第一视频中第二对象的清晰度。
可选地,处理器1010,还用于分别将每个所述图像组中所述第一图像输入至第一模型中,基于所述第一模型分别对每个所述图像组中所述第一图像中的所述第二对象的清晰度进行增强处理,得到N个第三图像。
如此,通过第一模型分别对每个图像组中第一图像中的第二对象进行增强处理,如此提升了第三图像的确定效率。
应理解的是,本申请实施例中,输入单元1004可以包括图形处理器(GraphicsProcessing Unit,GPU)10041和麦克风10042,图形处理器10041对在视频捕获模式或图像捕获模式中由图像捕获装置(如彩色摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1006可包括显示面板10061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板10061。用户输入单元1007包括触控面板10071以及其他输入设备10072中的至少一种。触控面板10071,也称为触摸屏。触控面板10071可包括触摸检测装置和触摸控制器两个部分。其他输入设备10072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
存储器1009可用于存储软件程序以及各种数据。存储器1009可主要包括存储程序或指令的第一存储区和存储数据的第二存储区,其中,第一存储区可存储操作***、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外,存储器1009可以包括易失性存储器或非易失性存储器,或者,存储器1009可以包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本申请实施例中的存储器1009包括但不限于这些和任意其它适合类型的存储器。
处理器1010可包括一个或多个处理单元;可选的,处理器1010集成应用处理器和调制解调处理器,其中,应用处理器主要处理涉及操作***、用户界面和应用程序等的操作,调制解调处理器主要处理无线通信信号,如基带处理器。可以理解的是,上述调制解调处理器也可以不集成到处理器1010中。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述视频生成方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述视频生成方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为***级芯片、***芯片、芯片***或片上***芯片等。
本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如上述视频生成方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。

Claims (10)

1.一种视频生成方法,其特征在于,所述方法包括:
显示拍摄场景的预览图像,其中,所述预览图像中包括第一对象;
在所述预览图像中包括第二对象,且所述拍摄场景满足第一条件的情况下,响应于用户的第一输入,得到不同拍摄时刻下拍摄到的N个图像组,其中,每个所述图像组包括第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像,所述第一图像包括所述第二对象,所述第二图像包括所述第一对象和所述第二对象,N为正整数;
将每个所述图像组中的所述第二图像中的所述第二对象替换为所述第一图像中的所述第二对象,得到N个融合图像;
基于N个融合图像,生成第一视频。
2.根据权利要求1所述的方法,其特征在于,在所述将每个所述图像组中的所述第二图像中的所述第二对象替换为所述第一图像中的所述第二对象,得到N个融合图像之前,所述方法还包括:
分别对每个所述图像组中所述第一图像中的所述第二对象的清晰度进行增强处理,得到N个第三图像;
所述将每个所述图像组中的所述第二图像中的所述第二对象替换为所述第一图像中的所述第二对象,得到N个融合图像,包括:
将每个所述图像组中的所述第二图像中的所述第二对象替换为所述第三图像中的所述第二对象,得到所述N个融合图像。
3.根据权利要求1所述的方法,其特征在于,在所述将每个所述图像组中的所述第二图像中的所述第二对象替换为所述第一图像中的所述第二对象,得到N个融合图像之前,所述方法还包括:
对每个所述图像组中的所述第一图像进行第一倍数的放大处理,得到N个第四图像;
所述将每个所述图像组中的所述第二图像中的所述第二对象替换为所述第一图像中的所述第二对象,得到N个融合图像,包括:
将每个所述图像组中的所述第二图像中的所述第二对象替换为所述第四图像中的所述第二对象,得到N个融合图像。
4.根据权利要求2所述的方法,其特征在于,在所述分别对每个所述图像组中所述第一图像中的所述第二对象的清晰度进行增强处理,得到N个第三图像之后,所述方法还包括:
对每个所述图像组中的所述第三图像进行第一倍数的放大处理,得到N个第五图像;
所述将每个所述图像组中的所述第二图像中的所述第二对象替换为所述第三图像中的所述第二对象,得到所述N个融合图像,包括:
将每个所述图像组中的所述第二图像中的所述第二对象替换为所述第五图像中的所述第二对象,得到N个融合图像。
5.根据权利要求2所述的方法,其特征在于,所述分别对每个所述图像组中所述第一图像中的所述第二对象进行增强处理,得到N个第三图像,包括:
分别将每个所述图像组中所述第一图像输入至第一模型中,基于所述第一模型分别对每个所述图像组中所述第一图像中的所述第二对象的清晰度进行增强处理,得到N个第三图像。
6.一种视频生成装置,其特征在于,所述装置包括:
显示模块,用于显示拍摄场景的预览图像,其中,所述预览图像中包括第一对象;
第一确定模块,用于在确定所述预览图像中具有第二对象,且所述拍摄场景满足第一条件的情况下,响应于用户的第一输入,得到不同拍摄时刻下拍摄到的N个图像组,其中,每个所述图像组包括第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像,所述第一图像包括所述第二对象,所述第二图像包括所述第一对象和所述第二对象,N为正整数;
替换模块,用于将每个所述图像组中的所述第二图像中的所述第二对象替换为所述第一图像中的所述第二对象,得到N个融合图像;
第二确定模块,用于基于N个融合图像,生成第一视频。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
增强模块,用于分别对每个所述图像组中所述第一图像中的所述第二对象的清晰度进行增强处理,得到N个第三图像;
所述替换模块具体用于:
将每个所述图像组中的所述第二图像中的所述第二对象替换为所述第三图像中的所述第二对象,得到N个融合图像。
8.根据权利要求6所述的装置,其特征在于,所述装置还包括:
第三确定模块,用于对每个所述图像组中的所述第一图像进行第一倍数的放大处理,得到N个第四图像;
所述替换模块具体用于:
将每个所述图像组中的所述第二图像中的所述第二对象替换为所述第四图像中的所述第二对象,得到N个融合图像。
9.根据权利要求7所述的装置,其特征在于,所述装置还包括:
第四确定模块,用于对每个所述图像组中的所述第三图像进行第一倍数的放大处理,得到N个第五图像;
所述替换模块具体用于:
将每个所述图像组中的所述第二图像中的所述第二对象替换为所述第五图像中的所述第二对象,得到N个融合图像。
10.根据权利要求7所述的装置,其特征在于,所述增强模块具体用于:
分别将每个所述图像组中所述第一图像输入至第一模型中,基于所述第一模型分别对每个所述图像组中所述第一图像中的所述第二对象的清晰度进行增强处理,得到N个第三图像。
CN202311445773.6A 2023-11-01 2023-11-01 视频生成方法及其装置 Pending CN117528179A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311445773.6A CN117528179A (zh) 2023-11-01 2023-11-01 视频生成方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311445773.6A CN117528179A (zh) 2023-11-01 2023-11-01 视频生成方法及其装置

Publications (1)

Publication Number Publication Date
CN117528179A true CN117528179A (zh) 2024-02-06

Family

ID=89755958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311445773.6A Pending CN117528179A (zh) 2023-11-01 2023-11-01 视频生成方法及其装置

Country Status (1)

Country Link
CN (1) CN117528179A (zh)

Similar Documents

Publication Publication Date Title
CN111612009B (zh) 文本识别方法、装置、设备和存储介质
CN112911147B (zh) 显示控制方法、显示控制装置及电子设备
CN112532882B (zh) 图像显示方法和装置
CN113794831B (zh) 视频拍摄方法、装置、电子设备及介质
CN112887615A (zh) 拍摄的方法及装置
CN117152660A (zh) 图像显示方法及其装置
CN114500852B (zh) 拍摄方法、拍摄装置、电子设备和可读存储介质
CN117528179A (zh) 视频生成方法及其装置
CN114245017A (zh) 一种拍摄方法、装置及电子设备
CN114466140A (zh) 图像拍摄方法及装置
CN113473012A (zh) 虚化处理方法、装置和电子设备
CN114143455B (zh) 拍摄方法、装置及电子设备
CN112165584A (zh) 录像方法、装置、电子设备以及可读存储介质
CN111857350A (zh) 用于旋转显示设备的方法及装置、设备
CN114222069B (zh) 拍摄方法、拍摄装置及电子设备
CN114390205B (zh) 拍摄方法、装置和电子设备
CN112887621B (zh) 控制方法和电子设备
CN117097982B (zh) 目标检测方法及***
CN112367470B (zh) 图像处理方法、装置及电子设备
CN113923367B (zh) 拍摄方法、拍摄装置
CN117278842A (zh) 拍摄控制方法、装置、电子设备和可读存储介质
CN117119292A (zh) 图像处理方法及装置
CN117793513A (zh) 视频处理方法及其装置
CN114286009A (zh) 倒影图像拍摄方法、装置、电子设备及存储介质
CN117149038A (zh) 图像显示方法和图像显示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination