CN111432233B - 用于生成视频的方法、装置、设备和介质 - Google Patents

用于生成视频的方法、装置、设备和介质 Download PDF

Info

Publication number
CN111432233B
CN111432233B CN202010199332.2A CN202010199332A CN111432233B CN 111432233 B CN111432233 B CN 111432233B CN 202010199332 A CN202010199332 A CN 202010199332A CN 111432233 B CN111432233 B CN 111432233B
Authority
CN
China
Prior art keywords
image
target person
audio frame
audio
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010199332.2A
Other languages
English (en)
Other versions
CN111432233A (zh
Inventor
殷翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202010199332.2A priority Critical patent/CN111432233B/zh
Publication of CN111432233A publication Critical patent/CN111432233A/zh
Application granted granted Critical
Publication of CN111432233B publication Critical patent/CN111432233B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本公开的实施例公开了用于生成视频的方法、装置、设备和介质。该方法的一具体实施方式包括：获取目标语音音频和目标人员图像；针对目标语音音频包括的音频帧，基于该音频帧和目标人员图像，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列；基于目标语音音频和所生成的各个图像序列，生成表征目标人员执行与目标语音音频相对应的动作的视频。该实施方式可以根据获取的语音音频和人员图像，生成表征该人员执行与该语音音频相对应的动作的视频，从而丰富了视频的生成方式，提高了视频生成的灵活性。

Description

用于生成视频的方法、装置、设备和介质
技术领域
本公开的实施例涉及计算机技术领域，具体涉及用于生成视频的方法、装置、设备和介质。
背景技术
视频的流行是现在社会的一个趋势。这一现象的产生除了一些科技方面的音素(例如，智能手机的出现、4G网络的普及)之外，和人们自身也有关系。从用户的角度来说，人们的行为习惯正在改变，越来越多的用户通过视频来获取信息、记录自己的生活。
现阶段，用户对视频的制作需求呈日益多样化的发展趋势。例如，用户通常将自己拍摄或制作的视频分享给好友，发布在视频平台。多数情况下，用户希望视频中呈现的图像、声音、动作等更具美感，并且，拍摄和制作的流程简单、操作方便。
发明内容
本公开提出了用于生成视频的方法、装置、设备和介质。
第一方面，本公开的实施例提供了一种用于生成视频的方法，该方法包括：获取目标语音音频和目标人员图像；针对目标语音音频包括的音频帧，基于该音频帧和目标人员图像，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列；基于目标语音音频和所生成的各个图像序列，生成表征目标人员执行与目标语音音频相对应的动作的视频。
在一些实施例中，基于该音频帧和目标人员图像，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列，包括：基于该音频帧指示的音素信息，生成与该音频帧相对应的融合变形信息；基于与该音频帧相对应的融合变形信息和目标人员图像，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列。
在一些实施例中，基于该音频帧和目标人员图像，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列，包括：将该音频帧和目标人员图像输入至预先训练的图像生成模型，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列，其中，图像生成模型用于生成表征所输入的人员图像指示的人员执行与所输入的音频帧相对应的动作的图像序列。
在一些实施例中，将该音频帧和目标人员图像输入至预先训练的图像生成模型，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列，包括：将该音频帧输入至预先训练的图像生成模型中的第一网络模型，得到该音频帧指示的音素信息，其中，第一网络模型用于确定所输入的音频帧指示的音素信息；将该音频帧指示的音素信息和目标人员图像输入至图像生成模型中的第二网络模型，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列，其中，第二网络模型用于表征音素信息、人员图像与图像序列之间的对应关系。
在一些实施例中，第一网络模型通过如下步骤训练得到：获取训练样本集合，其中，训练样本集合中的训练样本包括音频帧和音频帧指示的音素信息；采用机器学习算法，将训练样本集合中的音频帧作为输入数据，将音频帧指示的音素信息作为期望输出数据，训练得到第一网络模型。
在一些实施例中，图像生成模型通过如下步骤训练得到：获取预设数量个目标视频，其中，目标视频是对人员进行语音音频和影像录制而获得的视频；从预设数量个目标视频中提取语音音频和与所提取的语音音频相匹配的图像序列；获取用于训练得到图像生成模型的初始模型；采用训练得到的第一网络模型的模型参数，初始化初始模型中，与所训练得到的第一网络模型的模型参数相对应的模型参数，得到中间模型；采用机器学习算法，将所提取的语音音频中的音频帧作为中间模型的输入数据，将与该音频帧相匹配的图像序列作为中间模型的期望输出数据，训练得到图像生成模型。
在一些实施例中，将所提取的语音音频中的音频帧作为中间模型的输入数据，将与该音频帧相匹配的图像序列作为中间模型的期望输出数据，训练得到图像生成模型，包括：响应于不满足预设训练结束条件，将所提取的语音音频中的音频帧输入至中间模型，得到中间模型的实际输出数据，以及基于实际输出数据和期望输出数据，调整中间模型的模型参数，其中，实际输出数据表征中间模型实际得到的图像序列，期望输出数据表征所提取的、与该音频帧相匹配的图像序列；响应于满足预设训练结束条件，将满足预设训练结束条件的中间模型作为图像生成模型。
在一些实施例中，预设训练结束条件包括以下至少一项：实际输出数据表征的图像序列与该音频帧相匹配；实际输出数据表征的图像序列中的两相邻的图像的相关度大于或等于预设相关度阈值，其中，相关度用于表征两目标人员图像在视频中相邻的概率。
在一些实施例中，获取目标语音音频和目标人员图像，包括：获取目标语音音频和目标人员的多张目标人员图像；以及，针对目标语音音频包括的音频帧，基于该音频帧和目标人员图像，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列，包括：对多张目标人员图像进行特征提取，得到图像特征信息；针对目标语音音频包括的音频帧，基于该音频帧和图像特征信息，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列。
在一些实施例中，目标人员图像包括目标人员的面部图像；与该音频帧相对应的动作表征：目标人员发出该音频帧指示的语音；与目标语音音频相对应的动作表征：目标人员发出目标语音音频指示的语音。
第二方面，本公开的实施例提供了一种用于生成视频的装置，该装置包括：获取单元，被配置成获取目标语音音频和目标人员图像；第一生成单元，被配置成针对目标语音音频包括的音频帧，基于该音频帧和目标人员图像，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列；第二生成单元，被配置成基于目标语音音频和所生成的各个图像序列，生成表征目标人员执行与目标语音音频相对应的动作的视频。
第三方面，本公开的实施例提供了一种用于生成视频的电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行，使得该一个或多个处理器实现如上述用于生成视频的方法中任一实施例的方法。
第四方面，本公开的实施例提供了一种用于生成视频的计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上述用于生成视频的方法中任一实施例的方法。
本公开的实施例提供的用于生成视频的方法、装置、设备和介质，通过获取目标语音音频和目标人员图像，然后，针对目标语音音频包括的音频帧，基于该音频帧和目标人员图像，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列，最后，基于目标语音音频和所生成的各个图像序列，生成表征目标人员执行与目标语音音频相对应的动作的视频，可以根据获取的语音音频和人员图像，生成表征该人员执行与该语音音频相对应的动作的视频，从而丰富了视频的生成方式，提高了视频生成的灵活性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：
图1是本公开的一个实施例可以应用于其中的示例性***架构图；
图2是根据本公开的用于生成视频的方法的一个实施例的流程图；
图3是根据本公开的用于生成视频的方法的一个应用场景的示意图；
图4是根据本公开的用于生成视频的方法的又一个实施例的流程图；
图5是根据本公开的用于生成视频的装置的一个实施例的结构示意图；
图6是适于用来实现本公开的实施例的电子设备的计算机***的结构示意图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本公开，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分。
需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
图1示出了可以应用本公开的实施例的用于生成视频的方法或用于生成视频的装置的实施例的示例性***架构100。
如图1所示，***架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送数据(例如发送目标语音音频和/或目标人员图像)等。终端设备101、102、103上可以安装有各种客户端应用，例如视频播放软件、视频处理应用、新闻资讯类应用、图像处理类应用、网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有信息处理功能的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如基于终端设备101、102、103发送的目标语音音频和目标人员图像，生成表征目标人员执行与目标语音音频相对应的动作的视频的后台视频处理服务器。后台视频处理服务器可以对接收到的目标语音音频和目标人员图像等数据进行分析等处理，从而生成表征目标人员执行与目标语音音频相对应的动作的视频。可选的，后台视频处理服务器还可以将所生成的视频反馈给终端设备，以供终端设备播放。作为示例，服务器105可以是云端服务器。
需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
还需要说明的是，本公开的实施例所提供的用于生成视频的方法可以由服务器执行，也可以由终端设备执行，还可以由服务器和终端设备彼此配合执行。相应地，用于生成视频的装置包括的各个部分(例如各个单元、子单元、模块、子模块)可以全部设置于服务器中，也可以全部设置于终端设备中，还可以分别设置于服务器和终端设备中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。当用于生成视频的方法运行于其上的电子设备不需要与其他电子设备进行数据传输时，该***架构可以仅包括用于生成视频的方法运行于其上的电子设备(例如服务器或终端设备)。
继续参考图2，示出了根据本公开的用于生成视频的方法的一个实施例的流程200。该用于生成视频的方法，包括以下步骤：
步骤201，获取目标语音音频和目标人员图像。
在本实施例中，用于生成视频的方法的执行主体(例如图1所示的服务器或终端设备)可以通过有线连接方式或者无线连接方式从其他电子设备，或者本地获取目标语音音频和目标人员图像。
其中，上述目标语音音频可以是任意语音音频。作为示例，该目标语音音频可以是用户输入的外语音频(例如英文音频)。
在一些情况下，上述目标语音音频还可以是用户阅读文字的语音音频。作为示例，用户使用的终端设备上可以呈现有待阅读的文字(例如英文文字)，在用户阅读该文字的过程中，上述终端设备可以对用户发出的语音进行录制，以及将所录制的语音音频作为目标语音音频。可选的，上述目标语音音频也可以是用户预先存储的语音音频。
在这里，在上述执行主体为终端设备的情况下，上述执行主体可以直接对用户发出的语音音频进行录制，从而获得目标语音音频；在上述执行主体为服务器的情况下，上述执行主体可以从用户使用的终端设备获取用户发出的语音音频(即目标语音音频)。
上述目标人员图像可以是目标人员的图像，目标人员可以是任意人员。作为示例，该目标人员可以是明星，目标人员图像可以是明星图像；该目标人员也可以是用户，目标人员图像也可以是用户图像。此外，目标人员图像可以是目标人员的局部图像(例如，面部图像)；目标人员图像也可以是目标人员的全身图像。
在这里，上述目标人员图像可以包括一个人员的一张人员图像，也可以包括一个人员的多张人员图像(即多张人员图像指示同一人员)。语音音频(包括目标语音音频)可以由一帧或多帧音频帧组成。
步骤202，针对目标语音音频包括的音频帧，基于该音频帧和目标人员图像，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列。
在本实施例中，针对步骤201获取到的目标语音音频包括的音频帧，上述执行主体可以基于该音频帧和步骤201获取到的目标人员图像，生成表征上述目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列。
其中，与该音频帧相对应的动作可以表征：目标人员发出该音频帧指示的语音。例如，如果该音频帧为“啊”的音频，那么，由于发出该音频帧指示的语音时需要张嘴，因而，与该音频帧相对应的动作可以表征：目标人员张嘴。此外，与该音频帧相对应的动作也可以表征：目标人员执行与该音频帧相对应的肢体动作。例如，如果该音频帧为“敬礼”的音频，那么，与该音频帧相对应的动作可以表征：目标人员敬礼。
在本实施例的一些可选的实现方式中，上述执行主体可以采用如下方式来执行该步骤202：
步骤一，基于该音频帧指示的音素信息，生成与该音频帧相对应的融合变形(Blendshap)信息。其中，音素信息可以指示音素(例如单音素或三音素等)，也可以是预先确定的音素集合中的各个音素的后验概率(即未经归一化处理的数值)。融合变形信息可以表征预先确定的各个元素的形变信息。作为示例，预先确定的元素可以包括但不限于图像中的以下任一项：眼睛、嘴巴、眉毛等等。实践中，通常在微笑时，可以执行眨眼和嘴角上扬的动作。在此情况下，融合变形信息可以表征眨眼和嘴角上扬。
作为示例，上述执行主体可以将该音频帧指示的音素信息输入至预先确定的信息生成模型，生成与该音频帧相对应的融合变形(Blendshap)信息。其中，上述信息生成模型可以表征音频帧指示的音素信息和融合变形信息之间的对应关系。例如，信息生成模型可以是表征音频帧指示的音素信息和融合变形信息的对应关系的二维表或数据库，也可以是采用机器学习算法训练得到的模型。
步骤二，基于与该音频帧相对应的融合变形信息和步骤201获取到的目标人员图像，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列。
作为示例，上述执行主体可以在获得融合变形信息之后，采用该融合变形信息，对步骤201获取到的目标人员图像进行调整，从而获得表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列。例如，如果融合变形信息表征眨眼和嘴角上扬，那么，上述执行主体可以对步骤201获取到的目标人员图像进行调整，从而获得表征目标人员图像指示的目标人员眨眼和嘴角上扬的图像序列。
在这里，该音频帧的播放时长，通常和与该音频帧相对应的动作的图像序列组成的视频的播放时长相同。
可以理解，上述可选的实现方式可以基于音素信息和融合变形信息，生成图像序列，从而可以提高最终生成的视频(通过后续步骤203生成的视频)中的图像(即视频帧)与步骤201获取的目标语音音频的匹配度，提高表征目标人员图像指示的目标人员执行与音频帧相对应的动作的准确度。
在本实施例的一些可选的实现方式中，上述执行主体可以采用如下方式执行上述步骤201：获取目标语音音频和目标人员的多张目标人员图像。
基于此，上述执行主体还可以采用如下方式执行上述步骤202：
首先，对多张目标人员图像进行特征提取，得到图像特征信息。其中，上述图像特征信息可以包括但不限于以下信息中的至少一项：关键点的位置信息，各个关键点之间的相对位置信息等等。其中，关键点可以包括但不限于以下至少一项：眼睛、眉毛、嘴巴、胳膊、腿、膝盖等等。
然后，针对目标语音音频包括的音频帧，基于该音频帧和图像特征信息，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列。
作为示例，针对目标语音音频包括的音频帧，上述执行主体可以将该音频帧和图像特征信息输入至预先训练的第一生成模型，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列。其中，上述第一生成模型可以表征音频帧、图像特征信息和表征目标人员图像指示的目标人员执行与音频帧相对应的动作的图像序列。第一生成模型可以采用机器学习算法训练得到。
可以理解，相对于采用一张目标人员图像的技术方案，上述可选的实现方式可以获得更丰富的图像特征信息，进而通过后续步骤生成包含更丰富的图像特征信息的视频。
步骤203，基于目标语音音频和所生成的各个图像序列，生成表征目标人员执行与目标语音音频相对应的动作的视频。
在本实施例中，上述执行主体可以基于步骤201获取到的目标语音音频和步骤202中所生成的各个图像序列，生成表征目标人员执行与该目标语音音频相对应的动作的视频。
可以理解，通常视频包括音频和图像序列(即视频帧序列)。上述步骤203生成的视频包括的音频可以为步骤201获取到的目标语音音频，上述步骤203生成的视频包括的图像序列可以由步骤202中所生成的各个图像序列组成。
继续参见图3，图3是根据本实施例的用于生成视频的方法的应用场景的一个示意图。在图3的应用场景中，终端设备301首先获取目标语音音频303(例如用户输入的“Hi,I'mTom”的英文语音音频)和目标人员图像302(例如用户上传的自拍图像)。然后，针对目标语音音频303包括的音频帧，终端设备301基于该音频帧和目标人员图像302，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列304。最后，终端设备301基于目标语音音频303和所生成的各个图像序列304，生成表征目标人员执行与目标语音音频相对应的动作的视频305。作为示例，所生成的视频305可以是目标人员(例如上述用户)阅读英文(例如“Hi,I'm Tom”)的视频，视频305可以呈现该目标人员的嘴部、眉毛和眼睛等动作，例如嘴部的张合与其所阅读的内容相匹配。可选的，用户还可以将所生成的视频305进行转发，以供其他用户进行播放、对比、评论、点赞、打分等操作。例如，用户可以基于视频中的音频发音是否准确、音频流畅程度等进行评分，从而对视频中的人员的口语进行校正。
本公开的上述实施例提供的方法，通过获取目标语音音频和目标人员图像，然后，针对目标语音音频包括的音频帧，基于该音频帧和目标人员图像，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列，最后，基于目标语音音频和所生成的各个图像序列，生成表征目标人员执行与目标语音音频相对应的动作的视频，由此可以根据获取的语音音频和人员图像，生成表征该人员执行与该语音音频相对应的动作的视频，从而丰富了视频的生成方式，提高了视频生成的灵活性。并且，有助于提高所生成的视频中的肢体语言的表现力。上述实施例提供的方法只需少量静态图像(可以是一张或多张)即可实现动态视频的生成，例如，可以生成让静态图像指示的人员说话的视频。
在本实施例的一些可选的实现方式中，目标人员图像包括目标人员的面部图像。与该音频帧相对应的动作表征：目标人员发出该音频帧指示的语音。与目标语音音频相对应的动作表征：目标人员发出目标语音音频指示的语音。
可以理解，上述可选的实现方式可以根据语音音频，对目标人员的面部图像进行调整(例如调整面部图像中的口型、眼睛、眉毛，使其与上述语音音频相匹配)，从而获得表征目标人员发出目标语音音频指示的语音的视频，进一步丰富了视频的生成方式，提高了视频生成的灵活性。并且，使得所生成的视频中的面部表情更丰富。
进一步参考图4，其示出了用于生成视频的方法的又一个实施例的流程400。该用于生成视频的方法的流程400，包括以下步骤：
步骤401，获取目标语音音频和目标人员图像。
在本实施例中，步骤401与图2对应实施例中的步骤201基本一致，这里不再赘述。
步骤402，针对目标语音音频包括的音频帧，将该音频帧和目标人员图像输入至预先训练的图像生成模型，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列。
在本实施例中，针对目标语音音频包括的音频帧，用于生成视频的方法的执行主体(例如图1所示的服务器或终端设备)可以将该音频帧和目标人员图像输入至预先训练的图像生成模型，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列。其中，图像生成模型用于生成表征所输入的人员图像指示的人员执行与所输入的音频帧相对应的动作的图像序列。
作为示例，上述图像生成模型可以是采用机器学习算法训练得到的生成式对抗网络，也可以是存储有音频帧、人员图像和表征人员图像指示的人员执行与音频帧相对应的动作的图像序列的二维表或数据库。
例如，上述执行主体可以将该音频帧和目标人员图像输入至上述生成式对抗网络，从而生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列。
作为示例，上述生成式对抗网络可以包括生成模型和判别模型。在该生成式对抗网络的训练过程中，生成模型可以用于根据所输入的音频帧和目标人员图像生成图像序列。判别模型可以用于判断所生成的图像序列是否与输入的音频帧相对应。作为示例，判别模型可以根据计算得到的损失函数的函数值与预设阈值之间的大小关系，来判断所生成的目标人员图像序列是否与输入的音频帧相对应。
应该理解，通常音频帧的播放需要持续一段时长，因而可以每间隔预定时长生成一张音频帧在该时刻对应的目标人员图像，从而获得目标人员图像序列。例如，如果音频帧的播放时长为22毫秒，示例性的，可以每间隔2毫秒生成一张音频帧在该时刻对应的目标人员图像，从而依次获得音频帧在0毫秒、2毫秒、4毫秒、6毫秒、8毫秒、10毫秒、12毫秒、14毫秒、16毫秒、18毫秒、20毫秒、22毫秒分别对应的目标人员图像。在这里，如果音频帧为“啊”的音频，那么在发出该音频帧指示的语音的过程中，通常需要口型产生由闭合到张开，再到闭合的变化，在此情况下，所生成的目标人员图像序列可以指示口型由闭合逐渐过渡到张开，再由张开逐渐过渡到闭合。
步骤403，基于目标语音音频和所生成的各个图像序列，生成表征目标人员执行与目标语音音频相对应的动作的视频。
在本实施例中，步骤403与图2对应实施例中的步骤203基本一致，这里不再赘述。
需要说明的是，除上面所记载的内容外，本申请实施例还可以包括与图2对应的实施例相同或类似的特征、效果，在此不再赘述。
从图4中可以看出，本实施例中的用于生成视频的方法的流程400可以采用图像生成模型，来生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列，从而有助于提高所生成的视频中图像与语音的匹配程度。
在本实施例的一些可选的实现方式中，针对目标语音音频包括的音频帧，上述执行主体还可以采用如下步骤执行上述步骤402：
步骤一，将该音频帧输入至预先训练的图像生成模型中的第一网络模型，得到该音频帧指示的音素信息。其中，第一网络模型用于确定所输入的音频帧指示的音素信息。
步骤二，将该音频帧指示的音素信息和目标人员图像输入至图像生成模型中的第二网络模型，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列。其中，第二网络模型用于表征音素信息、人员图像与图像序列之间的对应关系。
可以理解，上述可选的实现方式可以首先通过第一网络模型得到音频帧指示的音素信息，再通过第二网络模型生成表征目标人员图像指示的目标人员执行与音频帧相对应的动作的图像序列，从而可以进一步提高最终生成的视频中的图像(即视频帧)与目标语音音频的匹配度，提高表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的准确度。
在上述可选的实现方式的一些应用场景中，第一网络模型可以经由上述执行主体或者与上述执行主体通信连接的电子设备，通过如下步骤训练得到：
获取训练样本集合。其中，训练样本集合中的训练样本包括音频帧和音频帧指示的音素信息。
采用机器学习算法，将训练样本集合中的音频帧作为输入数据，将音频帧指示的音素信息作为期望输出数据，训练得到第一网络模型。
实践中，在训练过程中，可以将训练样本集合中的音频帧作为初始模型的输入数据，从而得到初始模型的实际输出数据。其中，实际输出数据可以是初始模型计算得到的音素信息。之后，采用梯度下降法，基于实际输出数据和期望输出数据，调整初始模型的参数，从而获得满足预设条件的初始模型，以及将上述满足预设条件的初始模型作为第一网络模型。或者，也可以将满足预设条件的初始模型中的、除输出层之外的模型结构作为第一网络模型。
上述初始模型可以是包含卷积层、输出层等模型结构的卷积神经网络。上述预设条件可以包括但不限于以下至少一项：训练次数大于等于预设次数，训练时长超过预设时长，基于期望输出数据和实际输出数据计算得到的损失函数的函数值小于或等于预设阈值。
可以理解，在上述应用场景中，可以采用机器学习算法训练得到第一网络模型，从而可以提高音素信息确定的准确度。
在上述应用场景中的一些示例中，图像生成模型通过如下步骤训练得到：
步骤一，获取预设数量个目标视频。其中，目标视频是对人员进行语音音频和影像录制而获得的视频。
在这里，上述预设数量个目标视频可以分别对不同的人员进行语音音频和影像录制而获得。作为示例，上述预设数量可以是1000，视频与人员一一对应，每个视频的播放时长可以是2至3分钟。
步骤二，从预设数量个目标视频中提取语音音频和与所提取的语音音频相匹配的图像序列。
其中，与语音音频相匹配的图像序列可以指示人员执行该语音音频指示的动作。
步骤三，获取用于训练得到图像生成模型的初始模型。
其中，该步骤三中的初始模型可以包括但不限于以下模型结构：卷积层、全连接层、输出层等等。该初始模型与第一网络模型可以包含相同的模型结构和模型参数。
步骤四，采用训练得到的第一网络模型的模型参数，初始化初始模型中，与所训练得到的第一网络模型的模型参数相对应的模型参数，得到中间模型。
其中，与第一网络模型的模型参数相对应的模型参数可以是与第一网络模型的模型参数相同的模型参数。
步骤五，采用机器学习算法，将所提取的语音音频中的音频帧作为中间模型的输入数据，将与该音频帧相匹配的图像序列作为中间模型的期望输出数据，训练得到图像生成模型。
可以理解，在上述示例中，可以首先采用第一网络模型的模型参数，初始化初始模型中，与所训练得到的第一网络模型的模型参数相对应的模型参数，得到中间模型，然后，基于中间模型训练得到图像生成模型，从而可以使得音素信息的相关信息(例如音频帧指示的音素信息为预先确定的各个音素信息的后验概率(即未经归一化处理的数值))作为最终训练得到的图像生成模型的中间特征信息，进而提高了图像生成模型生成图像序列的准确度。
在上述示例的一些情况下，可以采用机器学习算法，通过如下方式，来执行上述步骤五：
首先，在不满足预设训练结束条件的情况下，将所提取的语音音频中的音频帧输入至中间模型，得到中间模型的实际输出数据，以及基于实际输出数据和期望输出数据，调整中间模型的模型参数。其中，实际输出数据表征中间模型实际得到的图像序列，期望输出数据表征所提取的、与该音频帧相匹配的图像序列。
在这里，上述“调整中间模型的模型参数”可以是调整中间模型的全部模型参数，也可以是调整中间模型的部分模型参数。
然后，在满足预设训练结束条件的情况下，将满足预设训练结束条件的中间模型作为图像生成模型。
其中，上述训练结束条件可以用于确定是否结束模型训练。作为示例，训练结束条件可以包括但不限于以下至少一项：训练次数大于等于预设次数，训练时长超过预设时长，基于期望输出数据和实际输出数据计算得到的损失函数的函数值小于或等于预设阈值。
此外，上述预设训练结束条件也可以包括以下至少一项：
第一项，实际输出数据表征的图像序列与该音频帧相匹配。
其中，上述执行主体可以通过预先训练的第一判定模型，来判断实际输出数据表征的图像序列与音频帧是否相匹配。上述第一判定模型可以采用机器学习算法训练得到。示例性的，上述第一判定模型可以是帧鉴别器(frame discriminator)。
第二项，实际输出数据表征的图像序列中的两相邻的图像的相关度大于或等于预设相关度阈值。其中，相关度用于表征两目标人员图像在视频中相邻的概率。
其中，上述执行主体可以通过预先训练的第二判定模型，来判断实际输出数据表征的图像序列中的两相邻的图像的相关度是否大于或等于预设相关度阈值。上述第二判定模型可以采用机器学习算法训练得到。示例性的，上述第二判定模型可以是序列鉴别器(Sequence discriminator)。
实践中，可以通过损失函数的函数值来体现实际输出数据表征的图像序列与音频帧是否相匹配，和/或，实际输出数据表征的图像序列中的两相邻的图像的相关度与预设相关度阈值之间的大小关系。例如，在实际输出数据表征的图像序列与音频帧不相匹配，或者，实际输出数据表征的图像序列中的两相邻的图像的相关度小于预设相关度阈值的情况下，计算得到的损失函数的函数值可以大于预设阈值。在此情况下，可以通过调整中间模型的模型参数，以便最终获得图像生成模型，进而使得最终生成的视频中的图像序列与音频帧更为匹配，提高最终生成的视频中的两相邻图像的衔接性，使得所生成的视频与直接录制的视频更为接近。
作为示例，在上述情况下，用于训练图像生成模型的初始模型可以包括编码解码(Encoder-decoder)模型和鉴别器(discriminator)模型。
可以理解，当预设训练结束条件包括上述第一项时，可以使得最终获得的视频中的图像序列与音频帧更为匹配；当预设训练结束条件包括上述第二项时，可以提高最终获得的视频中的两相邻图像的衔接性，使得所生成的视频与直接录制的视频更为接近。
进一步参考图5，作为对上述各图所示方法的实现，本公开提供了一种用于生成视频的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，除下面所记载的特征外，该装置实施例还可以包括与图2所示的方法实施例相同或相应的特征，以及产生与图2所示的方法实施例相同或相应的效果。该装置具体可以应用于各种电子设备中。
如图5所示，本实施例的用于生成视频的装置500包括：获取单元501、第一生成单元502和第二生成单元503。其中，获取单元501，被配置成获取目标语音音频和目标人员图像；第一生成单元502，被配置成针对目标语音音频包括的音频帧，基于该音频帧和目标人员图像，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列；第二生成单元503，被配置成基于目标语音音频和所生成的各个图像序列，生成表征目标人员执行与目标语音音频相对应的动作的视频。
在本实施例中，用于生成视频的装置500的获取单元501可以通过有线连接方式或者无线连接方式从其他电子设备，或者本地获取目标语音音频和目标人员图像。
在本实施例中，针对获取单元501获取到的目标语音音频包括的音频帧，上述第一生成单元502可以基于该音频帧和获取单元501获取到的目标人员图像，生成表征上述目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列。
在本实施例中，上述第二生成单元503可以基于获取单元501获取到的目标语音音频和第一生成单元502所生成的各个图像序列，生成表征目标人员执行与该目标语音音频相对应的动作的视频。
在本实施例的一些可选的实现方式中，第一生成单元502包括：第一生成子单元(图中未示出)，被配置成基于该音频帧指示的音素信息，生成与该音频帧相对应的融合变形信息；第二生成子单元(图中未示出)，被配置成基于与该音频帧相对应的融合变形信息和目标人员图像，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列。
在本实施例的一些可选的实现方式中，第一生成单元502包括：第三生成子单元(图中未示出)，被配置成将该音频帧和目标人员图像输入至预先训练的图像生成模型，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列，其中，图像生成模型用于生成表征所输入的人员图像指示的人员执行与所输入的音频帧相对应的动作的图像序列。
在本实施例的一些可选的实现方式中，第三生成子单元包括：第一输入模块(图中未示出)，被配置成将该音频帧输入至预先训练的图像生成模型中的第一网络模型，得到该音频帧指示的音素信息，其中，第一网络模型用于确定所输入的音频帧指示的音素信息；第二输入模块(图中未示出)，被配置成将该音频帧指示的音素信息和目标人员图像输入至图像生成模型中的第二网络模型，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列，其中，第二网络模型用于表征音素信息、人员图像与图像序列之间的对应关系。
在本实施例的一些可选的实现方式中，第一网络模型通过如下步骤训练得到：获取训练样本集合，其中，训练样本集合中的训练样本包括音频帧和音频帧指示的音素信息；采用机器学习算法，将训练样本集合中的音频帧作为输入数据，将音频帧指示的音素信息作为期望输出数据，训练得到第一网络模型。
在本实施例的一些可选的实现方式中，图像生成模型通过如下步骤训练得到：获取预设数量个目标视频，其中，目标视频是对人员进行语音音频和影像录制而获得的视频；从预设数量个目标视频中提取语音音频和与所提取的语音音频相匹配的图像序列；获取用于训练得到图像生成模型的初始模型；采用训练得到的第一网络模型的模型参数，初始化初始模型中，与所训练得到的第一网络模型的模型参数相对应的模型参数，得到中间模型；采用机器学习算法，将所提取的语音音频中的音频帧作为中间模型的输入数据，将与该音频帧相匹配的图像序列作为中间模型的期望输出数据，训练得到图像生成模型。
在本实施例的一些可选的实现方式中，将所提取的语音音频中的音频帧作为中间模型的输入数据，将与该音频帧相匹配的图像序列作为中间模型的期望输出数据，训练得到图像生成模型，包括：响应于不满足预设训练结束条件，将所提取的语音音频中的音频帧输入至中间模型，得到中间模型的实际输出数据，以及基于实际输出数据和期望输出数据，调整中间模型的模型参数，其中，实际输出数据表征中间模型实际得到的图像序列，期望输出数据表征所提取的、与该音频帧相匹配的图像序列；响应于满足预设训练结束条件，将满足预设训练结束条件的中间模型作为图像生成模型。
在本实施例的一些可选的实现方式中，预设训练结束条件包括以下至少一项：实际输出数据表征的图像序列与该音频帧相匹配；实际输出数据表征的图像序列中的两相邻的图像的相关度大于或等于预设相关度阈值，其中，相关度用于表征两目标人员图像在视频中相邻的概率。
在本实施例的一些可选的实现方式中，获取单元501包括：获取子单元(图中未示出)，被配置成获取目标语音音频和目标人员的多张目标人员图像。以及，第一生成单元502包括：提取子单元(图中未示出)，被配置成对多张目标人员图像进行特征提取，得到图像特征信息；第四生成子单元(图中未示出)，被配置成针对目标语音音频包括的音频帧，基于该音频帧和图像特征信息，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列。
在本实施例的一些可选的实现方式中，目标人员图像包括目标人员的面部图像；与该音频帧相对应的动作表征：目标人员发出该音频帧指示的语音；与目标语音音频相对应的动作表征：目标人员发出目标语音音频指示的语音。
本公开的上述实施例提供的装置，通过获取单元501获取目标语音音频和目标人员图像，然后，第一生成单元502针对目标语音音频包括的音频帧，基于该音频帧和目标人员图像，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列，最后，第二生成单元503基于目标语音音频和所生成的各个图像序列，生成表征目标人员执行与目标语音音频相对应的动作的视频，由此可以根据获取的语音音频和人员图像，生成表征该人员执行与该语音音频相对应的动作的视频，从而丰富了视频的生成方式，提高了视频生成的灵活性。并且，有助于提高所生成的视频中的肢体语言的表现力。上述实施例提供的装置只需少量静态图像(可以是一张或多张)即可实现动态视频的生成，例如，可以生成让静态图像指示的人员说话的视频。
下面参考图6，其示出了适于用来实现本公开的实施例的电子设备的计算机***600的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本公开的实施例的功能和使用范围带来任何限制。
如图6所示，计算机***600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有***600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本公开的方法中限定的上述功能。
需要说明的是，本公开所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，所述程序设计语言包括面向目标的程序设计语言—诸如Python、Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
根据本公开的一个或多个实施例，本公开提供了一种用于生成视频的方法，该方法包括：获取目标语音音频和目标人员图像；针对目标语音音频包括的音频帧，基于该音频帧和目标人员图像，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列；基于目标语音音频和所生成的各个图像序列，生成表征目标人员执行与目标语音音频相对应的动作的视频。
根据本公开的一个或多个实施例，本公开提供的用于生成视频的方法中，基于该音频帧和目标人员图像，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列，包括：基于该音频帧指示的音素信息，生成与该音频帧相对应的融合变形信息；基于与该音频帧相对应的融合变形信息和目标人员图像，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列。
根据本公开的一个或多个实施例，本公开提供的用于生成视频的方法中，基于该音频帧和目标人员图像，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列，包括：将该音频帧和目标人员图像输入至预先训练的图像生成模型，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列，其中，图像生成模型用于生成表征所输入的人员图像指示的人员执行与所输入的音频帧相对应的动作的图像序列。
根据本公开的一个或多个实施例，本公开提供的用于生成视频的方法中，将该音频帧和目标人员图像输入至预先训练的图像生成模型，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列，包括：将该音频帧输入至预先训练的图像生成模型中的第一网络模型，得到该音频帧指示的音素信息，其中，第一网络模型用于确定所输入的音频帧指示的音素信息；将该音频帧指示的音素信息和目标人员图像输入至图像生成模型中的第二网络模型，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列，其中，第二网络模型用于表征音素信息、人员图像与图像序列之间的对应关系。
根据本公开的一个或多个实施例，本公开提供的用于生成视频的方法中，第一网络模型通过如下步骤训练得到：获取训练样本集合，其中，训练样本集合中的训练样本包括音频帧和音频帧指示的音素信息；采用机器学习算法，将训练样本集合中的音频帧作为输入数据，将音频帧指示的音素信息作为期望输出数据，训练得到第一网络模型。
根据本公开的一个或多个实施例，本公开提供的用于生成视频的方法中，图像生成模型通过如下步骤训练得到：获取预设数量个目标视频，其中，目标视频是对人员进行语音音频和影像录制而获得的视频；从预设数量个目标视频中提取语音音频和与所提取的语音音频相匹配的图像序列；获取用于训练得到图像生成模型的初始模型；采用训练得到的第一网络模型的模型参数，初始化初始模型中，与所训练得到的第一网络模型的模型参数相对应的模型参数，得到中间模型；采用机器学习算法，将所提取的语音音频中的音频帧作为中间模型的输入数据，将与该音频帧相匹配的图像序列作为中间模型的期望输出数据，训练得到图像生成模型。
根据本公开的一个或多个实施例，本公开提供的用于生成视频的方法中，将所提取的语音音频中的音频帧作为中间模型的输入数据，将与该音频帧相匹配的图像序列作为中间模型的期望输出数据，训练得到图像生成模型，包括：响应于不满足预设训练结束条件，将所提取的语音音频中的音频帧输入至中间模型，得到中间模型的实际输出数据，以及基于实际输出数据和期望输出数据，调整中间模型的模型参数，其中，实际输出数据表征中间模型实际得到的图像序列，期望输出数据表征所提取的、与该音频帧相匹配的图像序列；响应于满足预设训练结束条件，将满足预设训练结束条件的中间模型作为图像生成模型。
根据本公开的一个或多个实施例，本公开提供的用于生成视频的方法中，预设训练结束条件包括以下至少一项：实际输出数据表征的图像序列与该音频帧相匹配；实际输出数据表征的图像序列中的两相邻的图像的相关度大于或等于预设相关度阈值，其中，相关度用于表征两目标人员图像在视频中相邻的概率。
根据本公开的一个或多个实施例，本公开提供的用于生成视频的方法中，获取目标语音音频和目标人员图像，包括：获取目标语音音频和目标人员的多张目标人员图像；以及，针对目标语音音频包括的音频帧，基于该音频帧和目标人员图像，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列，包括：对多张目标人员图像进行特征提取，得到图像特征信息；针对目标语音音频包括的音频帧，基于该音频帧和图像特征信息，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列。
根据本公开的一个或多个实施例，本公开提供的用于生成视频的方法中，目标人员图像包括目标人员的面部图像；与该音频帧相对应的动作表征：目标人员发出该音频帧指示的语音；与目标语音音频相对应的动作表征：目标人员发出目标语音音频指示的语音。
根据本公开的一个或多个实施例，本公开提供了一种用于生成视频的装置，该装置包括：获取单元，被配置成获取目标语音音频和目标人员图像；第一生成单元，被配置成针对目标语音音频包括的音频帧，基于该音频帧和目标人员图像，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列；第二生成单元，被配置成基于目标语音音频和所生成的各个图像序列，生成表征目标人员执行与目标语音音频相对应的动作的视频。
根据本公开的一个或多个实施例，本公开提供的用于生成视频的装置中，第一生成单元包括：第一生成子单元，被配置成基于该音频帧指示的音素信息，生成与该音频帧相对应的融合变形信息；第二生成子单元，被配置成基于与该音频帧相对应的融合变形信息和目标人员图像，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列。
根据本公开的一个或多个实施例，本公开提供的用于生成视频的装置中，第一生成单元包括：第三生成子单元，被配置成将该音频帧和目标人员图像输入至预先训练的图像生成模型，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列，其中，图像生成模型用于生成表征所输入的人员图像指示的人员执行与所输入的音频帧相对应的动作的图像序列。
根据本公开的一个或多个实施例，本公开提供的用于生成视频的装置中，第三生成子单元包括：第一输入模块，被配置成将该音频帧输入至预先训练的图像生成模型中的第一网络模型，得到该音频帧指示的音素信息，其中，第一网络模型用于确定所输入的音频帧指示的音素信息；第二输入模块，被配置成将该音频帧指示的音素信息和目标人员图像输入至图像生成模型中的第二网络模型，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列，其中，第二网络模型用于表征音素信息、人员图像与图像序列之间的对应关系。
根据本公开的一个或多个实施例，本公开提供的用于生成视频的装置中，第一网络模型通过如下步骤训练得到：获取训练样本集合，其中，训练样本集合中的训练样本包括音频帧和音频帧指示的音素信息；采用机器学习算法，将训练样本集合中的音频帧作为输入数据，将音频帧指示的音素信息作为期望输出数据，训练得到第一网络模型。
根据本公开的一个或多个实施例，本公开提供的用于生成视频的装置中，图像生成模型通过如下步骤训练得到：获取预设数量个目标视频，其中，目标视频是对人员进行语音音频和影像录制而获得的视频；从预设数量个目标视频中提取语音音频和与所提取的语音音频相匹配的图像序列；获取用于训练得到图像生成模型的初始模型；采用训练得到的第一网络模型的模型参数，初始化初始模型中，与所训练得到的第一网络模型的模型参数相对应的模型参数，得到中间模型；采用机器学习算法，将所提取的语音音频中的音频帧作为中间模型的输入数据，将与该音频帧相匹配的图像序列作为中间模型的期望输出数据，训练得到图像生成模型。
根据本公开的一个或多个实施例，本公开提供的用于生成视频的装置中，将所提取的语音音频中的音频帧作为中间模型的输入数据，将与该音频帧相匹配的图像序列作为中间模型的期望输出数据，训练得到图像生成模型，包括：响应于不满足预设训练结束条件，将所提取的语音音频中的音频帧输入至中间模型，得到中间模型的实际输出数据，以及基于实际输出数据和期望输出数据，调整中间模型的模型参数，其中，实际输出数据表征中间模型实际得到的图像序列，期望输出数据表征所提取的、与该音频帧相匹配的图像序列；响应于满足预设训练结束条件，将满足预设训练结束条件的中间模型作为图像生成模型。
根据本公开的一个或多个实施例，本公开提供的用于生成视频的装置中，预设训练结束条件包括以下至少一项：实际输出数据表征的图像序列与该音频帧相匹配；实际输出数据表征的图像序列中的两相邻的图像的相关度大于或等于预设相关度阈值，其中，相关度用于表征两目标人员图像在视频中相邻的概率。
根据本公开的一个或多个实施例，本公开提供的用于生成视频的装置中，获取单元包括：获取子单元，被配置成获取目标语音音频和目标人员的多张目标人员图像；以及，第一生成单元包括：提取子单元，被配置成对多张目标人员图像进行特征提取，得到图像特征信息；第四生成子单元，被配置成针对目标语音音频包括的音频帧，基于该音频帧和图像特征信息，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列。
根据本公开的一个或多个实施例，本公开提供的用于生成视频的装置中，目标人员图像包括目标人员的面部图像；与该音频帧相对应的动作表征：目标人员发出该音频帧指示的语音；与目标语音音频相对应的动作表征：目标人员发出目标语音音频指示的语音。
描述于本公开的实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取单元、第一生成单元和第二生成单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，获取单元还可以被描述为“获取目标语音音频和目标人员图像的单元”。
作为另一方面，本公开还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取目标语音音频和目标人员图像；针对目标语音音频包括的音频帧，基于该音频帧和目标人员图像，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列；基于目标语音音频和所生成的各个图像序列，生成表征目标人员执行与目标语音音频相对应的动作的视频。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离本公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (9)

1.一种用于生成视频的方法，包括：
获取目标语音音频和目标人员图像；
针对所述目标语音音频包括的音频帧，基于该音频帧和所述目标人员图像，生成表征所述目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列；
基于所述目标语音音频和所生成的各个图像序列，生成表征所述目标人员执行与所述目标语音音频相对应的动作的视频；
其中，所述基于该音频帧和所述目标人员图像，生成表征所述目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列，包括：
将该音频帧和所述目标人员图像输入至预先训练的图像生成模型，生成表征所述目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列，其中，所述图像生成模型用于生成表征所输入的人员图像指示的人员执行与所输入的音频帧相对应的动作的图像序列，其中，与该音频帧相对应的动作包括：表征所述目标人员执行与该音频帧相对应的肢体动作；
其中，所述将该音频帧和所述目标人员图像输入至预先训练的图像生成模型，生成表征所述目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列，包括：
将该音频帧输入至预先训练的图像生成模型中的第一网络模型，得到该音频帧指示的音素信息，其中，所述第一网络模型用于确定所输入的音频帧指示的音素信息；
将该音频帧指示的音素信息和所述目标人员图像输入至所述图像生成模型中的第二网络模型，生成表征所述目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列，其中，所述第二网络模型用于表征音素信息、人员图像与图像序列之间的对应关系；
其中，训练所述图像生成模型的训练结束条件包括以下两项：
实际输出数据表征的图像序列与该音频帧相匹配；以及实际输出数据表征的图像序列中的两相邻的图像的相关度大于或等于预设相关度阈值，其中，所述相关度用于表征两图像在视频中相邻的概率。
2.根据权利要求1所述的方法，其中，所述第一网络模型通过如下步骤训练得到：
获取训练样本集合，其中，所述训练样本集合中的训练样本包括音频帧和音频帧指示的音素信息；
采用机器学习算法，将所述训练样本集合中的音频帧作为输入数据，将音频帧指示的音素信息作为期望输出数据，训练得到第一网络模型。
3.根据权利要求2所述的方法，其中，所述图像生成模型通过如下步骤训练得到：
获取预设数量个目标视频，其中，目标视频是对人员进行语音音频和影像录制而获得的视频；
从所述预设数量个目标视频中提取语音音频和与所提取的语音音频相匹配的图像序列；
获取用于训练得到图像生成模型的初始模型；
采用训练得到的第一网络模型的模型参数，初始化所述初始模型中，与所训练得到的第一网络模型的模型参数相对应的模型参数，得到中间模型；
采用机器学习算法，将所提取的语音音频中的音频帧作为中间模型的输入数据，将与该音频帧相匹配的图像序列作为中间模型的期望输出数据，训练得到图像生成模型。
4.根据权利要求3所述的方法，其中，所述将所提取的语音音频中的音频帧作为中间模型的输入数据，将与该音频帧相匹配的图像序列作为中间模型的期望输出数据，训练得到图像生成模型，包括：
响应于不满足预设训练结束条件，将所提取的语音音频中的音频帧输入至中间模型，得到中间模型的实际输出数据，以及基于实际输出数据和期望输出数据，调整中间模型的模型参数，其中，实际输出数据表征中间模型实际得到的图像序列，期望输出数据表征所提取的、与该音频帧相匹配的图像序列；
响应于满足所述预设训练结束条件，将满足所述预设训练结束条件的中间模型作为图像生成模型。
5.根据权利要求1-4之一所述的方法，其中，所述获取目标语音音频和目标人员图像，包括：
获取目标语音音频和目标人员的多张目标人员图像；以及
所述针对所述目标语音音频包括的音频帧，基于该音频帧和所述目标人员图像，生成表征所述目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列，包括：
对所述多张目标人员图像进行特征提取，得到图像特征信息；
针对所述目标语音音频包括的音频帧，基于该音频帧和所述图像特征信息，生成表征所述目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列。
6.根据权利要求1-4之一所述的方法，其中，目标人员图像包括目标人员的面部图像；与该音频帧相对应的动作表征：所述目标人员发出该音频帧指示的语音；与所述目标语音音频相对应的动作表征：所述目标人员发出所述目标语音音频指示的语音。
7.一种用于生成视频的装置，包括：
获取单元，被配置成获取目标语音音频和目标人员图像；
第一生成单元，被配置成针对所述目标语音音频包括的音频帧，基于该音频帧和所述目标人员图像，生成表征所述目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列；
第二生成单元，被配置成基于所述目标语音音频和所生成的各个图像序列，生成表征所述目标人员执行与所述目标语音音频相对应的动作的视频；
其中，第一生成单元包括：第三生成子单元，被配置成将该音频帧和目标人员图像输入至预先训练的图像生成模型，生成表征目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列，其中，图像生成模型用于生成表征所输入的人员图像指示的人员执行与所输入的音频帧相对应的动作的图像序列；其中，与该音频帧相对应的动作包括：表征所述目标人员执行与该音频帧相对应的肢体动作；
其中，所述第三生成子单元包括：
第一输入模块，被配置成将该音频帧输入至预先训练的图像生成模型中的第一网络模型，得到该音频帧指示的音素信息，其中，所述第一网络模型用于确定所输入的音频帧指示的音素信息；
第二输入模块，被配置成将该音频帧指示的音素信息和所述目标人员图像输入至所述图像生成模型中的第二网络模型，生成表征所述目标人员图像指示的目标人员执行与该音频帧相对应的动作的图像序列，其中，所述第二网络模型用于表征音素信息、人员图像与图像序列之间的对应关系；
其中，训练所述图像生成模型的训练结束条件包括以下两项：
实际输出数据表征的图像序列与该音频帧相匹配；以及实际输出数据表征的图像序列中的两相邻的图像的相关度大于或等于预设相关度阈值，其中，所述相关度用于表征两图像在视频中相邻的概率。
8.一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
9.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。
CN202010199332.2A 2020-03-20 2020-03-20 用于生成视频的方法、装置、设备和介质 Active CN111432233B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010199332.2A CN111432233B (zh) 2020-03-20 2020-03-20 用于生成视频的方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010199332.2A CN111432233B (zh) 2020-03-20 2020-03-20 用于生成视频的方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN111432233A CN111432233A (zh) 2020-07-17
CN111432233B true CN111432233B (zh) 2022-07-19

Family

ID=71548219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010199332.2A Active CN111432233B (zh) 2020-03-20 2020-03-20 用于生成视频的方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN111432233B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112749711B (zh) * 2020-08-04 2023-08-25 腾讯科技（深圳）有限公司 视频获取方法和装置及存储介质
CN112383722B (zh) * 2020-11-13 2023-04-07 北京有竹居网络技术有限公司 用于生成视频的方法和装置
CN112383721B (zh) * 2020-11-13 2023-04-07 北京有竹居网络技术有限公司 用于生成视频的方法、装置、设备和介质
CN112887789B (zh) * 2021-01-22 2023-02-21 北京百度网讯科技有限公司 视频生成模型的构建和视频生成方法、装置、设备及介质
CN112989935A (zh) 2021-02-05 2021-06-18 北京百度网讯科技有限公司 一种视频生成方法、装置、设备以及存储介质
CN113113046B (zh) * 2021-04-14 2024-01-19 杭州网易智企科技有限公司 音频处理的性能检测方法、装置、存储介质及电子设备
CN113409208A (zh) * 2021-06-16 2021-09-17 北京字跳网络技术有限公司 图像处理方法、装置、设备及存储介质
CN113507627B (zh) * 2021-07-08 2022-03-25 北京的卢深视科技有限公司 视频生成方法、装置、电子设备及存储介质
CN115776597A (zh) * 2021-08-30 2023-03-10 海信集团控股股份有限公司 一种音视频生成方法、装置及电子设备
CN113747086A (zh) * 2021-09-30 2021-12-03 深圳追一科技有限公司 数字人视频生成方法、装置、电子设备及存储介质
CN114173188B (zh) * 2021-10-18 2023-06-02 深圳追一科技有限公司 视频生成方法、电子设备、存储介质和数字人服务器
CN114093384A (zh) * 2021-11-22 2022-02-25 上海商汤科技开发有限公司 说话视频生成方法、装置、设备以及存储介质
CN114245230A (zh) * 2021-11-29 2022-03-25 网易（杭州）网络有限公司 视频的生成方法、装置、电子设备及存储介质
CN114741561A (zh) * 2022-02-28 2022-07-12 商汤国际私人有限公司 动作生成方法、装置、电子设备及存储介质
CN114900733B (zh) * 2022-04-28 2023-07-21 北京生数科技有限公司 一种视频生成方法、相关装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6560575B1 (en) * 1998-10-20 2003-05-06 Canon Kabushiki Kaisha Speech processing apparatus and method
CN106127696A (zh) * 2016-06-13 2016-11-16 西安电子科技大学 一种基于bp神经网络拟合运动场的图像去除反射方法
CN110598048A (zh) * 2018-05-25 2019-12-20 北京中科寒武纪科技有限公司 视频检索方法及视频检索映射关系生成方法、装置
CN110674790A (zh) * 2019-10-15 2020-01-10 山东建筑大学 一种视频监控中异常场景处理方法及***

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8266314B2 (en) * 2009-12-16 2012-09-11 International Business Machines Corporation Automated audio or video subset network load reduction
CN104347068B (zh) * 2013-08-08 2020-05-22 索尼公司 音频信号处理装置和方法以及监控***
CN108230438B (zh) * 2017-12-28 2020-06-19 清华大学 声音驱动辅助侧脸图像的人脸重建方法及装置
CN109377539B (zh) * 2018-11-06 2023-04-11 北京百度网讯科技有限公司 用于生成动画的方法和装置
CN109545192B (zh) * 2018-12-18 2022-03-08 百度在线网络技术（北京）有限公司 用于生成模型的方法和装置
CN109545193B (zh) * 2018-12-18 2023-03-14 百度在线网络技术（北京）有限公司 用于生成模型的方法和装置
CN110446066B (zh) * 2019-08-28 2021-11-19 北京百度网讯科技有限公司 用于生成视频的方法和装置
CN110880315A (zh) * 2019-10-17 2020-03-13 深圳市声希科技有限公司 一种基于音素后验概率的个性化语音和视频生成***
CN111415677B (zh) * 2020-03-16 2020-12-25 北京字节跳动网络技术有限公司 用于生成视频的方法、装置、设备和介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6560575B1 (en) * 1998-10-20 2003-05-06 Canon Kabushiki Kaisha Speech processing apparatus and method
CN106127696A (zh) * 2016-06-13 2016-11-16 西安电子科技大学 一种基于bp神经网络拟合运动场的图像去除反射方法
CN110598048A (zh) * 2018-05-25 2019-12-20 北京中科寒武纪科技有限公司 视频检索方法及视频检索映射关系生成方法、装置
CN110674790A (zh) * 2019-10-15 2020-01-10 山东建筑大学 一种视频监控中异常场景处理方法及***

Also Published As

Publication number Publication date
CN111432233A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
CN111432233B (zh) 用于生成视频的方法、装置、设备和介质
CN111415677B (zh) 用于生成视频的方法、装置、设备和介质
CN109726624B (zh) 身份认证方法、终端设备和计算机可读存储介质
US11705096B2 (en) Autonomous generation of melody
US11670015B2 (en) Method and apparatus for generating video
JP7126613B2 (ja) ドメイン分類器を使用したニューラルネットワークにおけるドメイン適応のためのシステム及び方法
CN107153496B (zh) 用于输入表情图标的方法和装置
CN107481720B (zh) 一种显式声纹识别方法及装置
US20200075024A1 (en) Response method and apparatus thereof
JP7108144B2 (ja) クロスドメインバッチ正規化を使用したニューラルネットワークにおけるドメイン適応のためのシステム及び方法
CN109254669B (zh) 一种表情图片输入方法、装置、电子设备及***
CN109189544B (zh) 用于生成表盘的方法和装置
CN116484318B (zh) 一种演讲训练反馈方法、装置及存储介质
CN109582825B (zh) 用于生成信息的方法和装置
CN112420014A (zh) 虚拟人脸构建方法、装置、计算机设备及计算机可读介质
US20200013389A1 (en) Word extraction device, related conference extraction system, and word extraction method
CN109697978B (zh) 用于生成模型的方法和装置
CN106530377B (zh) 用于操作三维动画角色的方法和装置
CN113282791B (zh) 视频生成方法和装置
CN114138960A (zh) 用户意图识别方法、装置、设备及介质
CN112383721B (zh) 用于生成视频的方法、装置、设备和介质
CN110545386B (zh) 用于拍摄图像的方法和设备
CN111415662A (zh) 用于生成视频的方法、装置、设备和介质
CN117152308A (zh) 一种虚拟人动作表情优化方法与***
CN111862279A (zh) 交互处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant