CN114866807A - 虚拟形象视频生成方法、装置、电子设备及可读存储介质 - Google Patents

虚拟形象视频生成方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN114866807A
CN114866807A CN202210512471.5A CN202210512471A CN114866807A CN 114866807 A CN114866807 A CN 114866807A CN 202210512471 A CN202210512471 A CN 202210512471A CN 114866807 A CN114866807 A CN 114866807A
Authority
CN
China
Prior art keywords
video
lip
voice
sound
explanation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210512471.5A
Other languages
English (en)
Inventor
朱超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202210512471.5A priority Critical patent/CN114866807A/zh
Publication of CN114866807A publication Critical patent/CN114866807A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Quality & Reliability (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及人工智能技术，揭露一种虚拟形象视频生成方法，包括：对真人形象录制视频进行声音采样，得到视频声音数据并提取声音特征；提取真人形象录制视频中的视频关键帧，识别视频关键帧中的唇动特征；从动作视频参考库中筛选出包含多个参考肢体动作的肢体动作视频；将待转换讲解文本转换为讲解语音，将讲解语音转换为具有声音特征的虚拟语音数据；以虚拟语音数据作为数字形象的输出语音数据，以唇动特征构建数字形象的唇部视频，融合肢体动作视频得到虚拟形象讲解视频。此外，本发明还涉及区块链技术，目标文件可存储于区块链的节点。本发明还提出一种虚拟形象视频生成装置、电子设备以及可读存储介质。本发明可以提高虚拟形象视频生成的效率。

Description

虚拟形象视频生成方法、装置、电子设备及可读存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种虚拟形象视频生成方法、装置、电子设备及可读存储介质。
背景技术
随着教育事业的进步和发展，线上教育成为了教育行业中的一个重点，线上教育通常是通过录制视频讲解课件，以实现学生们在任何时间和任何地点都能快捷的听课。在制作视频课件的时候，往往需要导师将课件内容讲解一遍，然后将讲解的过程录制下来，这样才能形成一门有导师讲解的视频课程。这种模式生产导师讲解视频课程存在录制成本高及录制周期长，进而导致生产课程的效率很低，无法及时响应课程生产的需求。因此亟待提出一种效率更高的虚拟形象视频生成方法。
发明内容
本发明提供一种虚拟形象视频生成方法、装置、电子设备及可读存储介质，其主要目的在于提高虚拟形象视频生成的效率。
为实现上述目的，本发明提供的一种虚拟形象视频生成方法，包括：
获取真人形象录制视频，对所述真人形象录制视频进行声音采样处理，得到视频声音数据，基于预设的等幅差频法提取出所述视频声音数据中的声音特征；
提取所述真人形象录制视频中的视频关键帧，并识别所述视频关键帧中的唇动特征；
设定多个参考肢体动作，并从预设的动作视频参考库中筛选出包含多个所述参考肢体动作的肢体动作视频；
获取待转换讲解文本，通过语音转换技术将所述待转换讲解文本转换为对应的讲解语音，利用软音源参数控制器将所述讲解语音转换为具有所述声音特征的虚拟语音数据；
以所述虚拟语音数据作为预设数字形象的输出语音数据，以所述唇动特征构建所述预设数字形象的唇部视频，并融合所述肢体动作视频得到虚拟形象讲解视频。
可选地，所述对所述真人形象录制视频进行声音采样处理，得到视频声音数据，包括：
建立所述真人形象录制视频对应的录制端与各移动终端之间的无限通信连接，所述移动终端用于声音采样；
利用无线通信连接接收所述移动终端采样到的声音数据；
识别所述声音数据所属的语音场景，并选择与所述语音场景对应的降噪模型；
利用所述降噪模型对所述声音数据进行降噪处理，得到所述视频声音数据。
可选地，所述识别所述声音数据所属的语音场景，包括：
采集各个场景下的噪声样本集，从各个噪声样本中提取对应的音频特征；
基于所述音频特征对所述噪声样本集进行聚类分析，得到分类语音集；
将所述分类语音集切分为训练语音集和测试语音集，利用所述训练语音集构建所述场景识别模型，并利用所述测试语音集对所述场景识别模型进行测试调整，得到标准场景识别模型；
利用所述标准场景识别模型识别出所述声音数据所属的语音场景。
可选地，所述提取所述真人形象录制视频中的视频关键帧，包括：
将所述真人形象录制视频输入到预训练的卷积网络中进行特征提取，得到第一特征向量；
将所述第一特征向量输入交叉注意力模块中进行聚合处理，得到第二特征向量；
将所述第二特征向量和所述卷积网络的低层网络的输出特征向量一起输入至通道注意力模块中，得到第三特征向量；
利用解码器对所述第三特征向量进行特征重建，得到最终重建特征，并基于所述最终重建特征获取所述真人形象录制视频中对应的视频帧；
将所述真人形象录制视频中对应的视频帧作为视频关键帧。
可选地，所述识别所述视频关键帧中的唇动特征，包括：
获取预先设定的多个唇部关键点，在所述视频关键帧中识别出多个所述唇部关键点的位置，并将多个所述唇部关键点进行单向连接，得到唇部边缘轮廓；
对所述唇部边缘轮廓进行曲线拟合，并提取曲线拟合后的唇部边缘轮廓中的曲率变化特征；
基于多个所述唇部关键点求得所述唇部边缘轮廓对应的夹角变化特征；
将所述曲率变化特征和所述夹角变化特征进行组合，得到所述视频关键帧中的唇动特征。
可选地，所述基于多个所述唇部关键点求得所述唇部边缘轮廓对应的夹角变化特征，包括：
根据所述唇部关键点连线构建覆盖唇部左侧或右侧的第一三角体和覆盖唇部上部或下部的第二三角体；
利用所述第一三角体和所述第二三角体中预定角度的角度值获得夹角变化特征。
可选地，所述利用软音源参数控制器将所述讲解语音转换为具有所述声音特征的虚拟语音数据之前，所述方法还包括：
将所述声音特征封装为软音源参数控制器。
为了解决上述问题，本发明还提供一种虚拟形象视频生成装置，所述装置包括：
声音特征提取模块，用于获取真人形象录制视频，对所述真人形象录制视频进行声音采样处理，得到视频声音数据，基于预设的等幅差频法提取出所述视频声音数据中的声音特征；
唇动特征识别模块，用于提取所述真人形象录制视频中的视频关键帧，并识别所述视频关键帧中的唇动特征；
视频筛选模块，用于设定多个参考肢体动作，并从预设的动作视频参考库中筛选出包含多个所述参考肢体动作的肢体动作视频；
讲解视频生成模块，用于获取待转换讲解文本，通过语音转换技术将所述待转换讲解文本转换为对应的讲解语音，利用软音源参数控制器将所述讲解语音转换为具有所述声音特征的虚拟语音数据，以所述虚拟语音数据作为预设数字形象的输出语音数据，以所述唇动特征构建所述预设数字形象的唇部视频，并融合所述肢体动作视频得到虚拟形象讲解视频。
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的虚拟形象视频生成方法。
为了解决上述问题，本发明还提供一种可读存储介质，所述可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的虚拟形象视频生成方法。
本发明实施例中，通过提取出真人形象录制视频中的声音特征和唇动特征，得到能够代表真人形象的不同的特征，并通过语音转换技术将待转换讲解文本转换为对应的讲解语音，利用软音源参数控制器将讲解语音转换为具有所述声音特征的虚拟语音数据，使得虚拟语音数据具有声音特征，以所述虚拟语音数据作为预设数字形象的输出语音数据，以所述唇动特征构建所述预设数字形象的唇部视频，并融合所述肢体动作视频得到虚拟形象讲解视频。提高了虚拟形象讲解视频生成的效率。因此本发明提出的虚拟形象视频生成方法、装置、电子设备及可读存储介质，可以解决虚拟形象视频生成的效率较低的问题。
附图说明
图1为本发明一实施例提供的虚拟形象视频生成方法的流程示意图；
图2为图1中其中一个步骤的详细实施流程示意图；
图3为图2中其中一个步骤的详细实施流程示意图；
图4为图1中其中一个步骤的详细实施流程示意图；
图5为图1中其中一个步骤的详细实施流程示意图；
图6为图5中其中一个步骤的详细实施流程示意图；
图7为本发明一实施例提供的虚拟形象视频生成装置的功能模块图；
图8为本发明一实施例提供的实现所述虚拟形象视频生成方法的电子设备的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请实施例提供一种虚拟形象视频生成方法。所述虚拟形象视频生成方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述虚拟形象视频生成方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
参照图1所示，为本发明一实施例提供的虚拟形象视频生成方法的流程示意图。在本实施例中，所述虚拟形象视频生成方法包括以下步骤S1-S4：
S1、获取真人形象录制视频，对所述真人形象录制视频进行声音采样处理，得到视频声音数据，基于预设的等幅差频法提取出所述视频声音数据中的声音特征。
本发明实施例中，所述真人形象录制视频是指在录制视频课件的时候导师将课件内容进行讲解的视频，其中，所述真人形象视频可以准确的反应出导师进行讲解时的肢体动作、唇部动作以及讲解时的声音。
具体地，参照图2所示，所述对所述真人形象录制视频进行声音采样处理，得到视频声音数据，包括以下步骤S11-S13：
S11、建立所述真人形象录制视频对应的录制端与各移动终端之间的无限通信连接，所述移动终端用于声音采样；
S12、利用无线通信连接接收所述移动终端采样到的声音数据；
S13、识别所述声音数据所属的语音场景，并选择与所述语音场景对应的降噪模型；
S14、利用所述降噪模型对所述声音数据进行降噪处理，得到所述视频声音数据。
详细地，所述降噪处理是指去除所述声音数据中非说话人发言的声音，由于录制视频的环境不同，因此会产生很多周围环境所带来的噪声，故需要对所述声音数据进行去噪处理，得到所述视频声音数据。
进一步地，参照图3所示，所述识别所述声音数据所属的语音场景，包括以下步骤S101-S104：
S101、采集各个场景下的噪声样本集，从各个噪声样本中提取对应的音频特征；
S102、基于所述音频特征对所述噪声样本集进行聚类分析，得到分类语音集；
S103、将所述分类语音集切分为训练语音集和测试语音集，利用所述训练语音集构建所述场景识别模型，并利用所述测试语音集对所述场景识别模型进行测试调整，得到标准场景识别模型；
S104、利用所述标准场景识别模型识别出所述声音数据所属的语音场景。
详细地，所述噪声样本集包括各个语音场景下的噪音音频数据，例如，公园中的噪音音频数据，马路边的噪音音频数据或者办公室里的噪音音频数据。本发明实施例中，所述噪声样本集中还可以包括各个噪声样本所对应的特征标注，该特征标注用于标注各个噪声样本中提取对应的音频特征。所述音频特征可以包括过零率、梅尔频率倒谱系数、频谱质心、频谱扩散、谱熵和谱通量等，其中，本申请实施例中的所述音频特征优选为梅尔频率倒谱系数。
具体地，所述基于预设的等幅差频法提取出所述视频声音数据中的声音特征，所述等幅差频法是指FM调频的思想，利用FM调频的思想将所述视频声音数据拆分为发音参数，并将所述发音参数作为声音特征。
详细地，所述声音特征可以反应出所述真人形象录制视频中视频声音数据的音色特征，并作为后续合成语音的基础，使得虚拟形象都带有该真人录制视频中真人形象的音色特征。
S2、提取所述真人形象录制视频中的视频关键帧，并识别所述视频关键帧中的唇动特征。
本发明实施例中，参照图4所示，所述提取所述真人形象录制视频中的视频关键帧，包括以下步骤S21-S25：
S21、将所述真人形象录制视频输入到预训练的卷积网络中进行特征提取，得到第一特征向量；
S22、将所述第一特征向量输入交叉注意力模块中进行聚合处理，得到第二特征向量；
S23、将所述第二特征向量和所述卷积网络的低层网络的输出特征向量一起输入至通道注意力模块中，得到第三特征向量；
S24、利用解码器对所述第三特征向量进行特征重建，得到最终重建特征，并基于所述最终重建特征获取所述真人形象录制视频中对应的视频帧；
S25、将所述真人形象录制视频中对应的视频帧作为视频关键帧。
详细地，所述预训练的卷积网络作为视频关键帧提取的编码器使用，卷积网络可以采用现有技术中的网络结构，譬如，采用ResNet网络(残差网络)、VGG网络、GoogLeNet网络等。
进一步地，参照图5所示，所述识别所述视频关键帧中的唇动特征，包括以下步骤S201-S204：
S201、获取预先设定的多个唇部关键点，在所述视频关键帧中识别出多个所述唇部关键点的位置，并将多个所述唇部关键点进行单向连接，得到唇部边缘轮廓；
S202、对所述唇部边缘轮廓进行曲线拟合，并提取曲线拟合后的唇部边缘轮廓中的曲率变化特征；
S203、基于多个所述唇部关键点求得所述唇部边缘轮廓对应的夹角变化特征；
S204、将所述曲率变化特征和所述夹角变化特征进行组合，得到所述视频关键帧中的唇动特征。
具体地，参照图6所示，所述基于多个所述唇部关键点求得所述唇部边缘轮廓对应的夹角变化特征，包括以下步骤S211-S212：
S211、根据所述唇部关键点连线构建覆盖唇部左侧或右侧的第一三角体和覆盖唇部上部或下部的第二三角体；
S212、利用所述第一三角体和所述第二三角体中预定角度的角度值获得夹角变化特征。
详细地，所述第一三角体和所述第二三角体为预先设定的两个三角区域。
S3、设定多个参考肢体动作，并从预设的动作视频参考库中筛选出包含多个所述参考肢体动作的肢体动作视频。
本发明实施例中，设定多个参考肢体动作是为了限定后续视频中动作是符合本方案领域的，例如，本方案主要是为了设计一个与导师讲解视频课程的对应的虚拟形象讲解视频，所以所述多个参考肢体动作为转身动作、抬手动作、指黑板动作或者点名动作，这些参考肢体动作都是导师讲解过程中的常用动作。
其中，所述动作视频参考库中包含多个不同的动作及所述动作对应的肢体动作视频，例如，针对转身动作可以有一段预设时间大小的向左边方向转身的动作视频或者另一段预设时间大小的向右边方向转身的动作视频。可以在所述动作视频参考库中筛选出包含多个所述参考肢体动作的肢体动作视频，所述肢体动作视频可以为一个或者多个。
S4、获取待转换讲解文本，通过语音转换技术将所述待转换讲解文本转换为对应的讲解语音，利用软音源参数控制器将所述讲解语音转换为具有所述声音特征的虚拟语音数据。
本发明实施例中，所述待转换讲解文本是指导师讲解课程中需要进行旁白的文本。通过语音转换技术将所述待转换讲解文本转换为对应的讲解语音，其中，所述语音转换技术为TTS技术，TTS是Text To Speech的缩写，即“从文本到语音”，TTS是语音合成应用的一种，它将储存于电脑中的文件，如帮助文件或者网页，转换成自然语音输出。
具体地，所述利用软音源参数控制器将所述讲解语音转换为具有所述声音特征的虚拟语音数据之前，所述方法还包括：
将所述声音特征封装为软音源参数控制器。
详细地，利用软音源参数控制器将所述讲解语音转换为具有所述声音特征的虚拟语音数据，所述软音源参数控制器可以结合声音库中录制的语音进行调整、试听、调优等操作，使得虚拟语音数据具有所述声音特征。
S5、以所述虚拟语音数据作为预设数字形象的输出语音数据，以所述唇动特征构建所述预设数字形象的唇部视频，并融合所述肢体动作视频得到虚拟形象讲解视频。
本发明实施例中，由于我们生活中常用的文字只有2000个左右，而这2000个字的发音可以进一步合并，所以常见的语音特征都可以通过所述声音特征和所述唇动特征等两个特征进行模拟。以所述虚拟语音数据作为预设数字形象的输出语音数据，以所述唇动特征构建所述预设数字形象的唇部视频，并融合所述肢体动作视频得到虚拟形象讲解视频。
优选地，所述虚拟形象讲解视频通过使用数字人讲解来替代录制导师讲课，大大降低视频课制作的门槛，提高了课程制作的效率。数字人形象一经生成，即可用于制作主播课程、智能客服、新闻播报等场景，并且训练好的数字人，是可持续反复的使用。
本发明实施例中，通过提取出真人形象录制视频中的声音特征和唇动特征，得到能够代表真人形象的不同的特征，并通过语音转换技术将待转换讲解文本转换为对应的讲解语音，利用软音源参数控制器将讲解语音转换为具有所述声音特征的虚拟语音数据，使得虚拟语音数据具有声音特征，以所述虚拟语音数据作为预设数字形象的输出语音数据，以所述唇动特征构建所述预设数字形象的唇部视频，并融合所述肢体动作视频得到虚拟形象讲解视频。提高了虚拟形象讲解视频生成的效率。因此本发明提出的虚拟形象视频生成方法可以解决虚拟形象视频生成的效率较低的问题。
如图7所示，是本发明一实施例提供的虚拟形象视频生成装置的功能模块图。
本发明所述虚拟形象视频生成装置100可以安装于电子设备中。根据实现的功能，所述虚拟形象视频生成装置100可以包括声音特征提取模块101、唇动特征识别模块102、视频筛选模块103及讲解视频生成模块104。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
所述声音特征提取模块101，用于获取真人形象录制视频，对所述真人形象录制视频进行声音采样处理，得到视频声音数据，基于预设的等幅差频法提取出所述视频声音数据中的声音特征；
所述唇动特征识别模块102，用于提取所述真人形象录制视频中的视频关键帧，并识别所述视频关键帧中的唇动特征；
所述视频筛选模块103，用于设定多个参考肢体动作，并从预设的动作视频参考库中筛选出包含多个所述参考肢体动作的肢体动作视频；
所述讲解视频生成模块104，用于获取待转换讲解文本，通过语音转换技术将所述待转换讲解文本转换为对应的讲解语音，利用软音源参数控制器将所述讲解语音转换为具有所述声音特征的虚拟语音数据，以所述虚拟语音数据作为预设数字形象的输出语音数据，以所述唇动特征构建所述预设数字形象的唇部视频，并融合所述肢体动作视频得到虚拟形象讲解视频。
详细地，所述虚拟形象视频生成装置100各模块的具体实施方式如下：
S1、获取真人形象录制视频，对所述真人形象录制视频进行声音采样处理，得到视频声音数据，基于预设的等幅差频法提取出所述视频声音数据中的声音特征。
本发明实施例中，所述真人形象录制视频是指在录制视频课件的时候导师将课件内容进行讲解的视频，其中，所述真人形象视频可以准确的反应出导师进行讲解时的肢体动作、唇部动作以及讲解时的声音。
具体地，所述对所述真人形象录制视频进行声音采样处理，得到视频声音数据，包括：
建立所述真人形象录制视频对应的录制端与各移动终端之间的无限通信连接，所述移动终端用于声音采样；
利用无线通信连接接收所述移动终端采样到的声音数据；
识别所述声音数据所属的语音场景，并选择与所述语音场景对应的降噪模型；
利用所述降噪模型对所述声音数据进行降噪处理，得到所述视频声音数据。
详细地，所述降噪处理是指去除所述声音数据中非说话人发言的声音，由于录制视频的环境不同，因此会产生很多周围环境所带来的噪声，故需要对所述声音数据进行去噪处理，得到所述视频声音数据。
进一步地，所述识别所述声音数据所属的语音场景，包括：
采集各个场景下的噪声样本集，从各个噪声样本中提取对应的音频特征；
基于所述音频特征对所述噪声样本集进行聚类分析，得到分类语音集；
将所述分类语音集切分为训练语音集和测试语音集，利用所述训练语音集构建所述场景识别模型，并利用所述测试语音集对所述场景识别模型进行测试调整，得到标准场景识别模型；
利用所述标准场景识别模型识别出所述声音数据所属的语音场景。
详细地，所述噪声样本集包括各个语音场景下的噪音音频数据，例如，公园中的噪音音频数据，马路边的噪音音频数据或者办公室里的噪音音频数据。本发明实施例中，所述噪声样本集中还可以包括各个噪声样本所对应的特征标注，该特征标注用于标注各个噪声样本中提取对应的音频特征。所述音频特征可以包括过零率、梅尔频率倒谱系数、频谱质心、频谱扩散、谱熵和谱通量等，其中，本申请实施例中的所述音频特征优选为梅尔频率倒谱系数。
具体地，所述基于预设的等幅差频法提取出所述视频声音数据中的声音特征，所述等幅差频法是指FM调频的思想，利用FM调频的思想将所述视频声音数据拆分为发音参数，并将所述发音参数作为声音特征。
详细地，所述声音特征可以反应出所述真人形象录制视频中视频声音数据的音色特征，并作为后续合成语音的基础，使得虚拟形象都带有该真人录制视频中真人形象的音色特征。
S2、提取所述真人形象录制视频中的视频关键帧，并识别所述视频关键帧中的唇动特征。
本发明实施例中，所述提取所述真人形象录制视频中的视频关键帧，包括：
将所述真人形象录制视频输入到预训练的卷积网络中进行特征提取，得到第一特征向量；
将所述第一特征向量输入交叉注意力模块中进行聚合处理，得到第二特征向量；
将所述第二特征向量和所述卷积网络的低层网络的输出特征向量一起输入至通道注意力模块中，得到第三特征向量；
利用解码器对所述第三特征向量进行特征重建，得到最终重建特征，并基于所述最终重建特征获取所述真人形象录制视频中对应的视频帧；
将所述真人形象录制视频中对应的视频帧作为视频关键帧。
详细地，所述预训练的卷积网络作为视频关键帧提取的编码器使用，卷积网络可以采用现有技术中的网络结构，譬如，采用ResNet网络(残差网络)、VGG网络、GoogLeNet网络等。
进一步地，所述识别所述视频关键帧中的唇动特征，包括：
获取预先设定的多个唇部关键点，在所述视频关键帧中识别出多个所述唇部关键点的位置，并将多个所述唇部关键点进行单向连接，得到唇部边缘轮廓；
对所述唇部边缘轮廓进行曲线拟合，并提取曲线拟合后的唇部边缘轮廓中的曲率变化特征；
基于多个所述唇部关键点求得所述唇部边缘轮廓对应的夹角变化特征；
将所述曲率变化特征和所述夹角变化特征进行组合，得到所述视频关键帧中的唇动特征。
具体地，所述基于多个所述唇部关键点求得所述唇部边缘轮廓对应的夹角变化特征，包括：
根据所述唇部关键点连线构建覆盖唇部左侧或右侧的第一三角体和覆盖唇部上部或下部的第二三角体；
利用所述第一三角体和所述第二三角体中预定角度的角度值获得夹角变化特征。
详细地，所述第一三角体和所述第二三角体为预先设定的两个三角区域。
S3、设定多个参考肢体动作，并从预设的动作视频参考库中筛选出包含多个所述参考肢体动作的肢体动作视频。
本发明实施例中，设定多个参考肢体动作是为了限定后续视频中动作是符合本方案领域的，例如，本方案主要是为了设计一个与导师讲解视频课程的对应的虚拟形象讲解视频，所以所述多个参考肢体动作为转身动作、抬手动作、指黑板动作或者点名动作，这些参考肢体动作都是导师讲解过程中的常用动作。
其中，所述动作视频参考库中包含多个不同的动作及所述动作对应的肢体动作视频，例如，针对转身动作可以有一段预设时间大小的向左边方向转身的动作视频或者另一段预设时间大小的向右边方向转身的动作视频。可以在所述动作视频参考库中筛选出包含多个所述参考肢体动作的肢体动作视频，所述肢体动作视频可以为一个或者多个。
S4、获取待转换讲解文本，通过语音转换技术将所述待转换讲解文本转换为对应的讲解语音，利用软音源参数控制器将所述讲解语音转换为具有所述声音特征的虚拟语音数据。
本发明实施例中，所述待转换讲解文本是指导师讲解课程中需要进行旁白的文本。通过语音转换技术将所述待转换讲解文本转换为对应的讲解语音，其中，所述语音转换技术为TTS技术，TTS是Text To Speech的缩写，即“从文本到语音”，TTS是语音合成应用的一种，它将储存于电脑中的文件，如帮助文件或者网页，转换成自然语音输出。
具体地，所述利用软音源参数控制器将所述讲解语音转换为具有所述声音特征的虚拟语音数据之前，所述方法还包括：
将所述声音特征封装为软音源参数控制器。
详细地，利用软音源参数控制器将所述讲解语音转换为具有所述声音特征的虚拟语音数据，所述软音源参数控制器可以结合声音库中录制的语音进行调整、试听、调优等操作，使得虚拟语音数据具有所述声音特征。
S5、以所述虚拟语音数据作为预设数字形象的输出语音数据，以所述唇动特征构建所述预设数字形象的唇部视频，并融合所述肢体动作视频得到虚拟形象讲解视频。
本发明实施例中，由于我们生活中常用的文字只有2000个左右，而这2000个字的发音可以进一步合并，所以常见的语音特征都可以通过所述声音特征和所述唇动特征等两个特征进行模拟。以所述虚拟语音数据作为预设数字形象的输出语音数据，以所述唇动特征构建所述预设数字形象的唇部视频，并融合所述肢体动作视频得到虚拟形象讲解视频。
优选地，所述虚拟形象讲解视频通过使用数字人讲解来替代录制导师讲课，大大降低视频课制作的门槛，提高了课程制作的效率。数字人形象一经生成，即可用于制作主播课程、智能客服、新闻播报等场景，并且训练好的数字人，是可持续反复的使用。
本发明实施例中，通过提取出真人形象录制视频中的声音特征和唇动特征，得到能够代表真人形象的不同的特征，并通过语音转换技术将待转换讲解文本转换为对应的讲解语音，利用软音源参数控制器将讲解语音转换为具有所述声音特征的虚拟语音数据，使得虚拟语音数据具有声音特征，以所述虚拟语音数据作为预设数字形象的输出语音数据，以所述唇动特征构建所述预设数字形象的唇部视频，并融合所述肢体动作视频得到虚拟形象讲解视频。提高了虚拟形象讲解视频生成的效率。因此本发明提出的虚拟形象视频生成方法可以解决虚拟形象视频生成的效率较低的问题。
如图8所示，是本发明一实施例提供的实现虚拟形象视频生成方法的电子设备的结构示意图。
所述电子设备1可以包括处理器10、存储器11、通信总线12以及通信接口13，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如虚拟形象视频生成程序。
其中，所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing Unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(ControlUnit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如执行虚拟形象视频生成程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备的各种功能和处理数据。
所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡、闪存卡(Flash Card)等。进一步地，所述存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据，例如虚拟形象视频生成程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述通信总线12可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
所述通信接口13用于上述电子设备与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
图8仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图8示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的虚拟形象视频生成程序是多个指令的组合，在所述处理器10中运行时，可以实现：
获取真人形象录制视频，对所述真人形象录制视频进行声音采样处理，得到视频声音数据，基于预设的等幅差频法提取出所述视频声音数据中的声音特征；
提取所述真人形象录制视频中的视频关键帧，并识别所述视频关键帧中的唇动特征；
设定多个参考肢体动作，并从预设的动作视频参考库中筛选出包含多个所述参考肢体动作的肢体动作视频；
获取待转换讲解文本，通过语音转换技术将所述待转换讲解文本转换为对应的讲解语音，利用软音源参数控制器将所述讲解语音转换为具有所述声音特征的虚拟语音数据；
以所述虚拟语音数据作为预设数字形象的输出语音数据，以所述唇动特征构建所述预设数字形象的唇部视频，并融合所述肢体动作视频得到虚拟形象讲解视频。
具体地，所述处理器10对上述指令的具体实现方法可参考附图对应实施例中相关步骤的描述，在此不赘述。
进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读存储介质中。所述可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
本发明还提供一种可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：
获取真人形象录制视频，对所述真人形象录制视频进行声音采样处理，得到视频声音数据，基于预设的等幅差频法提取出所述视频声音数据中的声音特征；
提取所述真人形象录制视频中的视频关键帧，并识别所述视频关键帧中的唇动特征；
设定多个参考肢体动作，并从预设的动作视频参考库中筛选出包含多个所述参考肢体动作的肢体动作视频；
获取待转换讲解文本，通过语音转换技术将所述待转换讲解文本转换为对应的讲解语音，利用软音源参数控制器将所述讲解语音转换为具有所述声音特征的虚拟语音数据；
以所述虚拟语音数据作为预设数字形象的输出语音数据，以所述唇动特征构建所述预设数字形象的唇部视频，并融合所述肢体动作视频得到虚拟形象讲解视频。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。***权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种虚拟形象视频生成方法，其特征在于，所述方法包括：
获取真人形象录制视频，对所述真人形象录制视频进行声音采样处理，得到视频声音数据，基于预设的等幅差频法提取出所述视频声音数据中的声音特征；
提取所述真人形象录制视频中的视频关键帧，并识别所述视频关键帧中的唇动特征；
设定多个参考肢体动作，并从预设的动作视频参考库中筛选出包含多个所述参考肢体动作的肢体动作视频；
获取待转换讲解文本，通过语音转换技术将所述待转换讲解文本转换为对应的讲解语音，利用软音源参数控制器将所述讲解语音转换为具有所述声音特征的虚拟语音数据；
以所述虚拟语音数据作为预设数字形象的输出语音数据，以所述唇动特征构建所述预设数字形象的唇部视频，并融合所述肢体动作视频得到虚拟形象讲解视频。
2.如权利要求1所述的虚拟形象视频生成方法，其特征在于，所述对所述真人形象录制视频进行声音采样处理，得到视频声音数据，包括：
建立所述真人形象录制视频对应的录制端与各移动终端之间的无限通信连接，所述移动终端用于声音采样；
利用无线通信连接接收所述移动终端采样到的声音数据；
识别所述声音数据所属的语音场景，并选择与所述语音场景对应的降噪模型；
利用所述降噪模型对所述声音数据进行降噪处理，得到所述视频声音数据。
3.如权利要求2所述的虚拟形象视频生成方法，其特征在于，所述识别所述声音数据所属的语音场景，包括：
采集各个场景下的噪声样本集，从各个噪声样本中提取对应的音频特征；
基于所述音频特征对所述噪声样本集进行聚类分析，得到分类语音集；
将所述分类语音集切分为训练语音集和测试语音集，利用所述训练语音集构建所述场景识别模型，并利用所述测试语音集对所述场景识别模型进行测试调整，得到标准场景识别模型；
利用所述标准场景识别模型识别出所述声音数据所属的语音场景。
4.如权利要求1所述的虚拟形象视频生成方法，其特征在于，所述提取所述真人形象录制视频中的视频关键帧，包括：
将所述真人形象录制视频输入到预训练的卷积网络中进行特征提取，得到第一特征向量；
将所述第一特征向量输入交叉注意力模块中进行聚合处理，得到第二特征向量；
将所述第二特征向量和所述卷积网络的低层网络的输出特征向量一起输入至通道注意力模块中，得到第三特征向量；
利用解码器对所述第三特征向量进行特征重建，得到最终重建特征，并基于所述最终重建特征获取所述真人形象录制视频中对应的视频帧；
将所述真人形象录制视频中对应的视频帧作为视频关键帧。
5.如权利要求1所述的虚拟形象视频生成方法，其特征在于，所述识别所述视频关键帧中的唇动特征，包括：
获取预先设定的多个唇部关键点，在所述视频关键帧中识别出多个所述唇部关键点的位置，并将多个所述唇部关键点进行单向连接，得到唇部边缘轮廓；
对所述唇部边缘轮廓进行曲线拟合，并提取曲线拟合后的唇部边缘轮廓中的曲率变化特征；
基于多个所述唇部关键点求得所述唇部边缘轮廓对应的夹角变化特征；
将所述曲率变化特征和所述夹角变化特征进行组合，得到所述视频关键帧中的唇动特征。
6.如权利要求5所述的虚拟形象视频生成方法，其特征在于，所述基于多个所述唇部关键点求得所述唇部边缘轮廓对应的夹角变化特征，包括：
根据所述唇部关键点连线构建覆盖唇部左侧或右侧的第一三角体和覆盖唇部上部或下部的第二三角体；
利用所述第一三角体和所述第二三角体中预定角度的角度值获得夹角变化特征。
7.如权利要求1所述的虚拟形象视频生成方法，其特征在于，所述利用软音源参数控制器将所述讲解语音转换为具有所述声音特征的虚拟语音数据之前，所述方法还包括：
将所述声音特征封装为软音源参数控制器。
8.一种虚拟形象视频生成装置，其特征在于，所述装置包括：
声音特征提取模块，用于获取真人形象录制视频，对所述真人形象录制视频进行声音采样处理，得到视频声音数据，基于预设的等幅差频法提取出所述视频声音数据中的声音特征；
唇动特征识别模块，用于提取所述真人形象录制视频中的视频关键帧，并识别所述视频关键帧中的唇动特征；
视频筛选模块，用于设定多个参考肢体动作，并从预设的动作视频参考库中筛选出包含多个所述参考肢体动作的肢体动作视频；
讲解视频生成模块，用于获取待转换讲解文本，通过语音转换技术将所述待转换讲解文本转换为对应的讲解语音，利用软音源参数控制器将所述讲解语音转换为具有所述声音特征的虚拟语音数据，以所述虚拟语音数据作为预设数字形象的输出语音数据，以所述唇动特征构建所述预设数字形象的唇部视频，并融合所述肢体动作视频得到虚拟形象讲解视频。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任意一项所述的虚拟形象视频生成方法。
10.一种可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的虚拟形象视频生成方法。
CN202210512471.5A 2022-05-12 2022-05-12 虚拟形象视频生成方法、装置、电子设备及可读存储介质 Pending CN114866807A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210512471.5A CN114866807A (zh) 2022-05-12 2022-05-12 虚拟形象视频生成方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210512471.5A CN114866807A (zh) 2022-05-12 2022-05-12 虚拟形象视频生成方法、装置、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN114866807A true CN114866807A (zh) 2022-08-05

Family

ID=82637471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210512471.5A Pending CN114866807A (zh) 2022-05-12 2022-05-12 虚拟形象视频生成方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN114866807A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115050354A (zh) * 2022-08-10 2022-09-13 北京百度网讯科技有限公司 数字人驱动方法和装置
CN115953515A (zh) * 2023-03-14 2023-04-11 深圳崇德动漫股份有限公司 基于真人数据的动漫形象生成方法、装置、设备及介质
CN116248811A (zh) * 2022-12-09 2023-06-09 北京生数科技有限公司 视频处理方法、装置及存储介质
CN116702707A (zh) * 2023-08-03 2023-09-05 腾讯科技（深圳）有限公司 基于动作生成模型的动作生成方法、装置及设备
CN117714763A (zh) * 2024-02-05 2024-03-15 深圳市鸿普森科技股份有限公司 虚拟对象讲话视频生成方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584648A (zh) * 2018-11-08 2019-04-05 北京葡萄智学科技有限公司 数据生成方法及装置
CN112465935A (zh) * 2020-11-19 2021-03-09 科大讯飞股份有限公司 虚拟形象合成方法、装置、电子设备和存储介质
WO2021159391A1 (zh) * 2020-02-13 2021-08-19 南昌欧菲光电技术有限公司 摄像头模组、摄像装置及电子设备
CN113469292A (zh) * 2021-09-02 2021-10-01 北京世纪好未来教育科技有限公司 视频合成模型的训练方法、合成方法、装置、介质和设备
US20220084502A1 (en) * 2020-09-14 2022-03-17 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for determining shape of lips of virtual character, device and computer storage medium
CN114202605A (zh) * 2021-12-07 2022-03-18 北京百度网讯科技有限公司 3d视频生成方法、模型训练方法、装置、设备和介质
CN114338994A (zh) * 2021-12-30 2022-04-12 Oppo广东移动通信有限公司 光学防抖方法、装置、电子设备和计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584648A (zh) * 2018-11-08 2019-04-05 北京葡萄智学科技有限公司 数据生成方法及装置
WO2021159391A1 (zh) * 2020-02-13 2021-08-19 南昌欧菲光电技术有限公司 摄像头模组、摄像装置及电子设备
US20220084502A1 (en) * 2020-09-14 2022-03-17 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for determining shape of lips of virtual character, device and computer storage medium
CN112465935A (zh) * 2020-11-19 2021-03-09 科大讯飞股份有限公司 虚拟形象合成方法、装置、电子设备和存储介质
CN113469292A (zh) * 2021-09-02 2021-10-01 北京世纪好未来教育科技有限公司 视频合成模型的训练方法、合成方法、装置、介质和设备
CN114202605A (zh) * 2021-12-07 2022-03-18 北京百度网讯科技有限公司 3d视频生成方法、模型训练方法、装置、设备和介质
CN114338994A (zh) * 2021-12-30 2022-04-12 Oppo广东移动通信有限公司 光学防抖方法、装置、电子设备和计算机可读存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115050354A (zh) * 2022-08-10 2022-09-13 北京百度网讯科技有限公司 数字人驱动方法和装置
CN116248811A (zh) * 2022-12-09 2023-06-09 北京生数科技有限公司 视频处理方法、装置及存储介质
CN116248811B (zh) * 2022-12-09 2023-12-05 北京生数科技有限公司 视频处理方法、装置及存储介质
CN115953515A (zh) * 2023-03-14 2023-04-11 深圳崇德动漫股份有限公司 基于真人数据的动漫形象生成方法、装置、设备及介质
CN115953515B (zh) * 2023-03-14 2023-06-27 深圳崇德动漫股份有限公司 基于真人数据的动漫形象生成方法、装置、设备及介质
CN116702707A (zh) * 2023-08-03 2023-09-05 腾讯科技（深圳）有限公司 基于动作生成模型的动作生成方法、装置及设备
CN116702707B (zh) * 2023-08-03 2023-10-03 腾讯科技（深圳）有限公司 基于动作生成模型的动作生成方法、装置及设备
CN117714763A (zh) * 2024-02-05 2024-03-15 深圳市鸿普森科技股份有限公司 虚拟对象讲话视频生成方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN114866807A (zh) 虚拟形象视频生成方法、装置、电子设备及可读存储介质
US11670015B2 (en) Method and apparatus for generating video
CN111681681A (zh) 语音情绪识别方法、装置、电子设备及存储介质
WO2023050650A1 (zh) 动画视频生成方法、装置、设备及存储介质
CN109300179A (zh) 动画制作方法、装置、终端和介质
CN107092664A (zh) 一种内容解释方法及装置
WO2023273628A1 (zh) 一种视频循环识别方法、装置、计算机设备及存储介质
CN115002491A (zh) 基于智能机器的网络直播方法、装置、设备及存储介质
CN113572981A (zh) 视频配乐方法及装置、电子设备、存储介质
CN114780701B (zh) 自动问答匹配方法、装置、计算机设备及存储介质
CN114140814A (zh) 情绪识别能力的训练方法、装置及电子设备
CN114155832A (zh) 基于深度学习的语音识别方法、装置、设备及介质
CN113762056A (zh) 演唱视频识别方法、装置、设备及存储介质
CN113591472A (zh) 歌词生成方法、歌词生成模型训练方法、装置及电子设备
CN112542172A (zh) 基于在线会议的沟通辅助方法、装置、设备及介质
CN116939288A (zh) 视频生成方法及其装置、计算机设备
CN109766089B (zh) 基于动图的代码生成方法、装置、电子设备及存储介质
CN113555003B (zh) 语音合成方法、装置、电子设备及存储介质
CN116129860A (zh) 基于ai人工智能技术的元宇宙虚拟人图书自动播报方法
CN111554277B (zh) 语音数据识别方法、装置、设备及介质
CN116561294A (zh) 手语视频的生成方法、装置、计算机设备及存储介质
CN115455230A (zh) 一种舞蹈生成方法及***
CN114842880A (zh) 智能客服语音节奏调节方法、装置、设备及存储介质
CN113825009B (zh) 音视频播放方法、装置、电子设备及存储介质
CN112383722B (zh) 用于生成视频的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination