CN109064532B - 动画角色自动口型生成方法及装置 - Google Patents

动画角色自动口型生成方法及装置 Download PDF

Info

Publication number
CN109064532B
CN109064532B CN201810597021.4A CN201810597021A CN109064532B CN 109064532 B CN109064532 B CN 109064532B CN 201810597021 A CN201810597021 A CN 201810597021A CN 109064532 B CN109064532 B CN 109064532B
Authority
CN
China
Prior art keywords
mouth shape
audio
audio data
data
data unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810597021.4A
Other languages
English (en)
Other versions
CN109064532A (zh
Inventor
刘东东
沈晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Kapu Animation Design Co ltd
Original Assignee
Shenzhen Kapu Animation Design Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Kapu Animation Design Co ltd filed Critical Shenzhen Kapu Animation Design Co ltd
Priority to CN201810597021.4A priority Critical patent/CN109064532B/zh
Publication of CN109064532A publication Critical patent/CN109064532A/zh
Application granted granted Critical
Publication of CN109064532B publication Critical patent/CN109064532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/2053D [Three Dimensional] animation driven by audio data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种动画角色自动口型生成方法及装置。该方法包括:为每个预设的基础口型生成对应的音频模型数据集合;获取配音文件的音频数据;从所述音频数据中获取至少一个音频数据单元以及所述音频数据单元的时间信息;将每个所述音频数据单元与所述音频模型数据集合中的音频模型数据进行对比,确定出每个所述音频数据单元对应的基础口型;根据每个所述音频数据单元的时间信息以及每个所述音频数据单元对应的基础口型,生成所述配音文件对应的口型数据。本申请解决了相关技术中通过配音为动画角色添加口型效果时出现的耗费大量人力劳动、制作效率低下的问题。

Description

动画角色自动口型生成方法及装置
技术领域
本申请涉及动画制作领域,具体而言,涉及一种动画角色自动口型生成方法及装置。
背景技术
在动画制作时,通过配音为动画角色添加口型效果是一项重要工作。在现有的动画制作中,特别是量产动画剧集制作中,通过配音为动画角色添加口型效果往往需要大量的有经验的动画制作人员长时间制作才能完成,具体为动画制作人员先从角色配音中人工确定出配音中的口型信息,再根据配音中的口型信息为动画角色制作出与角色配音匹配的口型效果。现有的动画口型匹配方法需要大量人力劳动,且制作效率十分低下。
针对相关技术通过配音为动画角色添加口型效果中出现的耗费大量人力劳动、制作效率低下的问题,发明人提出了一种解决方案。
申请内容
本申请的主要目的在于提供一种动画角色自动口型生成方法,以解决相关技术通过配音为动画角色添加口型效果中出现的耗费大量人力劳动、制作效率低下的问题。
为了实现上述目的,根据本申请的一个方面,提供了一种动画角色自动口型生成方法。
根据本申请的动画角色自动口型生成方法包括:为每个预设的基础口型生成对应的音频模型数据集合;获取配音文件的音频数据;从所述音频数据中获取至少一个音频数据单元以及所述音频数据单元的时间信息;将每个所述音频数据单元与所述音频模型数据集合中的音频模型数据进行对比,确定出每个所述音频数据单元对应的基础口型;根据每个所述音频数据单元的时间信息以及每个所述音频数据单元对应的基础口型,生成所述配音文件对应的口型数据。
进一步的,所述动画角色自动口型生成方法还包括:为动画角色生成每个基础口型对应的角色口型效果;根据所述口型数据以及所述角色口型效果为所述动画角色生成与所述配音文件对应的口型。
进一步的,在所述将每个所述音频数据单元与所述音频模型数据集合中的音频模型数据进行对比时:获取在所述音频模型数据集合中无法找到匹配的音频模型数据的音频数据单元;确定所述音频数据单元对应的基础口型;将所述音频数据单元添加到所述基础口型对应的音频模型数据集合中。
进一步的,所述动画角色自动口型生成方法还包括:为动画角色生成每个基础口型在每个预设特征下的特征口型效果;接收用户选择的所述特征;根据用户选择的特征对应的特征口型效果以及所述口型数据为所述动画角色生成与所述配音文件对应的口型。
进一步的,所述从所述音频数据中获取至少一个音频数据单元以及所述音频数据单元的时间信息包括:将所述音频数据按照单字发音拆分成至少一个音频数据单元;以及获取每个所述音频数据单元在所述音频数据中的时间信息。
进一步的,在所述将每个所述音频数据单元与所述音频模型数据集合中的音频模型数据进行对比,确定出每个所述音频数据单元对应的基础口型后,包括:获取所述音频数据单元以及与所述音频数据单元对应的音频模型数据的波形数据;通过波形对比计算出所述音频数据单元对应的基础口型的口型大小数据。
进一步的,所述动画角色自动口型生成方法还包括:将所述音频数据的时间转换为帧数,所述口型数据还包括:每个所述基础口型在所述配音文件中对应的帧数信息。
为了实现上述目的,根据本申请的另一方面,提供了一种动画角色自动口型生成装置。
根据本申请的动画角色自动口型生成装置包括:音频集合生成模块,用于为每个预设的基础口型生成对应的音频模型数据集合;音频数据获取模块,用于获取配音文件的音频数据;音频数据处理模块,用于从所述音频数据中获取至少一个音频数据单元以及所述音频数据单元的时间信息;数据对比模块,用于将每个所述音频数据单元与所述音频模型数据集合中的音频模型数据进行对比,确定出每个所述音频数据单元对应的基础口型;口型数据生成模块,用于根据每个所述音频数据单元的时间信息以及每个所述音频数据单元对应的基础口型,生成所述配音文件对应的口型数据。
进一步的,所述动画角色自动口型生成装置还包括:口型效果生成模块,用于为动画角色生成每个基础口型对应的角色口型效果;角色口型生成模块,用于根据所述口型数据以及所述角色口型效果为所述动画角色生成与所述配音文件对应的口型。
进一步的,所述口型效果生成模块,还用于为动画角色生成每个基础口型在每个预设特征下的特征口型效果,所述动画角色自动口型生成装置还包括:特征选择模块,用于接收用户选择的所述特征,所述角色口型生成模块,还用于根据用户选择的特征对应的特征口型效果以及所述口型数据为所述动画角色生成与所述配音文件对应的口型。
在本申请实施例中,通过统计分析把中文发音的口型分为四种,进而针对四种基础口型分别建立对应的音频模型数据库,通过将配音文件的音频数据与每个音频模型数据库中的音频数据中的音频模型数据进行对比,达到了快速识别出音频文件对应的口型数据的目的,本申请一方面通过对中文发音口型的归纳总结和简化,降低了口型匹配的难度,另一方面通过建立配音口型对比模型快速的识别出配音文件对应的口型数据,进而减少了动画制作人员的工作量,也加快了动画制作人员为动画角色生成与配音文件对应的口型,从而解决了相关技术通过配音为动画角色添加口型效果中出现的耗费大量人力劳动、制作效率低下的问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是实施例动画角色自动口型生成方法第一流程示意图;
图2是实施例动画角色自动口型生成方法第二流程示意图;
图3是实施例动画角色自动口型生成方法第三流程示意图;
图4是实施例动画角色自动口型生成方法第四流程示意图;
图5是实施例动画角色自动口型生成装置第一结构示意图;
图6是实施例动画角色自动口型生成装置第二结构示意图;以及
图7是实施例动画角色自动口型生成装置第三结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
如图1所示,该动画角色自动口型生成方法包括步骤S101至步骤S106。
步骤S101,为每个预设的基础口型生成对应的音频模型数据集合。在本步骤中,先通过对中文发音的口型进行统计归类,确定出基础口型,在本申请的一可选实施例中,通过统计分析可以把中文发音的口型分为四种,分别为发音a(啊)、o(哦)、e(额)和en(嗯)对应的口型。进而针对上述四种基础口型分别建立对应的音频模型数据库。由于在中文发音时,两个字的发音虽然不同,但可能发音时的口型却相同,因此每种基础口型对应多种文字发音。在本步骤中首先获取每种基础口型对应的所有发音的音频文件,进而将音频文件转换成数字音频数据,并将其存储在基础口型对应的音频模型数据库中,这些数字音频数据用于后续判断配音音频中发音对应的基础口型。
步骤S102,获取配音文件的音频数据。在本步骤中,首先获取动画角色配音的音频文件,进而将该音频文件转化为数字数据。为了消除杂音的影响,在识别配音对应的口型信息之前还需要对配音音频文件的数字数据进行杂音数据去除处理。
步骤S103,从所述音频数据中获取至少一个音频数据单元以及所述音频数据单元的时间信息。在本步骤中,为了准确的识别出配音中每个发音对应的口型以及确定每个口型在配音中对应的时间,还需要对配音的音频数字数据进行分段处理,在本申请的一可选实施例中,可以根据每个字的发音长度将配音的音频数据分成多个音频数据单元,并获取每个音频数据单元在音频数据中对应的时间区间。通过先将音频数据按照字的发音长度分成若干个音频数据单元,有效的减轻的后续对比识别的处理量,也提高了后续对比识别的准确性,此外通过获取每个音频数据单元在音频数据中对应的时间区间,也实现了准确确定出每个口型在配音中的时间信息。
步骤S104,将每个所述音频数据单元与所述音频模型数据集合中的音频模型数据进行对比,确定出每个所述音频数据单元对应的基础口型。在本步骤中,将配音的音频数据中的每个音频数据单元与基础口型的音频模型库中的每个音频模型数据进行对比识别,识别出每个音频数据单元对应的基础口型。在本申请中,通过相似度计算来确定每个音频数据单元对应的基础口型,即在对比时,计算出音频数据单元和音频模型库中的音频模型数据的相似度,如果其两者的数据相似度高于预设阈值,则认为该音频数据单元与该音频模型数据相匹配,进而确定出该音频数据单元对应的基础口型。在本申请的一可选实施例中,相似度匹配的阈值为百分之70,当然用户可以在比对时根据需要自由调节阈值的数值。
在本申请中,为了加快对比识别效率,以及减少计算机处理量,将配音文件以及每个基础口型的音频模型库中的音频模型都转换成数字的形式储存在***中,由于数字数据对比简单高效,加快了对比识别的效率。
步骤S105,根据每个所述音频数据单元的时间信息以及每个所述音频数据单元对应的基础口型,生成所述配音文件对应的口型数据。在本步骤中,通过对比识别,确定出配音中每个字的发音对应的基础口型,并确定该基础口型在配音中对应的时间,准确的识别出该配音对应的口型数据,进而实现了动画制作人员根据配音对应的口型数据快速的为动画角色制作口型。在本申请中,通过建立口型音频对比模型快速的识别出配音对应的口型数据,有效的减少了人力劳动,提升了口型制作的效率。
步骤S106,根据所述口型数据为所述动画角色生成与所述配音文件对应的口型。在本申请的一可选实施例中,***根据配音对应的口型数据自动为动画角色生成与配音对应的口型。在本申请的其他实施例中可以由动画制作人员根据所述口型数据人工为动画角色生成与配音对应的口型。
在本申请中,首先通过建立口型音频对比模型快速的识别出配音对应的口型数据,进而动画制作人员可以根据配音对应的口型数据快速所述动画角色生成与所述配音文件对应的口型。如图2所示,通过口型数据快速动画角色生成口型的方法包括步骤S201至步骤S202。
步骤S201,为动画角色生成每个基础口型对应的角色口型效果。由于在将配音中的口型数据匹配到某个动画角色上之前,还需要制作出该动画角色四种基础口型对应的角色口型效果,在本申请的可选实施例中,这里的角色的口型效果根据动画的种类可以为二维口型效果或三维口型效果,这里的角色的口型效果可以以贴图的形式或动图的形式呈现,并保存在***中,便于提取和使用。
步骤S202,根据所述口型数据以及所述角色口型效果为所述动画角色生成与所述配音文件对应的口型。在本步骤中,根据在上述步骤S105中获取的配音中每个字的发音对应的基础口型和该基础口型在配音中对应的时间区间,以及在步骤S201中生成的动画角色的四种基础口型对应的角色口型效果,可以快速的为该动画角色制作出与配音文件对应的口型。在本申请实施例中,可以根据配音对应的口型数据以及每个基础口型的角色口型效果通过制作软件自动生成动画角色的口型。由于角色的口型效果可以为二维口型效果或三维口型效果,因此口型数据可以直接输出到动画角色二维效果上也可以直接输出到动画角色的三维效果上。
在上述步骤S104,将每个所述音频数据单元与所述音频模型数据库中的音频模型数据进行对比时,可能由于音频模型数据库中的音频模型数据不全的原因,出现音频数据单元在音频模型数据库中找不到匹配的数据的情况,为了提高识别的准确性,本申请采用了机器学习的思想,通过未识别的音频数据不断的对音频模型数据库中的音频模型数据进行补充。
如图3所示,通过未识别的音频数据不断的对音频模型数据库中的音频模型数据进行补充的方法包括步骤S301至步骤时S303。
步骤S301,获取在所述音频模型数据集合中无法找到匹配的音频模型数据的音频数据单元。在本步骤中,获取在所述音频数据单元与所述音频模型数据库中的音频模型数据进行对比时,无法找到匹配的音频模型数据的音频数据单元,这里不匹配的音频数据单元也是通过相似度匹配确定出的,即在音频模型数据库中找不到和该音频数据单元相似度在百分之70以上的音频模型数据,就将该音频数据单元视为不匹配的音频数据单元。
步骤S302,确定所述音频数据单元对应的基础口型。在本步骤中,确定出不匹配的音频数据单元所对应的基础口型,在本申请的一可选实施例中,可以由动画制作人员根据经验人工判断出该音频数据单元对应的基础口型。
步骤S303,将所述音频数据单元添加到所述基础口型对应的音频模型数据集合中。在本步骤中,在确定出音频数据单元对应的基础口型之后,动画制作人员可以将该音频数据单元添加到对应的音频模型数据库中,用于对音频模型数据库进行不断的补充,有助于提高识别的准确性。
在本申请中,考虑到在动画口型制作时往往需要制作出不同的口型特效,为了快速的为动画角色制作出特定特效的口型,本申请还在基础口型的基础上建立了不同的特效口型。
如图4所示,为动画角色生成配音对应的口型时加入特效口型的方法包括步骤S401至步骤S403。
步骤S401,为动画角色生成每个基础口型在每个预设特征下的特征口型效果。在本步骤中,先确定出动画角色需要表现的不同特征,这里的特征可以为情感特征或一些特效,例如动画角色在喜悦、悲伤、愤怒等时的角色口型效果,或者一些夸张的特效,例如放大口型、缩小口型、口型加入艺术效果等时的角色口型效果。在本申请中这些口型效果根据动画的种类可以为二维效果或三维效果。在确定出动画角色需要的口型特征之后,制作出该动画角色在每种口型特效下每种基础口型的口型效果,并将所有的口型效果按照分类进行储存,以便使用时可以快速提取口型效果。在本申请的实施例中,这些角色口型效果可以以贴图的形式呈现也可以以动图的形式呈现。
步骤S402,接收用户选择的所述特征。在本步骤中,当动画制作人员为动画角色添加配音对应的口型时,判断出本配音是否需要特征口型,以及需要加入哪种特征口型,例如,当该配音的口型需要加入喜悦的特效时,动画制作人员在为角色制作口型之前,先选择喜悦特效,并提取出该动画角色在喜悦特效对应的口型效果。
步骤S403,根据用户选择的特征对应的特征口型效果以及所述口型数据为所述动画角色生成与所述配音文件对应的口型。在本步骤中,根据在步骤S105中获取的配音的口型数据,以及在步骤S401中生成的特效口型效果,可以快速的为该动画角色制作出与配音文件对应的特效口型。在本申请实施例中,可以根据配音对应的口型数据以及每个基础口型的角色口型效果通过制作软件自动生成动画角色的口型。由于角色的口型效果可以为二维口型效果或三维口型效果,因此口型数据可以直接输出到动画角色二维效果上也可以直接输出到动画角色的三维效果上。通过上述步骤S401至步骤S403,本申请实现了在为动画角色添加口型时加入例如情感等的特效,进一步提高了口型制作的效率。
本申请考虑到在为动画角色制作口型时,加入口型大小数据,使人物的口型更加逼真,在步骤S104音频模型对比时还根据音频的波形数据计算出了口型大小数据,具体方法为,在将音频数据单元与音频模型数据库中的音频模型数据进行对比,确定出对应的基础口型后,分别获取该音频数据单元和该音频模型数据对应的波形数据,通过波形对比近似的计算出其两者波形之间的比例系数,进而根据比例系数对基础口型进行放大或缩小,获得口型大小数据。
在本申请中,由于配音的时间单位往往为秒单位,而在动画制作时往往是以帧单位进行的,所以在为动画角色制作口型时需要每个基础口型在动画中对应的帧数。具体方法为,在上述步骤S102,获取配音文件的音频数据时,获取音频数据的时间数据,进而把时间单位从秒单位转换成24帧每秒或者25帧每秒的帧单位。进而将在步骤S105中生成的配音文件对应的口型数据与转换成帧单位的音频数据进行对比,把口型数据中的每个基础口型的时间转换成帧单位。由于在动画制作中由于不同的艺术风格往往需要不同色帧速率,而且动画制作中帧每秒的最基本的时间单位,因此将音频文件的时间单位从秒单位转换成24帧每秒或者25帧每秒。在本申请中,通过获取口型数据中每个基础口型对应的帧数,进一步提高了口型制作的效率,减少了人工劳动。
从以上的描述中,可以看出,本申请实现了如下技术效果:
1.通过统计分析把中文发音的口型分为四种,进而针对四种基础口型分别建立对应的音频模型数据库,通过对中文发音口型的归纳总结和简化,降低了口型匹配的难度。
2.通过建立配音口型对比模型快速的识别出配音文件对应的口型数据,进而减少了动画制作人员的工作量,也加快了动画制作人员为动画角色生成与配音文件对应的口型。
3.在配音口型对比时,先通过将音频数据按照字的发音长度分成若干个音频数据单元,有效的减轻的后续对比识别的处理量,也提高了后续对比识别的准确性,此外通过获取每个音频数据单元在音频数据中对应的时间区间,也实现了准确确定出每个口型在配音中的时间信息。
4.在配音口型对比时,配音文件的音频数据以及每个基础口型的音频模型库中的音频模型都以数字的形式储存在***中,由于数字数据对比简单高效,加快了对比识别的效率,减少计算机处理量。
5.采用了机器学习的思想,通过未识别的音频数据不断的对基础口型的音频模型数据库进行补充和更新,提高了识别的准确性。
6.口型模型中加入人物情感效果,考虑到在动画口型制作时往往需要制作出不同的口型特效,为了快速的为动画角色制作出特定特效的口型,本申请还在基础口型的基础上建立了不同的情感特效口型。
7.加入口型大小数据,使人物的口型更加逼真,在配音口型对比时,根据音频的波形数据计算出了口型大小数据。
8.将音频文件的时间单位从秒单位转换成24帧每秒或者25帧每秒。在本申请中,通过获取口型数据中每个基础口型对应的帧数,进一步提高了口型制作的效率,减少了人工劳动。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
根据本申请实施例,还提供了一种用于实施上述动画角色自动口型生成方法的动画角色自动口型生成装置,如图5所示,该装置包括:音频集合生成模块1、音频数据获取模块2、音频数据处理模块3、数据对比模块4和口型数据生成模块5,其中:
音频集合生成模块1,用于为每个预设的基础口型生成对应的音频模型数据集合;
音频数据获取模块2,用于获取配音文件的音频数据;
音频数据处理模块3,用于从所述音频数据中获取至少一个音频数据单元以及所述音频数据单元的时间信息;
数据对比模块4,用于将每个所述音频数据单元与所述音频模型数据集合中的音频模型数据进行对比,确定出每个所述音频数据单元对应的基础口型;
口型数据生成模块5,用于根据每个所述音频数据单元的时间信息以及每个所述音频数据单元对应的基础口型,生成所述配音文件对应的口型数据。
如图6所示,该动画角色自动口型生成装置还包括:口型效果生成模块6和角色口型生成模块7,其中:
口型效果生成模块6,用于为动画角色生成每个基础口型对应的角色口型效果;
角色口型生成模块7,用于根据所述口型数据以及所述角色口型效果为所述动画角色生成与所述配音文件对应的口型。
如图7所示,该动画角色自动口型生成装置还包括:特征选择模块8,其中:
口型效果生成模块6,还用于为动画角色生成每个基础口型在每个预设特征下的特征口型效果;
特征选择模块8,用于接收用户选择的所述特征;
角色口型生成模块7,还用于根据用户选择的特征对应的特征口型效果以及所述口型数据为所述动画角色生成与所述配音文件对应的口型。
显然,本领域的技术人员应该明白,上述的本申请的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本申请不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (5)

1.一种动画角色自动口型生成方法,其特征在于,包括:
为每个预设的基础口型生成对应的音频模型数据集合,其中,每种基础口型对应多种文字发音;并且每种基础口型对应的所有发音的音频文件转换成了数字音频数据;通过对中文发音的口型进行统计归类,通过统计分析把中文发音的口型分为四种基础口型,分别为发音a啊、o哦、e额和en嗯对应的口型;
获取配音文件的音频数据,其中,将音频文件转化为数字数据;
从所述音频数据中获取至少一个音频数据单元以及所述音频数据单元的时间信息;包括:将所述音频数据按照单字发音拆分成至少一个音频数据单元;以及获取每个所述音频数据单元在所述音频数据中的时间信息;
将每个所述音频数据单元与所述音频模型数据集合中的音频模型数据进行对比以计算出音频数据单元和音频模型库中的音频模型数据的相似度,确定出每个所述音频数据单元对应的基础口型;
根据每个所述音频数据单元的时间信息以及每个所述音频数据单元对应的基础口型,生成所述配音文件对应的口型数据;
其中,所述动画角色自动口型生成方法还包括:为动画角色生成每个基础口型在每个预设特征下的特征口型效果;接收用户选择的所述特征;根据用户选择的特征对应的特征口型效果以及所述口型数据为所述动画角色生成与所述配音文件对应的口型;
在所述将每个所述音频数据单元与所述音频模型数据集合中的音频模型数据进行对比,确定出每个所述音频数据单元对应的基础口型后,包括:获取所述音频数据单元以及与所述音频数据单元对应的音频模型数据的波形数据;通过波形对比计算出所述音频数据单元对应的基础口型的口型大小数据。
2.根据权利要求1所述的动画角色自动口型生成方法,其特征在于,所述动画角色自动口型生成方法还包括:
为动画角色生成每个基础口型对应的角色口型效果;
根据所述口型数据以及所述角色口型效果为所述动画角色生成与所述配音文件对应的口型。
3.根据权利要求1所述的动画角色自动口型生成方法,其特征在于,在所述将每个所述音频数据单元与所述音频模型数据集合中的音频模型数据进行对比时:
获取在所述音频模型数据集合中无法找到匹配的音频模型数据的音频数据单元;
确定所述音频数据单元对应的基础口型;
将所述音频数据单元添加到所述基础口型对应的音频模型数据集合中。
4.根据权利要求1所述的动画角色自动口型生成方法,其特征在于,所述动画角色自动口型生成方法还包括:
将所述音频数据的时间转换为帧数,
所述口型数据还包括:每个所述基础口型在所述配音文件中对应的帧数信息。
5.一种动画角色自动口型生成装置,其特征在于,包括:
音频集合生成模块,用于为每个预设的基础口型生成对应的音频模型数据集合;其中,每种基础口型对应多种文字发音;并且每种基础口型对应的所有发音的音频文件转换成了数字音频数据;通过对中文发音的口型进行统计归类,通过统计分析把中文发音的口型分为四种基础口型,分别为发音a啊、o哦、e额和en嗯对应的口型;
音频数据获取模块,用于获取配音文件的音频数据;其中,将音频文件转化为数字数据;
音频数据处理模块,用于从所述音频数据中获取至少一个音频数据单元以及所述音频数据单元的时间信息;包括:将所述音频数据按照单字发音拆分成至少一个音频数据单元;以及获取每个所述音频数据单元在所述音频数据中的时间信息;
数据对比模块,用于将每个所述音频数据单元与所述音频模型数据集合中的音频模型数据进行对比以计算出音频数据单元和音频模型库中的音频模型数据的相似度,确定出每个所述音频数据单元对应的基础口型;
口型数据生成模块,用于根据每个所述音频数据单元的时间信息以及每个所述音频数据单元对应的基础口型,生成所述配音文件对应的口型数据;
所述动画角色自动口型生成装置还包括:口型效果生成模块,用于为动画角色生成每个基础口型对应的角色口型效果;角色口型生成模块,用于根据所述口型数据以及所述角色口型效果为所述动画角色生成与所述配音文件对应的口型;
其中,所述口型效果生成模块,还用于为动画角色生成每个基础口型在每个预设特征下的特征口型效果,所述动画角色自动口型生成装置还包括:特征选择模块,用于接收用户选择的所述特征,所述角色口型生成模块,还用于根据用户选择的特征对应的特征口型效果以及所述口型数据为所述动画角色生成与所述配音文件对应的口型;
在所述将每个所述音频数据单元与所述音频模型数据集合中的音频模型数据进行对比,确定出每个所述音频数据单元对应的基础口型后,包括:获取所述音频数据单元以及与所述音频数据单元对应的音频模型数据的波形数据;通过波形对比计算出所述音频数据单元对应的基础口型的口型大小数据。
CN201810597021.4A 2018-06-11 2018-06-11 动画角色自动口型生成方法及装置 Active CN109064532B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810597021.4A CN109064532B (zh) 2018-06-11 2018-06-11 动画角色自动口型生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810597021.4A CN109064532B (zh) 2018-06-11 2018-06-11 动画角色自动口型生成方法及装置

Publications (2)

Publication Number Publication Date
CN109064532A CN109064532A (zh) 2018-12-21
CN109064532B true CN109064532B (zh) 2024-01-12

Family

ID=64820171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810597021.4A Active CN109064532B (zh) 2018-06-11 2018-06-11 动画角色自动口型生成方法及装置

Country Status (1)

Country Link
CN (1) CN109064532B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136698B (zh) * 2019-04-11 2021-09-24 北京百度网讯科技有限公司 用于确定嘴型的方法、装置、设备和存储介质
CN110189394B (zh) * 2019-05-14 2020-12-29 北京字节跳动网络技术有限公司 口型生成方法、装置及电子设备
CN112750184B (zh) * 2019-10-30 2023-11-10 阿里巴巴集团控股有限公司 数据处理、动作驱动与人机交互方法及设备
CN110930481B (zh) * 2019-12-11 2024-06-04 北京慧夜科技有限公司 一种口型控制参数的预测方法和***
CN112331184B (zh) * 2020-10-29 2024-03-15 网易(杭州)网络有限公司 语音口型同步方法、装置、电子设备及存储介质
CN113112575B (zh) * 2021-04-08 2024-04-30 深圳市山水原创动漫文化有限公司 一种口型生成方法、装置、计算机设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1787035A (zh) * 2005-11-04 2006-06-14 黄中伟 聋哑人汉语发音计算机辅助学习方法
CN1851779A (zh) * 2006-05-16 2006-10-25 黄中伟 多种语言适用的聋哑人语音学习计算机辅助方法
CN1936889A (zh) * 2005-09-20 2007-03-28 文化传信科技(澳门)有限公司 动画生成***以及方法
JP2016173790A (ja) * 2015-03-18 2016-09-29 カシオ計算機株式会社 画像処理装置、アニメーション生成方法及びプログラム
CN106297792A (zh) * 2016-09-14 2017-01-04 厦门幻世网络科技有限公司 一种语音口型动画的识别方法及装置
CN107998658A (zh) * 2017-12-01 2018-05-08 苏州蜗牛数字科技股份有限公司 Vr游戏中实现3d角色口型语音聊天***及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1936889A (zh) * 2005-09-20 2007-03-28 文化传信科技(澳门)有限公司 动画生成***以及方法
CN1787035A (zh) * 2005-11-04 2006-06-14 黄中伟 聋哑人汉语发音计算机辅助学习方法
CN1851779A (zh) * 2006-05-16 2006-10-25 黄中伟 多种语言适用的聋哑人语音学习计算机辅助方法
JP2016173790A (ja) * 2015-03-18 2016-09-29 カシオ計算機株式会社 画像処理装置、アニメーション生成方法及びプログラム
CN106297792A (zh) * 2016-09-14 2017-01-04 厦门幻世网络科技有限公司 一种语音口型动画的识别方法及装置
CN107998658A (zh) * 2017-12-01 2018-05-08 苏州蜗牛数字科技股份有限公司 Vr游戏中实现3d角色口型语音聊天***及方法

Also Published As

Publication number Publication date
CN109064532A (zh) 2018-12-21

Similar Documents

Publication Publication Date Title
CN109064532B (zh) 动画角色自动口型生成方法及装置
US10332507B2 (en) Method and device for waking up via speech based on artificial intelligence
CN108492817B (zh) 一种基于虚拟偶像的歌曲数据处理方法及演唱交互***
CN109523986B (zh) 语音合成方法、装置、设备以及存储介质
CN111935537A (zh) 音乐短片视频生成方法、装置、电子设备和存储介质
CN110427610A (zh) 文本分析方法、装置、计算机装置及计算机存储介质
CN109408833A (zh) 一种翻译方法、装置、设备及可读存储介质
CN104484656A (zh) 基于深度学习的唇语识别唇形模型库构建方法
CN103793447A (zh) 音乐与图像间语义相识度的估计方法和估计***
CN108664465A (zh) 一种自动生成文本方法以及相关装置
CN109767757A (zh) 一种会议记录生成方法和装置
CN111667557B (zh) 动画制作方法及装置、存储介质、终端
WO2023273628A1 (zh) 一种视频循环识别方法、装置、计算机设备及存储介质
CN112465020B (zh) 训练数据集的生成方法及装置、电子设备、存储介质
CN107665188B (zh) 一种语义理解方法及装置
CN111462758A (zh) 智能会议角色分类的方法、装置、设备及存储介质
CN111191503A (zh) 一种行人属性识别方法、装置、存储介质及终端
CN108833810A (zh) 一种三维虚拟偶像直播中实时生成字幕的方法及装置
US20220375223A1 (en) Information generation method and apparatus
WO2023116122A1 (zh) 一种字幕生成方法、电子设备及计算机可读存储介质
CN110459200A (zh) 语音合成方法、装置、计算机设备及存储介质
CN110751191A (zh) 一种图像的分类方法及***
CN113705300A (zh) 音转文训练语料的获取方法、装置、设备以及存储介质
CN114581567B (zh) 一种声音驱动虚拟形象口型方法、装置及介质
CN103544978A (zh) 一种多媒体文件制作、播放方法及智能终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20231213

Address after: 518000, Building 302, Nanhai Yiku, Xinghua Road, Shekou, Shuiwan Community, Nanshan District, Shenzhen City, Guangdong Province, China

Applicant after: Shenzhen Kapu Animation Design Co.,Ltd.

Address before: Room 531, Building A, No. 68 Dongheyan, Chengqiao Town, Chongming District, Shanghai, 202155 (Shanghai Chengqiao Economic Development Zone)

Applicant before: SHANGHAI KAKA CULTURAL COMMUNICATION CO.,LTD.

GR01 Patent grant
GR01 Patent grant