CN114466179A - 语音与图像同步性的衡量方法及装置 - Google Patents
语音与图像同步性的衡量方法及装置 Download PDFInfo
- Publication number
- CN114466179A CN114466179A CN202111057976.9A CN202111057976A CN114466179A CN 114466179 A CN114466179 A CN 114466179A CN 202111057976 A CN202111057976 A CN 202111057976A CN 114466179 A CN114466179 A CN 114466179A
- Authority
- CN
- China
- Prior art keywords
- voice
- image
- segment
- visual
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000000007 visual effect Effects 0.000 claims abstract description 175
- 238000013528 artificial neural network Methods 0.000 claims abstract description 126
- 230000014509 gene expression Effects 0.000 claims description 55
- 238000012545 processing Methods 0.000 claims description 48
- 230000001360 synchronised effect Effects 0.000 claims description 32
- 239000013598 vector Substances 0.000 claims description 32
- 238000004422 calculation algorithm Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 15
- 230000009471 action Effects 0.000 claims description 11
- 230000008921 facial expression Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 description 88
- 230000000875 corresponding effect Effects 0.000 description 74
- 230000033001 locomotion Effects 0.000 description 29
- 238000005259 measurement Methods 0.000 description 22
- 238000005070 sampling Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 11
- 239000012634 fragment Substances 0.000 description 11
- 210000001328 optic nerve Anatomy 0.000 description 9
- 210000000887 face Anatomy 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000002238 attenuated effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 240000005561 Musa balbisiana Species 0.000 description 1
- 235000018290 Musa x paradisiaca Nutrition 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种语音与图像同步性的衡量方法及装置,该方法包括:获取视频中的语音片段和图像片段,语音片段与图像片段在视频中具有对应关系;根据图像片段生成目标人物的轮廓图,轮廓图与目标人物的个体特征无关;通过语音神经网络获得语音片段的语音特征;通过视觉神经网络获得轮廓图的视觉特征;根据语音特征与视觉特征,确定语音片段与图像片段是否具有同步性。在将图像片段输入视觉神经网络之前,通过先对图像片段进行处理,去除图像片段中与人物个体相关的特征,再将对图像片段处理后得到的图像数据输入视觉神经网络。这样,通过视觉神经网络获取的视觉特征就不再携带有说话人自身的特征,进而能够提高语音与图像同步性衡量的准确性。
Description
技术领域
本申请涉及视频处理技术领域,尤其涉及一种语音与图像同步性的衡量方法及装置。
背景技术
在一段视频中,往往都包含有图像和语音。并且,当视频中的人物说话时,图像中该人物的嘴部运动应当与该人物所发出的语音保持同步。
为了衡量视频中人物的嘴部运动与其所发出的语音是否同步,现有一般采用的是SyncNet类技术。所谓SyncNet类技术,可以参考文献Chung,Joon Son,and AndrewZisserman."Out of time:automated lip sync in the wild."Asian conference oncomputer vision.Springer,Cham,2016。具体来说,就是将视频中的语音片段输入一个神经网络,得到语音特征。再将视频中的图像片段输入另一个神经网络,得到视觉特征。最后,通过对比语音特征与视觉特征,进而判断视频中人物的嘴部运动与其所发出的语音是否同步。
但是,采用SyncNet类技术衡量视频中人物的嘴部运动与其所发出的语音是否同步,准确性仍然较低。
发明内容
本申请实施例的目的是提供一种语音与图像同步性的衡量方法及装置,以提高语音与图像同步性衡量的准确性。
为解决上述技术问题,本申请实施例提供如下技术方案:
本申请第一方面提供一种语音与图像同步性的衡量方法,所述方法包括:获取视频中的语音片段和图像片段,所述语音片段与所述图像片段在所述视频中具有对应关系;根据所述图像片段生成目标人物的轮廓图,所述轮廓图与所述目标人物的个体特征无关;通过语音神经网络获得所述语音片段的语音特征;通过视觉神经网络获得所述轮廓图的视觉特征;根据所述语音特征与所述视觉特征,确定所述语音片段与所述图像片段是否具有同步性,所述同步性用于表征所述语音片段中的声音与所述图像片段中所述目标人物的动作(具体可以是下半脸的运动)相匹配。
本申请第二方面提供一种语音与图像同步性的衡量装置,所述装置包括:接收模块,用于获取视频中的语音片段和图像片段,所述语音片段与所述图像片段在所述视频中具有对应关系;数据处理模块,用于根据所述图像片段生成目标人物的轮廓图,所述轮廓图与所述目标人物的个体特征无关;特征提取模块,用于通过语音神经网络获得所述语音片段的语音特征;所述特征提取模块,还用于通过视觉神经网络获得所述轮廓图的视觉特征;同步性衡量模块,根据所述语音特征与所述视觉特征,确定所述语音片段与所述图像片段是否具有同步性,所述同步性用于表征所述语音片段中的声音与所述图像片段中所述目标人物的动作相匹配。
本申请第三方面提供一种电子设备,包括:处理器、存储器、总线;其中,所述处理器、所述存储器通过所述总线完成相互间的通信;所述处理器用于调用所述存储器中的程序指令,以执行第一方面中的方法。
本申请第四方面提供一种计算机可读存储介质,包括:存储的程序;其中,在所述程序运行时控制所述存储介质所在设备执行第一方面中的方法。
相较于现有技术,本申请第一方面提供的语音与图像同步性的衡量方法,在获取到视频中的语音片段和图像片段后,先根据图像片段生成目标人物的轮廓图,轮廓图与目标人物的个体特征无关,再通过语音神经网络获得语音片段的语音特征,以及通过视觉神经网络获得轮廓图的视觉特征,最后,根据语音特征与视觉特征,确定语音片段与图像片段是否具有同步性。也就是说,在将图像片段输入视觉神经网络之前,通过先对图像片段进行处理,去除图像片段中与人物个体相关的特征,再将对图像片段处理后得到的图像数据输入视觉神经网络。这样,通过视觉神经网络获取的视觉特征就不再携带有说话人自身的特征,进而能够提高语音与图像同步性衡量的准确性。
本申请第二方面提供的语音与图像同步性的衡量装置、第三方面提供的电子设备、第四方面提供的计算机可读存储介质,与第一方面提供的语音与图像同步性的衡量方法具有相同或相似的有益效果。
附图说明
通过参考附图阅读下文的详细描述,本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本申请的若干实施方式,相同或对应的标号表示相同或对应的部分,其中:
图1为本申请实施例中图像片段的示意图一;
图2为本申请实施例中图像片段的示意图二;
图3为本申请实施例中语音与图像同步性的衡量方法的流程示意图一;
图4为本申请实施例中语音与图像同步性的衡量方法的流程示意图二;
图5为本申请实施例中处理语音片段的流程示意图;
图6为本申请实施例中下半脸的范围的示意图;
图7为本申请实施例中处理图像片段的流程示意图;
图8为本申请实施例中衡量语音与图像同步性的架构示意图;
图9为本申请实施例中语音神经网络的架构示意图;
图10为本申请实施例中生成语音特征的流程示意图;
图11为本申请实施例中生成视觉特征的流程示意图;
图12为本申请实施例中训练神经网络的流程示意图;
图13为本申请实施例中语音与图像同步性的衡量方法的完整流程示意图;
图14为本申请实施例中语音与图像同步性的衡量装置的结构示意图一;
图15为本申请实施例中语音与图像同步性的衡量装置的结构示意图二;
图16为本申请实施例中电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施方式。虽然附图中显示了本申请的示例性实施方式,然而应当理解,可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了能够更透彻地理解本申请,并且能够将本申请的范围完整的传达给本领域的技术人员。
需要注意的是,除非另有说明,本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。
在现有技术中,采用SyncNet类技术衡量视频中人物的嘴部运动与其所发出的语音是否同步,准确性较低。
发明人经过仔细研究发现,SyncNet类技术衡量嘴部运动与语音是否同步准确性低的原因在于:SyncNet类技术中需要使用到两个神经网络。一个是语音神经网络,用于提取语音特征。一个是视觉神经网络,用于提取视觉特征。无论是语音神经网络,还是视觉神经网络,在进行训练时,都无法做到与说话人的自身特征无关。也就是说,在采用样本进行训练时,样本中携带有说话人的自身特征,而训练后的网络中也学习到了样本中说话人的特征。对于样本中未覆盖到的说话人,通过语音神经网络和视觉神经网络获取的语音特征和视觉特征的准确性就会有所下降。
并且,SyncNet类技术也很难做到与坐标系无关。也就是说,在通过视觉神经网络提取视觉特征时,主要提取的是嘴部特征。而嘴部特征的提取对嘴部对齐十分敏感。当说话人发生转头等三维动作时,嘴部对齐就会产生困难。嘴部对齐导致的相对运动和因为说话导致的嘴部运动耦合在一起,使得SyncNet类技术对于嘴部特征提取的准确性明显下降。图1为本申请实施例中图像片段的示意图一,参见图1所示,该图像片段中存在3帧图像。在第1帧图像中,人物正在说话。到第2帧图像时,人物的头部发生转动,并且图像中嘴部的位置和缩放比例也与第1帧图像中人物的正脸不同。在第3帧图像中,人物仍在继续说话。而使用SyncNet类技术以二维的方式兼容这种三维的运动,显然会影响嘴部运动与语音同步性判断的准确性。
并且,SyncNet类技术对图像中遮挡的鲁棒性较差。也就是说,当图像中说话人的脸部被部分遮挡时,视觉神经网络无法准确地提取说话人的嘴部特征,在提取的嘴部特征中包含有遮挡物的特征。这样,也会降低嘴部运动与语音同步性判断的准确性。图2为本申请实施例中图像片段的示意图二,参见图2所示,在这两幅图像中,人物的嘴部分别被手指和笔部分遮挡。这类遮挡会影响图像中嘴部的对齐,并且,获得的嘴部特征中也会混入遮挡物,进而影响嘴部运动与语音同步性判断的准确性。
有鉴于此,本申请实施例提供了一种语音与图像同步性的衡量方法,在该方法中,在将图像片段输入视觉神经网络之前,先对图像片段进行处理,去除图像片段中与人物个体相关的特征,再将对图像片段处理后得到的图像数据输入视觉神经网络。这样,通过视觉神经网络获取的视觉特征就不再携带有说话人自身的特征,进而提高语音与图像同步性衡量的准确性。
图3为本申请实施例中语音与图像同步性的衡量方法的流程示意图一,参见图3所示,该方法可以包括:
S301:获取视频中的语音片段和图像片段。
视频,就是需要判断其中的图像与语音是否同步的视频。这里的同步性,用于表征语音片段中的声音与图像片段中目标人物的动作相匹配。
所谓相匹配,是指在一段视频中,图像片段中目标人物的动作(具体可以是下半脸动作)所发出的声音与语音片段中的声音在语义和时间上是相同的。
举例来说,图像片段中目标人物的嘴部做出了发出“苹果”这一声音的嘴型,并且语音片段中的声音也是“苹果”,那么就可以认为该图像片段与语音片段具有同步性。再有,图像片段中目标人物的嘴部做出了发出“苹果”这一声音的嘴型,并且语音片段中的声音是“香蕉”,那么就可以认为该图像片段与语音片段不具有同步性。
一般来说,并不会直接将视频中的所有图像与所有语音放在一起进行判断,而是将视频中的一部分图像与相应的语音放在一起进行判断。选取的部分图像就是视频中的图像片段,相应的,选取的语音也就是视频中的语音片段。选取的语音片段与图像片段在视频中具有对应关系。
所谓具有对应关系,是指选取的语音片段和图像片段在视频中的起始时间相同、终止时间相同或者在时间上具有一定的错位(该错位在人眼的视觉范围内是可以被接受的)。
举例来说,获取视频中第1帧至第10帧对应的图像和语音。视频中第1帧至第10帧的图像就组成了图像片段,视频中第1帧至第10帧的语音就组成了语音片段。这里的第1帧至第10帧就是一个具体的位置。对于获取图像片段和语音片段的具***置,可以根据实际情况设置,此处不做具体限定。
当然,图像片段还可以是某1帧图像,相应的语音片段还可以是该帧的语音以及该帧前后几帧的语音。
在判断完视频中的一部分图像与相应的语音是否同步后,再判断视频中的另一部分图像与相应的语音是否同步,直到视频中所有的图像与相应的语音的同步性判断完成为止。
S302:根据图像片段生成目标人物的轮廓图。
其中,轮廓图与目标人物的个体特征无关。
在将图像片段输入视觉神经网络中获取视觉特征前,需要先对图像片段进行处理,将图像片段中人物的个体特征删除,也就是从图像片段中提取与图像中人物个体特征无关的人物特征。
举例来说,不同人之间,其嘴唇厚度以及大小有所差异。有的人嘴唇厚,有的人嘴唇薄,有的人嘴大,有的人嘴小。若将图像片段直接输入视觉神经网络中,得到的视觉特征中就会包含有每个人的个体特征,这样会降低图像与语音同步性判断的准确性。并且,若将包含有个体特征的图像片段输入视觉网络中进行训练,训练出的网络在也无法准确地获取训练样本中未包含的人物的视觉特征,进而降低后续图像与语音同步性判断的准确性。所以,在将图像片段输入视觉神经网络前,先对图像片段进行提取,仅提取图像片段中与人物下半脸运动相关的特征,避免提取人物自身特征,例如:只提取嘴部开合的程度,而不提取嘴唇厚度等。进而将提取的与人物运动相关的特征组合,就能够得到人物的姿态或表情,进而就得到了图像片段中目标人物的轮廓图。进而将轮廓图输入视觉神经网络,获得的视觉特征中就能够避免出现人物的个体特征,进而提高图像与语音同步性判断的准确性。
S303:通过语音神经网络获得语音片段的语音特征。
将语音片段输入语音神经网络,通过语音神经网络对语音片段进行处理,语音神经网络的输出就是语音特征。
这里的语音神经网络可以是任何一种能够获取语音片段中语音特征的神经网络。对于语音神经网络的具体类型,此处不做具体限定。
S304:通过视觉神经网络获得轮廓图的视觉特征。
将对图像片段处理后得到的轮廓图输入视觉神经网络,通过视觉神经网络对轮廓图进行处理,视觉神经网络的输出就是视觉特征。
这里的视觉神经网络可以是任何一种能够获取图像片段中视觉特征的神经网络。对于视觉神经网络的具体类型,此处不做具体限定。
S305:根据语音特征与视觉特征,确定语音片段与图像片段是否具有同步性。
在语音神经网络输出语音特征,视觉神经网络输出视觉特征后,通过具有对比功能的算法将语音特征与视觉特征进行对比,根据对比结果,就能够确定语音片段与图像片段是否具有同步性了。这里的同步性,用于表征语音片段中的声音与图像片段中目标人物的动作相匹配。也就是说,根据对比结果,确定语音片段中的声音与图像片段中目标人物的动作的含义是否相同。也可以理解为图像片段中目标人物的动作所发出的声音与语音片段中的声音在语义和时间上是相同的。这里的目标人物的动作一般是指目标人物的下半脸动作,如与嘴部相关的动作。
一般来说,输出为0至1之间的一个数值。并且,在0至1之间设置一个阈值。若输出的数值大于或等于该阈值,则说明语音特征与视觉特征的相似度较高,语音片段与图像片段同步。若输出的数值小于该阈值,则说明语音特征与视觉特征的相似度较低,语音片段与图像片段不同步。对于数值的具体范围和阈值,此处不做具体限定。
由上述内容可知,本申请实施例提供的语音与图像同步性的衡量方法,在获取到视频中的语音片段和图像片段后,先根据图像片段生成目标人物的轮廓图,轮廓图与目标人物的个体特征无关,再通过语音神经网络获得语音片段的语音特征,以及通过视觉神经网络获得轮廓图的视觉特征,最后,根据语音特征与视觉特征,确定语音片段与图像片段是否具有同步性。也就是说,在将图像片段输入视觉神经网络之前,通过先对图像片段进行处理,去除图像片段中与人物个体相关的特征,再将对图像片段处理后得到的图像数据输入视觉神经网络。这样,通过视觉神经网络获取的视觉特征就不再携带有说话人自身的特征,进而能够提高语音与图像同步性衡量的准确性。
进一步地,作为图3所示方法的细化和扩展,本申请实施例还提供了一种语音与图像同步性的衡量方法。图4为本申请实施例中语音与图像同步性的衡量方法的流程示意图二,参见图4所示,该方法可以包括:
S401:获取视频中的语音片段和图像片段。
步骤S401与步骤S301的实现方式相同,此处不再赘述。
下面分别从语音和图像两个方面,对输入神经网络前的语音片段和图像片段进行处理,对应处理成语音数据和图像数据的过程进行具体说明。
一、语音片段处理方面。
由于语音片段中包含有说话人自身的特征,例如:音色、语调等。因此,在将语音片段输入语音神经网络中获取语音特征之前,先将语音片段中说话人自身的特征抹去,进而将抹去说话人自身特征的语音数据输入语音神经网络,能够提升语音与图像同步性对比的准确性。
S402:将语音片段的采样频率转换为特定频率。
从视频中将语音片段进行分离,改为单通道后,由于采集视频的终端的配置不同,故而语音的采样频率也存在差异,为了后续能够准确地对语音片段进行处理,因此,需要先将语音片段的采样频率进行统一。
在实际应用中,可以将语音片段的采样频率统一为16kHz。当然,也可以将语音片段的采样频率统一为其它数值,如:8kHz、20kHz等。具体的数值可以根据实际情况设置,此处不做限定。
S403:对语音片段进行去噪。
在这里,步骤S403可以包括两个方面。
S4031:去除语音片段中的背景音。
具体的,可以利用短时谱估计中的谱相减法对语音片段进行去噪,以压制语音片段中的背景音,突出语音片段中的语音。当然,也可以采用其它方式去除语音片段中的背景音,如:自适应滤波技术。而至于采用何种具体的方式去除语音片段中的背景音,此处不做限定。
S4032:将语音片段中不同说话人的语音分离,得到至少一个语音子片段。
有时语音片段中并不是只有一个人在说话,可能有多人同时说话,那么,就需要将语音片段中不同说话人的语音进行分离,分别获得各说话人的语音子片段。
在获得多个说话人的语音子片段后,有时只需要判断某个说话人的语音是否与图像同步,有时候需要判断多个说话人的语音是否与图像同步。此时,可以根据实际判断情况,选择某一个说话人的语音子片段或某几个说话人的语音子片段作为去噪后的语音片段。
S404:采用滑动加权的方式,将语音片段切分为多个语音帧。
其中,相邻的语音帧之间存在重叠。
具体来说,可以利用窗函数将语音片段滑动加权切分为多个语音帧。窗函数可以是汉明窗函数,也可以是其它类的窗函数。切分成的多个语音帧可以是多个25ms的片段,也可以是其它长度的片段。每一个片段称作一个语音帧。相邻语音帧之间一般保持10ms的重叠,这是因为:语音帧太短,可能一个音都没有发完,所以,使相邻语音帧保持一定程度的重叠,能够更加充分的对语义进行理解,进而提高语音与图像同步性衡量的准确性。
这里需要说明的是,步骤S402、S403、S404的执行顺序可以不按照序号的大小顺序执行,可以以任意顺序执行。对于步骤S402、S403、S404的执行顺序,此处不做具体限定。
S405:将每个语音帧转换为特定信号。
其中,特定信号与语音片段中说话人的个体特征无关。
在现有技术中,在将语音片段输入语音神经网络之前,需要先将语音片段转换为梅尔倒谱系数(Mel-scale Frequency Cepstral Coefficients,MFCC)信号,然后将MFCC信号输入语音神经网络,以获得相应的语音特征。然而,MFCC信号并不能够很好地抹去语音片段中说话人自身的特征,即身份信息,进而得到的语音特征中也会包含有说话人的身份信息,进而降低语音与图像同步性衡量的准确性。
有鉴于此,在将语音片段输入语音神经网络之前,可以先将语音片段转换为特定信号。这里的特定信号与语音片段中说话人自身的特征的无关,即能够更好地抹去语音片段中说话人自身的特征。这样,将特定信号输入语音神经网络,得到的语音特征就不再包含说话人自身的特征,进而提升语音与图像同步性衡量的准确性。
在实际应用中,特定信号可以是语音类别后验概率(Phonetic Posterior Grams,PPG)信号。PPG信号能够更好地抹去语音片段中与说话人身份相关的信息。并且,PPG信号还能够进一步抹去语音片段中的背景音,降低语音神经网络输入的方差,进而提升语音与图像同步性衡量的准确性。
当然,还可以将语音片段转换为其它类的信号,如DeepSpeech模型提取的特征,只要能够抹去说话人的身份信息即可。对于特定信号的具体类型,此处不做限定。
在实际应用中,为了将语音片段转换为PPG信号,可以将语音片段输入说话者无关的语音识别(Speaker-Independent Automatic Speech Recognition,SI-ASR)***,通过SI-ASR***对语音片段进行处理,生成PPG信号。在SI-ASR***中,具体的PPG信号的维度P和SI-ASR支持的音素数量与支持的语言有关。这里采用支持中文和英文的SI-ASR***,共支持P=400个音素。一语音帧所得的PPG信号为1×400维的特征向量。T个连续语音帧所得PPG信号为T×400维的特征矩阵。采用其他SI-ASR***可根据支持的音素数量做相应调整。
当然,还可以通过其它方式将语音片段转换为抹去说话人的身份信息的信号,例如:深度学习模型DeepSpeech。该深度学习模型可以将语音信号转化为相应的文字。因此,在DeepSpeech提取的特征中,仅存在有说话的内容本身,不会存在说话人的音色等个人特征。这样,提取后也能够将说话人的身份信息和背景等与语义无关的内容抹去。
图5为本申请实施例中处理语音片段的流程示意图,参见图5所示,首先,将语音输入预处理模块。在预处理模块中,能够对语音进行统一采样频率、去噪、分割等处理。然后,将对语音片段处理后得到的语音数据输入SI-ASR***。在SI-ASR***中,能够将语音片段转换成PPG信号。
二、图像片段处理方面。
由于图像片段中包含有说话人自身的特征,例如:嘴唇薄厚、嘴大小等。因此,在将图像片段输入图像神经网络中获取图像特征之前,先将图像片段中说话人自身的特征抹去,进而将抹去说话人自身特征的图像数据输入图像神经网络,能够提升语音与图像同步性对比的准确性。
下面以从图像片段中提取下半脸特征为例,对根据图像片段生成目标人物的轮廓图进行说明。这里提取的轮廓图与目标人物的个体特征无关。
S406:对图像片段进行人脸检测,得到人脸检测框。
一般来说,对每一帧图像进行人脸检测,得到人脸检测框。
S407:将人脸检测框中的人脸进行水平对齐。
具体的,可以利用稠密人脸对齐算法,找出人脸检测框中人脸关键点在原图像中的位置,包括但不限于左眼中心位置、右眼中心位置、左嘴角位置和右嘴角位置。上述的左、右为图像中人脸生理意义的左右,而非在图像中的左右,并假设图像中人脸是正面。利用上述人脸关键点的位置信息,基于规则计算将人脸图像处理成符合规则的形式。此处规则可以如下:
计算左眼中心关键点和右眼中心关键点的中间位置,记为P_eyecentre;
计算左嘴角关键点和右嘴角关键点的中间位置,记为P_mouthcentre;
计算左眼中心关键点到右眼中心关键点的向量,记为V_eyetoeye;
计算P_eyecentre到P_mouthcentre的向量,并逆时针旋转90度,使其与V_eyetoeye成锐角,记为V_eyetomouth;
计算V_eyetoeye和V_eyetomouth的向量差,并对向量差进行模长归一化,得到单位向量X_unit;
将X_unit放大,放大倍率为V_eyetoeye模长的2倍和V_eyetomouth模长的1.8倍两者的较大值,得到向量X,并对X逆时针旋转90度得到向量Y;
以P_eyecentre移动0.1倍V_eyetomouth为中心C,可在图像中得到一个矩形,矩形的左上角坐标为C+X+Y,右下角坐标为C-X-Y;
利用插值算法将上述矩形内的图像取出,缩放到预定尺寸,如256*256像素,就得到了对齐后的人脸。
这里用于找出人脸关键点的稠密人脸对齐算法可以是三维稠密人脸对齐(3Dimentional Dense Face Alignment,3DDFA)算法。当然,还可以采用其他对齐算法获取人脸关键点,继而采用上述规则实现人脸对齐。此处对于使用的具体算法,不做限定。
相比于更为常用的计算人脸关键点和预设正脸人脸关键点模板之间的仿射变换来对齐人脸的方式,此方法可以兼容大角度侧脸和正脸的对齐。
S408:从人脸中提取目标人物的表情系数。
具体的,可以通过三维可形变参数化人脸模型(3Dimensional MorphableModels,3DMM)参数估计算法提取人脸检测框中目标人物的表情系数,表情系数符合三维可形变参数化人脸模型的标准。
在将人脸检测框中的内容作为输入,利用3DMM参数估计算法对人脸检测框中的内容进行处理后,就能够获取到目标人物的符合3DMM模型标准的身份系数和表情系数。可以将表情系数记为αexp。
其中,3DMM参数估计算法是能够估计3DMM参数的算法,用来估计人脸的身份系数和表情系数,且身份系数和表情系数符合3DMM定义的标准。
具体来说,本申请采用的3DMM参数估计算法是用深度神经网络模型实现的。可以利用预先训练的深度神经网络模型,向模型中输入对齐后的人脸检测框中的人脸图像和现有目标人物对应的身份系数,提取对齐后人脸图像中目标人物的表情系数和身份系数,并根据输出的身份系数更新现有目标人物对应的身份系数,用于后续图像帧估计。此处目标人物对应的身份系数为时序上相邻图像帧估计的身份系数的滑动加权平均。
相比于单独从对齐后人脸图像直接计算目标人物的表情系数,此处通过将时序上相邻图像帧对目标人物的身份系数的计算结果输入深度神经网络模型,可以更好的让模型使用表情系数,而不是改变身份系数,来拟合人脸的形态变化,从而获得更为准确的表情系数。
类似的,此处也可以借鉴其他的能够稳定身份系数的3DMM参数估计算法,如Face2Face算法(Thies,Justus,et al."Face2face:Real-time face capture andreenactment of rgb videos."Proceedings of the IEEE conference on computervision and pattern recognition.2016.)获取每一帧的表情系数。
表情系数αexp包含有表征嘴部的位置、嘴的开合程度等与说话人个体无关的特征。而与说话人个体相关的特征都是在身份系数中表征。所以,仅仅基于表情系数αexp和标准身份系数(这里使用标准身份系数替代目标人物的身份系数,去除目标人物的个体特征),输入通用参数化人脸模型生成目标人物的人脸轮廓图,能够排除说话人的个体特征,进而提高嘴部运动与语音同步性衡量的准确性。
S409:提取表情系数中下半脸对应的下半脸表情系数。
在3DMM的定义下,所有表情系数的影响都是全脸的,只是有的对嘴影响大对眼睛影响可忽略。因此,提取表情系数中与下半脸运动相关性高的表情系数,作为下半脸表情系数。
需要将图像中目标人物的某一部位与语音进行同步性衡量,就从***中提取目标人物该部位的与个体特征无关的系数。在这里,需要将下半脸运动与语音进行同步性衡量,那么就从表情系数中提取下半脸的表情系数,记为αhalfface,进而基于下半脸的表情系数生成下半脸轮廓图,以与语音进行同步性衡量。
S410:将下半脸表情系数输入通用三维人脸模型,得到目标人物的下半脸对应的三维人脸模型。
目标人物的下半脸对应的三维人脸模型也就是目标人物的下半脸表情系数结合标准身份系数的三维人脸模型。
通用三维人脸模型,就是抽象化的人脸模型。在通用三维人脸模型中,眉毛、眼睛、鼻子、脸、嘴等部位的数据均是基于众多的人脸平均后得到的,具有普适性。
将下半脸表情系数输入通用三维人脸模型后,得到的就是目标人物的下半脸对应的三维人脸模型。
具体的,在通用三维人脸模型中,将预定义的完整表情正交基底Bexp对应改为与下半脸运动相关的Bhalfface。具体如下式(1)所示:
这样,得到的目标人物的下半脸表情对应的三维人脸模型就能够消除无关表情的影响。
S411:获取三维人脸模型中下半脸的顶点集合。
所谓下半脸,是指人脸中左右耳底部与鼻尖连线以下的人脸区域。图6为本申请实施例中下半脸的范围的示意图,参见图6所示,将左耳底部的位置601、鼻尖的位置602、右耳底部的位置603连接,得到连线604。连线604就将人脸分为了上半脸和下半脸。而连线604以下的人脸就是下半脸。
下半脸在选时,连线604可以有一定的调整幅度,如向上移动到眼部位置,或者向下移动到鼻子位置等。即下半脸的选取可以根据实际需要调整。
S412:将顶点集合投影到二维平面,得到目标人物的下半脸轮廓图,并将下半脸轮廓图作为目标人物的人脸轮廓图。
具体的,收集得到的几何模型S上对应嘴部轮廓和下巴区域的顶点,得到顶点集合V。再利用尺度正交投影(Scale Orthographic Projects)将顶点集合V投影到二维平面,得到下半脸的轮廓图I,具体如下式(2)所示:
其中,I为目标人物下半脸的二维轮廓图,f为尺度系数,P为正交投影矩阵,S(v)为三维人脸模型中下半脸的顶点集合。在这里,轮廓图I的尺寸可以是128×256的长方形,嘴部和下半脸的轮廓居中。特别的,为增强轮廓图的可见性,投影时,将每个顶点投影成一个以顶点投影位置为圆心,半径为r个像素的二维高斯圆斑。半径r的取值和I的尺寸正相关,对应于128×256的I,这里取r=2个像素。
在对图像片段进行处理的过程中,并没有对模型进行旋转和平移,而是通过3DMM直接获取图像片段中目标人物的表情系数,进而结合标准身份系数得到通用三维人脸模型,生成消除了目标人物个体特征的下半脸轮廓图,得到的轮廓图是正脸特征下的轮廓图,消除了原始图像中人脸姿态以及遮挡物的影响。
图7为本申请实施例中处理图像片段的流程示意图,参见图7所示,首先,将图像进行稠密人脸对齐,得到对齐后的图像;然后,将对齐后的图像进行人脸3D模型表情系数提取;接着,采用正面视角,标准脸型,根据提取的表情系数生成3D模型;最后,将3D模型进行对应顶点的投影,得到下半脸的二维轮廓。
在将语音片段处理为PPG信号,以及将图像片段处理为人脸正面下半部的二维轮廓图之后,就可以将PPG信号输入语音神经网络,以及将二维轮廓图输入视觉神经网络,分别得到语音特征和视觉特征,进而将语音特征与视觉特征进行对比,确定语音片段与图像片段是否具有同步性。
S413:通过语音神经网络获得特定信号的语音特征。
S414:通过视觉神经网络获得人脸轮廓图的视觉特征。
S415:根据语音特征与视觉特征,确定语音片段与图像片段是否具有同步性。
步骤S413、S414、S415与前述步骤S303、S304、S305的实现方式相同,此处不再赘述。
图8为本申请实施例中衡量语音与图像同步性的架构示意图,参见图8所示,在从视频中分别提取出语音片段和图像片段后,一方面,将语音片段输入语音神经网络,得到语音特征。另一方面,将图像片段输入视觉神经网络,得到视觉特征。最后,将语音特征和视觉特征输入同步性度量模块,同步性度量模块通过语音特征和视觉特征确定相应的语音片段和图像片段是否具有同步性。这里的同步性度量模块就是通过语音特征与视觉特征的对比,确定相应的语音片段和图像片段是否具有同步性的模块。对于同步性度量模块的具体形式,此处不做限定。
在实际应用中,为了获得语音片段的语音特征,可以将语音片段输入到语音神经网络中进行处理,以获得语音特征。以及为了获得图像片段的视觉特征,可以将图像片段输入到视觉神经网络中进行处理,以获得视觉特征。下面分别从神经网络的构建、训练数据采样、训练这三个方面进行说明。
一、神经网络构建
1、语音神经网络构建
由于在将语音片段输入语音神经网络之前,已经将语音片段转化为特定信号,具体是维度为T×P的PPG信号。并且每一个维度均具有明确的物理含义,P为音素数量,T为时间上的采样次数,每一列是一个语音帧对应的音素后验概率分布。基于这些明确的物理含义,语音神经网络具体可以做如下搭建。
图9为本申请实施例中语音神经网络的架构示意图,参见图9所示,语音神经网络至少包括有:卷积层(Conv1D(3×1,stride=(2,1))LeakyReLU(0.02))、……卷积层(Conv1D(3×1,stride=(2,1))LeakyReLU(0.02))、重组层(Reshape)、全连接层(FullyConnection Layer LeakyReLU(0.02))、全连接层(Fully Connection Layer LeakyReLU(0.02))、全连接层(Fully Connection Layer LeakyReLU(0.02))、线性投影层(LinearProjection Layer)。
考虑到相邻的语音片段之间存在重叠,因此,先采用多个1维卷积层(卷积核尺寸为3×1,卷积步长为(2,1),并采用有效扩充(valid padding))对时间维度进行处理。再将得到的矩阵重组为特征向量。接着,采用3个全连接层对特征向量进行处理。最后,经过1个线性投影层得到512维的语音特征向量。其中,卷积层的层数与输入的特定信号(PPG信号对应的特征矩阵)的时长相关。最终输出的语音特征向量的维度与后续输出的视觉特征向量的维度一致。本申请实施例中的语音特征向量也就是语音特征,视觉特征向量也就是视觉特征。
具体来说,当P=400,输入时长=200ms时,T=13,PPG特征矩阵为13×400维度。对应的,可以采用2层1维卷积层,得到3×400的特征矩阵。重组为1×1200的特征向量后,经过3个全连层和1个线性层,得到最后的512维语音特征向量。
图10为本申请实施例中生成语音特征的流程示意图,参见图10所示,该过程可以包括:
S1001:采用多个1维卷积层对特定信号在时间维度上进行处理,得到特征矩阵。
其中,1维卷积层的数量与特定信号对应的时长相关。
S1002:将特征矩阵重组为特征向量。
S1003:采用3个全连层和1个线性投影层对特征向量进行处理,得到512维的语音特征向量。
当然,最终得到的语音特征的维度并不仅限于只有512维。语音特征的维度与输入到模型中的语音数据的数据量和语音神经网络所采用的损失函数的类型相关。
2、视觉神经网络构建
由于在将图像片段输入视觉神经网络之前,已经将图像片段中对下半脸运动信息形成干扰的因素(例如:光照、表情、姿态等)在很大程度上进行了去除,因此,视觉神经网络就可以采用计算量较为轻量级的网络结构。
具体来说,视觉神经网络可以采用ResNet18的主干网,并做如下改动:
(1)若输入的图像片段为多张图像,可以将多张图像按照时间增序沿着通道维度排列后作为视觉神经网络的输入。因此,视觉神经网络的第1层中卷积的参数维度需要做相应的调整。
(2)由于图像片段被处理为下半脸的轮廓图,分辨率为128×256,高宽比为1:2,这与ResNet18默认输入高宽比1:1不同。对此,需要在ResNet18的第1层卷积采用较大卷积核尺寸,例如:7×7,并将卷积步长设置为(1,2)。
以上卷积尺寸和步长仅仅为一种具体的数值,这并不意在限制本申请实施例中采用的卷积核尺寸和步长只能够是7×7和(1,2)。在实际应用中,卷积层的卷积核尺寸和步长与轮廓图的尺寸相关。可以根据轮廓图的高宽比设置相应的步长,并且将卷积核的尺寸设置的稍大一些。这样,采用一个卷积核较大的卷积层就能够将轮廓图一次处理完成。当然,也可以采用多个卷积核较小的卷积层进行多次处理实现。
(3)在ResNet18主干网的最后增加了1层全连接层,这样能够得到512维的视觉特征向量。当然,最终得到的视觉特征向量的维度并不仅限于只有512维。视觉特征向量的维度与输入到模型中的视觉数据的数据量和视觉神经网络所采用的损失函数的类型相关。
当然,视觉神经网络除了采用ResNet18的主干网之外,还可以采用其它的深度神经网络进行改动后使用,例如:MobilenetV2等。
图11为本申请实施例中生成视觉特征的流程示意图,参见图11所示,该过程可以包括:
S1101:采用卷积层处理轮廓图,得到特征矩阵。
其中,卷积层的卷积核尺寸和步长与轮廓图的尺寸相关。
S1102:采用视觉神经网络的主干网络处理特征矩阵,得到特征向量。
这里的主干网络,是指神经网络中的主要架构。为了构建本申请实施例中的视觉神经网络,在获取到现有的某一个视觉神经网络后,采用该现有的视觉神经网络中的架构,即主干网络,并对某些层中的参数进行适应性修改,就能够得到本申请实施例的视觉神经网络了。
S1103:采用全连接层处理特征向量,得到512维的视觉特征向量。
当然,最终得到的视觉特征的维度并不仅限于只有512维。视觉特征的维度与输入到模型中的轮廓图的数据量和视觉神经网络所采用的损失函数的类型相关。
二、训练数据采样
对于训练视频,采用单人说话的人像视频。在该人像视频中,背景声的干扰程度小于特定程度。也就是说,需要采用背景声相对干净的单人说话的视频。并且,训练视频可以是大量的,以便使得后续训练能够更加充分。在实际应用中,可以采用25Hz的高清视频。这样,能够提高视觉特征提取训练的精准性。
在采集完训练视频后,先将每段视频中的音频信号处理成16kHz,以及将视频信号切分为帧,并记录时间线。这样,就得到了语音片段和图像片段。然后,再采用上述步骤S402-S405中的处理方式对语音片段进行处理,得到特定信号,后续采样时简称为语音,以及采用上述步骤S406-S412中的处理方式对图像片段进行处理,得到人脸轮廓图,后续采样时简称为视觉。
接下来,就可以正式对训练数据进行采样了。在这里,主要包括正样本采样和负样本采样。所谓正样本,就是指输入的语音与视觉是同步的。而所谓负样本,就是指输入的语音与视觉是不同步的。通过输入正样本和负样本进行训练,能够提高语音与图像同步性衡量的准确性。
1、正样本采样
所谓正样本,就是训练时使用的语音和视觉需要来自于同一段训练视频,并且在时间上同步。
并且,若语音长度过短,可能会导致一个完整的发音未包含在语音内,甚至还可能会影响语音中语义的理解,有鉴于此,为了提高语音特征识别的准确性,进而提高同步性衡量的准确性,可以使语音的帧长大于视觉的帧长。而语音的帧长具体选择多少,可以基于训练视频的帧率确定。
举例来说,对于25Hz帧率的训练视频,可以选取T时刻的一帧图像,以及(T-20ms,T+20ms)的语音片段,经过处理后构成一个正样本对。此时,视觉的长度为1帧,而语音的长度为40ms。很明显,这就是使语音的帧长大于视觉的帧长。而语音的长度设置为40ms,就是为了配合训练视频中25Hz的帧率。而若采用其它帧率的训练视频,语音的长度可以进行相应的调整。
从训练视频集中选取一个训练视频,简称为第一训练视频;从训练视频集中选取另一个训练视频,简称为第二训练视频。第一训练视频和第二训练视频为不同的训练视频。
在本申请实施例中,从第一训练视频中获取的第一图像片段和第一语音片段,处理成第一图像数据和第一语音数据后,组成的就是正样本。
2、负样本采样
所谓负样本,就是训练时使用的语音和视觉并不同步。这里的不同步可以包含有多种情况。而为了能够更加充分地进行训练,可以将不同步的所有情况都进行样本采集。
现有的,在采集负样本对时,就是从不同的视频中分别采集图像片段和语音片段,或者从同一视频中的不同时间处采集图像片段和语音片段,进而组成负样本。但是,这样采集的负样本对中仍有可能存在正样本。例如:若视频A中的语音片段与视频B中的语音片段相同,那么视频A中的语音片段与视频B中的语音片段对应的图像片段也具有同步性,若将视频A中的语音片段与视频B中的语音片段对应的图像片段组成负样本,而实际上,上述两者组成的是正样本。再例如:若视频A中某一图像片段对应的语音为静音,视频B中另一图像片段对应的语音也是静音,若将视频A中的图像片段与视频B中的图像片段对应的语音片段进行组合,实际上,组成的是正样本。这样,在负样本对中就出现了不合理的负样本,进而降低神经网络训练的准确性,进而降低后续同步性度量的准确性。
有鉴于此,在本申请实施例中,在进行负样本采集时,需要去除不合理的负样本,也就是对训练数据库进行清洗,去除不适合用于训练的负样本。这样,能够提高负样本的准确性,进而提高神经网络训练的准确性,进而提高语音与图像同步性衡量的准确性。
具体的,可以通过以下三种方式进行负样本采样。
(1)错位的负样本
所谓错位的负样本,是指虽然语音和视觉来自于同一段训练视频,但是语音与视觉在时间上没有同步,即存在少量错位。
举例来说,采集T时刻的一帧图像,以及(T-t-20ms,T-t+20ms)的语音片段,进行处理后,构成一个负样本对。即把图像片段处理为图像数据,把语音片段处理为语音数据,再构建样本对<语音数据,图像数据>,简写为<语音,视觉>。
例如:对于错位负样本:<语音,视觉>负样本采自同一段视频,时间线少量错位,T时刻的一帧图像和(T-t-20ms,T-t+20ms)语音片段构成一个负样本对,其中|t|>80ms。即,语音和视觉需要错位至少80ms,对应两帧图像的时间长度,以上才被作为负样本对。并确保(T-20ms,T+20ms)语音片段和(T-t-20ms,T-t+20ms)语音片段,两者语义不同。
具体来说,就是在构建错位的负样本时,语音与视觉的错位的时长需要大于或等于2倍的视觉时长。这样,能够确保错位负样本中的语音与错位负样本中与视觉对应同步的语音完全错开,进而确保后续训练的准确性。
而若采用其它帧率的训练视频,语音的帧长可以进行相应的调整,视觉的帧长也进行相应的调整。
此外,为了进一步提高后续训练的精准性,还需要确保错位负样本中的语音与错位负样本中与视觉对应同步的语音的语义不同。
在本申请实施例中,从第一训练视频中获取的第一图像片段和第二语音片段,处理成第一图像数据和第二语音数据后,组成的就是第一负样本。
(2)语音固定的负样本
所谓语音固定的负样本,是指语音是从同一段训练视频中提取出的,而视觉是从这段训练视频外的其它某段训练视频中随机提取出的。而上述其它某段训练视频中的语音与从上述同一段训练视频中提取出的语音在语义上存在不同。
例如:对于固定语音片段负样本:<语音,视觉>负样本采自不同的训练视频,其中语音片段固定,从其他训练视频随机采样一帧图像,构成一个负样本对。其中,确保负样本对中的语音,和视觉所属正样本对中的语音,两者的语义不同。如负样本对中的语音的语义为“静音”,则负样本对中的视觉所属正样本对中的语音的语义不能为“静音”。
在本申请实施例中,从第一训练视频中获取的第一图像片段,以及从第二训练视频中获取的随机语音片段,处理成第一图像数据和第三语音数据后,组成的就是第二负样本。
(3)视觉固定的负样本
所谓视觉固定的负样本,是指视觉是从同一段训练视频中提取出的,而语音是从这段训练视频外的其它某段训练视频中随机提取出的。而上述其它某段训练视频中的视觉与从上述同一段训练视频中提取出的视觉在图像中人物的下半脸运动上存在不同。
例如:对于固定视觉帧负样本:<语音,视觉>负样本采自不同视频,其中视频帧固定,从其他视频随机采样一个语音片段,构成一个负样本对。其中,确保负样本对中的视频帧,和语音片段所属正样本对中的视觉图像,两个有足够下半脸运动上的差异。
在本申请实施例中,从第一训练视频中获取的第二语音片段,以及从第二训练视频中获取的随机图像片段,处理成第二语音数据和第二图像数据后,组成的就是第三负样本。
上述第一图像片段和随机图像片段均为一个或多个连续时间点的图像。
此外,在实际应用中,考虑到单帧图像没有上下文信息,进而无法充分表达出图像中人物下半脸运动信息,因此,在采样时,可以采集连续T个时间点的图像,从而得到视觉,以及采集T个时间点的图像对应的语音片段,从而得到语音,进而将得到的视觉和语音经过处理后组成样本对,输入到神经网络中进行训练。一般来说,可以将T设置为5,对应的语音片段就是200ms。
在得到了上述三种候选负样本后,针对这三种候选的负样本,均需要做视觉规则判定和语音规则判定,并且,只保留两种判定都通过的候选负样本作为合格的负样本。具体判断过程如下:
1)语音规则判定:
判定负样本<语音a,视觉v>中,语音a,和视觉v所属正样本对中的语音a_positive,在语义上需要不同。
具体来说,其核心思路就是度量PPG特征序列之间的差异。
由于语音样本已经处理为PPG特征序列,每个PPG特征是对应语音帧的所含音素的后验概率分布,因此,对后验概率分布取概率最大值,可以得到语音帧对应的音素,从而可以将PPG特征序列转化为音素序列P=[p0…pi…pt]。
在得到负样本中语音a和对应正样本中语音a_positive的音素序列后,计算两个音素序列的编辑距离。具体的,可以用莱文斯坦距离(Levenshtein Distance)计算负样本中的语音P1和对应正样本中的语音P2之间的编辑距离D=L(P1,P2)。即通过删除、***和替换操作,将P1变成P2得需要多少步骤,越相似的序列之间所需步骤越小。当D的值低于一个预设阈值,就判定两个语音样本过于相似;当D的值高于预设阈值,则判定两个语音样本有足够差异。预设阈值可由一个数据库统计获得。
2)视觉规则判定:
判定负样本<语音a,视觉v>中,视觉v,和语音a所属正样本对中的视觉v_positive,在下半脸运动上有足够不同。
具体来说,其核心思路就是判断负样本中视觉与相应正样本中的视觉的相似度如何。
由于上述两个视觉样本已经经过了预处理,都被处理成了下半脸的轮廓图,并且由于用的同一标准身份信息和投影坐标系,已经对齐。因此,可以利用阈值,将两个轮廓图从0~255的灰度图变成0/1的二值化轮廓图,记为Mv1和Mv2。
然后,计算两个二值化轮廓图的绝对差异D1=∑|Mv1-Mv2|,以及计算两个二值化轮廓图的结构相似性(Structural Similarity,SSIM)D2=SSIM(Mv1,Mv2),进而得到两者的加权和D=λ1D1+λ2D2。当D的值低于一个预设阈值,就判定两张视觉样本过于相似;当D的值高于预设阈值,则判定两张视觉样本有足够差异。权重λ1,λ2和预设阈值可由一个数据库统计获得。
当每个视觉样本包含连续T个时间点的图像时,对T帧图像进行预处理,逐一根据上述视觉规则判定两个视觉样本间对应帧之间的差异性,进而根据有差异帧的数量,与视觉样本中帧的总数量的比例做最终判定,若比例高于预设阈值,则判定两个视觉样本有足够差异。
以上的视觉规则判定和语音规则判定这个双重判定很重要,因为很多语音不同的字,嘴部运动是非常相似的。例如:体育的“育”和出门的“出”,都会嘟嘴一下。因此,只有通过双重判定的负样本,才属于合理的负样本,后续才能够用来对神经网络进行训练。这样,能够提高神经网络训练的准确性,进而提高语音与图像同步性衡量的准确性。
在对这三种候选负样本进行筛选后,就得到了第一负样本、第二负样本和第三负样本,进而采用第一负样本、第二负样本和第三负样本进行神经网络训练。
三、神经网络训练
基于图8所示的架构图,将上述采集得到的正样本、第一负样本、第二负样本和第三负样本输入语音与图像同步性衡量模型中进行训练,就能够调整语音与图像同步性衡量模型中的各项参数,进而更加准确地对语音与图像的同步性进行衡量。
在这里,语音与图像同步性衡量模型就是语音神经网络、视觉神经网络以及同步性衡量模型所组成的。
图12为本申请实施例中训练神经网络的流程示意图,参见图12所示,该过程可以包括训练前期和训练后期两个阶段,具体如下:
1、训练前期
S1201:将正样本、第一负样本、第二负样本和第三负样本分为不同批次输入语音与图像同步性衡量模型进行训练,调整语音与图像同步性衡量模型中的参数。其中,通过平衡采样,使得每个批次内的正样本数量和负样本数量相近,有助于模型训练。
具体来说,可以通过损失函数来调整语音与图像同步性衡量模型中的参数,损失函数具体如下式(3)所示:
其中,L表示损失值,N表示批次的大小,n表示样本的标号,yn表示样本的标签,yn=1表示正样本,yn=0表示负样本,dp表示正样本距离,dn表示负样本距离,v表示视觉神经网络抽取的视觉特征,a表示语音神经网络抽取的语音特征,margin1为特定值。这里的margin1与训练后期的margin2可以不同。
而基于损失函数值调整模型中的各项参数的具体方式,例如:可以通过利用Adam优化算法训练模型,对应参数为beta_1=0.99,beta_2=0.999。在训练前期,将批次大小设置为256,训练1000个时代(epochs),并将学习率初始设置为0.005,并在100个时代(epoch)后利用余弦衰减策略将学习率逐渐衰减到0。类似的,在训练后期,训练500个时代(epochs),将学习率初始设置为0.001,并在100个时代(epoch)后利用余弦衰减策略将学习率逐渐衰减到0。使用中上述具体的训练参数和模型参数,需要随数据库变化而做相应调整。当然,还可以采用其它具体方式,此处不做限定。
2、训练后期。
为了进一步对语音与图像同步性衡量模型进行优化,在前期训练完模型后,可以继续在每个训练批次中采用在线难样本挖掘策略,使用在线挖掘出的难样本对模型再次进行训练,直到训练后的模型处于某一精度区间不再产生较大波动为止。
具体来说,与训练前期不同,训练后期只将所有的正样本分为不同批次(如M批),并通过将批次内的不同正样本间做组合,在线获得负样本,称为批次内的负样本。对每个批次内的正样本和负样本按照规则,根据损失函数输出的损失值进行排序;根据所述损失值获取当前批次内所述正样本中的难正样本;根据所述损失值获取当前批次内的负样本中的多个难负样本。
S1202:获取一批次内正样本中的难正样本。
具体来说,在训练集合中随机采样N个正样本(语音和视觉)组成训练批次后,通过当前的语音神经网络和视觉神经网络分别提取出语音特征ai和视觉特征vi,i∈N。然后,找出每个批次内的难正样本。难正样本具体如下式(4)所示:
S1203:获取该批次内的负样本和负样本中的多个难负样本。
具体为,根据该批次内正样本生成该批次内的负样本,获取该批次内的负样本中的多个难负样本。
其中,根据每个批次内正样本生成本批次内的负样本,具体为,将步骤S1202中的训练批次内的N个正样本获取的N个语音特征和N个视觉特征两两组合,可以形成一个N×N矩阵,排除对角线上正样本组合,得到N×(N-1)个组合作为候选负样本,经过视觉规则判定和语音规则判定,得到的合格负样本即为批次内负样本。
其中,多个负样本与正样本中的每个样本对应。也就是说,步骤S1202中的每一个正样本,都对应有多个负样本。步骤S1203就是针对每一个正样本,在其对应的多个负样本中找出难负样本。
其中,获取所述每个批次内的负样本中的多个难负样本,具体为对语音特征ai对应的负样本按照损失函数输出的损失值进行排序,根据损失值获取语音特征ai对应的难负样本;和/或对视觉特征vi对应的负样本按照损失函数输出的损失值进行排序,根据损失值获取视觉特征vi对应的难负样本。
举例来说,假设存在3个正样本,则可以组成一个3×3矩阵,除去对角线上的正样本组合,共6个候选负样本,即去除矩阵内的不合格负样本后,矩阵内所剩均为合格负样本。矩阵内每i横行为第i个正样本的语音对应的负样本,每横行中损失函数最大的记为第i个正样本的语音对应的难负样本;类似的,矩阵内第i纵列为第i个正样本的视觉对应的负样本,每纵列中损失函数最大的记为第i个正样本的视觉对应的难负样本。
特别的,当某一横行或某一纵列不含有合格负样本时,则不计算难负样本。
难负样本具体如下式(5)和(6)所示:
也就是说,难负样本挖掘的本质就是排序。在一个训练批次内,对于一个语音样本aj,遍历批次内所有视觉样本,构建负样本对组合(v0,aj),…,(vN,aj),若存在合格负样本,则从合格负样本中选出难的一个负样本对。以及对于一个视觉样本vj,遍历批次内所有语音样本,构建负样本对组合(vj,a0),…,(vj,aN),从合格负样本中选出难的一个负样本对。
S1204:将难正样本和多个难负样本输入调整参数后的语音与图像同步性衡量模型进行训练,再次调整语音与图像同步性衡量模型中的参数。
从正样本和负样本中在线挖掘出难正样本以及负样本后,就无需再对批次内所有的正样本和负样本进行损失计算了。因此,语音与图像同步性衡量模型对应的损失函数也相应的会发生一些变化,变化后的损失函数具体如下式(7)所示:
通过难正样本和负样本,以及发生相应变化后的损失函数,就能够进一步对语音与图像同步性衡量模型中的参数进行调整,进一步优化模型,提高模型预测的准确性。
在实际的模型优化过程中,一般来说,并不只进行一次优化,而是会多次进行优化。也就是说,在利用当前批次的训练数据优化完一次模型后,再次利用下一批次的训练数据并获取对应的难正样本和负样本,然后输入到当前的模型中再次进行训练,反复多次,直到对应的损失函数的输出值维持在一个稳定的区域,即输出值处于某一精度区间不再产生较大波动为止。
S1205:再次获取下一批次内正样本中的难正样本。
S1206:再次获取该批次内负样本和负样本中的多个难负样本。
其中,多个难负样本与正样本中的每个样本对应。
S1207:将再次获取的难正样本和多个难负样本输入再次调整参数后的语音与图像同步性衡量模型进行训练,调整语音与图像同步性衡量模型中的参数,直到语音与图像同步性衡量模型对应的损失函数输出的损失值收敛为止,即损失值处于某一精度区间不再产生较大波动为止。
步骤S1205、S1206、S1207与上述步骤S1202、S1203、S1204的具体实现方式相似,此处不再赘述。
至此,按照上述方式处理m批样本后,语音与图像同步性衡量模型就训练完成了。其中,m小于或等于M(M为正样本划分的批次)。当需要衡量某一视频中的语音片段与图像片段是否具有同步性时,将该视频中的语音片段与图像片段分别通过上述步骤S402-S405与S406-S412进行处理后,再分别输入语音与图像同步性衡量模型中,模型的输出结果就能够表征该视频中的语音片段与图像片段是否具有同步性了。
在这里,完整地对本申请实施例提供的语音与图像同步性的衡量方法的流程进行说明。
图13为本申请实施例中语音与图像同步性的衡量方法的完整流程示意图,参见图13所示,在获取到视频流后,分为两路。其中一路,将视频流输入预处理模块,对视频流进行预处理,得到语音片段。再将语音片段输入SI-AR***,将视频流处理成PPG信号。再将多个单帧的PPG信号累积为一个语音数据。进而将语音数据输入语音神经网络,得到语音特征。另外一路,将视频流逐帧进行稠密人脸对齐。在一帧图像中,可能有多个人脸,需要对每一张人脸都执行以下步骤:从人脸中提取表情系数。采用正面姿态、标准ID,将从人脸图像中提取到的表情系数生成3D模型。将3D模型中对应的顶点进行投影,得到2D关键点连线。将获得的多帧2D关键点连线累积为一个图像数据。进而将图像数据输入视觉神经网络,得到视觉特征。最后,将语音特征和视觉特征输入到同步性度量模块中,以衡量视频流中的语音与图像是否同步。若满足阈值,则确定同步;若不满足阈值,则确定不同步。通过同步性度量模块,能够判定语音特征和视觉特征的同步性。具体的同步性度量可以通过计算语音特征与视觉特征在向量上的距离,进而与预设的阈值的比较实现。最后,通过同步性度量模块,能够判定出同步性最佳的人脸。若视频中所有人脸的同步性都达不到预设的阈值,则判断当前时间片段下视频图像中没有合适的人脸。
在实际应用中,本申请实施例提供的方法可以应用在各种需要判断语音与图像是否同步的场景下。下面以三个具体场景为例,进一步对本申请实施例提供的方法进行说明。
场景一:判定说话人。
当视频中有多人进行谈话时,为了确定当前正在说话的说话人,首先,从视频中提取出相应的语音片段和图像片段;然后,将语音片段处理为PPG信号,以抹去说话人的音色、语调等个人特征,以及将图像片段通过3DMM参数估计算法提取表情系数,处理成人脸正面下半部的二维轮廓图,以消除侧面、遮挡等情况的干扰,图像中有多少个人脸,就有多少个二维轮廓图;接着,将对语音片段处理后得到的语音数据输入语音神经网络,以及将对图像片段处理后得到的图像数据输入视觉神经网络,分别得到语音特征和多个视觉特征;最后,将多个视觉特征分别与语音特征进行同步性匹配,进而确定出与语音特征同步性最高的视觉特征,进而将该视觉特征对应的人确定为视频中当前的说话人。
场景二:伪造视频鉴别。
某些视频中的声音或者画面可能并不是原有的,而是后期人为加上去的。例如:将一些明星的视频重新进行配音,配上一些明星根本没有说过的话。再例如:在一些交互式的活体认证中,需要用户读出屏幕上所显示的字,然后录制成视频上传。而不法分子为了能够通过验证,就事先获取用户的图像,然后进行配音,制作成视频上传。
为了判断视频是否是伪造的,首先,从视频中提取出相应的语音片段和图像片段;然后,将语音片段处理为PPG信号,以抹去说话人的音色、语调等个人特征,以及将图像片段通过3DMM参数估计算法提取表情系数,处理成人脸正面下半部的二维轮廓图,以消除侧面、遮挡等情况的干扰;接着,将对语音片段处理后得到的语音数据输入语音神经网络,以及将对图像片段处理后得到的图像数据输入视觉神经网络,分别得到语音特征和视觉特征;最后,将语音特征与视觉特征进行同步性匹配,匹配度越高,说明视频中的图像和语音是同步的,而不是后期人为加入的。当匹配度高于特定值时,就可以确定视频中的图像和语音是同一个人同时产生的,即视频中的语音片段属于图像片段中的人物。
场景三:视频调制。
一些非专业级别的多媒体设备在录制视频时,采集语音的设备和采集图像的设备往往是分开的。采集语音可以使用麦克风,采集图像可以使用摄像头。然后再将采集的语音和图像融合成视频。这样,很容易导致视频中的语音与图像在时间上发生错位,即音画不同步。
为了解决视频中音画不同步的问题,首先,从视频中提取出相应的语音片段和图像片段;然后,将语音片段处理为PPG信号,以抹去说话人的音色、语调等个人特征,以及将图像片段通过3DMM参数估计算法提取表情系数,处理成人脸正面下半部的二维轮廓图,以消除侧面、遮挡等情况的干扰;接着,将对语音片段处理后得到的语音数据输入语音神经网络,以及将对图像片段处理后得到的图像数据输入视觉神经网络,分别得到语音特征和视觉特征;最后,将语音特征与视觉特征进行同步性匹配,确定语音与图像错位的程度,进而进行辅助标定,从而根据标定将语音与图像的时间对齐,以消除错位。
基于同一发明构思,作为对上述方法的实现,本申请实施例还提供了一种语音与图像同步性的衡量装置。图14为本申请实施例中语音与图像同步性的衡量装置的结构示意图一,参见图14所示,该装置可以包括:
接收模块1401,用于获取视频中的语音片段和图像片段。
数据处理模块1402,用于根据所述图像片段生成目标人物的轮廓图,所述轮廓图与所述目标人物的个体特征无关。
特征提取模块1403,用于通过语音神经网络获得所述语音片段的语音特征。
所述特征提取模块1403,还用于通过视觉神经网络获得所述轮廓图的视觉特征。
同步性衡量模块1404,根据所述语音特征与所述视觉特征,确定所述语音片段与所述图像片段是否具有同步性。
进一步地,作为图14所示装置的细化和扩展,本申请实施例还提供了一种语音与图像同步性的衡量装置。图15为本申请实施例中语音与图像同步性的衡量装置的结构示意图二,参见图15所示,该装置可以包括:
接收模块1501,用于获取视频中的语音片段和图像片段。
预处理模块1502包括:
检测单元1502a,用于对所述图像片段进行人脸检测,得到人脸检测框。
对齐单元1502b,用于将所述人脸检测框中的人脸进行水平对齐。
数据处理模块1503,用于根据所述图像片段生成目标人物的轮廓图,所述轮廓图与所述目标人物的个体特征无关。
当所述轮廓图为人脸轮廓图时,所述数据处理模块1503包括:
提取单元1503a,用于过三维可形变参数化人脸模型参数估计算法从对齐后的人脸中提取所述目标人物的表情系数。
生成单元1503b,用于基于所述表情系数和通用参数化人脸模型生成所述目标人物的人脸轮廓图。
所述生成单元1503b,具体用于提取所述表情系数中下半脸对应的下半脸表情系数。将所述下半脸表情系数输入所述通用三维人脸模型,得到所述目标人物的下半脸对应的三维人脸模型,并将所述三维人脸模型处理为所述目标人物的人脸轮廓图。
所述生成单元1503b,具体用于将所述下半脸表情系数输入所述通用三维人脸模型,得到所述目标人物的下半脸对应的三维人脸模型。获取所述三维人脸模型中下半脸的顶点集合。将所述顶点集合投影到二维平面,得到所述目标人物的下半脸轮廓图,并将所述下半脸轮廓图作为所述目标人物的人脸轮廓图。
特征提取模块1504,用于通过语音神经网络获得所述语音片段的语音特征。
所述特征提取模块1504包括:
第一提取单元1504a,用于采用卷积层处理所述轮廓图,得到特征矩阵,所述卷积层的卷积核尺寸和步长与所述轮廓图的尺寸相关。
第二提取单元1504b,用于采用所述视觉神经网络的主干网络处理所述特征矩阵,得到特征向量。
第三提取单元1504c,用于采用全连接层处理所述特征向量,得到515维的视觉特征。
所述特征提取模块1504,还用于通过视觉神经网络获得所述轮廓图的视觉特征。
同步性衡量模块1505,根据所述语音特征与所述视觉特征,确定所述语音片段与所述图像片段是否具有同步性。
当所述视频为多人谈话的视频时,所述同步性衡量模块1505,用于根据所述语音特征与所述视觉特征,确定所述视频中所述语音片段对应的说话人。
当所述视频为待进行伪造鉴别的视频时,所述同步性衡量模块1505,用于根据所述语音特征与所述视觉特征,确定所述视频中所述语音片段是否属于所述图像片段中的人物。
当所述视频待调制的视频时,所述同步性衡量模块1505,用于根据所述语音特征与所述视觉特征,将所述视频中的所述语音片段和所述图像片段的起始位对齐,使得所述语音片段与所述图像片段同步。
这里需要指出的是,以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
基于同一发明构思,本申请实施例还提供了一种电子设备。图16为本申请实施例中电子设备的结构示意图,参见图16所示,该电子设备可以包括:处理器1601、存储器1602、总线1603;其中,处理器1601、存储器1602通过总线1603完成相互间的通信;处理器1601用于调用存储器1602中的程序指令,以执行上述一个或多个实施例中的方法。
这里需要指出的是,以上电子设备实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请电子设备实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
基于同一发明构思,本申请实施例还提供了一种计算机可读存储介质,该存储介质可以包括:存储的程序;其中,在程序运行时控制存储介质所在设备执行上述一个或多个实施例中的方法。
这里需要指出的是,以上存储介质实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (11)
1.一种语音与图像同步性的衡量方法,其特征在于,所述方法包括:
获取视频中的语音片段和图像片段,所述语音片段与所述图像片段在所述视频中具有对应关系;
根据所述图像片段生成目标人物的轮廓图,所述轮廓图与所述目标人物的个体特征无关;
通过语音神经网络获得所述语音片段的语音特征;
通过视觉神经网络获得所述轮廓图的视觉特征;
根据所述语音特征与所述视觉特征确定所述语音片段与所述图像片段是否具有同步性,所述同步性用于表征所述语音片段中的声音与所述图像片段中所述目标人物的动作相匹配。
2.根据权利要求1所述的方法,其特征在于,所述轮廓图为人脸轮廓图;所述根据所述图像片段生成目标人物的轮廓图,包括:
从所述图像片段中提取所述目标人物的表情系数;
基于所述表情系数和通用参数化人脸模型生成所述目标人物的人脸轮廓图。
3.根据权利要求2所述的方法,其特征在于,所述从所述图像片段中提取所述目标人物的表情系数,包括:
通过三维可形变参数化人脸模型参数估计算法提取所述图像片段中所述目标人物的表情系数,表情系数符合三维可形变参数化人脸模型的标准。
4.根据权利要求3所述的方法,其特征在于,在所述通过三维可形变参数化人脸模型参数估计算法提取所述图像片段中所述目标人物表情系数之前,所述方法还包括:
对所述图像片段进行人脸检测,得到人脸检测框;
将所述人脸检测框中的人脸进行水平对齐;
所述通过三维可形变参数化人脸模型参数估计算法提取所述图像片段中所述目标人物的表情系数,包括:
从对齐后的人脸中提取所述目标人物的表情系数。
5.根据权利要求2所述的方法,其特征在于,所述通用参数化人脸模型为通用三维人脸模型;所述基于所述表情系数和通用参数化人脸模型生成所述目标人物的人脸轮廓图,包括:
提取所述表情系数中下半脸对应的下半脸表情系数;
将所述下半脸表情系数输入所述通用三维人脸模型,得到所述目标人物的下半脸对应的三维人脸模型,并将所述三维人脸模型处理为所述目标人物的人脸轮廓图。
6.根据权利要求5所述的方法,其特征在于,所述将所述下半脸表情系数输入所述通用三维人脸模型,得到所述目标人物的下半脸对应的三维人脸模型,并将所述三维人脸模型处理为所述目标人物的人脸轮廓图,包括:
将所述下半脸表情系数输入所述通用三维人脸模型,得到所述目标人物的下半脸对应的三维人脸模型;
获取所述三维人脸模型中下半脸的顶点集合;
将所述顶点集合投影到二维平面,得到所述目标人物的下半脸轮廓图,并将所述下半脸轮廓图作为所述目标人物的人脸轮廓图。
7.根据权利要求1所述的方法,其特征在于,所述通过视觉神经网络获得所述轮廓图的视觉特征,包括:
采用卷积层处理所述轮廓图,得到特征矩阵,所述卷积层的卷积核尺寸和步长与所述轮廓图的尺寸相关;
采用所述视觉神经网络的主干网络处理所述特征矩阵,得到特征向量;
采用全连接层处理所述特征向量,得到视觉特征,所述视觉特征的维度与所述轮廓图的数据量和所述视觉神经网络所采用的损失函数的类型相关。
8.根据权利要求1至7中任一项所述的方法,其特征在于,所述视频为多人谈话的视频;所述根据所述语音特征与所述视觉特征,确定所述语音片段与所述图像片段是否具有同步性,包括:根据所述语音特征与所述视觉特征,确定所述视频中所述语音片段对应的说话人;
或者,所述视频为待进行伪造鉴别的视频;所述根据所述语音特征与所述视觉特征,确定所述语音片段与所述图像片段是否具有同步性,包括:根据所述语音特征与所述视觉特征,确定所述视频中所述语音片段是否属于所述图像片段中的人物;
或者,所述视频待调制的视频;所述根据所述语音特征与所述视觉特征,确定所述语音片段与所述图像片段是否具有同步性,包括:根据所述语音特征与所述视觉特征,将所述视频中的所述语音片段和所述图像片段的起始位对齐,使得所述语音片段与所述图像片段同步。
9.一种语音与图像同步性的衡量装置,其特征在于,所述装置包括:
接收模块,用于获取视频中的语音片段和图像片段,所述语音片段与所述图像片段在所述视频中具有对应关系;
数据处理模块,用于根据所述图像片段生成目标人物的轮廓图,所述轮廓图与所述目标人物的个体特征无关;
特征提取模块,用于通过语音神经网络获得所述语音片段的语音特征;
所述特征提取模块,还用于通过视觉神经网络获得所述轮廓图的视觉特征;
同步性衡量模块,根据所述语音特征与所述视觉特征,确定所述语音片段与所述图像片段是否具有同步性,所述同步性用于表征所述语音片段中的声音与所述图像片段中所述目标人物的动作相匹配。
10.一种电子设备,其特征在于,包括:处理器、存储器、总线;
其中,所述处理器、所述存储器通过所述总线完成相互间的通信;所述处理器用于调用所述存储器中的程序指令,以执行如权利要求1至8中任一项所述的方法。
11.一种计算机可读存储介质,其特征在于,包括:存储的程序;其中,在所述程序运行时控制所述存储介质所在设备执行如权利要求1至8中任一项所述的方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111057976.9A CN114466179A (zh) | 2021-09-09 | 2021-09-09 | 语音与图像同步性的衡量方法及装置 |
PCT/CN2022/114952 WO2023035969A1 (zh) | 2021-09-09 | 2022-08-25 | 语音与图像同步性的衡量方法、模型的训练方法及装置 |
EP22866437.1A EP4344199A1 (en) | 2021-09-09 | 2022-08-25 | Speech and image synchronization measurement method and apparatus, and model training method and apparatus |
US18/395,253 US20240135956A1 (en) | 2021-09-09 | 2023-12-22 | Method and apparatus for measuring speech-image synchronicity, and method and apparatus for training model |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111057976.9A CN114466179A (zh) | 2021-09-09 | 2021-09-09 | 语音与图像同步性的衡量方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114466179A true CN114466179A (zh) | 2022-05-10 |
Family
ID=81406060
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111057976.9A Pending CN114466179A (zh) | 2021-09-09 | 2021-09-09 | 语音与图像同步性的衡量方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114466179A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023035969A1 (zh) * | 2021-09-09 | 2023-03-16 | 马上消费金融股份有限公司 | 语音与图像同步性的衡量方法、模型的训练方法及装置 |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0674315A1 (en) * | 1994-03-18 | 1995-09-27 | AT&T Corp. | Audio visual dubbing system and method |
US6219639B1 (en) * | 1998-04-28 | 2001-04-17 | International Business Machines Corporation | Method and apparatus for recognizing identity of individuals employing synchronized biometrics |
US20030154084A1 (en) * | 2002-02-14 | 2003-08-14 | Koninklijke Philips Electronics N.V. | Method and system for person identification using video-speech matching |
US20080111887A1 (en) * | 2006-11-13 | 2008-05-15 | Pixel Instruments, Corp. | Method, system, and program product for measuring audio video synchronization independent of speaker characteristics |
CN101199207A (zh) * | 2005-04-13 | 2008-06-11 | 皮克索尔仪器公司 | 用于独立于说话者特征测量音频视频同步的方法、***和程序产品 |
US9799096B1 (en) * | 2014-07-08 | 2017-10-24 | Carnegie Mellon University | System and method for processing video to provide facial de-identification |
CN107977629A (zh) * | 2017-12-04 | 2018-05-01 | 电子科技大学 | 一种基于特征分离对抗网络的人脸图像衰老合成方法 |
JP2019049829A (ja) * | 2017-09-08 | 2019-03-28 | 株式会社豊田中央研究所 | 目的区間判別装置、モデル学習装置、及びプログラム |
CN110677598A (zh) * | 2019-09-18 | 2020-01-10 | 北京市商汤科技开发有限公司 | 视频生成方法、装置、电子设备和计算机存储介质 |
CN111091824A (zh) * | 2019-11-30 | 2020-05-01 | 华为技术有限公司 | 一种语音匹配方法及相关设备 |
CN111145282A (zh) * | 2019-12-12 | 2020-05-12 | 科大讯飞股份有限公司 | 虚拟形象合成方法、装置、电子设备和存储介质 |
CN111225237A (zh) * | 2020-04-23 | 2020-06-02 | 腾讯科技(深圳)有限公司 | 一种视频的音画匹配方法、相关装置以及存储介质 |
CN111414862A (zh) * | 2020-03-22 | 2020-07-14 | 西安电子科技大学 | 基于神经网络融合关键点角度变化的表情识别方法 |
CN111507218A (zh) * | 2020-04-08 | 2020-08-07 | 中国人民大学 | 语音与人脸图像的匹配方法、装置、存储介质及电子设备 |
CN111881726A (zh) * | 2020-06-15 | 2020-11-03 | 马上消费金融股份有限公司 | 一种活体检测方法、装置及存储介质 |
JP2021086274A (ja) * | 2019-11-26 | 2021-06-03 | 国立大学法人九州工業大学 | 読唇装置及び読唇方法 |
CN112949481A (zh) * | 2021-03-01 | 2021-06-11 | 西安邮电大学 | 一种用于说话人无关的唇语识别方法及*** |
KR20210108689A (ko) * | 2020-02-26 | 2021-09-03 | 고려대학교 산학협력단 | 신경망을 이용한 음성 변환 방법 및 장치 |
-
2021
- 2021-09-09 CN CN202111057976.9A patent/CN114466179A/zh active Pending
Patent Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0674315A1 (en) * | 1994-03-18 | 1995-09-27 | AT&T Corp. | Audio visual dubbing system and method |
US6219639B1 (en) * | 1998-04-28 | 2001-04-17 | International Business Machines Corporation | Method and apparatus for recognizing identity of individuals employing synchronized biometrics |
US20030154084A1 (en) * | 2002-02-14 | 2003-08-14 | Koninklijke Philips Electronics N.V. | Method and system for person identification using video-speech matching |
CN101199207A (zh) * | 2005-04-13 | 2008-06-11 | 皮克索尔仪器公司 | 用于独立于说话者特征测量音频视频同步的方法、***和程序产品 |
US20080111887A1 (en) * | 2006-11-13 | 2008-05-15 | Pixel Instruments, Corp. | Method, system, and program product for measuring audio video synchronization independent of speaker characteristics |
US9799096B1 (en) * | 2014-07-08 | 2017-10-24 | Carnegie Mellon University | System and method for processing video to provide facial de-identification |
JP2019049829A (ja) * | 2017-09-08 | 2019-03-28 | 株式会社豊田中央研究所 | 目的区間判別装置、モデル学習装置、及びプログラム |
CN107977629A (zh) * | 2017-12-04 | 2018-05-01 | 电子科技大学 | 一种基于特征分离对抗网络的人脸图像衰老合成方法 |
CN110677598A (zh) * | 2019-09-18 | 2020-01-10 | 北京市商汤科技开发有限公司 | 视频生成方法、装置、电子设备和计算机存储介质 |
JP2021086274A (ja) * | 2019-11-26 | 2021-06-03 | 国立大学法人九州工業大学 | 読唇装置及び読唇方法 |
CN111091824A (zh) * | 2019-11-30 | 2020-05-01 | 华为技术有限公司 | 一种语音匹配方法及相关设备 |
WO2021104110A1 (zh) * | 2019-11-30 | 2021-06-03 | 华为技术有限公司 | 一种语音匹配方法及相关设备 |
CN111145282A (zh) * | 2019-12-12 | 2020-05-12 | 科大讯飞股份有限公司 | 虚拟形象合成方法、装置、电子设备和存储介质 |
KR20210108689A (ko) * | 2020-02-26 | 2021-09-03 | 고려대학교 산학협력단 | 신경망을 이용한 음성 변환 방법 및 장치 |
CN111414862A (zh) * | 2020-03-22 | 2020-07-14 | 西安电子科技大学 | 基于神经网络融合关键点角度变化的表情识别方法 |
CN111507218A (zh) * | 2020-04-08 | 2020-08-07 | 中国人民大学 | 语音与人脸图像的匹配方法、装置、存储介质及电子设备 |
CN111225237A (zh) * | 2020-04-23 | 2020-06-02 | 腾讯科技(深圳)有限公司 | 一种视频的音画匹配方法、相关装置以及存储介质 |
CN111881726A (zh) * | 2020-06-15 | 2020-11-03 | 马上消费金融股份有限公司 | 一种活体检测方法、装置及存储介质 |
CN112949481A (zh) * | 2021-03-01 | 2021-06-11 | 西安邮电大学 | 一种用于说话人无关的唇语识别方法及*** |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023035969A1 (zh) * | 2021-09-09 | 2023-03-16 | 马上消费金融股份有限公司 | 语音与图像同步性的衡量方法、模型的训练方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Fisher et al. | Speaker association with signal-level audiovisual fusion | |
Potamianos et al. | Recent advances in the automatic recognition of audiovisual speech | |
Neti et al. | Audio visual speech recognition | |
Chen | Audiovisual speech processing | |
US6633844B1 (en) | Late integration in audio-visual continuous speech recognition | |
US20240135956A1 (en) | Method and apparatus for measuring speech-image synchronicity, and method and apparatus for training model | |
CN111341350A (zh) | 人机交互控制方法、***、智能机器人及存储介质 | |
Luettin et al. | Continuous audio-visual speech recognition | |
CN114466179A (zh) | 语音与图像同步性的衡量方法及装置 | |
CN114494930B (zh) | 语音与图像同步性衡量模型的训练方法及装置 | |
CN114466178A (zh) | 语音与图像同步性的衡量方法及装置 | |
Haq et al. | Using lip reading recognition to predict daily Mandarin conversation | |
JP3798530B2 (ja) | 音声認識装置及び音声認識方法 | |
JP2019152737A (ja) | 話者推定方法および話者推定装置 | |
Fisher et al. | Signal level fusion for multimodal perceptual user interface | |
Ibrahim | A novel lip geometry approach for audio-visual speech recognition | |
Sahrawat et al. | " Notic My Speech"--Blending Speech Patterns With Multimedia | |
Murai et al. | Face-to-talk: audio-visual speech detection for robust speech recognition in noisy environment | |
Talea et al. | Automatic visual speech segmentation | |
JP2020091559A (ja) | 表情認識装置、表情認識方法、およびプログラム | |
CN112088402B (zh) | 用于说话者识别的联合神经网络 | |
Tanaka et al. | Identification of Utterance Content Using Lip Movement Features | |
Yasui et al. | Multimodal speech recognition using mouth images from depth camera | |
Savran et al. | Speaker-independent 3D face synthesis driven by speech and text | |
CN118197315A (zh) | 座舱语音交互方法、***和计算机可读介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |