CN109886873A - 一种基于深度学习的模拟画像生成方法及装置 - Google Patents
一种基于深度学习的模拟画像生成方法及装置 Download PDFInfo
- Publication number
- CN109886873A CN109886873A CN201910059491.XA CN201910059491A CN109886873A CN 109886873 A CN109886873 A CN 109886873A CN 201910059491 A CN201910059491 A CN 201910059491A CN 109886873 A CN109886873 A CN 109886873A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- module
- splicing
- human
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000013135 deep learning Methods 0.000 title claims abstract description 32
- 230000001815 facial effect Effects 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims description 18
- 238000004088 simulation Methods 0.000 claims description 17
- 238000012986 modification Methods 0.000 claims description 16
- 230000004048 modification Effects 0.000 claims description 16
- 230000015654 memory Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 230000003993 interaction Effects 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 9
- 210000000697 sensory organ Anatomy 0.000 claims description 7
- 230000002093 peripheral effect Effects 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 5
- 238000005034 decoration Methods 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000007639 printing Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000007306 turnover Effects 0.000 claims description 2
- 230000006872 improvement Effects 0.000 abstract description 6
- 238000013527 convolutional neural network Methods 0.000 abstract description 5
- 230000008901 benefit Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 210000001508 eye Anatomy 0.000 description 3
- 238000011835 investigation Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 210000001331 nose Anatomy 0.000 description 3
- 206010004950 Birth mark Diseases 0.000 description 2
- 208000032544 Cicatrix Diseases 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000011840 criminal investigation Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 231100000241 scar Toxicity 0.000 description 2
- 230000037387 scars Effects 0.000 description 2
- 208000002874 Acne Vulgaris Diseases 0.000 description 1
- 206010040954 Skin wrinkling Diseases 0.000 description 1
- 206010000496 acne Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000007634 remodeling Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习的模拟画像生成方法,包括如下步骤:S1:获得人脸拼接图或人脸轮廓图;S2:生成人脸图像,将所述人脸拼接图或人脸轮廓图分别作为条件生成对抗网络的条件输入,用于约束网络生成分别与二者相似的,更逼真,更自然的完整人脸图像;S3:人脸辨认及编辑,受害人对生成的完整人脸图像进行辨认,并提出局部或整体修改意见,依据修改意见对图片进行编辑或重新生成,最终输出人脸图像。本发明还公开了该方法对应的装置。本发明的模拟画像生成方法,基于现有的手绘方法和拼接式模拟画像方法的改进,引入了条件生成对抗网络算法和卷积神经网络算法,使得生成的模拟画像更加形象自然、逼真、传神,将能大大提升实用效果。
Description
技术领域
本发明属于智能刑侦技术领域,更具体地,涉及一种基于深度学习的模拟画像生成方法及装置。
背景技术
随着各类媒体对警方办案过程的广泛报道及人们受教育程度的普遍提高,犯罪嫌疑人通过各种信息渠道研究警方侦查破案过程,反侦查能力日渐提升。即使在拥有范围覆盖极广的监控网络和精确度极高的指纹、DNA鉴定技术的今天,犯罪嫌疑人仍可以通过躲避监控、破坏监控设施、擦除指纹、清理犯罪现场等方式销毁线索与证据,给警方侦查与破案造成了极大的困难。在这类案件中,受害人出于惊恐与憎恨而在脑海中留下的对犯罪嫌疑人面部特征的深刻印象成了侦查、通缉的珍贵线索,将受害人对犯罪嫌疑人长相的记忆输出到纸上成为案件侦破工作的迫切需求,模拟画像技术正是服务于这一重要需求的。
模拟画像自古以来便在刑侦领域受到重视,专业的模拟画像师通过与受害人的交流,了解犯罪嫌疑人的面部特征,通过手工素描等绘画方式在纸上画出犯罪嫌疑人的模拟画像,并根据受害者的反馈反复修改,直至与受害者脑海中的印象达到最大程度的相似。这种通过口述与手绘的方式直到今天仍然被普遍采用,并在大量复杂案件的侦破过程中发挥巨大作用。这种方式的优点是能够通过不断地修改,较为精细地表现出犯罪嫌疑人的面部特征并对其较为特殊的特征如特殊形状五官、胎记、疤痕等做出针对性的刻画;缺点是过于依赖模拟画像师的技术与经验、对受害者的表达能力也有较高要求,作画时间较长,错过受害者印象最深的时间,难以大量推广等。
随着计算机软硬件技术的不断进步,公安部门也与科研机构合作,研制出了自动模拟画像软件,该类软件发挥了公安***拥有大规模人脸数据库的优势,建立了包含各式各样的人脸特征素材的侯选库,受害者只需要在侯选库中选择与犯罪嫌疑人相似的脸型、眼睛、眉毛、鼻子、嘴巴等素材,在软件中将他们拼接在一起,即可快速生成一张犯罪嫌疑人的模拟画像。这种方式的优点是速度快,不再依赖模拟画像师的技术和经验、也避免了受害者在口述过程中造成信息传达的不准确,易于推广。但这种自动模拟画像也存在一些缺点和不足,如其拼接成的画像往往显得生硬,不够传神,使用效果很难保证。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供一种基于深度学习的模拟画像生成方法及装置,其目的在于,实现快速生成形象、自然、具有高度可分辨性的犯罪嫌疑人模拟画像,而且这种基于深度学习的模拟画像生成方法智能化程度更高、效果更好、更易于推广。
为了实现上述目的,按照本发明的一个方面,提供一种基于深度学习的模拟画像生成方法,包括如下步骤:
S1:获得人脸拼接图或人脸轮廓图;
通过受害人对犯罪嫌疑人长相的记忆特点选择使用人脸特征拼接方式,或者人脸轮廓绘制方式,所述人脸特征拼接方式或人脸轮廓绘制方式的输出分别为人脸拼接图或人脸轮廓图;
S2:生成人脸图像;
将所述人脸拼接图或人脸轮廓图分别作为条件生成对抗网络的条件输入,用于约束网络生成分别与二者相似的,更逼真,更自然的完整人脸图像;
S3:人脸辨认及编辑;
受害人对生成的完整人脸图像进行辨认,并提出局部或整体修改意见,若修改限于局部特征,则可通过人像编辑做适当修改;若为整体修改,则返回步骤S1,直至受害人辨认清晰后,最终输出人脸图像。
进一步地,步骤S2中,所述条件生成对抗网络包括生成器和判别器,其包括如下步骤:
S21:将所述人脸拼接图或人脸轮廓图和噪声一起作为所述生成器的条件输入,生成一张人脸图像;
S22:将生成的所述人脸图像和真实人脸图像输入所述判别器,并通过其判输入图像是真实人脸图像,或是通过所述生成器生成的人脸图像。
进一步地,步骤S2中,所述条件生成对抗网络训练包括如下步骤:
S25:求取输入的正、负样本中判别器损失函数值,反向传播该损失函数,以对判别器、生成器中模型参数的梯度进行联合更新;
S26:通过生成器和判别器的博弈提升各自性能,直至生成器生成的人脸图像与真实图像在判别器中的概率值均稳定在0.5附近时,结束训练。
进一步地,步骤S22中,所述判别器的判别过程中采用正、负样本作为输入;其中,
所述负样本为所述生成器生成的人脸图像与对应条件输入的人脸拼接图或人脸轮廓图;
所述正样本为真实人脸图像和对应的剪切真实人脸中的图像特征拼接而成的人脸拼接图或人脸轮廓图。
进一步地,真实人脸中的图像特征拼接而成的人脸拼接图包括如下步骤:
S221:挑选高质量人脸图像数据形成训练数据集;
S222:将该训练数据集中的图片进行五官的裁剪和重拼接,形成每张图片对应的拼接图;
S223:对原图数据和对应的拼接图像数据进行调整亮度、对比度、轻微平移、旋转、水平翻转操作,获得真实人脸中的图像特征拼接而成的人脸拼接图。
按照本发明的另一个方面,提供一种基于深度学习的模拟画像生成装置,用于实现所述的模拟画像生成方法,该装置包括:
独立设置的人脸特征数据库模块和人脸轮廓绘制模块,其中,所述人脸特征数据库模块用于选择人脸特征数据拼接形成人脸拼接图,所述人脸轮廓绘制模块用于绘制人脸轮廓图;
人脸生成模块,其用于将所述人脸拼接图或人脸轮廓图作为条件生成对抗网络的条件输入,生成人脸图像;
人像编辑模块,用于对生成的人脸图像进行辨认和修改,以获得形象、自然、逼真的人脸图像;以及,
人机交互模块,用于实现与人脸特征数据库模块、人脸轮廓绘制模块、人脸生成模块及人像编辑模块的交互操作。
进一步地,所述人脸特征数据库模块包括人脸特征数据、人脸拼接子模块和数据库管理子模块;其中,
所述人脸特征数据包括脸型数据、五官数据、个性化特征数据以及装饰数据;
所述数据库管理子模块用于对人脸特征数据依据其所属类别、属性,采取树状结构存储。
进一步地,所述人脸轮廓绘制模块包含硬件外设和软件子模块;其中,
所述硬件外设包括手绘板和压感笔;
所述软件子模块包括画布以及存储接口。
进一步地,所述人脸生成模块包括基于特征拼接的人脸合成器和基于手绘轮廓的人脸合成器,二者分别对应于人脸特征数据库模块和人脸轮廓绘制模块。
进一步地,所述人机交互模块包括在PC上与用户进行交互的软件界面;其中,
所述交互界面包含进入所述人脸特征数据库模块、人脸轮廓绘制模块、人脸生成模块、人像编辑模块子界面的按钮和当前生成人像的效果图;且,
所述交互界面还包括对图像进行新建、保存、载入、导出、打印操作的功能按钮。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,能够取得下列有益效果:
1.本发明的基于深度学习的模拟画像生成方法,提出的技术方案是基于现有的手绘方法和拼接式模拟画像方法的改进,引入了条件生成对抗网络算法和卷积神经网络算法,使得生成的模拟画像更加形象自然、逼真、传神,将能大大提升实用效果。
2.本发明的基于深度学习的模拟画像生成方法,基于条件生成对抗网络算法和卷积神经网络算法等深度学习算法,算法模型的性能对数据规模和分布有较强依赖,通过实践数据的不断积累和数据分布的不断优化,算法模型的性能和生成模拟画像的质量将不断提升。
3.本发明的基于深度学习的模拟画像生成方法,相对于传统手绘式模拟画像方法具有生成速度快的优点,能够抓住受害者记忆留存最多的宝贵时刻,通过快速生成、快速调整,激发受害者记忆中的细节,达到最大程度的具体、细致、逼真。
4.本发明的基于深度学***高低影响。
附图说明
图1为本发明实施例基于深度学习的模拟画像生成方法流程示意图;
图2为本发明实施例人脸生成模块中的条件生成对抗网络示意图;
图3为本发明实施例人脸生成模块中的条件生成对抗网络的流程示意图;
图4为本发明实施例基于深度学习的模拟画像生成装置的结构示意图;
图5为本发明实施例人脸特征数据库模块组成结构示意图;
图6为本发明实施例人脸轮廓绘制模块组成结构示意图;
图7为本发明实施例人脸生成模块组成结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示,本发明实施例一种基于深度学习的模拟画像生成方法,包括如下步骤:
(1)选择人脸生成方式
本发明的实施例提供两种相互独立的方式生成模拟画像,实际使用中,技术人员通过受害人对犯罪嫌疑人长相的记忆特点选择使用人脸特征拼接方式,或者人脸轮廓绘制方式;前者适用于受害人记忆较为清晰,对局部特征印象深刻的情况,后者适用于仅仅对脸型,五官长短高低有模糊记忆的情况;特殊情况下可综合使用两种方法。
(2)人脸生成
人脸特征拼接方式和人脸轮廓绘制方式的输出分别为人脸拼接图和人脸轮廓图,它们分别作为人脸生成中的条件生成对抗网络的条件输入,用于约束网络生成与它们相似的,更逼真,更自然的完整人脸图像。
(3)人脸编辑
人脸生成模块生成的图像需要受害人进行辨认,提出局部和整体的修改意见,若修改限于局部特征(如鼻翼过宽,眼角更长等),则可使用人像编辑做适当修改,若需要较大改动(如脸轮廓需拉长,额头需要更宽等),则可重新回到人脸特征数据库或人脸轮廓绘制,重新做人脸拼接或重新绘制人脸轮廓图,重复步骤(2),直到受害人辨认清晰后,最终输出人脸图像。本发明的基于深度学习的模拟画像生成方法,提出的技术方案是基于现有的手绘方法和拼接式模拟画像方法的改进,引入了条件生成对抗网络算法和卷积神经网络算法,使得生成的模拟画像更加形象自然、逼真、传神,将能大大提升实用效果。
图2所示为本发明实施例步骤(2)中人脸生成所用到的条件生成对抗网络的结构示意图。包含了两个独立的网络,分别用于人脸拼接图和人脸轮廓图;网络结构相似,以人脸拼接图使用的网络为例进行说明。本发明中使用的条件生成对抗网络由一个基于卷积神经网络的生成器和一个基于卷积神经网络的判别器组成;训练过程中,生成器的目标是通过条件输入(人脸拼接图)和噪声输入生成一张人脸图片,希望其尽可能与真实图片相似;判别器的输入中负样本是生成器生成的图片与对应条件输入(人脸拼接图),正样本是真实人脸图像和对应的条件输入(剪切真实人脸中的图像特征拼接而成的人脸拼接图),其目标是判别在相同或相似的人脸拼接图作为条件输入的情况下,输入的人脸图像是真实的还是由生成器生成的;训练中求取输入的小批量样本中判别器损失函数值,反向传播损失函数对判别器、生成器中的模型参数的梯度并对参数进行联合更新。通过优化过程中生成器和判别器的博弈提升各自性能,直至生成器生成的人脸图像与真实图像在判别器中的概率值均稳定在0.5附近时,说明生成器性能达到最优,结束训练。使用中,受害者根据记忆,借助人脸特征数据库模块拼接出的人脸拼接图作为生成器的条件输入,即可生成形象、自然、逼真的人脸图像。本发明的基于深度学习的模拟画像生成方法,基于条件生成对抗网络算法和卷积神经网络算法等深度学习算法,算法模型的性能对数据规模和分布有较强依赖,通过实践数据的不断积累和数据分布的不断优化,算法模型的性能和生成模拟画像的质量将不断提升。
图3为本发明实施例人脸生成模块中的条件生成对抗网络的流程示意图。如图3所示,在公安***所掌握的大规模人脸图像数据库中挑选高质量人脸图像数据形成训练数据集,将数据集中图片进行五官的裁剪和重拼接,形成每张图片对应的拼接图,对原图数据和对应的拼接图像数据进行调整亮度、对比度、轻微平移、旋转、水平翻转等数据增强操作,用于训练能够依据拼接图像生成对应人脸的条件生成对抗网络;训练中,条件生成对抗网络的生成器以拼接图和噪声为输入,输出拼接图所对应的人脸图像;判别器以真实人脸图像或生成器生成的人脸图像为输入,输出它们是真实人脸图像的概率,以对数函数为损失函数,通过小批量梯度下降法交替迭代优化生成器和判别器参数,提升生成器和判别器性能;实用中使用受害者借助人脸特征数据库中的特征拼接出的图像作为生成对抗网络的输入,即可得到五官、脸型等特征与受害人所选特征相近的完整人脸图像。同样的,基于手绘轮廓的人脸合成器需要为训练数据集中的图片画出对应的人脸轮廓图像,在训练中将人脸轮廓图像输入到生成器和判别器,实用中可通过受害者画出的或画像师画出的人脸轮廓图像生成完整人脸图像。本发明的基于深度学习的模拟画像生成方法,相对于传统手绘式模拟画像方法具有生成速度快的优点,能够抓住受害者记忆留存最多的宝贵时刻,通过快速生成、快速调整,激发受害者记忆中的细节,达到最大程度的具体、细致、逼真。由此,本发明实现了一种基于深度学习的模拟画像生成方法,能够大大提升模拟画像生成的质量和效率,成为警方办案的好助手。
如图4所示,本发明的另一个实施例中,提供一种基于深度学习的模拟画像生成装置,包括人脸特征数据库模块100、人脸轮廓绘制模块200、人脸生成模块300、人像编辑模块400以及人机交互模块500。
如图5所示,人脸特征数据库模块100包含了数据库存储的人脸特征数据102、人脸拼接子模块103和数据库管理子模块101。其中,人脸特征数据102包括了种类丰富的脸型数据1021、五官数据1022、个性化特征数据1023以及装饰数据1024等脸部特征图像素材。此处五官数据1022指的是:眉毛、眼睛、鼻子、嘴巴、耳朵等;个性化特征数据1023包括了皱纹、胎记、痤疮、疤痕、黑痣等特征;装饰数据1024包括了帽子、围巾、眼镜、项链、耳环、纹身等。
数据库管理子模块101用于对人脸特征数据102依据其所属类别、属性,采取树状结构存储,用户查找过程中只需依界面中定义好的表单依次选择类别、属性、子属性等,即可准确查找到对应的脸部特征图像。数据库管理子模块101同时为***维护人员提供***、编辑、删除等操作接口,方便对数据库进行管理;用户在使用中根据记忆,在数据库中选择与犯罪嫌疑人最匹配的脸部特征,形成人脸拼接图,供人脸生成模块使用。
如图6所示,人脸轮廓绘制模块200包含硬件外设201和软件子模块202,其中,硬件外设201包括手绘板2011和压感笔2012等外界设备。软件子模块202包括画布2021以及存储接口2022等;该人脸轮廓绘制模块200用于手动绘制简单的人脸轮廓骨架,包括脸型、五官位置和轮廓等;在使用过程中,受害者或画像师通过压感笔在手绘板上画出简略的人脸轮廓,供人脸生成模块使用。
优选地,人脸生成模块300包括基于特征拼接的人脸合成器301和基于手绘轮廓的人脸合成器302,二者分别对应于人脸特征数据库模块100和人脸轮廓绘制模块200。受害者使用人脸特征数据库模块100获得人脸拼接图或者利用人脸轮廓绘制模块200获得人脸轮廓图,加上噪声数据一起作为条件生成对抗网络的输入。该条件生成对抗网络包括一个基于卷积神经网络的生成器和一个基于卷积神经网络的判别器;训练过程中,生成器的目标是通过条件输入(人脸拼接图或人脸轮廓图)和噪声输入生成一张人脸图片,希望其尽可能与真实图片相似;判别器的输入中负样本是生成器生成的图片与对应条件输入(人脸拼接图),正样本是真实人脸图像和对应的条件输入(剪切真实人脸中的图像特征拼接而成的人脸拼接图),其目标是判别在相同或相似的人脸拼接图作为条件输入的情况下,输入的人脸图像是真实的还是由生成器生成的;训练中求取输入的小批量样本中判别器损失函数值,反向传播损失函数对判别器、生成器中的模型参数的梯度并对参数进行联合更新。通过优化过程中生成器和判别器的博弈提升各自性能,直至生成器生成的人脸图像与真实图像在判别器中的概率值均稳定在0.5附近时,说明生成器性能达到最优,结束训练。使用中,受害者根据记忆,借助人脸特征数据库模块拼接出的人脸拼接图作为生成器的条件输入,即可生成形象、自然、逼真的人脸图像。
此外,人像编辑模块400用于根据受害者对人像生成模块300生成人脸图像的反馈进行适当的修改,如脸颊、下巴形状、眼睛大小、鼻翼宽窄、嘴唇厚薄等。人像编辑模块400可寻求与当前市场上较流行的修图软件寻求合作,调用其接口,完成五官重塑功能。
进一步的,人机交互模块500为在PC上与用户进行交互的软件界面。人机交互界面包含了进入上述人脸特征数据库模块、人脸轮廓绘制模块、人脸生成模块、人像编辑模块的子界面的按钮和当前生成人像的效果图;人机交互界面还包括对图像进行新建、保存、载入、导出、打印等操作的功能按钮。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于深度学习的模拟画像生成方法,其特征在于,包括如下步骤:
S1:获得人脸拼接图或人脸轮廓图;
通过受害人对犯罪嫌疑人长相的记忆特点选择使用人脸特征拼接方式,或者人脸轮廓绘制方式,所述人脸特征拼接方式或人脸轮廓绘制方式的输出分别为人脸拼接图或人脸轮廓图;
S2:生成人脸图像;
将所述人脸拼接图或人脸轮廓图分别作为条件生成对抗网络的条件输入,用于约束网络生成分别与二者相似的,更逼真,更自然的完整人脸图像;
S3:人脸辨认及编辑;
受害人对生成的完整人脸图像进行辨认,并提出局部或整体修改意见,若修改限于局部特征,则可通过人像编辑做适当修改;若为整体修改,则返回步骤S1,直至受害人辨认清晰后,最终输出人脸图像。
2.根据权利要求1所述的一种基于深度学习的模拟画像生成方法,其特征在于,步骤S2中,所述条件生成对抗网络包括生成器和判别器,其包括如下步骤:
S21:将所述人脸拼接图或人脸轮廓图和噪声一起作为所述生成器的条件输入,生成一张人脸图像;
S22:将生成的所述人脸图像和真实人脸图像输入所述判别器,并通过其判输入图像是真实人脸图像,或是通过所述生成器生成的人脸图像。
3.根据权利要求1或2所述的一种基于深度学习的模拟画像生成方法,其特征在于,步骤S2中,所述条件生成对抗网络训练包括如下步骤:
S25:求取输入的正、负样本中判别器损失函数值,反向传播该损失函数,以对判别器、生成器中模型参数的梯度进行联合更新;
S26:通过生成器和判别器的博弈提升各自性能,直至生成器生成的人脸图像与真实图像在判别器中的概率值均稳定在0.5附近时,结束训练。
4.根据权利要求1-3中任一项所述的一种基于深度学习的模拟画像生成方法,其特征在于,步骤S22中,所述判别器的判别过程中采用正、负样本作为输入;其中,
所述负样本为所述生成器生成的人脸图像与对应条件输入的人脸拼接图或人脸轮廓图;
所述正样本为真实人脸图像和对应的剪切真实人脸中的图像特征拼接而成的人脸拼接图或人脸轮廓图。
5.根据权利要求1-4中任一项所述的一种基于深度学习的模拟画像生成方法,其特征在于,真实人脸中的图像特征拼接而成的人脸拼接图包括如下步骤:
S221:挑选高质量人脸图像数据形成训练数据集;
S222:将该训练数据集中的图片进行五官的裁剪和重拼接,形成每张图片对应的拼接图;
S223:对原图数据和对应的拼接图像数据进行调整亮度、对比度、轻微平移、旋转、水平翻转操作,获得真实人脸中的图像特征拼接而成的人脸拼接图。
6.一种基于深度学习的模拟画像生成装置,用于实现如权利要求1-5中任一项所述的模拟画像生成方法,其特征在于,该装置包括:
独立设置的人脸特征数据库模块(100)和人脸轮廓绘制模块(200),其中,所述人脸特征数据库模块(100)用于选择人脸特征数据拼接形成人脸拼接图,所述人脸轮廓绘制模块(200)用于绘制人脸轮廓图;
人脸生成模块(300),其用于将所述人脸拼接图或人脸轮廓图作为条件生成对抗网络的条件输入,生成人脸图像;
人像编辑模块(400),用于对生成的人脸图像进行辨认和修改,以获得形象、自然、逼真的人脸图像;以及,
人机交互模块(500),用于实现与人脸特征数据库模块(100)、人脸轮廓绘制模块(200)、人脸生成模块(300)及人像编辑模块(400)的交互操作。
7.根据权利要求6所述的一种基于深度学习的模拟画像生成装置,其特征在于,所述人脸特征数据库模块(100)包括人脸特征数据(102)、人脸拼接子模块(103)和数据库管理子模块(101);其中,
所述人脸特征数据(102)包括脸型数据(1021)、五官数据(1022)、个性化特征数据(1023)以及装饰数据(1024);
所述数据库管理子模块(101)用于对人脸特征数据(102)依据其所属类别、属性,采取树状结构存储。
8.根据权利要求6或7所述的一种基于深度学习的模拟画像生成装置,其特征在于,所述人脸轮廓绘制模块(200)包含硬件外设(201)和软件子模块(202);其中,
所述硬件外设(201)包括手绘板(2011)和压感笔(2012);
所述软件子模块(202)包括画布(2021)以及存储接口(2022)。
9.根据权利要求6-8中任一项所述的一种基于深度学习的模拟画像生成装置,其特征在于,所述人脸生成模块(300)包括基于特征拼接的人脸合成器(301)和基于手绘轮廓的人脸合成器(302),二者分别对应于人脸特征数据库模块(100)和人脸轮廓绘制模块(200)。
10.根据权利要求6-9中任一项所述的一种基于深度学习的模拟画像生成装置,其特征在于,所述人机交互模块(500)包括在PC上与用户进行交互的软件界面;其中,
所述交互界面包含进入所述人脸特征数据库模块(100)、人脸轮廓绘制模块(200)、人脸生成模块(300)、人像编辑模块(400)子界面的按钮和当前生成人像的效果图;且,
所述交互界面还包括对图像进行新建、保存、载入、导出、打印操作的功能按钮。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910059491.XA CN109886873A (zh) | 2019-01-22 | 2019-01-22 | 一种基于深度学习的模拟画像生成方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910059491.XA CN109886873A (zh) | 2019-01-22 | 2019-01-22 | 一种基于深度学习的模拟画像生成方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109886873A true CN109886873A (zh) | 2019-06-14 |
Family
ID=66926530
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910059491.XA Pending CN109886873A (zh) | 2019-01-22 | 2019-01-22 | 一种基于深度学习的模拟画像生成方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109886873A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112132912A (zh) * | 2019-06-25 | 2020-12-25 | 北京百度网讯科技有限公司 | 建立人脸生成模型以及生成人脸图像的方法、装置 |
CN112307234A (zh) * | 2020-11-03 | 2021-02-02 | 厦门兆慧网络科技有限公司 | 一种人脸底库合成方法、***和、设备及存储介质 |
CN113506220A (zh) * | 2021-07-16 | 2021-10-15 | 厦门美图之家科技有限公司 | 3d顶点驱动的人脸姿态编辑方法、***及电子设备 |
CN114359034A (zh) * | 2021-12-24 | 2022-04-15 | 北京航空航天大学 | 一种基于手绘的人脸图片生成方法及*** |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105976429A (zh) * | 2016-05-03 | 2016-09-28 | 西安邮电大学 | 刑侦画像计算机辅助***及方法 |
CN107730458A (zh) * | 2017-09-05 | 2018-02-23 | 北京飞搜科技有限公司 | 一种基于生成式对抗网络的模糊人脸重建方法及*** |
-
2019
- 2019-01-22 CN CN201910059491.XA patent/CN109886873A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105976429A (zh) * | 2016-05-03 | 2016-09-28 | 西安邮电大学 | 刑侦画像计算机辅助***及方法 |
CN107730458A (zh) * | 2017-09-05 | 2018-02-23 | 北京飞搜科技有限公司 | 一种基于生成式对抗网络的模糊人脸重建方法及*** |
Non-Patent Citations (2)
Title |
---|
杨杰: "谈谈摹拟画像在刑事侦查中的实践与运用", 《万方数据库》 * |
程旭 等: "基于多损失的生成式对抗目标跟踪算法", 《东南大学学报(自然科学版)》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112132912A (zh) * | 2019-06-25 | 2020-12-25 | 北京百度网讯科技有限公司 | 建立人脸生成模型以及生成人脸图像的方法、装置 |
CN112132912B (zh) * | 2019-06-25 | 2024-02-13 | 北京百度网讯科技有限公司 | 建立人脸生成模型以及生成人脸图像的方法、装置 |
CN112307234A (zh) * | 2020-11-03 | 2021-02-02 | 厦门兆慧网络科技有限公司 | 一种人脸底库合成方法、***和、设备及存储介质 |
CN113506220A (zh) * | 2021-07-16 | 2021-10-15 | 厦门美图之家科技有限公司 | 3d顶点驱动的人脸姿态编辑方法、***及电子设备 |
CN113506220B (zh) * | 2021-07-16 | 2024-04-05 | 厦门美图之家科技有限公司 | 3d顶点驱动的人脸姿态编辑方法、***及电子设备 |
CN114359034A (zh) * | 2021-12-24 | 2022-04-15 | 北京航空航天大学 | 一种基于手绘的人脸图片生成方法及*** |
CN114359034B (zh) * | 2021-12-24 | 2023-08-08 | 北京航空航天大学 | 一种基于手绘的人脸图片生成方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12039454B2 (en) | Microexpression-based image recognition method and apparatus, and related device | |
CN109886873A (zh) | 一种基于深度学习的模拟画像生成方法及装置 | |
CN106652025B (zh) | 一种基于视频流与人脸多属性匹配的三维人脸建模方法和打印装置 | |
CN109558832A (zh) | 一种人体姿态检测方法、装置、设备及存储介质 | |
CN115205949B (zh) | 图像生成方法以及相关设备 | |
CN109871450A (zh) | 基于绘本阅读的多模态交互方法及*** | |
TW201937344A (zh) | 智慧型機器人及人機交互方法 | |
CN111243050A (zh) | 肖像简笔画生成方法、***及绘画机器人 | |
CN107025678A (zh) | 一种3d虚拟模型的驱动方法及装置 | |
CN109034090A (zh) | 一种基于肢体动作的情感识别***及方法 | |
CN111626126A (zh) | 一种人脸情绪识别的方法、装置、介质及电子设备 | |
WO2024109374A1 (zh) | 换脸模型的训练方法、装置、设备、存储介质和程序产品 | |
CN111062260B (zh) | 一种面部整容推荐方案自动生成方法 | |
CN110555896A (zh) | 一种图像生成方法、装置以及存储介质 | |
CN111126280B (zh) | 基于融合手势识别的失语症患者辅助康复训练***及方法 | |
CN116310045B (zh) | 一种三维人脸纹理创建方法、装置及设备 | |
CN109343695A (zh) | 基于虚拟人行为标准的交互方法及*** | |
CN109086664A (zh) | 一种动静态融合的多态手势识别方法 | |
CN117152308B (zh) | 一种虚拟人动作表情优化方法与*** | |
CN116883608B (zh) | 一种多模态数字人社交属性控制方法及相关装置 | |
CN113781271A (zh) | 化妆教学方法及装置、电子设备、存储介质 | |
CN113920561A (zh) | 一种基于零样本学习的人脸表情识别方法及装置 | |
Gonzalez-Soler et al. | Semi-synthetic data generation for tattoo segmentation | |
CN115631285A (zh) | 基于统一驱动的人脸渲染方法、装置、设备及存储介质 | |
Narlagiri et al. | Biometric authentication system based on face recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190614 |