CN109886873A - 一种基于深度学习的模拟画像生成方法及装置 - Google Patents

Abstract

本发明公开了一种基于深度学习的模拟画像生成方法，包括如下步骤：S1:获得人脸拼接图或人脸轮廓图；S2:生成人脸图像，将所述人脸拼接图或人脸轮廓图分别作为条件生成对抗网络的条件输入，用于约束网络生成分别与二者相似的，更逼真，更自然的完整人脸图像；S3:人脸辨认及编辑，受害人对生成的完整人脸图像进行辨认，并提出局部或整体修改意见，依据修改意见对图片进行编辑或重新生成，最终输出人脸图像。本发明还公开了该方法对应的装置。本发明的模拟画像生成方法，基于现有的手绘方法和拼接式模拟画像方法的改进，引入了条件生成对抗网络算法和卷积神经网络算法，使得生成的模拟画像更加形象自然、逼真、传神，将能大大提升实用效果。

Description

一种基于深度学习的模拟画像生成方法及装置

技术领域

本发明属于智能刑侦技术领域，更具体地，涉及一种基于深度学习的模拟画像生成方法及装置。

背景技术

随着各类媒体对警方办案过程的广泛报道及人们受教育程度的普遍提高，犯罪嫌疑人通过各种信息渠道研究警方侦查破案过程，反侦查能力日渐提升。即使在拥有范围覆盖极广的监控网络和精确度极高的指纹、DNA鉴定技术的今天，犯罪嫌疑人仍可以通过躲避监控、破坏监控设施、擦除指纹、清理犯罪现场等方式销毁线索与证据，给警方侦查与破案造成了极大的困难。在这类案件中，受害人出于惊恐与憎恨而在脑海中留下的对犯罪嫌疑人面部特征的深刻印象成了侦查、通缉的珍贵线索，将受害人对犯罪嫌疑人长相的记忆输出到纸上成为案件侦破工作的迫切需求，模拟画像技术正是服务于这一重要需求的。

模拟画像自古以来便在刑侦领域受到重视，专业的模拟画像师通过与受害人的交流，了解犯罪嫌疑人的面部特征，通过手工素描等绘画方式在纸上画出犯罪嫌疑人的模拟画像，并根据受害者的反馈反复修改，直至与受害者脑海中的印象达到最大程度的相似。这种通过口述与手绘的方式直到今天仍然被普遍采用，并在大量复杂案件的侦破过程中发挥巨大作用。这种方式的优点是能够通过不断地修改，较为精细地表现出犯罪嫌疑人的面部特征并对其较为特殊的特征如特殊形状五官、胎记、疤痕等做出针对性的刻画；缺点是过于依赖模拟画像师的技术与经验、对受害者的表达能力也有较高要求，作画时间较长，错过受害者印象最深的时间，难以大量推广等。

随着计算机软硬件技术的不断进步，公安部门也与科研机构合作，研制出了自动模拟画像软件，该类软件发挥了公安***拥有大规模人脸数据库的优势，建立了包含各式各样的人脸特征素材的侯选库，受害者只需要在侯选库中选择与犯罪嫌疑人相似的脸型、眼睛、眉毛、鼻子、嘴巴等素材，在软件中将他们拼接在一起，即可快速生成一张犯罪嫌疑人的模拟画像。这种方式的优点是速度快，不再依赖模拟画像师的技术和经验、也避免了受害者在口述过程中造成信息传达的不准确，易于推广。但这种自动模拟画像也存在一些缺点和不足，如其拼接成的画像往往显得生硬，不够传神，使用效果很难保证。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供一种基于深度学习的模拟画像生成方法及装置，其目的在于，实现快速生成形象、自然、具有高度可分辨性的犯罪嫌疑人模拟画像，而且这种基于深度学习的模拟画像生成方法智能化程度更高、效果更好、更易于推广。

为了实现上述目的，按照本发明的一个方面，提供一种基于深度学习的模拟画像生成方法，包括如下步骤：

S1:获得人脸拼接图或人脸轮廓图；

通过受害人对犯罪嫌疑人长相的记忆特点选择使用人脸特征拼接方式，或者人脸轮廓绘制方式，所述人脸特征拼接方式或人脸轮廓绘制方式的输出分别为人脸拼接图或人脸轮廓图；

S2:生成人脸图像；

将所述人脸拼接图或人脸轮廓图分别作为条件生成对抗网络的条件输入，用于约束网络生成分别与二者相似的，更逼真，更自然的完整人脸图像；

S3:人脸辨认及编辑；

受害人对生成的完整人脸图像进行辨认，并提出局部或整体修改意见，若修改限于局部特征，则可通过人像编辑做适当修改；若为整体修改，则返回步骤S1，直至受害人辨认清晰后，最终输出人脸图像。

进一步地，步骤S2中，所述条件生成对抗网络包括生成器和判别器，其包括如下步骤：

S21:将所述人脸拼接图或人脸轮廓图和噪声一起作为所述生成器的条件输入，生成一张人脸图像；

S22:将生成的所述人脸图像和真实人脸图像输入所述判别器，并通过其判输入图像是真实人脸图像，或是通过所述生成器生成的人脸图像。

进一步地，步骤S2中，所述条件生成对抗网络训练包括如下步骤：

S25：求取输入的正、负样本中判别器损失函数值，反向传播该损失函数，以对判别器、生成器中模型参数的梯度进行联合更新；

S26：通过生成器和判别器的博弈提升各自性能，直至生成器生成的人脸图像与真实图像在判别器中的概率值均稳定在0.5附近时，结束训练。

进一步地，步骤S22中，所述判别器的判别过程中采用正、负样本作为输入；其中，

所述负样本为所述生成器生成的人脸图像与对应条件输入的人脸拼接图或人脸轮廓图；

所述正样本为真实人脸图像和对应的剪切真实人脸中的图像特征拼接而成的人脸拼接图或人脸轮廓图。

进一步地，真实人脸中的图像特征拼接而成的人脸拼接图包括如下步骤：

S221：挑选高质量人脸图像数据形成训练数据集；

S222：将该训练数据集中的图片进行五官的裁剪和重拼接，形成每张图片对应的拼接图；

S223：对原图数据和对应的拼接图像数据进行调整亮度、对比度、轻微平移、旋转、水平翻转操作，获得真实人脸中的图像特征拼接而成的人脸拼接图。

按照本发明的另一个方面，提供一种基于深度学习的模拟画像生成装置，用于实现所述的模拟画像生成方法，该装置包括：

独立设置的人脸特征数据库模块和人脸轮廓绘制模块，其中，所述人脸特征数据库模块用于选择人脸特征数据拼接形成人脸拼接图，所述人脸轮廓绘制模块用于绘制人脸轮廓图；

人脸生成模块，其用于将所述人脸拼接图或人脸轮廓图作为条件生成对抗网络的条件输入，生成人脸图像；

人像编辑模块，用于对生成的人脸图像进行辨认和修改，以获得形象、自然、逼真的人脸图像；以及，

人机交互模块，用于实现与人脸特征数据库模块、人脸轮廓绘制模块、人脸生成模块及人像编辑模块的交互操作。

进一步地，所述人脸特征数据库模块包括人脸特征数据、人脸拼接子模块和数据库管理子模块；其中，

所述人脸特征数据包括脸型数据、五官数据、个性化特征数据以及装饰数据；

所述数据库管理子模块用于对人脸特征数据依据其所属类别、属性，采取树状结构存储。

进一步地，所述人脸轮廓绘制模块包含硬件外设和软件子模块；其中，

所述硬件外设包括手绘板和压感笔；

所述软件子模块包括画布以及存储接口。

进一步地，所述人脸生成模块包括基于特征拼接的人脸合成器和基于手绘轮廓的人脸合成器，二者分别对应于人脸特征数据库模块和人脸轮廓绘制模块。

进一步地，所述人机交互模块包括在PC上与用户进行交互的软件界面；其中，

所述交互界面包含进入所述人脸特征数据库模块、人脸轮廓绘制模块、人脸生成模块、人像编辑模块子界面的按钮和当前生成人像的效果图；且，

所述交互界面还包括对图像进行新建、保存、载入、导出、打印操作的功能按钮。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

1.本发明的基于深度学习的模拟画像生成方法，提出的技术方案是基于现有的手绘方法和拼接式模拟画像方法的改进，引入了条件生成对抗网络算法和卷积神经网络算法，使得生成的模拟画像更加形象自然、逼真、传神，将能大大提升实用效果。

2.本发明的基于深度学习的模拟画像生成方法，基于条件生成对抗网络算法和卷积神经网络算法等深度学习算法，算法模型的性能对数据规模和分布有较强依赖，通过实践数据的不断积累和数据分布的不断优化，算法模型的性能和生成模拟画像的质量将不断提升。

3.本发明的基于深度学习的模拟画像生成方法，相对于传统手绘式模拟画像方法具有生成速度快的优点，能够抓住受害者记忆留存最多的宝贵时刻，通过快速生成、快速调整，激发受害者记忆中的细节，达到最大程度的具体、细致、逼真。

4.本发明的基于深度学***高低影响。

附图说明

图1为本发明实施例基于深度学习的模拟画像生成方法流程示意图；

图2为本发明实施例人脸生成模块中的条件生成对抗网络示意图；

图3为本发明实施例人脸生成模块中的条件生成对抗网络的流程示意图；

图4为本发明实施例基于深度学习的模拟画像生成装置的结构示意图；

图5为本发明实施例人脸特征数据库模块组成结构示意图；

图6为本发明实施例人脸轮廓绘制模块组成结构示意图；

图7为本发明实施例人脸生成模块组成结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明实施例一种基于深度学习的模拟画像生成方法，包括如下步骤：

(1)选择人脸生成方式

本发明的实施例提供两种相互独立的方式生成模拟画像，实际使用中，技术人员通过受害人对犯罪嫌疑人长相的记忆特点选择使用人脸特征拼接方式，或者人脸轮廓绘制方式；前者适用于受害人记忆较为清晰，对局部特征印象深刻的情况，后者适用于仅仅对脸型，五官长短高低有模糊记忆的情况；特殊情况下可综合使用两种方法。

(2)人脸生成

人脸特征拼接方式和人脸轮廓绘制方式的输出分别为人脸拼接图和人脸轮廓图，它们分别作为人脸生成中的条件生成对抗网络的条件输入，用于约束网络生成与它们相似的，更逼真，更自然的完整人脸图像。

(3)人脸编辑

人脸生成模块生成的图像需要受害人进行辨认，提出局部和整体的修改意见，若修改限于局部特征(如鼻翼过宽，眼角更长等)，则可使用人像编辑做适当修改，若需要较大改动(如脸轮廓需拉长，额头需要更宽等)，则可重新回到人脸特征数据库或人脸轮廓绘制，重新做人脸拼接或重新绘制人脸轮廓图，重复步骤(2)，直到受害人辨认清晰后，最终输出人脸图像。本发明的基于深度学习的模拟画像生成方法，提出的技术方案是基于现有的手绘方法和拼接式模拟画像方法的改进，引入了条件生成对抗网络算法和卷积神经网络算法，使得生成的模拟画像更加形象自然、逼真、传神，将能大大提升实用效果。

图2所示为本发明实施例步骤(2)中人脸生成所用到的条件生成对抗网络的结构示意图。包含了两个独立的网络，分别用于人脸拼接图和人脸轮廓图；网络结构相似，以人脸拼接图使用的网络为例进行说明。本发明中使用的条件生成对抗网络由一个基于卷积神经网络的生成器和一个基于卷积神经网络的判别器组成；训练过程中，生成器的目标是通过条件输入(人脸拼接图)和噪声输入生成一张人脸图片，希望其尽可能与真实图片相似；判别器的输入中负样本是生成器生成的图片与对应条件输入(人脸拼接图)，正样本是真实人脸图像和对应的条件输入(剪切真实人脸中的图像特征拼接而成的人脸拼接图)，其目标是判别在相同或相似的人脸拼接图作为条件输入的情况下，输入的人脸图像是真实的还是由生成器生成的；训练中求取输入的小批量样本中判别器损失函数值，反向传播损失函数对判别器、生成器中的模型参数的梯度并对参数进行联合更新。通过优化过程中生成器和判别器的博弈提升各自性能，直至生成器生成的人脸图像与真实图像在判别器中的概率值均稳定在0.5附近时，说明生成器性能达到最优，结束训练。使用中，受害者根据记忆，借助人脸特征数据库模块拼接出的人脸拼接图作为生成器的条件输入，即可生成形象、自然、逼真的人脸图像。本发明的基于深度学习的模拟画像生成方法，基于条件生成对抗网络算法和卷积神经网络算法等深度学习算法，算法模型的性能对数据规模和分布有较强依赖，通过实践数据的不断积累和数据分布的不断优化，算法模型的性能和生成模拟画像的质量将不断提升。

图3为本发明实施例人脸生成模块中的条件生成对抗网络的流程示意图。如图3所示，在公安***所掌握的大规模人脸图像数据库中挑选高质量人脸图像数据形成训练数据集，将数据集中图片进行五官的裁剪和重拼接，形成每张图片对应的拼接图，对原图数据和对应的拼接图像数据进行调整亮度、对比度、轻微平移、旋转、水平翻转等数据增强操作，用于训练能够依据拼接图像生成对应人脸的条件生成对抗网络；训练中，条件生成对抗网络的生成器以拼接图和噪声为输入，输出拼接图所对应的人脸图像；判别器以真实人脸图像或生成器生成的人脸图像为输入，输出它们是真实人脸图像的概率，以对数函数为损失函数，通过小批量梯度下降法交替迭代优化生成器和判别器参数，提升生成器和判别器性能；实用中使用受害者借助人脸特征数据库中的特征拼接出的图像作为生成对抗网络的输入，即可得到五官、脸型等特征与受害人所选特征相近的完整人脸图像。同样的，基于手绘轮廓的人脸合成器需要为训练数据集中的图片画出对应的人脸轮廓图像，在训练中将人脸轮廓图像输入到生成器和判别器，实用中可通过受害者画出的或画像师画出的人脸轮廓图像生成完整人脸图像。本发明的基于深度学习的模拟画像生成方法，相对于传统手绘式模拟画像方法具有生成速度快的优点，能够抓住受害者记忆留存最多的宝贵时刻，通过快速生成、快速调整，激发受害者记忆中的细节，达到最大程度的具体、细致、逼真。由此，本发明实现了一种基于深度学习的模拟画像生成方法，能够大大提升模拟画像生成的质量和效率，成为警方办案的好助手。

如图4所示，本发明的另一个实施例中，提供一种基于深度学习的模拟画像生成装置，包括人脸特征数据库模块100、人脸轮廓绘制模块200、人脸生成模块300、人像编辑模块400以及人机交互模块500。

如图5所示，人脸特征数据库模块100包含了数据库存储的人脸特征数据102、人脸拼接子模块103和数据库管理子模块101。其中，人脸特征数据102包括了种类丰富的脸型数据1021、五官数据1022、个性化特征数据1023以及装饰数据1024等脸部特征图像素材。此处五官数据1022指的是：眉毛、眼睛、鼻子、嘴巴、耳朵等；个性化特征数据1023包括了皱纹、胎记、痤疮、疤痕、黑痣等特征；装饰数据1024包括了帽子、围巾、眼镜、项链、耳环、纹身等。

数据库管理子模块101用于对人脸特征数据102依据其所属类别、属性，采取树状结构存储，用户查找过程中只需依界面中定义好的表单依次选择类别、属性、子属性等，即可准确查找到对应的脸部特征图像。数据库管理子模块101同时为***维护人员提供***、编辑、删除等操作接口，方便对数据库进行管理；用户在使用中根据记忆，在数据库中选择与犯罪嫌疑人最匹配的脸部特征，形成人脸拼接图，供人脸生成模块使用。

如图6所示，人脸轮廓绘制模块200包含硬件外设201和软件子模块202，其中，硬件外设201包括手绘板2011和压感笔2012等外界设备。软件子模块202包括画布2021以及存储接口2022等；该人脸轮廓绘制模块200用于手动绘制简单的人脸轮廓骨架，包括脸型、五官位置和轮廓等；在使用过程中，受害者或画像师通过压感笔在手绘板上画出简略的人脸轮廓，供人脸生成模块使用。

优选地，人脸生成模块300包括基于特征拼接的人脸合成器301和基于手绘轮廓的人脸合成器302，二者分别对应于人脸特征数据库模块100和人脸轮廓绘制模块200。受害者使用人脸特征数据库模块100获得人脸拼接图或者利用人脸轮廓绘制模块200获得人脸轮廓图，加上噪声数据一起作为条件生成对抗网络的输入。该条件生成对抗网络包括一个基于卷积神经网络的生成器和一个基于卷积神经网络的判别器；训练过程中，生成器的目标是通过条件输入(人脸拼接图或人脸轮廓图)和噪声输入生成一张人脸图片，希望其尽可能与真实图片相似；判别器的输入中负样本是生成器生成的图片与对应条件输入(人脸拼接图)，正样本是真实人脸图像和对应的条件输入(剪切真实人脸中的图像特征拼接而成的人脸拼接图)，其目标是判别在相同或相似的人脸拼接图作为条件输入的情况下，输入的人脸图像是真实的还是由生成器生成的；训练中求取输入的小批量样本中判别器损失函数值，反向传播损失函数对判别器、生成器中的模型参数的梯度并对参数进行联合更新。通过优化过程中生成器和判别器的博弈提升各自性能，直至生成器生成的人脸图像与真实图像在判别器中的概率值均稳定在0.5附近时，说明生成器性能达到最优，结束训练。使用中，受害者根据记忆，借助人脸特征数据库模块拼接出的人脸拼接图作为生成器的条件输入，即可生成形象、自然、逼真的人脸图像。

此外，人像编辑模块400用于根据受害者对人像生成模块300生成人脸图像的反馈进行适当的修改，如脸颊、下巴形状、眼睛大小、鼻翼宽窄、嘴唇厚薄等。人像编辑模块400可寻求与当前市场上较流行的修图软件寻求合作，调用其接口，完成五官重塑功能。

进一步的，人机交互模块500为在PC上与用户进行交互的软件界面。人机交互界面包含了进入上述人脸特征数据库模块、人脸轮廓绘制模块、人脸生成模块、人像编辑模块的子界面的按钮和当前生成人像的效果图；人机交互界面还包括对图像进行新建、保存、载入、导出、打印等操作的功能按钮。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的模拟画像生成方法，其特征在于，包括如下步骤：

S1:获得人脸拼接图或人脸轮廓图；

通过受害人对犯罪嫌疑人长相的记忆特点选择使用人脸特征拼接方式，或者人脸轮廓绘制方式，所述人脸特征拼接方式或人脸轮廓绘制方式的输出分别为人脸拼接图或人脸轮廓图；

S2:生成人脸图像；

将所述人脸拼接图或人脸轮廓图分别作为条件生成对抗网络的条件输入，用于约束网络生成分别与二者相似的，更逼真，更自然的完整人脸图像；

S3:人脸辨认及编辑；

受害人对生成的完整人脸图像进行辨认，并提出局部或整体修改意见，若修改限于局部特征，则可通过人像编辑做适当修改；若为整体修改，则返回步骤S1，直至受害人辨认清晰后，最终输出人脸图像。

2.根据权利要求1所述的一种基于深度学习的模拟画像生成方法，其特征在于，步骤S2中，所述条件生成对抗网络包括生成器和判别器，其包括如下步骤：

S21:将所述人脸拼接图或人脸轮廓图和噪声一起作为所述生成器的条件输入，生成一张人脸图像；

S22:将生成的所述人脸图像和真实人脸图像输入所述判别器，并通过其判输入图像是真实人脸图像，或是通过所述生成器生成的人脸图像。

3.根据权利要求1或2所述的一种基于深度学习的模拟画像生成方法，其特征在于，步骤S2中，所述条件生成对抗网络训练包括如下步骤：

S25：求取输入的正、负样本中判别器损失函数值，反向传播该损失函数，以对判别器、生成器中模型参数的梯度进行联合更新；

S26：通过生成器和判别器的博弈提升各自性能，直至生成器生成的人脸图像与真实图像在判别器中的概率值均稳定在0.5附近时，结束训练。

4.根据权利要求1-3中任一项所述的一种基于深度学习的模拟画像生成方法，其特征在于，步骤S22中，所述判别器的判别过程中采用正、负样本作为输入；其中，

所述负样本为所述生成器生成的人脸图像与对应条件输入的人脸拼接图或人脸轮廓图；

所述正样本为真实人脸图像和对应的剪切真实人脸中的图像特征拼接而成的人脸拼接图或人脸轮廓图。

5.根据权利要求1-4中任一项所述的一种基于深度学习的模拟画像生成方法，其特征在于，真实人脸中的图像特征拼接而成的人脸拼接图包括如下步骤：

S221：挑选高质量人脸图像数据形成训练数据集；

S222：将该训练数据集中的图片进行五官的裁剪和重拼接，形成每张图片对应的拼接图；

S223：对原图数据和对应的拼接图像数据进行调整亮度、对比度、轻微平移、旋转、水平翻转操作，获得真实人脸中的图像特征拼接而成的人脸拼接图。

6.一种基于深度学习的模拟画像生成装置，用于实现如权利要求1-5中任一项所述的模拟画像生成方法，其特征在于，该装置包括：

独立设置的人脸特征数据库模块(100)和人脸轮廓绘制模块(200)，其中，所述人脸特征数据库模块(100)用于选择人脸特征数据拼接形成人脸拼接图，所述人脸轮廓绘制模块(200)用于绘制人脸轮廓图；

人脸生成模块(300)，其用于将所述人脸拼接图或人脸轮廓图作为条件生成对抗网络的条件输入，生成人脸图像；

人像编辑模块(400)，用于对生成的人脸图像进行辨认和修改，以获得形象、自然、逼真的人脸图像；以及，

人机交互模块(500)，用于实现与人脸特征数据库模块(100)、人脸轮廓绘制模块(200)、人脸生成模块(300)及人像编辑模块(400)的交互操作。

7.根据权利要求6所述的一种基于深度学习的模拟画像生成装置，其特征在于，所述人脸特征数据库模块(100)包括人脸特征数据(102)、人脸拼接子模块(103)和数据库管理子模块(101)；其中，

所述人脸特征数据(102)包括脸型数据(1021)、五官数据(1022)、个性化特征数据(1023)以及装饰数据(1024)；

所述数据库管理子模块(101)用于对人脸特征数据(102)依据其所属类别、属性，采取树状结构存储。

8.根据权利要求6或7所述的一种基于深度学习的模拟画像生成装置，其特征在于，所述人脸轮廓绘制模块(200)包含硬件外设(201)和软件子模块(202)；其中，

所述硬件外设(201)包括手绘板(2011)和压感笔(2012)；

所述软件子模块(202)包括画布(2021)以及存储接口(2022)。

9.根据权利要求6-8中任一项所述的一种基于深度学习的模拟画像生成装置，其特征在于，所述人脸生成模块(300)包括基于特征拼接的人脸合成器(301)和基于手绘轮廓的人脸合成器(302)，二者分别对应于人脸特征数据库模块(100)和人脸轮廓绘制模块(200)。

10.根据权利要求6-9中任一项所述的一种基于深度学习的模拟画像生成装置，其特征在于，所述人机交互模块(500)包括在PC上与用户进行交互的软件界面；其中，

所述交互界面包含进入所述人脸特征数据库模块(100)、人脸轮廓绘制模块(200)、人脸生成模块(300)、人像编辑模块(400)子界面的按钮和当前生成人像的效果图；且，

所述交互界面还包括对图像进行新建、保存、载入、导出、打印操作的功能按钮。