CN105513125B - 合成图像生成装置及方法、用于执行该方法的记录介质 - Google Patents

合成图像生成装置及方法、用于执行该方法的记录介质 Download PDF

Info

Publication number
CN105513125B
CN105513125B CN201510647084.2A CN201510647084A CN105513125B CN 105513125 B CN105513125 B CN 105513125B CN 201510647084 A CN201510647084 A CN 201510647084A CN 105513125 B CN105513125 B CN 105513125B
Authority
CN
China
Prior art keywords
face
composograph
generating means
model
dimentional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510647084.2A
Other languages
English (en)
Other versions
CN105513125A (zh
Inventor
金益载
崔英珠
洪裕真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea Advanced Institute of Science and Technology KAIST
Original Assignee
Korea Advanced Institute of Science and Technology KAIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea Advanced Institute of Science and Technology KAIST filed Critical Korea Advanced Institute of Science and Technology KAIST
Publication of CN105513125A publication Critical patent/CN105513125A/zh
Application granted granted Critical
Publication of CN105513125B publication Critical patent/CN105513125B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及合成图像生成装置及方法、用于执行该方法的记录介质。合成图像生成装置包括数据库，其预先储存有脸部影像及脸部的部位性影像信息；线框部，其将对各交叉点使用动态加权值的脸部线框使用于基本脸部素描图像；脸部合成部，其合成从上述数据库选择的影像，形成使用上述线框的二维脸部模型；及模型转换部，其基于使用上述线框的二维脸部模型，根据用户的输入转换二维脸部模型。由此，可以生成有效且准确度得到提高的合成图像。

Description

合成图像生成装置及方法、用于执行该方法的记录介质
技术领域
本发明涉及支持用于刑事侦查的合成图像***的尖端化及多功能的智能型一体化合成图像(montage)生成装置及方法、用于执行该方法的记录介质。
背景技术
合成图像制作作为解决犯罪事件的一个方法，基于目击了犯罪嫌疑人的脸部的人的记忆，找出犯罪嫌疑人的特征及相似点，使用多种接近法而生成犯罪嫌疑人的预测的脸部图像。
合成图像生成接近方法大体上分为部分合成法和整体合成法。对于部分合成而言，人记忆中的脸部信息被视为片面的部分性特征。以此为基础的合成图像***，预先构筑脸部轮廓、眉毛、眼睛、鼻子、嘴、耳朵、下巴等脸部部位的数据库，从数据库中选择记忆中的部位的形状并将其组合而生成合成图像。作为使用该方法的***的例子有大韩民国警察使用的“韩国合成图像程序”和除韩国以外的国家使用的“E-fit”、“Identikit”、“FACETTE”、“FACES”、“CD-FIT”等。
与此相反，整体合成法作为比较新的技术，是以人在识别脸部时以全面(holistic)而非片面(piecemeal)的方式识别这一心理学及认知科学的理论为基础构成的接近法。该方法作为通过对脸部整体而非局部的组合来制作合成图像的方法，使目击者从给出的脸部图像中选择本人记忆中的最相似的脸部，并反复进行所选择的脸部的进化论过程而最终收敛于期望的合成图像。使用该方法的***有“EFIT-V”、“EvoFit”等。整体合成法相比部分合成法，可以快速生成合成图像，并且生成结果的准确度也比部分合成法更高。
然而，作为现有***中的问题可以举出合成时不自然这样的结果。另外，其他问题为用于细致的脸部修正的自由变形功能方面的不足。为此，在实际进行时，会进行通过图像处理(photoshop)程序对由合成图像***生成的图像进行再修正的繁杂的过程。
发明内容
要解决的问题
为此，本发明着眼于上述问题，本发明的目的在于，提供有效且尖端化的合成图像生成装置。
本发明的另一目的在于提供有效且尖端化的合成图像生成方法。
本发明的又一目的在于提供记录有用于执行上述合成图像生成方法的计算机程序的记录介质。
问题的解决手段
根据用于实现上述的本发明目的的一实施例的合成图像生成装置，包括：数据库，其预先储存有脸部影像及脸部的部位性影像信息；线框部，其将对各交叉点使用动态加权值的脸部线框(wireframe)，使用于基本脸部素描图像；脸部合成部，其合成从上述数据库选择的影像，来形成使用上述线框的二维脸部模型；及模型转换部，其基于使用上述线框的二维脸部模型，根据用户的输入转换二维脸部模型。
在本发明的实施例中，上述模型转换部可包括面相转换部，上述面相转换部根据用户的选择自动转换上述二维脸部模型的面相。
在本发明的实施例中，上述面相转换部可以包括：面相推定部，其以脸部的正面影像、通过用户的评价而收集的面相分数及表示脸部形状的特征点之间的距离的特征向量为学习数据，来生成面相推定函数；及面相转换输出部，其使用上述面相推定函数，将上述二维脸部模型的面相转换并输出。
在本发明的实施例中，上述模型转换部可以包括年龄转换部，上述年龄转换部转换上述二维脸部模型的年龄。
在本发明的实施例中，上述年龄转换部可以包括：整体特征适用部，其执行反映整体特征信息的年龄转换函数；局部特征适用部，其执行反映局部特征信息的年龄转换函数；及年龄转换输出部，其将上述整体特征适用部及上述局部特征适用部的结果进行合成并输出。
在本发明的实施例中，上述模型转换部可以包括自由转换部，上述自由转换部根据用户的输入转换上述二维脸部模型的形态。
在本发明的实施例中，上述模型转换部可以包括图像编辑部，上述图像编辑部提供上述二维脸部模型的编辑功能。
在本发明的实施例中，上述模型转换部可以包括装饰部，上述装饰部提供能够对上述二维脸部模型追加附加信息的装饰功能。
在本发明的实施例中，上述脸部合成部可以使用将用户所选择的脸部作为父母基因反复执行交叉及变异演算而接近目标脸部的整体合成方法。
在本发明的实施例中，上述脸部合成部可以使用通过脸部的各部位的组合来合成整体脸部的部分合成方法。
在本发明的实施例中，上述合成图像生成装置还可以包括三维模型形成部，上述三维模型形成部提取上述二维脸部模型的特征点，并通过三维标准脸部形状之间的加权值线性组合，来生成三维脸部模型。
在本发明的实施例中，上述三维模型形成部能够提供自动表情变化、自由转换、背景变更以及装饰中的至少一个功能。
在本发明的实施例中，上述合成图像生成装置还可以包括输出最终合成图像的输出部。
在本发明的实施例中，上述合成图像生成装置还包括脸部识别部，上述脸部识别部识别最终合成图像的脸部而从罪犯照片数据库中选定最相似的脸部。
在本发明的实施例中，上述脸部识别部可以包括：照片特征提取部，其从上述罪犯的照片提取局部特征表现符；合成图像特征提取部，其从上述最终合成图像提取局部特征表现符；投影部，其将上述照片的局部特征表现符及上述合成图像的局部特征表现符投影到同一空间；及比较演算部，其对上述照片的局部特征表现符及上述合成图像的局部特征表现符的最小距离进行比较。
在本发明的实施例中，上述合成图像生成装置还可以包括数据库管理部，其用于上述数据库的维护。
在本发明的实施例中，上述合成图像生成装置还可以包括储存部，其提供所制作的合成图像的储存及调用功能。
根据用于实现上述本发明的另一目的的一实施例的合成图像生成方法，包括：将对各交叉点使用动态加权值的脸部线框使用于基本脸部素描图像的步骤；合成从预先储存有脸部影像及脸部中的部位性影像信息的数据库选择的影像，形成使用上述线框的二维脸部模型的步骤；及基于使用上述线框的二维脸部模型，根据用户的输入转换二维脸部模型的步骤。
在本发明的实施例中，可以在上述根据用户的输入转换二维脸部模型的步骤中，执行面相转换、年龄转换、自由转换、图像编辑以及装饰中的至少一个功能。
在本发明的实施例中，可以在形成上述合成图像的二维脸部模型的步骤中，使用整体合成方法或部分合成方法。
在本发明的实施例中，上述合成图像生成方法还可以包括提取上述二维脸部模型的特征点，并通过三维标准脸部形状之间的加权值线性组合来生成三维脸部模型的步骤。
在本发明的实施例中，可以在生成上述三维脸部模型的步骤中，执行自动表情变化、自由转换、背景变更以及装饰中的至少一个功能。
根据用于实现上述本发明又一目的的一实施例的计算机可读储存介质中，记录有用于执行合成图像生成方法的计算机程序。
发明效果
根据这种合成图像生成装置及方法、用于执行该方法的记录介质，将在合成图像***中以多角度要求的功能构成一个一体化***，由此不仅提高合成结果还缩短合成时间，从而提供有效的合成图像***。
尤其是，通过合成图像***的尖端化可以提高合成图像合成性能。通过数据库变更、纹理合成方法变更，解决现有技术中发生的不自然的合成，并以线框为基础，追加细微脸部调整功能，从而可以进行自由度高的脸部变形。另外，选择合成中所使用的数据库的方式的变更，提供更有效且更快速的数据库接近，年龄转换功能生成可靠的多种年龄的脸部图像。另外，新增加的功能提高合成图像的准确度(与实际犯罪嫌疑人的相似度)，并提供刑事侦查时对合成图像的有效的可使用性。
附图说明
图1是根据本发明一实施例的合成图像生成装置的整体概念图。
图2是图1的二维模型形成部的框图。
图3是用于说明图2的线框部中的线框的使用的概念图。
图4示出通过父母影像的交叉演算大量制作的子女影像的例子。
图5是根据合成比例的脸部生成的例子。
图6示出按各部位的部分合成的例子。
图7是图2的模型转换部的框图。
图8示出用于素描的面相转换结果的例子。
图9示出年龄转换结果的例子。
图10示出用于装饰的数据选项的例子。
图11是根据本发明一实施例的合成图像生成方法的流程图。
具体实施方式
在下文中，以可以实施本发明的特定实施例为示例，参照附图对本发明进行详细说明。对这些实施例进行详细说明以能够使本领域技术人员充分实施本发明。本发明的多种实施例虽互不相同，但应理解不存在相互排他的需要。例如，此处记载的特定形状、结构及特性与一实施例相关，但在不脱离本发明的构思及范围内可以以其他实施例实现。另外，应理解：所示出的各实施例中的各构成要素的位置或者配置在不脱离本发明的构思及范围的情况下可进行变更。因此，下述的详细说明并不旨于限定含义，本发明的范围，若进行适当说明，则与权利要求所主张的等同的所有范围仅由权利要求限定。附图中类似的附图标记表示在多个方面上相同或类似的功能。
下文中，参照附图对本发明优选的实施例进行更详细的说明。
图1是根据本发明一实施例的合成图像生成装置的整体概念图。图2是图1的二维模型形成部的框图。
参照图1，根据本发明的合成图像生成装置1包括二维模型形成部10，其基于目击者的陈述合成影像以生成二维合成图像，并支持面相转换、年龄转换、图像编辑、自由变形、装饰功能等。另外，上述合成图像生成装置1还可以包括三维模型形成部30，其以在上述二维模型形成部10生成的二维脸部模型为基础，生成三维脸部模型，并且还可以包括数据库管理部50、脸部识别部60、输出部70以及储存部80中的至少一个结构。
上述合成图像生成装置1可进行有线或无线通信，可具有移动性，也可以被固定。上述合成图像生成装置1可以为服务器(server)或引擎(engine)形式，可被称为设备(device)、装置(apparatus)、终端(terminal)等其他用语。
参照图2，上述二维模型形成部10包括数据库110、线框部130、脸部合成部150及模型转换部170。
上述数据库110中预先储存有脸部影像及脸部的部位性影像信息。上述数据库110可以储存适合多种人种、国家的数据。例如，将上述合成图像生成装置1用于大韩民国刑事侦查的目的的情况下，可以以韩国人的数据构筑，并且可以包括少数非韩国家的人的数据。
上述线框部130将在各交叉点使用动态加权值的脸部线框用于基本脸部素描图像。
图3是用于合成图像制作的数据的结构。
参照图3，由分离头发的基本脸部素描图像和表示脸部的形状信息的线框(wireframe)结构构成。基本脸部素描图像是没有头发的形态，这是因为在素描中头发和脸部在同一区域的情况下，在整体合成或者部分合成时，由于多种发型引起不自然的合成结果。因此，头发可以通过装饰功能在脸部合成图像生成后追加的方式生成。
脸部线框可以为标准obj文件形式。通过使用这种线框，用户可以选择特定点而进行期望的变形，还可以选择多个点而对其进行移动。对上述脸部线框的各交叉点使用动态加权值，在移动特征点时周边点具有可变的加权值而一同进行移动，因此可进行自然的变形。
上述脸部合成部150合成由上述数据库110选择的影像，形成使用上述线框的二维脸部模型。为此，上述脸部合成部150可以利用整体合成方法或部分合成方法，而这些方法可以选择性地使用或者一并使用。
上述整体合成方法是通过进化论算法将用户所选择的脸部作为父母基因，并反复执行交叉及变异演算而接近目标脸部的方法。首先，作为上述整体合成方法的前处理，将根据面相的脸部影像数据库按面相组进行分类。
在线步骤由两个步骤构成，第一个步骤是预测罪犯脸部所属的脸部面相组的步骤(Group level convergence)。***从前处理步骤中分类的面相组中均匀地选出候选脸部而作为候选群给目击者看，而目击者从该候选群中选择认为相似的脸部。通过反复执行该过程，***最终决定在目击者所选择的面相组中可靠性最高的面相组。
最后步骤是通过混合方式的交互式进化演算来生成合成图像的步骤。交互式进化演算是提取上一步骤中选定的面相组中的脸部，并将其作为候选脸部群而给目击者看，目击者在所看到的候选脸部中选择与犯罪嫌疑人相似的脸部。所选择的脸部，成为一个父母基因并使用交叉(Cross-over)及变异演算(Mutation)而生成与父母相似的子女一代的脸部。通过反复执行上述过程而最终收敛于目标脸部。图4是通过整体合成方法获得的6个父母影像和通过交叉演算而大量制作的子女影像的例子。
然而，在只进行上述过程的情况下，难以反映目击者准确记住的脸部因素。为此，在本发明中使用任意设定特定脸部因素而对其进行组合的部分合成方法。由此，通过反复执行部分合成和交互式进化演算过程能够更迅速地收敛于目击者所陈述的脸部。
上述部分合成方法，在将对脸部的信息按部位分类来生成一个脸部时，通过各部位的组合来执行。上述部分合成方法弥补了在整体合成中不能使用对特定部位的记忆信息这一点，对按各部位记住脸部的目击者而言是适合的方法。
用于部分合成的韩国人脸部素描数据库是按各部位、各形状分组而构筑的。部分合成过程由两个步骤构成。第一个步骤是脸部形状生成步骤。参照图5，根据目击者所陈述的脸部形状选择最相似的脸部，并调节所选择的脸部之间的比例而生成期望的脸部形状。
下一个步骤是在生成的脸部形状中合成部位性的图像的步骤。参照图6，与上述步骤相同地，在根据形态分类的部位图像中选择期望的图像而与脸部形状合成。这种合成使用表示图3所示的脸部的结构信息的二维线框信息，并以此为基础执行。因此，实际的合成是根据给出的合成比例执行初次的形状合成，并以合成的形状信息为基础执行二次的纹理(texture)合成。
上述模型转换部170以使用上述线框的二维脸部模型为基础，根据用户的输入转换二维脸部模型。为此，上述模型转换部170可以提供并执行多种功能，并且可以包括用于多种功能的各模块。另外，可以通过用户界面(User Interface)来提供上述功能。
参照图7，上述模型转换部170可以包括面相转换部11、年龄转换部13、自由转换部15、图像编辑部17及装饰部19。然而，上述模型转换部170可以根据需要，对执行各功能的模块进行合并、分离、删除或增加等。
上述面相转换部11将上述二维脸部模型自动转换为用户选择的面相。面相转换是如下功能：利用预先学习的脸部数据库，在保持对象脸部的本质的整体性的同时自动转换为用户期望的多种面相。
为此，上述面相转换部11可以包括：面相推定部，其以脸部的正面影像、通过用户评价收集的面相分数及表示脸部形状的特征点之间的距离的特征向量为学习数据而生成面相推定函数；以及面相转换输出部，其使用上述面相推定函数而将上述二维脸部模型的面相转换而输出。
用作上述学习数据的面相分数是通过对特定面相(稚嫩、像女性、像男性、凶煞等)的用户评价来收集的，而特征向量由表示脸部形状的特征点之间的距离构成。利用构筑的数据库集合生成对特定面相的面相分数推定函数，并通过推定函数将所输入的脸部转变为与原脸部相似且面相分数高的脸部。图8示出用户选择像女性的情况下的结果图像。
上述年龄转换部13转换上述二维脸部模型的年龄。图9示出年龄转换结果的影像。年龄转换是使用在图像上表示年龄信息的整体及局部特征信息而构成的。从输入的影像中提取脸部的主要特征点，例如，提取作为局部特征的皱纹(wrinkle)、皮肤特征(skinfeature)和作为整体特征的外观(Appearance)、形状参数(shape parameter)。
以提取的信息为基础，将基于脸部的整体特征的年龄转换函数和基于局部特征信息的年龄转换函数一并执行而生成最终的目的脸部。
为此，上述年龄转换部13可以包括：整体特征适用部，其执行反映整体特征信息的年龄转换函数；局部特征适用部，其执行反映局部特征信息的年龄转换函数；以及年龄转换输出部，其合成上述整体特征适用部及上述局部特征适用部的结果而重构上述二维脸部模型，并将其输出。
以往所采用的仅基于图像效果的年龄变形，与实际情况存在很大差异，因而存在对寻找犯人方面起到反效果的顾虑。与此相反地，本发明提供在统计上确保适当的满意度的准确性的年龄转换***。
上述自由转换部15根据用户的输入转换上述二维脸部模型的形状。
如图3所示，根据本发明的合成图像生成装置1，具有以线框为基础的素描数据结构。因此，在脸部的合成或变形中，通过直接控制骨骼信息，能够对脸部图像的形状进行变形。尤其是，通过将线框内的定点直接沿x轴、y轴方向自由地移动而执行自由的变形。
上述图像编辑部17提供在合成图像生成后以图像为基础的编辑功能，从而可以用后处理进行细致的变更。例如，各功能选项如下表1所示。
表1
上述装饰部19可以利用多种皮肤纹理及装饰物件而对脸部合成图像增加附加信息。可以利用皮肤纹理表现多种脸部，尤其是可以通过眼镜、帽子等来制作与实际罪犯的着装相似的合成图像。
上述装饰部19可以利用例如图10所示的各选项的数据，可装饰脸部的数据可被储存于上述数据库110。
如上述所，根据本发明的合成图像生成装置1，通过导入利用面相信息的整体论方面的合成方法，可以在已知的仅由各特征的部分性组合实现的***中根据目击者的记忆类型选择适当的方法而使用。尤其是，正如已发表的几篇心理学研究报告所揭示，相比脸部的特征点，对面相的记忆时间会更久一些，在生成合成图像时，生成与罪犯相似的脸部的概率更高。可以预测，以这些理论为基础进行类推时，相比仅使用部分合成方法的情况而言，在加入整体合成方法的情况下，合成图像的准确度会得到提高，在缉拿罪犯方面起到更大一些的贡献。
另外，自动面相转换功能是在生成的合成图像在认知上不恰当时通过该功能进行弥补修正，由此可以生成与目击者记忆中的面相稍微更相似的罪犯的合成图像。与图像处理程序相同，2D图像编辑功能是提供多种图像的编辑功能，在一定时间内生成合成图像后，由一体化合成图像生成装置一并提供为了后处理而通过其他程序进行再编辑的过程，提供了合成图像的制作上的便利性，可以制作相比现有***稍微更细致的合成图像。
上述三维模型形成部30提取在上述二维模型形成部10生成的二维脸部模型的特征点，通过三维标准脸部形状之间的加权值线性组合来生成三维脸部模型。
具体而言，从输入的二维脸部影像中提取对眼睛、鼻子、嘴、脸部轮廓的特征点。以提取的二维特征点为基准，通过代表韩国人的3D标准脸部形状之间的加权值线性组合，生成对象图像的三维脸部。由于生成的三维脸部以多种韩国人标准模型为基础而生成，所以可以生成更像韩国人的3D脸部。
目击者是从多种视角目击罪犯的脸部，而不是仅从正面目击。因此，在相比正面脸部对其他角度脸部的记忆更好时，还仅合成固定的正面脸部的情况下，难以灵活应用目击者所记住的信息。另外，目击者所目击的罪犯的脸部是3D空间脸部而非2D素描脸部。与此相关地，在该视角下的周边光源及背景对显示罪犯的脸部的图像而言为重要的因素，然而这却是被现有***忽视的部分。因此，本发明生成三维脸部并复原多种视角下的脸部，由此可以制作具有真实性的合成图像。
上述三维模型形成部30可以提供自动表情变化、自由转换提供、背景变更提供、装饰提供中至少一个功能。为了执行这种功能，可以包括各模块或者包括一体化模块。
自动表情变化功能作为通过对范围内的值的调节来设定三维脸部模型的多种脸部表情的功能，可以使通过专职动画师的手动作业实现的功能便于实现。这是将已构筑的三维标准模型的表情信息转移到已生成的三维合成图像模型而自动生成表情模型的方法，构成多种表情(喜悦、悲伤、生气、惊吓、微笑)的三维基础套件，通过无表情模型和恰当的加权值的线性组合，制作期望的表情。将制作的表情脸部原始资料(source)，适用于对象合成图像三维模型，由此生成作为最终目的的表情发生变化的对象模型。
自由转换提供功能可以使用以特征点为基础的方法或者以素描为基础的方法。以特征点为基础的自由转换是用三维模型编辑器对三维模型设定各部位特征点，并通过所设定的点的自由变形(旋转、移动、缩放)改变各部位的脸部模型。将特征点设定于最能表现脸部信息的位置，从而使得仅以所设定的特征点也能实现最大变形，对用户提供便于使用的变形功能工具。
以素描为基础的自由转换是如下所述的编辑技术：三维模型变形时，用户直接画出要编辑的脸部的轮廓(silhouette)及修正轮廓而对脸部的轮廓模样进行变形。尤其是，通过以素描为基础的变形用户界面(User interface)可以对用轮廓表现的脸部形状(shape)进行细致的变形，同时对用户提供在脸部模型变形上的最大的自由性。
背景变更提供功能是通过显示三维模型的空间转换来对显示三维模型的图像赋予真实性，使更为多样的状况得以再现，从而引导与目的脸部稍微更相似的生成。为此，在背景转换选项中有对脸部的图像产生最大影响的背景光源调整及颜色调整。另外，提供用于调整整体图像所呈现出的感觉的多种渲染方法。
装饰提供功能使三维模型佩戴多种装饰品以装饰出多种风格。考虑到脸部的图像根据风格会发生很大变化这一点，上述功能是对生成与目的脸部更相似的形状而言所必须的因素。三维装饰选项中有眼镜、帽子、头发、装饰品等。可以通过由编辑工具进行的位置移动及缩放变形而使各物件适当地定位于对象模型。
本发明的合成图像生成装置1所提供的3D转换功能，作为将以2D方式制作的合成图像自动地3D化的功能，可以克服2D合成图像所存在的真实性的缺乏、视角不变、无法考虑周边环境这些问题。尤其是，通过提供3D合成图像的自由的表情变化及脸部形状变化功能、装饰功能，可以生成与目击者所记住的罪犯的面相最相似的脸部。通过用户容易操作的UI(用户界面)来提供各功能，因此容易制作合成图像。尤其是，装饰功能通过头发、皮肤纹理、帽子、胡须、眼镜、头巾、装饰品等，可以制作更具现实感的犯罪嫌疑人的面相。
除此之外，根据本发明的上述合成图像生成装置1还可以包括执行多种功能的模块。
上述数据库管理部50执行用于上述数据库的维护的功能，不仅构筑数据库，还使数据的生成、储存、删除进而数据的扩充容易。
上述脸部识别部60执行识别最终合成图像脸部而从罪犯照片数据库选定最相似的脸部的功能。照片和合成图像由于是性质不同的比较对象，所以各自的特征提取符无法成为可进行比较的对象。因此，经过将两个提取符投影到相同空间的过程而执行比较演算。
为此，上述脸部识别部60可以包括：照片特征提取部，其从上述罪犯的照片提取局部特征表现符；合成图像特征提取部，其从上述最终合成图像提取局部特征表现符；投影部，其将上述照片的局部特征表现符及上述合成图像的局部特征表现符投影到同一空间；以及比较演算部，其对上述照片的局部特征表现符及上述合成图像的局部特征表现符的最小距离进行比较。
一般而言，案件侦查时为了缉拿罪犯，会分析现有罪犯数据库。因此，将生成的合成图像与实际罪犯照片数据库对照而找出相似脸部的功能，会成为提高案件侦查的效率的重要因素。
上述输出部70提供为了发行合成图像而将合成图像以适合多种尺寸的方式输出的打印设定功能。上述储存部80支持所制作的合成图像数据的储存及再次的调用。
图11是根据本发明一实施例的合成图像生成方法的流程图。
根据本实施例的合成图像生成方法，可以在与图1的合成图像生成装置1实际相同的构成中进行。因此，对与图1的合成图像生成装置1相同的构成要素标注相同的附图标记，并省略重复说明。
或者，根据本实施例的合成图像生成方法，可以通过用于生成合成图像的软件(应用程序)执行。
参照图11，在根据本实施例的合成图像生成方法中，将在各交叉点使用动态加权值的脸部线框，使用于基本脸部素描图像(步骤S10)。
生成合成图像时，通过使用上述线框，用户可以选择特定点而进行期望的变形，还可以选择多个点而对其进行移动。对上述脸部线框的各交叉点使用动态加权值，在移动特征点时，周边点具有可变的加权值而一同进行移动，因此可以进行自然的变形。
对从预先储存有脸部影像及脸部各部位的影像信息的数据库选择的影像进行合成，形成使用上述线框的二维脸部模型(步骤S30)。影像的合成可以利用整体合成方法或部分合成方法，而对于这些方法，可以选择性地使用或者一并使用。
以使用上述线框的二维脸部模型为基础，根据用户的输入转换二维脸部模型(步骤S50)。为了转换二维脸部模型，提供面相转换、年龄转换、自由转换、图像编辑、装饰中的至少一个功能，并且可以根据用户的输入来转换二维脸部模型。
另外，选择性地提取上述二维脸部模型的特征点，通过三维标准脸部形状之间的加权值线性组合，可以生成三维脸部模型(步骤S70)。在生成三维脸部模型后，提供自动表情变化、自由转换、背景变更、装饰中的至少一个功能，并且可以根据用户的输入来转换三维脸部模型。
除此之外，还可以提供打印输出、脸部识别、数据库构筑、数据储存及调用等多种功能，并且可以提供用于上述功能的UI。
根据本发明的合成图像生成方法，通过分析现有的合成图像***中存在的优点和缺点，实现对现有***的尖端化，增加了通过用户分析所要求的新的功能。
具体而言，通过弥补1)DB变更(脸部素描方式变更、脸部形状信息的结构变更)、2)纹理合成方法变更、3)DB选择结构变更(UI及DB构筑观点)、4)脸部细微调整功能(线框调整)、5)通过性能评价来确保准确性的年龄转换功能，从而实现对现有合成图像***的尖端化。另外，增加了如下功能：1)基于使用脸部面相信息(整体)的进化方法的脸部生成功能；2)脸部面相自动转换；3)脸部合成图像识别功能；4)2D图像编辑功能；5)2D素描脸部的3D化及在3D上的自由变形及装饰功能。
如上所述的合成图像生成方法可以由应用程序实现；或者以可以通过多种计算机构成要素执行的程序命令语句的形式实现，并被记录于计算机可读记录介质。上述计算机可读记录介质可以将程序命令语句、数据文件、数据结构等以单独形式包括或者以组合形式包括。
上述计算机可读记录介质所记录的程序命令语句，可以是为了本发明特别设计而构成的，或者也可以是对计算机软件领域的本领域技术人员而言为公知从而可以使用的。
作为计算机可读记录介质的例子，可包括硬盘、软盘及磁带等磁性介质，CD-ROM、DVD等光记录介质，光磁软盘(floptical disk)等磁光介质(magneto-optical media)，及ROM、RAM、闪存等供程序命令语句存储并执行的特殊方式构成的硬件装置。
作为程序命令语句的例子，不仅可以包括像由编译器编译出的机器代码，还可以包括能够使用解释器等而由计算机执行的高级语言代码等。上述硬件装置为了执行根据本发明的处理而可以以一个以上的软件模块工作的方式构成，反之也是相同的。
在上文中，参照实施例进行了说明，但应理解：对相应技术领域中熟练的本领域技术人员而言，在不脱离随附的权利要求书所记载的本发明的构思及范围的情况下，能够以多种方式对本发明进行修正及变更。
产业上的可利用性
本发明可以通过合成图像***的尖端化提高合成图像合成性能，并且可以通过新增加的功能提高合成图像的准确度(与实际犯罪嫌疑人的相似度)。因此，提供在刑事侦查时对合成图像的有效的可使用性。

Claims (21)

1.一种合成图像生成装置，其特征在于，
包括：
数据库，其预先储存有脸部影像及脸部的部位性影像信息；
线框部，其将对各交叉点使用动态加权值的脸部线框，使用于基本脸部素描图像；
脸部合成部，其合成从所述数据库选择的影像，来形成使用所述线框的二维脸部模型；及
模型转换部，其基于使用所述线框的二维脸部模型，根据用户的输入转换二维脸部模型，
其中，所述模型转换部包括：面相转换部，其根据用户的选择自动转换所述二维脸部模型的面相，并且包括：
面相推定部，其以脸部的正面影像、通过用户的评价而收集的面相分数及表示脸部形状的特征点之间的距离的特征向量为学习数据，来生成面相推定函数；及
面相转换输出部，其使用所述面相推定函数，转换所述二维脸部模型的面相并输出转换后的面相。
2.根据权利要求1所述的合成图像生成装置，其特征在于，
所述模型转换部还包括年龄转换部，所述年龄转换部转换所述二维脸部模型的年龄。
3.根据权利要求2所述的合成图像生成装置，其特征在于，
所述年龄转换部包括：
整体特征适用部，其执行反映整体特征信息的年龄转换函数；
局部特征适用部，其执行反映局部特征信息的年龄转换函数；及
年龄转换输出部，其将所述整体特征适用部及所述局部特征适用部的结果进行合成并输出。
4.根据权利要求1所述的合成图像生成装置，其特征在于，
所述模型转换部还包括自由转换部，所述自由转换部根据用户的输入转换所述二维脸部模型的形态。
5.根据权利要求1所述的合成图像生成装置，其特征在于，
所述模型转换部还包括图像编辑部，所述图像编辑部提供所述二维脸部模型的编辑功能。
6.根据权利要求1所述的合成图像生成装置，其特征在于，
所述模型转换部还包括装饰部，所述装饰部提供能够对所述二维脸部模型追加附加信息的装饰功能。
7.根据权利要求1所述的合成图像生成装置，其特征在于，
所述脸部合成部使用将用户所选择的脸部作为父母基因反复执行交叉及变异演算而接近目标脸部的整体合成方法。
8.根据权利要求1所述的合成图像生成装置，其特征在于，
所述脸部合成部使用通过脸部的各部位的组合来合成整体脸部的部分合成方法。
9.根据权利要求1所述的合成图像生成装置，其特征在于，
还包括三维模型形成部，其提取所述二维脸部模型的特征点，并通过三维标准脸部形状之间的加权值线性组合，来生成三维脸部模型。
10.根据权利要求9所述的合成图像生成装置，其特征在于，
所述三维模型形成部提供自动表情变化、自由转换、背景变更以及装饰中的至少一个功能。
11.根据权利要求1所述的合成图像生成装置，其特征在于，
还包括输出最终合成图像的输出部。
12.根据权利要求1所述的合成图像生成装置，其特征在于，
还包括脸部识别部，所述脸部识别部识别最终合成图像的脸部而从罪犯照片数据库中选定最相似的脸部。
13.根据权利要求12所述的合成图像生成装置，其特征在于，
所述脸部识别部包括：
照片特征提取部，其从所述罪犯照片数据库中的多个罪犯照片中的每一个提取局部特征表现符；
合成图像特征提取部，其从所述最终合成图像提取局部特征表现符；
投影部，其将所述多个罪犯照片的局部特征表现符及所述最终合成图像的局部特征表现符投影到同一空间；及
比较演算部，其对所述多个罪犯照片各自的局部特征表现符与所述最终合成图像的局部特征表现符之间的距离进行比较，以在其中确定最小距离。
14.根据权利要求1所述的合成图像生成装置，其特征在于，
还包括数据库管理部，其用于所述数据库的维护。
15.根据权利要求1所述的合成图像生成装置，其特征在于，
还包括储存部，其提供所制作的合成图像的储存及调用功能。
16.一种合成图像生成方法，其特征在于，
包括：
将对各交叉点使用动态加权值的脸部线框使用于基本脸部素描图像的步骤；
合成从预先储存有脸部影像及脸部的部位性影像信息的数据库选择的影像，形成使用所述线框的二维脸部模型的步骤；及
基于使用所述线框的二维脸部模型，根据用户的输入转换二维脸部模型的步骤，
其中，在所述根据用户的输入转换二维脸部模型的步骤中，通过下述方式根据用户的选择自动转换所述二维脸部模型的面相：
以脸部的正面影像、通过用户的评价而收集的面相分数及表示脸部形状的特征点之间的距离的特征向量为学习数据，来生成面相推定函数；及
使用所述面相推定函数，转换所述二维脸部模型的面相并输出转换后的面相。
17.根据权利要求16所述的合成图像生成方法，其特征在于，
在所述根据用户的输入转换二维脸部模型的步骤中，还执行年龄转换、自由转换、图像编辑以及装饰中的至少一个功能。
18.根据权利要求16所述的合成图像生成方法，其特征在于，
在形成使用所述线框的二维脸部模型的步骤中，使用整体合成方法或部分合成方法。
19.根据权利要求16所述的合成图像生成方法，其特征在于，
还包括提取所述二维脸部模型的特征点，并通过三维标准脸部形状之间的加权值线性组合来生成三维脸部模型的步骤。
20.根据权利要求19所述的合成图像生成方法，其特征在于，
在生成所述三维脸部模型的步骤中，执行自动表情变化、自由转换、背景变更以及装饰中的至少一个功能。
21.一种计算机可读记录介质，其特征在于，
其记录有用于执行根据权利要求16至20中任一项所述的合成图像生成方法的计算机程序。
CN201510647084.2A 2014-10-08 2015-10-08 合成图像生成装置及方法、用于执行该方法的记录介质 Active CN105513125B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0135786 2014-10-08
KR1020140135786A KR101635730B1 (ko) 2014-10-08 2014-10-08 몽타주 생성 장치 및 방법, 그 방법을 수행하기 위한 기록 매체

Publications (2)

Publication Number Publication Date
CN105513125A CN105513125A (zh) 2016-04-20
CN105513125B true CN105513125B (zh) 2018-09-25

Family

ID=55655804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510647084.2A Active CN105513125B (zh) 2014-10-08 2015-10-08 合成图像生成装置及方法、用于执行该方法的记录介质

Country Status (3)

Country Link
US (1) US9734613B2 (zh)
KR (1) KR101635730B1 (zh)
CN (1) CN105513125B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160284122A1 (en) * 2015-03-26 2016-09-29 Intel Corporation 3d model recognition apparatus and method
CN106791091B (zh) * 2016-12-20 2020-03-27 北京安云世纪科技有限公司 图像生成方法、装置和移动终端
US10311326B2 (en) 2017-03-31 2019-06-04 Qualcomm Incorporated Systems and methods for improved image textures
CN107153816B (zh) * 2017-04-16 2021-03-23 五邑大学 一种用于鲁棒人脸识别的数据增强方法
CN107194868A (zh) * 2017-05-19 2017-09-22 成都通甲优博科技有限责任公司 一种人脸图像生成方法及装置
US10650260B2 (en) * 2017-06-23 2020-05-12 Institute Of Automation, Chinese Academy Of Sciences Perspective distortion characteristic based facial image authentication method and storage and processing device thereof
CN109086721A (zh) * 2018-08-03 2018-12-25 厦门大学 用于人脸画像合成的主动表观模型
KR102240237B1 (ko) * 2018-08-09 2021-04-14 순천향대학교 산학협력단 유전자 정보를 이용한 얼굴 재현 장치 및 방법
CN109285205A (zh) * 2018-10-29 2019-01-29 重庆中科云丛科技有限公司 一种人脸互换方法、***、计算机可读存储介质及设备
WO2019118990A1 (en) * 2019-03-11 2019-06-20 Preferred Networks, Inc. Image generation method, image generation apparatus, image generation system and program
CN109993814B (zh) * 2019-03-19 2023-06-27 广东智媒云图科技股份有限公司 基于剪影的互动绘画方法、装置、终端设备及存储介质
CN110222588B (zh) * 2019-05-15 2020-03-27 合肥进毅智能技术有限公司 一种人脸素描图像衰老合成方法、装置及存储介质
CN111754415B (zh) 2019-08-28 2022-09-27 北京市商汤科技开发有限公司 人脸图像处理方法及装置、图像设备及存储介质
CN110532965B (zh) * 2019-08-30 2022-07-26 京东方科技集团股份有限公司 年龄识别方法、存储介质及电子设备
KR102156899B1 (ko) * 2019-11-14 2020-09-16 한국광기술원 디자인 생성장치 및 방법
CN111461971B (zh) * 2020-05-19 2023-04-18 北京字节跳动网络技术有限公司 图像处理方法、装置、设备及计算机可读存储介质
KR102481538B1 (ko) * 2021-02-24 2022-12-26 군산대학교산학협력단 몽타주 생성 장치 및 방법
US11804007B2 (en) * 2021-03-31 2023-10-31 Disney Enterprises, Inc. 3D digital model surface rendering and conversion
KR20230102182A (ko) * 2021-12-30 2023-07-07 아리아엣지 주식회사 모션 기반 3d 아바타의 표정 재현 장치 및 방법
KR102540759B1 (ko) * 2022-02-09 2023-06-08 주식회사 딥브레인에이아이 발화 합성 영상 생성 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1447955A (zh) * 2000-08-22 2003-10-08 微裘媒体有限公司 根据面部图像的形态信息生成合成面部图像的装置和方法
US6664956B1 (en) * 2000-10-12 2003-12-16 Momentum Bilgisayar, Yazilim, Danismanlik, Ticaret A. S. Method for generating a personalized 3-D face model
CN101681428A (zh) * 2007-05-30 2010-03-24 伊斯曼柯达公司 来自图像集合的合成人物模型

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6661906B1 (en) * 1996-12-19 2003-12-09 Omron Corporation Image creating apparatus
AU1613599A (en) * 1997-12-01 1999-06-16 Arsev H. Eraslan Three-dimensional face identification system
TWI567570B (zh) 2011-06-15 2017-01-21 微軟技術授權有限責任公司 用於產生代表內容檔案之客製物件的技術
KR20140043394A (ko) 2011-06-15 2014-04-09 마이크로소프트 코포레이션 콘텐트 파일을 제시하는 맞춤 객체 생성 기법
KR101339900B1 (ko) * 2012-03-09 2014-01-08 한국과학기술연구원 2차원 단일 영상 기반 3차원 몽타주 생성 시스템 및 방법
KR101494880B1 (ko) 2012-11-07 2015-02-25 한국과학기술연구원 인지적 아바타 생성 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1447955A (zh) * 2000-08-22 2003-10-08 微裘媒体有限公司 根据面部图像的形态信息生成合成面部图像的装置和方法
US6664956B1 (en) * 2000-10-12 2003-12-16 Momentum Bilgisayar, Yazilim, Danismanlik, Ticaret A. S. Method for generating a personalized 3-D face model
CN101681428A (zh) * 2007-05-30 2010-03-24 伊斯曼柯达公司 来自图像集合的合成人物模型

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"EvoFIT：A Holistic, Evolutionary Facial Imaging System";Frowd等;《Stirling Online Research Repository》;20020630;第1-251页 *

Also Published As

Publication number Publication date
CN105513125A (zh) 2016-04-20
KR101635730B1 (ko) 2016-07-20
KR20160041570A (ko) 2016-04-18
US9734613B2 (en) 2017-08-15
US20160104309A1 (en) 2016-04-14

Similar Documents

Publication Publication Date Title
CN105513125B (zh) 合成图像生成装置及方法、用于执行该方法的记录介质
KR102241153B1 (ko) 2차원 이미지로부터 3차원 아바타를 생성하는 방법, 장치 및 시스템
Wang et al. A survey on face data augmentation
US7804997B2 (en) Method and system for a three dimensional facial recognition system
CN101055647B (zh) 用于处理图像的方法、装置
KR101558202B1 (ko) 아바타를 이용한 애니메이션 생성 장치 및 방법
CN105787974B (zh) 仿生人脸衰老模型建立方法
CN109376582A (zh) 一种基于生成对抗网络的交互式人脸卡通方法
KR102509666B1 (ko) 텍스트 및 오디오 기반 실시간 얼굴 재연
Sun et al. Facial age synthesis with label distribution-guided generative adversarial network
CN111369646B (zh) 一种融合注意力机制的表情合成方法
KR20090000635A (ko) 사용자의 선호도를 만족시키는 3차원 얼굴 성형 시스템 및그 방법
KR20230085931A (ko) 얼굴 이미지에서 색상을 추출하기 위한 방법 및 시스템
CN110795829A (zh) 一种面向船舶虚拟现实领域的虚拟人快速建模方法
Li et al. Orthogonal-blendshape-based editing system for facial motion capture data
KR20020014844A (ko) 3차원 얼굴 모델링 방법
CN107689069A (zh) 一种基于识别面部遮挡的图像自动合成方法
KR20020007744A (ko) 미래 자녀 얼굴 모델링 방법과 미래 얼굴 모델링 방법
Kawai et al. Data-driven speech animation synthesis focusing on realistic inside of the mouth
Chen et al. Cantonese porcelain image generation using user-guided generative adversarial networks
Sharma et al. Facial Expressions for Sign Language Synthesis using FACSHuman and AZee
CN113744129A (zh) 一种基于语义神经渲染的人脸图像生成方法及***
KR20020007735A (ko) 미래 자녀 및 미래모습 예측이 가능한 얼굴 포토 스티커시스템
JP2009294958A (ja) 顔画像の合成方法
Wang et al. Synthesizing trees by plantons

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant