CN112541477B - 表情包生成方法、装置、电子设备和存储介质 - Google Patents

表情包生成方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN112541477B
CN112541477B CN202011556753.2A CN202011556753A CN112541477B CN 112541477 B CN112541477 B CN 112541477B CN 202011556753 A CN202011556753 A CN 202011556753A CN 112541477 B CN112541477 B CN 112541477B
Authority
CN
China
Prior art keywords
expression
image
target face
frame
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011556753.2A
Other languages
English (en)
Other versions
CN112541477A (zh
Inventor
李鑫
李甫
林天威
张赫男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202011556753.2A priority Critical patent/CN112541477B/zh
Publication of CN112541477A publication Critical patent/CN112541477A/zh
Priority to US17/382,582 priority patent/US11875601B2/en
Priority to EP21189170.0A priority patent/EP3896608A3/en
Application granted granted Critical
Publication of CN112541477B publication Critical patent/CN112541477B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了表情包生成方法、装置、电子设备和存储介质，涉及人工智能领域，具体为计算机视觉和深度学习领域。具体实现方案为：基于第一表情包中包含的多帧第一表情图像，确定与目标人脸图像对应的多帧第二表情图像；基于与目标人脸图像对应的多帧第二表情图像，生成与目标人脸图像对应的第二表情包；其中，根据目标人脸图像中的人脸关键点与多帧第一表情图像中的第i帧第一表情图像中的人脸关键点之间的对应关系，确定目标人脸图像与第i帧第一表情图像之间的仿射变换参数；基于仿射变换参数对目标人脸图像进行变换，得到与目标人脸图像对应的第i帧第二表情图像。根据本公开的技术方案，可以提高表情包制作效率。

Description

表情包生成方法、装置、电子设备和存储介质
技术领域
本公开涉及计算机技术领域，尤其涉及人工智能领域，具体为计算机视觉和深度学习领域。
背景技术
随着社交和网络的不断发展，人们的交流方式由最早的文字交流，逐步演变为使用符号、图像和表情包等进行交流。由于表情包能弥补文字交流的枯燥和表达不准确等缺陷，有效提高沟通效率，因此，得以大范围地传播。以人脸图像作为表情包的素材，有利于更好地表达情感和态度。基于此，越来越多的用户通过录制视频、使用专业软件处理图像等手段制作自定义的人脸表情包。
发明内容
本公开提供了一种表情包生成方法、装置、电子设备和存储介质。
根据本公开的一方面，提供了一种表情包生成方法，包括：
基于第一表情包中包含的多帧第一表情图像，确定与目标人脸图像对应的多帧第二表情图像；
基于与目标人脸图像对应的多帧第二表情图像，生成与目标人脸图像对应的第二表情包；
其中，基于第一表情包中包含的多帧第一表情图像，确定与目标人脸图像对应的多帧第二表情图像，包括：
根据目标人脸图像中的人脸关键点与多帧第一表情图像中的第i帧第一表情图像中的人脸关键点之间的对应关系，确定目标人脸图像与第i帧第一表情图像之间的仿射变换参数；其中，i为正整数；
基于仿射变换参数对目标人脸图像进行变换，得到与目标人脸图像对应的第i帧第二表情图像。
根据本公开的另一方面，提供了一种表情包生成装置，包括：
图像确定模块，用于基于第一表情包中包含的多帧第一表情图像，确定与目标人脸图像对应的多帧第二表情图像；
表情包生成模块，用于基于与目标人脸图像对应的多帧第二表情图像，生成与目标人脸图像对应的第二表情包；
其中，图像确定模块包括：
第一参数确定单元，用于根据目标人脸图像中的人脸关键点与多帧第一表情图像中的第i帧第一表情图像中的人脸关键点之间的对应关系，确定目标人脸图像与第i帧第一表情图像之间的仿射变换参数；其中，i为正整数；
图像变换单元，用于基于仿射变换参数对目标人脸图像进行变换，得到与目标人脸图像对应的第i帧第二表情图像。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开任一实施例中的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开任一实施例中的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本公开任一实施例中的方法。
根据本公开的技术方案，可以降低人脸表情包的制作门槛，提高制作人脸表情包的效率。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开一个实施例的表情包生成方法的示意图；
图2是根据本公开另一个实施例的表情包生成方法的示意图；
图3是本公开实施例中表情包生成方法的一个应用示例的示意图；
图4是根据本公开一个实施例的表情包生成装置的示意图；
图5是根据本公开另一个实施例的表情包生成装置的示意图；
图6是用来实现本公开实施例的表情包生成方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1示出了本公开一个实施例提供的表情包生成方法的示意图。如图1所示，该方法包括：
步骤S11，基于第一表情包中包含的多帧第一表情图像，确定与目标人脸图像对应的多帧第二表情图像；
步骤S12，基于与目标人脸图像对应的多帧第二表情图像，生成与目标人脸图像对应的第二表情包。
其中，步骤S11，基于第一表情包中包含的多帧第一表情图像，确定与目标人脸图像对应的多帧第二表情图像，包括：
根据目标人脸图像中的人脸关键点与多帧第一表情图像中的第i帧第一表情图像中的人脸关键点之间的对应关系，确定目标人脸图像与第i帧第一表情图像之间的仿射变换参数；其中，i为正整数；
基于仿射变换参数对目标人脸图像进行变换，得到与目标人脸图像对应的第i帧第二表情图像。
可见，上述方法基于第一表情包和目标人脸图像，得到第二表情包。其中，第一表情包和第二表情包可以包括同一人物或角色形象的表情所对应的多帧图像。
在一种示例中，第一表情包或第二表情包中包含的多帧表情图像可以组合作为单个动态表情文件如GIF(Graphics Interchange Format，图形交换格式)动图。以第一表情包为例，其中的多帧第一表情图像为某个人物做出一个表情的动态过程所对应的多帧图像。用户可以使用第一表情包整体进行意思表达。例如，第一表情包为表达“再见”的动态表情文件，其中包含某个人物的挥手动作所对应的连续多帧图像。
在另一种示例中，第一表情包或第二表情包中包含的多帧表情图像可以分别作为不同的静态表情文件。以第一表情包为例，其中的多帧第一表情图像可以对应于同一人物做出的多个表情。用户可以从第一表情包中选取其中一帧表情图像，使用选取的一帧表情图像进行意思表达。例如，第一表情包中包含表达“再见”、“谢谢”等多种意思的多个静态表情文件，其中，表达“再见”的静态表情文件为某个人物的挥手图像；表达“谢谢”的静态表情文件为同一人物的鞠躬图像。
本申请实施例中，基于第一表情包中的每帧第一表情图像对目标人脸图像进行处理，均可得到第二表情图像。
以第i帧第一表情图像为例，根据上述步骤S11，首先确定目标人脸图像中的人脸关键点以及第i帧第一表情图像中的人脸关键点。具体而言，可以利用人脸关键点检测算法，在目标人脸图像和第i帧第一表情图像中分别检测出人脸关键点，得到人脸关键点的位置信息例如像素坐标。
其中，每个图像中的人脸关键点的数量可以是多个，例如每个图像包含5个、14个或68个人脸关键点。目标人脸图像的多个人脸关键点和第i帧第一表情图像中的多个人脸关键点分别对应。例如，目标人脸图像中左眼角的人脸关键点和第i帧人脸图像中左眼角的人脸关键点对应。
利用目标人脸图像和第i帧第一表情图像中的多组对应的人脸关键点的位置信息，可以确定仿射变换参数。示例性地，可以根据目标人脸图像中的人脸关键点的位置信息和第i帧第一表情图像中的对应的人脸关键点的位置信息，确定仿射变换参数。作为示例，仿射变换参数A、目标人脸图像中的人脸关键点(x′,y′)与第i帧第一表情图像中对应的人脸关键点(x,y)的关系如下：
实际应用中，仿射变换参数可以是向量、矩阵或其他形式的参数。
基于仿射变换参数，可以对目标人脸图像进行仿射变换，例如根据仿射变换参数和目标人脸图像中的至少部分像素点的像素坐标(p′,q′)计算出在变换后的图像中的像素坐标(p,q)，将像素点(p′,q′)的特征信息例如特征值转移到变换后的图像中的像素点(p,q)中，得到变换后的图像，即第i帧第二表情图像。
可见，通过仿射变换，可以参照第一表情包中的第一表情图像，调整目标人脸图像的特征信息的位置，得到的第二表情图像中具有目标人脸图像的特征信息，且第二表情图像中人脸关键点的位置分布与第一表情图像中人脸关键点的位置分布相同或近似。基于此，第二表情图像的显示效果近似于目标人脸图像中的人脸展现出第一表情图像对应的表情。
由第一表情包中的多帧第一表情图像可以得到第二表情包中包含的多帧表情图像，使得第一表情包中的一个或多个表情迁移到第二表情包中。因此，以上表情包生成方法可以应用于以下场景中：
(1)用户A输入用户B的人脸图像，从表情包库中选取一套GIF表情包作为第一表情包，该GIF表情包可以包括动图、静态图。执行上述方法的电子设备基于上述方法实现将GIF表情包中的表情迁移到用户B的人脸图像中，输出第二表情包，用户A可以在具有社交功能的应用程序使用第二表情包，例如发送给用户B，活跃社交氛围。
(2)用户A偏好某个表情包中的表情，但自身难以做出该表情对应的夸张动作，用户A可以利用该表情包将该表情迁移到用户A自身的图像中，降低表情制作门槛。
(3)用户A录制短视频形成第一表情包，可以将短视频中的表情迁移到其他人物的人脸图像，例如录制用户A唱歌的短视频，使用爱因斯坦的图像作为目标人脸图像，使得爱因斯坦跟随用户A唱歌。
可见，根据本公开实施例的方法，可以基于第一表情包和目标人脸图像，自动生成与目标人脸图像对应的第二表情包。基于此，能够降低人脸表情包的制作门槛，减少制作过程中录制视频、进行专业图像处理等过程的人力物力成本，同时提高制作人脸表情包的效率。并且，能够形成符合用户个性化需求的丰富的表情包，有利于活跃社交氛围。
在一种示例性的实施方式中，目标人脸图像和第i帧第一表情图像之间的仿射变换参数可以包括仿射变换矩阵，基于该仿射变换矩阵对目标人脸图像进行全局仿射变换，得到与目标人脸图像对应的第i帧第二表情图像。
在另一种示例性的实施方式中，目标人脸图像和第i帧第一表情图像之间的仿射变换参数可以包括与目标人脸图像中的多个人脸关键点对应的多个局部仿射变换矩阵。相应的，上述步骤S11中，基于仿射变换参数对目标人脸图像进行变换，得到与目标人脸图像对应的第i帧第二表情图像，包括：
基于多个局部仿射变换矩阵，对目标人脸图像中与多个人脸关键点对应的多个区域分别进行局部仿射变换，得到与目标人脸图像对应的第i帧第二表情图像。
示例性地，目标人脸图像中的多个人脸关键点可以与多个局部仿射变换矩阵一一对应。与多个人脸关键点对应的多个区域，可以包括多个人脸关键点中每个人脸关键点的周边区域，该周边区域可以是以人脸关键点为中心的预设距离内的像素区域，例如包括人脸关键点所在像素点以及与人脸关键点的距离在10或100个像素以内的其他像素点。
根据上述实施方式，基于与各人脸关键点分别对应的局部仿射变换矩阵，对各人脸关键点对应的区域分别进行局部仿射变换，可以使仿射变换更准确，得到的第i帧第二表情图像中的表情更自然。
示例性地，在上述方法中，还可以利用预设模型对第二表情图像进行优化。如图2所示，上述步骤S12，基于与目标人脸图像对应的多帧第二表情图像，生成与目标人脸图像对应的第二表情包，包括：
步骤S121，利用预设模型对多帧第二表情图像分别进行处理，得到与目标人脸图像对应的多帧目标表情图像；
步骤S122，基于与目标人脸图像对应的多帧目标表情图像，得到第二表情包。
其中，预设模型可以包括例如生成对抗网络(Generative Adversarial Network，GAN)、整体变分网络(Total Variation，TV)等。其中，生成对抗网络也可以称为对抗生成网络。可以对基于预设模型得到的多帧目标表情图像进行组合，得到第二表情包。
基于仿射变换得到的第二表情图像中可能存在不自然的形变或因部分像素点的特征信息缺失导致图像出现缝隙。上述实施方式可以针对这些问题，对第二表情图像进行优化，基于优化得到的目标表情图像得到第二表情包。因此，可以使第二表情包对应的表情更自然、逼真。
实际应用中，优化效果因预设模型的类型、预设模型的训练方式以及预设模型对图像的处理方式而不同。在一种示例性的实施方式中，上述步骤S121可以包括：
利用生成对抗网络对多帧第二表情图像分别进行图像补全，得到与目标人脸图像对应的多帧目标表情图像。
上述实施方式中，以生成对抗网络为预设模型，对第二表情图像进行图像补全，可以针对仿射变换得到的图像中存在缝隙的问题进行图像补全，使得第二表情包中的图像完整，有效地优化第二表情包。
示例性地，表情包生成方法还可以包括：
利用第三表情包中包含的多帧第三表情图像，训练得到预设模型。
其中，可以获取多个第三表情包，基于每个第三表情包，对初始模型进行一次或多次参数优化，直至初始模型收敛，得到上述能够优化第二表情图像的预设模型。
由于预设模型用于优化第二表情包中的表情图像，因此，使用第三表情包中的多帧第三表情图像进行模型训练，可以使基于预设模型得到的目标表情图像更符合表情包的需求，提升优化效果。
示例性地，上述利用第三表情包中包含的多帧第三表情图像，训练得到预设模型，可以包括：
根据第三表情包中的第n帧第三表情图像中的人脸关键点与第三表情包中的第m帧第三表情图像中的人脸关键点之间的对应关系，确定第n帧第三表情图像与第m帧第三表情图像之间的仿射变换参数；其中，n和m均为正整数；
基于仿射变换参数对第n帧第三表情图像进行变换，得到输入样本图像，并将第m帧第三表情图像作为输出样本图像；
基于输入样本图像与输出样本图像，训练得到预设模型。
举例而言，第n帧第三表情图像为图像A，第m帧第三表情图像为图像B，基于图像A和图像B之间的仿射变换参数对图像A进行变换，得到图像C。再以图像C为预设模型的输入样本图像，图像B为预设模型的输出样本图像，以预设模型输出的图像和图像B之间的差异作为损失，训练模型，使得预设模型输出的图像与作为变换目标的图像之间的差异最小化。
由于第n帧第三表情图像与第m帧第三表情图像属于同一表情包，因此，基于两者之间的仿射变换参数对第n帧第三表情图像进行变换得到的图像，与第m帧第三表情图像之间的差异主要来源于仿射变换的效果，排除了其他因素的干扰。因此，也减少了其他因素对预设模型训练过程的干扰，使得对预设模型的训练过程能够专注于克服对图像的优化处理所存在的缺陷，能够大幅提升针对仿射变换得到的表情图像的优化效果。
图3示出了本公开实施例中表情包生成方法的一个完整的应用示例。
如图3所示，在接收到用户上传的第一表情包31以及人脸图像32的情况下，从第一表情包31中各第一表情图像和人脸图像32中检测出每个第一表情图像中的人脸关键点33和目标人脸图像的人脸关键点34。基于每个第一表情图像中的人脸关键点33和目标人脸图像的人脸关键点34得到对应于每个第一表情图像的仿射变换参数35。基于仿射变化参数35对人脸图像进行变换后，将变换得到的图像输入生成对抗网络36，生成对抗网络36对变换得到的图像进行优化处理例如补全缝隙等，得到多个目标表情图像。基于目标表情图像得到第二表情包37。
可见，根据本公开实施例的方法，可以基于第一表情包和目标人脸图像，自动生成与目标人脸图像对应的第二表情包。基于此，能够降低人脸表情包的制作门槛，减少制作过程中录制视频、进行专业图像处理等过程的人力物力成本，同时提高制作人脸表情包的效率。并且，能够形成符合用户个性化需求的丰富的表情包，有利于活跃社交氛围。
作为上述各方法的实现，本公开还提供一种表情包生成装置。如图4所示，该装置包括：
图像确定模块410，用于基于第一表情包中包含的多帧第一表情图像，确定与目标人脸图像对应的多帧第二表情图像；
表情包生成模块420，用于基于与目标人脸图像对应的多帧第二表情图像，生成与目标人脸图像对应的第二表情包；
其中，图像确定模块410包括：
第一参数确定单元411，用于根据目标人脸图像中的人脸关键点与多帧第一表情图像中的第i帧第一表情图像中的人脸关键点之间的对应关系，确定目标人脸图像与第i帧第一表情图像之间的仿射变换参数；其中，i为正整数；
图像变换单元412，用于基于仿射变换参数对目标人脸图像进行变换，得到与目标人脸图像对应的第i帧第二表情图像。
示例性地，仿射变换参数包括与目标人脸图像中的多个人脸关键点对应的多个局部仿射变换矩阵；
相应的，图像变换单元412用于：
基于多个局部仿射变换矩阵，对目标人脸图像中与多个人脸关键点对应的多个区域分别进行局部仿射变换，得到与目标人脸图像对应的第i帧第二表情图像。
示例性地，如图5所示，表情包生成模块420包括：
模型处理单元421，用于利用预设模型对多帧第二表情图像分别进行处理，得到与目标人脸图像对应的多帧目标表情图像；
图像组合单元422，用于基于与目标人脸图像对应的多帧目标表情图像，得到第二表情包。
示例性地，模型处理单元421用于：
利用生成对抗网络对多帧第二表情图像分别进行图像补全，得到与目标人脸图像对应的多帧目标表情图像。
示例性地，如图5所示，表情包生成装置还包括：
模型训练模块510，用于利用第三表情包中包含的多帧第三表情图像，训练得到预设模型。
示例性地，如图5所示，模型训练模块510包括：
第二参数确定单元511，用于根据第三表情包中的第n帧第三表情图像中的人脸关键点与第三表情包中的第m帧第三表情图像中的人脸关键点之间的对应关系，确定第n帧第三表情图像与第m帧第三表情图像之间的仿射变换参数；其中，n和m均为正整数；
样本获取单元512，用于基于仿射变换参数对第n帧第三表情图像进行变换，得到输入样本图像，并将第m帧第三表情图像作为输出样本图像；
训练单元533，用于基于输入样本图像与输出样本图像，训练得到预设模型。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或要求的本公开的实现。
如图6所示，电子设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入输出(I/O)接口605也连接至总线604。
电子设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许电子设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如表情包生成方法。例如，在一些实施例中，表情包生成方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到电子设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的表情包生成方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行表情包生成方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (12)

1.一种表情包生成方法，包括：
基于第一表情包中包含的多帧第一表情图像，确定与目标人脸图像对应的多帧第二表情图像；
利用预设模型对所述多帧第二表情图像分别进行处理，得到与所述目标人脸图像对应的多帧目标表情图像，其中，所述预设模型至少包括生成对抗网络和整体变分网络；
基于与所述目标人脸图像对应的所述多帧目标表情图像，得到所述第二表情包；
其中，所述基于第一表情包中包含的多帧第一表情图像，确定与目标人脸图像对应的多帧第二表情图像，包括：
根据所述目标人脸图像中的人脸关键点与所述多帧第一表情图像中的第i帧第一表情图像中的人脸关键点之间的对应关系，确定所述目标人脸图像与所述第i帧第一表情图像之间的仿射变换参数；其中，i为正整数；
基于所述仿射变换参数对所述目标人脸图像进行变换，得到与所述目标人脸图像对应的第i帧第二表情图像。
2.根据权利要求1所述的方法，其中，所述仿射变换参数包括与所述目标人脸图像中的多个人脸关键点对应的多个局部仿射变换矩阵；
相应的，所述基于所述仿射变换参数对所述目标人脸图像进行变换，得到与所述目标人脸图像对应的第i帧第二表情图像，包括：
基于所述多个局部仿射变换矩阵，对所述目标人脸图像中与所述多个人脸关键点对应的多个区域分别进行局部仿射变换，得到与所述目标人脸图像对应的第i帧第二表情图像。
3.根据权利要求1所述的方法，其中，所述利用预设模型对所述多帧第二表情图像分别进行处理，得到与所述目标人脸图像对应的多帧目标表情图像，包括：
利用生成对抗网络对所述多帧第二表情图像分别进行图像补全，得到与所述目标人脸图像对应的多帧目标表情图像。
4.根据权利要求1所述的方法，还包括：
利用第三表情包中包含的多帧第三表情图像，训练得到所述预设模型。
5.根据权利要求4所述的方法，其中，所述利用第三表情包中包含的多帧第三表情图像，训练得到所述预设模型，包括：
根据所述第三表情包中的第n帧第三表情图像中的人脸关键点与所述第三表情包中的第m帧第三表情图像中的人脸关键点之间的对应关系，确定所述第n帧第三表情图像与所述第m帧第三表情图像之间的仿射变换参数；其中，n和m均为正整数；
基于所述仿射变换参数对所述第n帧第三表情图像进行变换，得到输入样本图像，并将所述第m帧第三表情图像作为输出样本图像；
基于所述输入样本图像与所述输出样本图像，训练得到所述预设模型。
6.一种表情包生成装置，包括：
图像确定模块，用于基于第一表情包中包含的多帧第一表情图像，确定与目标人脸图像对应的多帧第二表情图像；
所述装置还用于：利用预设模型对所述多帧第二表情图像分别进行处理，得到与所述目标人脸图像对应的多帧目标表情图像，其中，所述预设模型至少包括生成对抗网络和整体变分网络；基于与所述目标人脸图像对应的所述多帧目标表情图像，得到所述第二表情包；
其中，所述图像确定模块包括：
第一参数确定单元，用于根据所述目标人脸图像中的人脸关键点与所述多帧第一表情图像中的第i帧第一表情图像中的人脸关键点之间的对应关系，确定所述目标人脸图像与所述第i帧第一表情图像之间的仿射变换参数；其中，i为正整数；
图像变换单元，用于基于所述仿射变换参数对所述目标人脸图像进行变换，得到与所述目标人脸图像对应的第i帧第二表情图像。
7.根据权利要求6所述的装置，其中，所述仿射变换参数包括与所述目标人脸图像中的多个人脸关键点对应的多个局部仿射变换矩阵；
相应的，所述图像变换单元用于：
基于所述多个局部仿射变换矩阵，对所述目标人脸图像中与所述多个人脸关键点对应的多个区域分别进行局部仿射变换，得到与所述目标人脸图像对应的第i帧第二表情图像。
8.根据权利要求6所述的装置，其中，所述装置还用于通过以下步骤来利用预设模型对所述多帧第二表情图像分别进行处理，得到与所述目标人脸图像对应的多帧目标表情图像：利用生成对抗网络对所述多帧第二表情图像分别进行图像补全，得到与所述目标人脸图像对应的多帧目标表情图像。
9.根据权利要求6所述的装置，还包括：
模型训练模块，用于利用第三表情包中包含的多帧第三表情图像，训练得到所述预设模型。
10.根据权利要求9所述的装置，其中，所述模型训练模块包括：
第二参数确定单元，用于根据所述第三表情包中的第n帧第三表情图像中的人脸关键点与所述第三表情包中的第m帧第三表情图像中的人脸关键点之间的对应关系，确定所述第n帧第三表情图像与所述第m帧第三表情图像之间的仿射变换参数；其中，n和m均为正整数；
样本获取单元，用于基于所述仿射变换参数对所述第n帧第三表情图像进行变换，得到输入样本图像，并将所述第m帧第三表情图像作为输出样本图像；
训练单元，用于基于所述输入样本图像与所述输出样本图像，训练得到所述预设模型。
11.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使计算机执行权利要求1-5中任一项所述的方法。
CN202011556753.2A 2020-12-24 2020-12-24 表情包生成方法、装置、电子设备和存储介质 Active CN112541477B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011556753.2A CN112541477B (zh) 2020-12-24 2020-12-24 表情包生成方法、装置、电子设备和存储介质
US17/382,582 US11875601B2 (en) 2020-12-24 2021-07-22 Meme generation method, electronic device and storage medium
EP21189170.0A EP3896608A3 (en) 2020-12-24 2021-08-02 Meme generation method, apparatus, electronic device, storage medium and program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011556753.2A CN112541477B (zh) 2020-12-24 2020-12-24 表情包生成方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN112541477A CN112541477A (zh) 2021-03-23
CN112541477B true CN112541477B (zh) 2024-05-31

Family

ID=75017463

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011556753.2A Active CN112541477B (zh) 2020-12-24 2020-12-24 表情包生成方法、装置、电子设备和存储介质

Country Status (3)

Country Link
US (1) US11875601B2 (zh)
EP (1) EP3896608A3 (zh)
CN (1) CN112541477B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160799B (zh) * 2021-04-22 2022-05-31 贝壳找房(北京)科技有限公司 视频生成方法和装置、计算机可读存储介质、电子设备
CN116778107A (zh) * 2022-03-11 2023-09-19 腾讯科技（深圳）有限公司 表情模型的生成方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019128508A1 (zh) * 2017-12-28 2019-07-04 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
WO2020150689A1 (en) * 2019-01-18 2020-07-23 Snap Inc. Systems and methods for realistic head turns and face animation synthesis on mobile device
CN111476709A (zh) * 2020-04-09 2020-07-31 广州华多网络科技有限公司 人脸图像处理方法、装置及电子设备
CN111696185A (zh) * 2019-03-12 2020-09-22 北京奇虎科技有限公司 利用静态人脸图像生成动态表情图像序列的方法和装置
CN111768477A (zh) * 2020-07-06 2020-10-13 网易（杭州）网络有限公司 三维人脸表情基建立方法及装置、存储介质及电子设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3186787A1 (en) * 2014-08-29 2017-07-05 Thomson Licensing Method and device for registering an image to a model
US10572720B2 (en) * 2017-03-01 2020-02-25 Sony Corporation Virtual reality-based apparatus and method to generate a three dimensional (3D) human face model using image and depth data
WO2019142127A1 (en) 2018-01-17 2019-07-25 Feroz Abbasi Method and system of creating multiple expression emoticons
US11049310B2 (en) 2019-01-18 2021-06-29 Snap Inc. Photorealistic real-time portrait animation
CN110458121B (zh) * 2019-08-15 2023-03-14 京东方科技集团股份有限公司 一种人脸图像生成的方法及装置
US11645798B1 (en) * 2020-06-01 2023-05-09 Snap Inc. Facial animation transfer
CN111783658B (zh) 2020-07-01 2023-08-25 河北工业大学 基于双生成对抗网络的两阶段表情动画生成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019128508A1 (zh) * 2017-12-28 2019-07-04 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
WO2020150689A1 (en) * 2019-01-18 2020-07-23 Snap Inc. Systems and methods for realistic head turns and face animation synthesis on mobile device
CN111696185A (zh) * 2019-03-12 2020-09-22 北京奇虎科技有限公司 利用静态人脸图像生成动态表情图像序列的方法和装置
CN111476709A (zh) * 2020-04-09 2020-07-31 广州华多网络科技有限公司 人脸图像处理方法、装置及电子设备
CN111768477A (zh) * 2020-07-06 2020-10-13 网易（杭州）网络有限公司 三维人脸表情基建立方法及装置、存储介质及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
多表情人脸肖像的自动生成;宋红;黄小川;王树良;;电子学报(08);全文 *
表演驱动的二维人脸表情合成;丁宾;邵晓根;孙天凯;杜志军;;计算机工程与设计(08);全文 *

Also Published As

Publication number Publication date
EP3896608A3 (en) 2022-02-23
US20210350508A1 (en) 2021-11-11
CN112541477A (zh) 2021-03-23
US11875601B2 (en) 2024-01-16
EP3896608A2 (en) 2021-10-20

Similar Documents

Publication Publication Date Title
CN113033537B (zh) 用于训练模型的方法、装置、设备、介质和程序产品
CN115049799B (zh) 3d模型和虚拟形象的生成方法和装置
CN112541477B (zh) 表情包生成方法、装置、电子设备和存储介质
CN112527115B (zh) 用户形象生成方法、相关装置及计算机程序产品
CN112330527A (zh) 图像处理方法、装置、电子设备和介质
CN114511041B (zh) 模型训练方法、图像处理方法、装置、设备和存储介质
CN113378835B (zh) 标注模型训练、样本标注方法及相关装置
US20220189083A1 (en) Training method for character generation model, character generation method, apparatus, and medium
CN113627536B (zh) 模型训练、视频分类方法，装置，设备以及存储介质
CN112785493B (zh) 模型的训练方法、风格迁移方法、装置、设备及存储介质
CN113657396B (zh) 训练方法、译文展示方法、装置、电子设备以及存储介质
CN117539975A (zh) 大语言模型的提示词信息的生成方法、装置、设备及介质
CN115578614A (zh) 图像处理模型的训练方法、图像处理方法和装置
CN114792355A (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN114494747A (zh) 模型的训练方法、图像处理方法、装置、电子设备及介质
CN116402914B (zh) 用于确定风格化图像生成模型的方法、装置及产品
CN114926322B (zh) 图像生成方法、装置、电子设备和存储介质
EP4318314A1 (en) Image acquisition model training method and apparatus, image detection method and apparatus, and device
CN115082298A (zh) 图像生成方法、装置、电子设备以及存储介质
CN113139463B (zh) 用于训练模型的方法、装置、设备、介质和程序产品
CN115147306A (zh) 图像处理方法、装置、电子设备和存储介质
CN113947146A (zh) 样本数据生成方法、模型训练方法、图像检测方法及装置
CN113537398A (zh) 颜值评估模型训练方法及组件，颜值评估方法及组件
CN115641481A (zh) 用于训练图像处理模型和图像处理的方法、装置
CN114445682A (zh) 训练模型的方法、装置、电子设备、存储介质及产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant