CN111742351A - 用于生成包括通过与面部相对应的3d化身反映面部运动的3d化身的图像的电子设备及操作其的方法 - Google Patents

用于生成包括通过与面部相对应的3d化身反映面部运动的3d化身的图像的电子设备及操作其的方法 Download PDF

Info

Publication number
CN111742351A
CN111742351A CN201980014673.3A CN201980014673A CN111742351A CN 111742351 A CN111742351 A CN 111742351A CN 201980014673 A CN201980014673 A CN 201980014673A CN 111742351 A CN111742351 A CN 111742351A
Authority
CN
China
Prior art keywords
electronic device
avatar
face
image
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980014673.3A
Other languages
English (en)
Inventor
李宇镛
金容圭
闵丙贤
孙东一
尹粲希
李基赫
郑哲虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111742351A publication Critical patent/CN111742351A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/02—Non-photorealistic rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种电子设备。该电子设备包括相机、显示器和处理器，该处理器被配置为通过使用相机来获得包括一个或多个外部对象的第一图像，使用显示器来显示以输出基于与一个或多个外部对象中的面部相关的属性生成的三维(3D)对象，接收从可应用于3D对象的多个图形属性中对至少一个图形属性的选择，基于至少一个图形属性生成面部的3D化身，并且使用3D化身生成包括反映预定面部表情或动作的至少一个对象的第二图像。

Description

用于生成包括通过与面部相对应的3D化身反映面部运动的3D 化身的图像的电子设备及操作其的方法
技术领域
本公开涉及一种用于生成图像的电子设备及其操作方法，该图像包括通过面部的三维(3D)化身(avatar)反映面部运动的3D化身。
背景技术
电子设备可提供使用化身的各种服务。电子设备可使用用户的3D化身，以便在各种应用中显示用户的情绪或意图。
电子设备可提供生成用户的化身的功能，并允许用户创建他/她自己的化身。
以上信息仅作为背景信息提供，以帮助理解本公开。对于上述中任何内容是否可作为关于本公开的现有技术来应用，既没有做出确定，也没有做出断言。
发明内容
技术问题
本公开的各方面旨在至少解决上述问题和/或缺点，并且至少提供下述优点。因此，本公开的一方面是提供一种能够基于包括与面部相对应的对象的二维(2D)图像来提供三维(3D)化身的电子设备及其方法。
根据各种实施例，电子设备可基于与用户的面部相关的属性来生成用户的3D化身并提供该3D化身。
根据各种实施例，电子设备可生成包括对象的2D图像并提供该2D图像，其中使用基于包括用户的2D图像生成的3D化身，化身的面部表情、化身的姿势、背景或动画效果被不同地应用于该对象。
将在下面的描述中部分阐述附加的方面，并且部分地，附加的方面将从描述中变得清晰，或者可通过所呈现的实施例的实践来了解附加的方面。
解决问题的技术方案
根据本公开的一方面，提供了一种电子设备。该电子设备包括相机、显示器和处理器，该处理器被配置为：通过使用相机来获得包括一个或多个外部对象的第一图像；使用显示器来显示，以输出基于与所述一个或多个外部对象中的面部相关的属性而生成的三维(3D)对象；基于能应用于3D对象的多个图形属性中的至少一个图形属性来生成面部的3D化身；以及使用3D化身来生成包括反映预定面部表情或动作的至少一个对象的第二图像。
根据本公开的另一方面，提供了一种电子设备。该电子设备包括相机和处理器，该处理器被配置为：使用相机来获得包括一个或多个外部对象的第一图像；识别包括在所述一个或多个外部对象中的面部；基于面部，在一个或多个3D化身中选择三维(3D)化身；使用反映与面部相对应的面部表情的3D化身来生成3D对象；以及生成包括该3D对象的第二图像。
根据本公开的另一方面，提供了一种电子设备。该电子设备包括相机和处理器，该处理器被配置为：通过使用相机来获得包括一个或多个外部对象的第一图像；确定面部是否被包括在所述一个或多个外部对象中；当面部被包括在所述一个或多个外部对象中时，基于与面部相对应的属性来生成三维(3D)化身；以及当面部不被包括在所述一个或多个外部对象中时，阻止3D化身的生成。
发明的有益效果
根据各种实施例的电子设备可提供与包括在使用相机获得的2D图像中的外部对象相对应的3D化身。
根据各种实施例的电子设备可提供包括使用反映化身的面部表情、化身的姿势、背景或动画效果的3D化身而生成的对象的2D图像。
根据各种实施例的电子设备可使用基于包括用户的面部的2D图像而生成的3D化身来提供一个或多个应用。
对于本领域技术人员来说，本发明的其他方面、优点和显著特征将从以下结合附图公开了本发明的各种实施例的详细描述中变得明显。
附图说明
从以下结合附图的描述中，本公开的某些实施例的上述和其他方面、特征和优点将变得更加明显，其中：
图1是示出根据本公开的各种实施例的网络环境中的电子设备的框图；
图2是示出根据本公开的各种实施例的操作生成三维(3D)化身的电子设备的方法的流程图；
图3A、3B、3C、3D、3E和3F示出了根据本公开的各种实施例的电子设备生成提供给用户的3D化身的操作；
图4A、4B和4C示出了根据本公开的各种实施例的由电子设备生成的3D图形对象和可应用于该3D图形对象的图形属性；
图5示出了根据本公开的各种实施例的电子设备基于二维(2D)图像生成3D化身的操作；
图6示出了根据本公开的各种实施例的包括由电子设备使用3D化身生成的至少一个对象的2D图像；
图7示出了根据本公开的各种实施例的由电子设备使用化身角色(avatarcharacter)编辑照片；
图8示出了根据本公开的各种实施例的由电子设备通过消息发送化身角色的所选择的对象；
图9示出了根据本公开的各种实施例的通过电子设备编辑联系人以包括化身角色；
图10示出了根据本公开的各种实施例的由电子设备基于包括动物头部的2D图像所生成的3D化身；
图11示出了根据本公开的各种实施例的由电子设备基于包括角色的2D图像所生成的3D化身；
图12示出了根据本公开的各种实施例的由电子设备基于包括配件的2D图像所生成的3D化身；
图13和图14示出了根据本公开的各种实施例的与面部相关的表情属性；
图15示出了根据本公开的各种实施例的由电子设备使用各种3D模板所生成的3D化身；
图16和图17示出了根据本公开的各种实施例的与由电子设备基于2D图像所生成的3D图形对象相关的属性；
图18示出了根据本公开的各种实施例的由电子设备基于包括与面部相对应的外部(external)对象和附加对象的2D图像所生成的3D化身；
图19A和图19B示出了根据本公开的各种实施例的电子设备生成包括多个3D化身的图像的操作；
图20示出了根据本公开的各种实施例的3D化身的表情属性；
图21A、21B、21C、21D和21E示出了根据本公开的各种实施例的电子设备在视频通话功能中生成3D化身的操作；以及
图22示出了根据本公开的各种实施例的电子设备与视频通话对方的电子设备共享3D化身的操作。
在所有附图中，相同的附图标记将被理解为指代相同的部件、组件和结构。
具体实施方式
以下参考附图的描述被提供来帮助全面理解由权利要求及其等同物所限定的本公开的各种实施例。以下描述包括有助于理解的各种具体细节，但这些仅是示例性的。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可对本文所描述的各种实施例做出各种改变和修改。此外，为了清楚和简明起见，可省略对公知的功能和结构的描述。
在以下描述和权利要求中使用的术语和词语不限于书面含义，而是仅由发明人使用，以使得能够清楚和一致地理解本公开。因此，对于本领域技术人员来说，明显的是，提供以下对本公开的各种实施例的描述仅是为了说明的目的，而不是为了限制由所附权利要求及其等同物所限定的本公开的目的。
应当理解，单数形式“一”和“该”包括复数指代物，除非上下文另有明确规定。因此，例如，“组件表面”包括对于这样的表面中的一个或多个的引用。
图1是示出根据各种实施例的网络环境中的电子设备的框图。
参考图1，网络环境100中的电子设备101可经由第一网络198(例如，短距离无线通信网络)与电子设备102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子设备104或服务器108进行通信。根据实施例，电子设备101可经由服务器108与外部电子设备104进行通信。根据实施例，电子设备101可包括处理器120、存储器130、输入设备150、声音输出设备155、显示设备160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(subscriberidentification module，SIM)196或天线模块197。在一些实施例中，可从电子设备101中省略这些部件中的至少一个(例如，显示设备160或相机模块180)，或者可将一个或更多个其它部件添加到电子设备101中。在一些实施例中，可将部件中的一些部件实现为单个集成电路。例如，可将传感器模块176(例如，指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示设备160(例如，显示器)中。
处理器120可运行例如软件(例如，程序140)来控制电子设备101的与处理器120连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中，其中非易失性存储器134可包括内部存储器136或外部存储器138。根据实施例，处理器120可包括主处理器121(例如，中央处理器(central processing unit，CPU)或应用处理器(application processor，AP))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(graphics processing unit，GPU)、图像信号处理器(imagesignal processor，ISP)、传感器中枢处理器或通信处理器(communication processor，CP))。附加地或可替代地，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为具体用于指定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123可控制与电子设备101(而非主处理器121)的部件之中的至少一个部件(例如，显示设备160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子设备101的部件之中的至少一个部件(例如，显示设备160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如ISP或CP)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。
存储器130可存储由电子设备101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作***(operating system，OS)142、中间件144或应用146。
输入设备150可从电子设备101的外部(例如，用户)接收将由电子设备101的其它部件(例如，处理器120)使用的命令或数据。输入设备150可包括例如麦克风、鼠标、键盘或数字笔(例如，手写笔)。
声音输出设备155可将声音信号输出到电子设备101的外部。声音输出设备155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的，接收器可用于呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示设备160可向电子设备101的外部(例如，用户)视觉地提供信息。显示设备160可包括例如显示器、全息设备或投影仪以及用于控制显示器、全息设备和投影仪中的相应一个的控制电路。根据实施例，显示设备160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入设备150获得声音，或者经由声音输出设备155或与电子设备101直接(例如，有线地)连接或无线连接的外部电子设备(例如，电子设备102)的耳机输出声音。
传感器模块176可检测电子设备101的操作状态(例如，功率或温度)或电子设备101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如姿势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子设备101与外部电子设备(例如，电子设备102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(high definition multimedia interface，HDMI)、通用串行总线(universal serial bus，USB)接口、安全数字(secure digital，SD)卡接口或音频接口。
连接端178可包括连接器，其中，电子设备101可经由该连接器与外部电子设备(例如，电子设备102)物理连接。根据实施例，连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多个透镜、图像传感器、ISP或闪光灯。
电力管理模块188可管理对电子设备101的供电。根据一个实施例，可将电力管理模块188实现为例如电力管理集成电路(power management integrated circuit，PMIC)的至少部分。
电池189可对电子设备101的至少一个部件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子设备101与外部电子设备(例如，电子设备102、电子设备104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，AP)独立操作的一个或更多个CP，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星***(globalnavigation satellite system，GNSS)通信模块)或有线通信模块194(例如，局域网(localarea network，LAN)通信模块或电力线通信(power line communication，PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或IR数据协会(IR data association，IrDA))或第二网络199(例如，长距离通信网络，诸如蜂窝网络、互联网、或计算机网络(例如，LAN或广域网(wide area network，WAN)))与外部电子设备进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(international mobile subscriber identity，IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子设备101。
天线模块197可将信号或电力发送到电子设备101的外部(例如，外部电子设备)或者从电子设备101的外部(例如，外部电子设备)接收信号或电力。根据实施例，天线模块197可包括天线，天线包括辐射元件，辐射元件由形成在基底(例如，印制电路板(printedcircuit board，PCB))中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块197可包括多个天线。在这种情况下，可由例如通信模块190(例如，无线通信模块192)从多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子设备之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的组件(例如，射频集成电路(radio frequency integrated circuit，RFIC))可附加地形成为天线模块197的一部分。
上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(general purpose input and output，GPIO)、串行外设接口(serial peripheralinterface，SPI)或移动工业处理器接口(mobile industry processor interface，MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施例，可经由与第二网络199连接的服务器108在电子设备101和外部电子设备104之间发送或接收命令或数据。电子设备102和电子设备104中的每一个可以是与电子设备101相同类型的设备，或者是与电子设备101不同类型的设备。根据实施例，将在电子设备101运行的全部操作或一些操作可在外部电子设备102、外部电子设备104或服务器108中的一个或更多个运行。例如，如果电子设备101应该自动执行功能或服务或者应该响应于来自用户或另一设备的请求执行功能或服务，则电子设备101可请求一个或更多个外部电子设备执行功能或服务中的至少部分，而不是运行功能或服务，或者电子设备101除了运行功能或服务以外，还可请求一个或更多个外部电子设备执行功能或服务中的至少部分。接收到请求的一个或更多个外部电子设备可执行功能或服务中的所请求的至少部分，或者执行与请求相关的另外功能或另外服务，并将执行的结果传送到电子设备101。电子设备101可在对结果进行进一步处理的情况下或者在不对结果进行进一步处理的情况下将结果提供作为对请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。
图2是示出根据本公开的各种实施例的操作生成三维(3D)化身的电子设备的方法的流程图。
参考图2，根据各种实施例，在操作210中，电子设备(例如，图1的电子设备101或处理器120)可通过相机(例如，图1的相机模块180)获得一个或多个外部对象的第一图像。电子设备101可通过2D相机模块180获得二维(2D)图像，并且第一图像可以是2D图像。所述一个或多个外部对象可包括人、动物或事物。例如，电子设备101可获得用户的面部的2D图像。电子设备101可检测与通过相机模块180获得的第一图像中的面部相对应的外部对象。当没有检测到与面部相对应的外部对象时，电子设备101可提供指示没有检测到面部的消息。当没有检测到与面部相对应的外部对象时，电子设备101可阻止(或跳过)用以生成与第一图像相关的3D化身的过程。
在操作220中，电子设备101可通过显示器(例如，图1的显示设备160)提供基于与和面部相对应的外部对象相关的属性而生成的3D图形对象。对于与面部相关的各种特性，可定义与外部对象相关的属性。例如，与外部对象相关的属性可包括面部的元素(例如，眼睛、眉毛、鼻子、颧骨、嘴唇、牙齿、脸颊、下巴、前额、头发、面部毛发(例如，胡子或胡须)、酒窝、耳朵、后脑勺和太阳穴区域)的形状、颜色、元素之间的相对位置、元素之间的相对大小比率、以及固定到头部的配件(例如，耳环、穿孔、眼镜和鼻环)中的至少一个。电子设备101可通过将与和面部相对应的外部对象相关的属性中的至少一个设置在面部或头部的3D模板上来生成3D图形对象。电子设备101可提取与面部相对应的外部对象相关的属性中的至少一个，并将提取的属性值应用于3D模板以生成3D图形对象。电子设备101可通过将外部对象中的面部的长度、面部的宽度、面部类型、肤色、眼睛之间的间隔、眼睛的大小、双眼皮的存在与否、眉毛的颜色、鼻子长度、鼻子位置、嘴唇大小、嘴唇位置、颧骨位置、颧骨大小、以及酒窝的存在与否的属性值中的至少一个应用于3D模板来生成3D图形对象。电子设备101可使用指定给3D模板的属性值(默认值)来生成3D图形对象。关于与头发或后脑勺相关的属性，即，没有从第一图像中提取的属性，电子设备101可通过直接应用指定给3D模板的属性值来生成3D图形对象。3D图形对象可包括与从获得的第一图像提取的面部相关的属性值和指定给3D模板的属性值中的所有。面部或头部的3D模板可被存储在数据库中。数据库可被包括在存储器(例如，图1的存储器130)或服务器(例如，图1的服务器108)中。电子设备101可通过改变与和面部相对应的外部对象以及3D模板相关的属性中的至少一个来生成一个或多个3D图形对象。电子设备101可在显示设备160上显示一个或多个生成的3D图形对象中的至少一个。
在操作230中，基于从可应用于3D图形对象的多个图形属性中选择的至少一个属性和该3D图形对象，电子设备101可生成外部对象的3D化身。可应用于3D图形对象的所述多个图形属性可包括亮度、颜色对比度、嘴唇颜色、眉毛颜色、胡子(胡须)、发型或面部的配件(例如，眼镜、帽子、耳环和穿孔)。根据各种实施例，可应用于3D图形对象的所述多个图形属性可包括面部运动的运动参数。运动参数可包括面部的每个部分(例如，眉毛、眼睑、鼻子和口腔角度)的运动的方向和大小。电子设备101可基于与和面部相对应的外部对象相关的属性来设置运动参数值。例如，电子设备101可基于从外部对象提取的嘴巴的大小或形状，在运动参数中设置口腔角度运动的方向和大小。电子设备101可通过显示设备160一起显示所述多个图形属性中的至少一个和3D图形对象。电子设备101可将根据用户输入从所述多个图形属性中选择的至少一个图形属性应用于3D图形对象。电子设备101可在显示设备160上显示例如所述多个图形属性的亮度，并且当检测到对亮度的输入时，可将检测到的输入亮度值应用于3D图形对象。响应于对所述多个图形属性中的所显示的图形属性的用户输入，电子设备101可通过显示设备160显示输入值被应用到的3D图形对象的预览。电子设备101可显示可应用于3D图形对象的属性，并接收对所显示的属性的输入，以向用户提供编辑3D图形对象的功能。电子设备101可通过将从所述多个图形属性中选择的至少一个图形属性应用于3D图形对象来生成3D化身。电子设备101可通过将从所述多个图形属性中选择的至少一个图形属性应用于3D图形对象并重新处理该3D图形对象来生成3D化身。通过用以重新处理3D图形对象的操作的部分，电子设备101可从3D图形对象中删除不必要的信息，并且使可被简化的信息变得简洁以生成3D化身。3D化身可被存储在存储器(例如，图1的存储器130)或服务器(例如，图1的服务器108)中。当3D化身被存储在服务器(例如，图1的服务器108)中时，电子设备101可通过通信模块190向服务器(例如，图1的服务器108)提供3D化身。3D化身可存储在例如gl传输格式(gl Transmission Format，glTF)中。
在操作240中，电子设备101可使用3D化身生成包括反映预定面部表情或动作的至少一个对象的第二图像。例如，电子设备101可在3D化身中显示一个或多个预定面部表情或动作。电子设备可使用3D化身显示一个或多个身体姿势。例如，电子设备101可从图像(例如，静止图像或运动图像)检测身体形状(例如，检测身体图像的边界线)和人的运动，并且生成反映身体形状和运动的对象(例如，生成与检测到的身体形状和运动相对应的骨架信息，并且将该骨架信息反映在身体的每个部分的形状或运动中，使得对象传达具有高相似度的身体姿势)。电子设备可用3D化身显示一个或多个背景效果。电子设备101可基于通过将预定面部表情或运动应用于面部表情、身体姿势、和背景效果中的至少一个而生成的3D化身来生成一个或多个对象，并且基于所述一个或多个对象来生成2D图像。电子设备101可基于预定数量的面部表情或动作，使用3D化身来生成包括一个或多个对象的第二图像。例如，基于其中化身面部表情、化身姿势、背景、和动画效果中的至少一个被改变的预定表情集，电子设备101可在3D化身中反映预定表情集，以生成与预定数量的表情集相对应的对象。包括生成的对象的第二图像可以是化身角色。第二图像可以是包括一个或多个对象的2D图像。电子设备101可以以静止图像或运动图像的形式存储第二图像。根据各种实施例，电子设备101可使用反映化身面部表情、化身姿势、动画效果、和背景效果中的至少一个的3D化身来生成第二图像。第二图像可被存储在存储器(例如，图1的存储器130)或服务器(例如，图1的服务器108)中。当第二图像被存储在服务器(例如，图1的服务器108)中时，电子设备101可通过通信模块190向服务器(例如，图1的服务器108)提供第二图像。可以以例如运动图像文件格式(例如，mp4或gif)存储第二图像。电子设备101可使用生成的化身角色来提供各种应用。电子设备101可通过键盘应用提供化身角色。例如，电子设备101可使用包括在键盘应用中的化身角色来提供消息发送应用、照片编辑应用或视频通话应用。化身角色可在其他各种应用中提供。
图3A、3B、3C、3D、3E和3F示出了根据本公开的各种实施例的生成从电子设备提供给用户的3D化身的操作的示例。
电子设备101可通过相机模块(例如，图1的相机模块180)生成3D化身。电子设备101可运行相机模块180，并通过显示器(例如，图1的显示设备160)提供包括用于生成3D化身的图标的运行屏幕。
参考图3A，可包括用于拍摄图像的预览屏幕区域301、用于创建3D化身的图标302、3D化身列表303和用于相机拍摄的图标304。电子设备101可显示包括诸如“创建化身”的文本的图标302。当选择用于创建化身的图标302时，电子设备101可通过相机模块180获得用户的面部图像。
参考图3B，电子设备101可提供用于拍摄对象的预览屏幕区域311和用于相机拍摄的图标312，其中该对象包括将为其生成3D化身的面部。为了获得与相机拍摄中的各种面部角度或面部表情相对应的图像，可进一步显示指示头部朝向方向或面部表情的引导信息(例如，头部朝向方向引导和情绪表情模仿引导)。在相机拍摄中，可接收通过视频拍摄所拍摄的多个图像。
参考图3C，电子设备101可提供用于显示拍摄的面部图像321的区域、用于在生成化身时选择性别的图标322以及指示选择完成的图标323。电子设备101可基于与一个或多个拍摄的面部图像中的面部相关的属性来生成一个或多个3D图形对象。电子设备101可从面部图像中提取与面部相关的属性，并将这些属性应用于与面部相对应的3D模板，以生成逼真的3D图形对象。电子设备101可从面部图像提取与面部相关的属性，改变所提取的属性中的一些，并将改变的属性应用于与面部相对应的3D模板，以生成校正的3D图形对象。与面部相关的属性可包括面部元素(例如，眼睛、眉毛、鼻子、颧骨、嘴唇、牙齿、脸颊、下巴、前额、胡子(胡须)、酒窝和耳朵)的形状、各个元素之间的相对位置、各个元素之间的相对大小比率、颜色、和运动方向中的至少一个。电子设备101可通过显示设备160提供一个或多个生成的3D图形对象中的至少一个3D图形对象，并且在屏幕上显示从提供的所述至少一个3D图形对象中选择的3D图形对象。
参考图3D，电子设备101可提供与一个或多个3D图形对象相对应的一个或多个图标332和333以及用于显示所选择的3D图形对象的预览区域331。例如，电子设备101可显示与第一3D图形对象相对应的图标332和与第二3D图形对象相对应的图标333，并且在预览区域331中显示所选择的第一3D图形对象322。电子设备101可从面部图像321提取与面部相关的属性，并将提取的属性值应用于3D模板以生成第一3D图形对象。电子设备101可从面部图像321提取与面部相关的属性，将提取的属性值应用于3D模板，并且根据预定条件校正该3D模板以生成第二3D图形对象。根据实施例，在3D图形对象的创建期间，可通过不从与面部相关的属性中提取配件(例如，眼镜或耳环)相关的属性或排除配件(例如，眼镜或耳环)相关的属性来生成排除眼镜属性的3D图形对象。电子设备101可对难以从2D图像获得的、与面部相关的属性使用3D模板的默认属性值。电子设备101可与该3D图形对象一起提供可应用于3D图形对象的多个图形属性中的至少一个。电子设备101可提供用于控制3D图形对象的肤色属性的选择条334。电子设备可根据用于将选择条334移动到(-)侧的输入来控制肤色变深，并且根据用于将选择条334移动到(+)侧的输入来控制肤色变浅。电子设备101可通过响应于输入、将输入肤色值应用于3D图形对象来在预览区域331中提供预览。根据实施例，可基于从通过电子设备101的相机模块180接收到的图像311中提取的面部区域的属性(例如，颜色和亮度)来确定选择条334的初始位置。为此，可执行用于确定面部区域的属性的附加操作。例如，在相机模块180使用包括在电子设备101的传感器模块176中的照度传感器进行拍摄期间，电子设备101可测量环境光的照度，并且基于测量的照度来校正所提取的面部区域的属性。
参考图3E，电子设备101可基于根据用户输入的所选择的图形属性和3D图形对象来生成用户的面部的3D化身。电子设备101可在预览区域中显示生成的3D化身341。电子设备101可提供用于显示一个或多个3D化身的化身列表区域342。电子设备101可添加与所生成的3D化身341相对应的图标343，并在化身列表区域342中显示该图标。电子设备101可生成2D图像，其中该2D图像包括通过3D化身反映预定面部表情或动作的至少一个对象。例如，电子设备101可基于应用了微笑的3D化身来生成对象，并且生成包括该对象的2D图像。例如，可通过基于从3D化身预提取的配件属性而将配件图标添加到化身列表区域342、以及选择配件图标，来生成包括在3D化身中的对象。电子设备101可提供通过2D图像输入化身角色的功能。例如，电子设备101可提供包括输入化身角色的功能的照片编辑。根据各种实施例，当编辑照片时，电子设备101可将从包括在2D图像中的至少一个对象中选择的对象添加到照片，并且通过控制添加的对象的位置、大小或方向来提供编辑照片的功能。
参考图3F，电子设备101可在用于照片编辑的屏幕上显示用于显示要编辑的照片的区域351、用于提供输入化身角色的功能的图标352、以及用于显示包括在所选择的化身角色中的一个或多个对象的区域353。被包括在化身角色中的一个或多个对象可包括化身的面部表情、化身的姿势、背景图像、和动画效果中的至少一个。电子设备101可添加用于编辑从包括在所选择的化身中的一个或多个对象中选择的第一对象354的照片，并且在用于显示包括对象355的照片的区域351中显示该照片。第一对象354可包括皱眉3541、用双手覆盖脸的姿势3542以及头顶上云状背景3543。电子设备101可根据用户输入来改变要编辑的对象355的位置、大小或方向。
图4A、4B和4C示出了根据本公开的各种实施例的由电子设备生成的3D图形对象和可应用于该3D图形对象的图形属性。
参考图4A，电子设备101可显示包括基于用户的面部图像生成的至少一个3D图形对象的屏幕410和420。电子设备101可通过应用与面部相关的各种属性值来生成各种3D图形对象。电子设备101可通过将从用户的面部图像提取的眼睛、鼻子和嘴巴应用于3D模板来生成第一3D图形对象。电子设备101可通过根据预定校正参考校正从用户的面部图像提取的眼睛、鼻子和嘴巴并将经校正的眼睛、鼻子和嘴巴应用于3D模板，来生成第二3D图形对象。例如，预定校正参考可被配置为将从用户的面部图像提取的眼睛的大小改变为预定值，将鼻子的位置和形状改变为预定值，并将嘴唇的形状和颜色改变为预定值。
参考图4A，电子设备101可显示与第一3D图形对象相对应的第一图标411和与第二3D图形对象相对应的第二图标412，并且当根据用户输入选择第一图标411时，可在屏幕410上显示第一3D图形对象，并且当根据用户输入选择第二图标412时，在屏幕420上显示第二3D图形对象。
电子设备101可同时显示3D图形对象和指示可应用于3D图形对象的属性的图标。参考图4B，电子设备101可显示滑块控件413，其中滑块控件413用于根据对滑块控件413的用户输入来选择3D图形对象的肤色的属性并使肤色变得更深或变得更浅。电子设备101可显示屏幕430，其中在屏幕430上，响应于使肤色变得更深的用户输入来显示具有深色肤色的3D图形对象，并且可以显示屏幕440，其中在屏幕440上，响应于使肤色变得更浅的用户输入来显示具有浅色肤色的3D图形对象。
电子设备101可将可应用于3D图形对象的一个或多个属性定义为参数，并将默认属性值指定给这些参数。电子设备101可从2D图像中提取与可应用于3D图形对象的一个或多个属性相对应的属性值。可应用于3D图形对象的一个或多个属性可对应于可应用于包括在2D图像中的外部对象的一个或多个属性。例如，可应用于外部对象的眼睛、鼻子、嘴巴、发型或眼镜可应用于3D图形对象。电子设备101可根据3D模板来确定可应用于3D图形对象的一个或多个属性的属性值。电子设备101可基于用户输入生成可应用于3D图形对象的一个或多个属性值。例如，参考图4C，电子设备101可提供用于编辑可应用于3D图形对象的发型属性的屏幕450、用于编辑眼镜配件属性的屏幕460以及用于编辑3D化身套装属性的屏幕470。电子设备101可为可应用于3D图形对象的发型属性提供发型列表451和头发颜色列表452。电子设备101可基于从2D图像提取的属性或者根据3D模板设置的属性，优先应用从发型列表451中选择的第一发型，并且在3D图形对象上显示第一发型。例如，电子设备101可基于从2D图像提取的面部类型属性来选择匹配该面部类型属性的发型作为第一发型，并且优先应用所选择的发型。电子设备101可显示应用了所选择的发型和头发颜色的3D图形对象。电子设备101可提供可应用于3D图形对象的眼镜配件列表461，将所选择的眼镜配件应用于3D图形对象，并显示3D图形对象。电子设备101可提供可应用于3D图形对象的3D化身套装列表471，并显示应用了所选择的3D化身服装的3D图形对象。
图5示出了根据本公开的实施例的电子设备基于2D图像生成3D化身的操作。
参考图5，电子设备101可从包括一个或多个外部对象的2D图像中提取与面部相对应的外部对象。具体地，电子设备101可从包括用户的面部的2D图像510中提取与面部相对应的外部对象511。电子设备101可通过面部检测算法来确定面部是否包括在2D图像510中。例如，提取外部对象的方法的至少部分可使用根据机器学习、神经网络和深度学习算法中的至少一个学习的基于规则的模型或人工智能模型。电子设备101可从服务器接收人工智能模型。例如，电子设备101可通过多任务级联神经网络(multi-task cascaded neuralnetwork，MTCNN)从2D图像510中提取与面部相对应的外部对象511。外部对象511可包括指示与面部相关的属性的眼睛521和522、鼻子523或嘴唇524。电子设备101可将可应用于外部对象511的属性定义为参数，并将从外部对象511提取的属性值指定为参数值。可应用于外部对象511的属性可包括例如性别、种族、年龄、吸引力、面部表情、头发颜色、部位、头发长度、颧骨、脸型、肤色、眼睛位置、眼睛大小、眉毛长度、眉毛形状、眉毛大小、鼻子长度、鼻子位置、鼻子形状、嘴唇形状、嘴唇颜色、嘴唇长度、帽子、眼镜、耳环、项链、口红颜色、和领带形状中的至少一个。例如，电子设备101可定义性别参数并指定女性值或男性值。电子设备101可确定用于创建3D化身的3D模板530。3D模板可根据要生成的3D化身的类型而变化。例如，电子设备101可根据性别、种族、国籍或年龄使用不同的3D模板。在另一示例中，电子设备101可为动物、角色或事物生成3D化身，并且可根据动物形状、角色形状或对象形状使用各种3D模板。电子设备101可从外部电子设备接收至少一个3D模板。电子设备101可通过将与从2D图像510提取的外部对象511相关的属性应用于3D模板来生成3D化身540。电子设备101可提供通过将与从2D图像510提取的外部对象511相关的属性应用于3D模板而生成的3D图形对象(未示出)。可应用于外部对象的属性可应用于3D图形对象。电子设备101可通过反映从外部对象提取的属性或由用户输入选择的属性来生成3D图形对象，并且可以基于3D图形对象来生成3D化身540。电子设备101可通过将外部对象511的眼睛521应用于3D模板530的眼睛区域来生成3D化身540。电子设备101可生成具有指定给3D模板530的属性值的3D化身540，其中这些属性值是未从外部对象511提取的属性，例如发型。电子设备101可通过显示器(例如，图1的显示设备160)向用户输出可应用于外部对象的属性的一个或多个样本属性。电子设备101可根据用户的选择，通过应用从所述一个或多个样本属性中选择的属性来生成3D化身540。电子设备101可基于从2D图像提取的属性或所确定的3D模板，从一个或多个样本属性中选择推荐属性，并提供该推荐属性。电子设备101可通过显示设备160提供反映样本属性的3D图形对象来向用户提供预览。
图6示出了根据本公开的各种实施例的包括由电子设备使用3D化身生成的至少一个对象的2D图像。
参考图6，电子设备101可通过应用指定给3D化身的一个或多个面部表情或动作来生成一个或多个对象。可根据化身的面部表情、化身的姿势、背景、和动画效果中的至少一个来确定对象。例如，所指定的所述一个或多个面部表情或动作可被指定给化身的面部表情、化身的姿势、背景、和动画效果中的至少一个。例如，微笑、哭泣或冷淡表情可用于化身的面部表情，并且用手比心的姿势或化身点头的姿势可用于化身的姿势。化身的面部表情、化身的姿势、背景、和动画效果中的至少一个可被指定为运动。电子设备101可通过将指定的面部表情或动作应用到针对外部对象而生成的化身来生成至少一个对象，其中该外部对象与从使用相机(例如，图1的相机模块180)获得的2D图像中提取的面部相对应。电子设备101可通过将预定数量的面部表情或动作应用于3D化身来一次生成预定数量的对象。例如，电子设备101可通过将一组18个预定表情应用于3D化身来生成18个不同的对象。可通过改变化身的面部表情、化身的姿势、背景和动画效果中的至少一个来指定该组18个预定表情。包括一个或多个对象的2D图像可以是化身角色。电子设备101可通过显示器(例如，图1的显示设备160)输出化身角色。
电子设备101可通过一个或多个3D化身生成一个或多个化身角色，并通过显示设备160提供3D化身角色列表。例如，电子设备101可在显示设备160上显示化身角色610，并且可在第一区域611中显示包括在化身角色610中的一个或多个对象。第一区域611可包括多个对象，其中所述多个对象中化身的面部表情、化身的姿势、背景、和动画效果中的至少一个是不同的。包括在化身角色610中的一个或多个对象中的第一对象620可包括化身621和背景622。第一对象620的化身621可根据预定面部表情或姿势生成，并且第一对象620的背景622可包括附加对象623。动画效果可被应用于第一对象620的化身621或背景622。例如，背景622的附加对象623可包括向左和向右移动的效果。化身角色可以是静止图像或运动图像。当化身角色是运动图像时，对象的化身的面部表情、化身的姿势、背景、和附加对象中的至少一个可移动。
图7示出了根据本公开的各种实施例的由电子设备使用化身角色编辑照片。
参考图7，电子设备101可在照片编辑屏幕710上的第一位置711中显示化身角色的所选择的对象。电子设备101可根据用户输入将对象从第一位置711移动到另一位置。电子设备101可显示照片编辑屏幕720，其中在照片编辑屏幕720上，对象已经移动到第二位置721。电子设备101可根据用户输入改变对象的大小或方向。电子设备101可显示包括对象731的照片编辑屏幕730，其中在照片编辑屏幕730中，对象731的大小或方向改变。
图8示出了根据本公开的各种实施例的电子设备通过消息发送化身角色的所选择的对象。
参考图8，电子设备101可通过键盘应用提供使用3D化身而生成的化身角色。电子设备101可通过消息传输应用来提供包括在键盘应用中的化身角色。例如，电子设备101可提供屏幕区域810，其中在屏幕区域810中运行用于发送消息的应用。屏幕区域810可包括用于显示该消息的内容的第一区域811、用于显示用于写入消息的项目列表的第二区域812以及用于选择要输入到消息中的项目的第三区域813。输入到消息中的项目可包括文本输入项目、照片输入项目、文件附件项目、语音输入项目、位置传输项目或化身角色输入项目。
电子设备101可提供包括至少一个对象的第二图像作为化身角色，在所述至少一个对象中，使用3D化身来反映预定面部表情或动作，其中该3D化身根据包括在通过相机(例如，图1的相机模块180)获得的第一图像中的外部对象来生成。化身角色输入项目可被包括在用于输入到消息中的项目中。电子设备101可显示包括化身角色输入项目814的第二区域812。电子设备101可响应于对所显示的项目列表中的化身角色输入项目814的选择，在第三区域中提供化身角色。
电子设备101可在第一区域822中显示包括在从屏幕区域820中的一个或多个化身角色中选择的第一化身角色821中的一个或多个对象，其中在屏幕区域820中运行用于发送消息的应用。电子设备101可以列表形式提供一个或多个化身角色。包括在第一化身角色821中的一个或多个对象可包括不同的面部表情或动作。例如，第一对象823可包括微笑。
响应于在屏幕区域830中显示的一个或多个对象中选择第一对象831，电子设备101可在用于显示消息的内容第一区域835中显示第一对象831的预览832和发送按钮，其中在屏幕区域830中运行用于发送该消息的应用。当第一对象831是运动图像时，电子设备101可播放第一对象831并提供预览832。响应于点击发送按钮833，电子设备101可通过该消息发送所选择的第一对象831。电子设备101可在用于显示消息的内容的第一区域841中显示和提供屏幕区域840中的化身角色的所选择的第一对象842，其中在屏幕区域840中运行用于感测消息的应用。
图9示出了根据本公开的各种实施例的由电子设备编辑联系人以包括化身角色。
参考图9，电子设备101可在用于存储和管理联系人的应用运行屏幕区域910中显示照片项目911和姓名项目912。电子设备101可显示从包括在联系人的照片项目911中的化身角色中的一个或多个对象中选择的对象。根据各种实施例，电子设备101可响应于接收到呼叫而向显示器(例如，图1的显示设备160)提供联系人的照片项目和姓名项目，并且显示存储在联系人的照片项目中的对象。
图10示出了根据本公开的各种实施例的由电子设备基于包括动物头部的2D图像所生成的3D化身。
参考图10，当外部对象是动物时，电子设备101可使用与动物相对应的3D模板来生成3D化身。电子设备101可获得包括老鼠的头部的2D图像1001。电子设备101可从包括老鼠的头部的2D图像1001中检测头部相关的属性，或者可将2D图像1001发送到外部电子设备或服务器，并且外部电子设备或服务器可检测头部相关的属性。电子设备101、外部电子设备或服务器可基于头部相关的属性来确定与老鼠头部属性相对应的3D模板1002。电子设备101可从外部电子设备或服务器接收3D模板1002。电子设备101可通过将从2D图像1001提取的老鼠的头部相关的属性应用于3D模板1002来生成3D化身1003。例如，老鼠的头部相关的属性可包括头部的元素(眼睛、眉毛、颧骨、嘴唇、牙齿、脸颊、下巴、前额、头发、胡子(胡须)、耳朵、后脑勺和太阳穴区域)的形状、颜色、元素之间的相对位置、以及元素之间的相对大小比率中的至少一个。为了从2D图像1001中提取与动物的头部相对应的外部对象，电子设备101可使用通过分析和确定动物的头部的特性而生成的信息。
图11示出了根据本公开的各种实施例的由电子设备基于包括角色的2D图像所生成的3D化身。
参考图11，当外部对象是角色时，电子设备101可使用与该角色相对应的3D模板来生成3D化身。电子设备101可从外部电子设备或服务器接收与该角色相对应的3D模板。电子设备101可获得包括角色的2D图像1101。例如，角色可包括卡通角色、动物角色、植物角色、特定人的角色、事物的角色、以及电影英雄角色中的至少一个。电子设备101可确定与角色相对应的3D模板1102。电子设备101可通过将与从2D图像1101提取的角色相关的属性应用于3D模板1102来生成3D化身1103。例如，与角色相关的属性可包括角色的元素(头部、手臂、腿和身体)的形状、颜色、元素之间的相对位置、元素之间的相对大小、以及可应用于元素的配件(发带、包、眼镜和物品)中的一个或多个。
图12示出了根据本公开的各种实施例的由电子设备基于包括配件的2D图像所生成的3D化身。
参考图12，电子设备101可获得包括电源插座的2D图像1210。电子设备101可通过面部特征提取算法从电源插座提取与和面部相关的属性相对应的配置。根据各种实施例，电子设备101可根据用户输入从2D图像1210指定与面部相关的属性。电子设备101可根据用户输入在2D图像1220中将电源插座的第一配置1201指定为面部形式，将电源插座的第二配置1202指定为眼睛，并且将电源插座的第三配置1203指定为嘴巴。电子设备101可指定3D模板1230以生成与电源插座相对应的3D化身。电子设备101可在一个或多个3D模板中选择类似于电源插座的3D模板，或者可使用预定3D模板。电子设备101可通过将与配置1201、1202和1203相关联的面部相关属性值应用于针对2D图像1210的3D模板1230来生成3D化身。电子设备101可通过3D化身反映与预定面部表情相关的表情属性来生成一个或多个对象1241、1242和1243。电子设备101可提供包括一个或多个对象的2D图像1240。
图13和图14示出了根据本公开的各种实施例的与面部相关的表情属性。
电子设备(例如，图1的电子设备101或处理器120)可至少使用与面部相关的表情属性来不同地改变3D化身的面部表情。与面部相关的表情属性可根据情形来分类，并且可根据包括在面部中的元素来定义。
参考图13，情形可包括正常、微笑1和微笑2，与眼睛相对应的表情属性可由形状定义，并且与嘴巴相对应的表情属性可由形状定义。在正常情形下，电子设备101可不指定眼睛的属性，但是可将嘴巴的属性值指定为向上倒圆的半圆形。电子设备101可直接应用从2D图像提取的眼睛的属性值，并且可根据表情属性将从2D图像提取的嘴巴的属性值改变为半圆形，以及应用改变的值，以便在正常情形下生成3D化身。电子设备101可对类似的情形进行分类并将类似的情形指定为一种情形。
参考图12和图13，图12的电源插座指示与图13中正常情形相对应的面部表情。根据实施例，电子设备101可从包括通过相机模块180接收到的面部对象的图像中检测面部元素的属性，确定与检测到的面部元素的属性相对应的表情属性，并且根据确定的表情属性改变3D化身。因此，电子设备101可从实时接收到的面部图像中检测变化，根据其改变3D化身1230，并且根据其改变一个或多个对象1241、1242和1243。
参考图14，电子设备101可将一般情形、默认情形和待命情形归为一种情形，并且将与眼睛相对应的表情属性定义为表情属性集1和表情属性集2。图14示出了与眼睛相关的多个表情属性集，并且尽管未示出，但其他元素(例如，鼻子、嘴巴和耳朵)中的每一个可具有多个表情属性集。根据实施例，不同元素的表情属性集之间可具有相关性。例如，眼睛的表情属性集1和嘴巴的表情属性集1之间可具有相关性，并且眼睛的表情属性集2和嘴巴的表情属性集2之间可具有相关性。例如，一个属性组可包括之间具有相关性的表情属性集。例如，在化身角色1的情况下，与其相对应的属性组1可包括之间具有相关性的眼睛的表情属性集1和嘴巴的表情属性集1。
图15示出了根据本公开的各种实施例的由电子设备使用各种3D模板所生成的3D化身。
参考图15，电子设备101可基于包括外部对象的2D图像生成3D化身。电子设备101可确定包括在2D图像1510中的外部对象是否包括面部，并且当包括面部时，可提取该面部。电子设备101可从外部对象提取包括耳朵、眼睛和嘴巴的面部区域1520。电子设备101可选择面部区域1520中应用了表情属性的目标1530。例如，电子设备101可通过显示器(例如，图1的显示设备160)提供提取的面部区域1520，并且根据用户输入为显示的面部区域1520中的目标1530选择眼睛。电子设备101可确定用于创建3D化身的3D模板1540。电子设备101可选择与和2D图像1510的面部相对应的外部对象不同的3D模板1540。例如，电子设备101可根据用户输入来确定与3D化身相对应的3D模板。当3D模板1540不包括与面部相对应的配置时，电子设备101可选择3D模板1540的匹配区域，以便将从2D图像1510提取的外部对象的面部应用于3D模板1540。电子设备101可确定将外部对象的面部区域1520与3D模板1550的第一位置1551相匹配。此时，电子设备101还可包括用于显示3D模板1550的候选区域以及用于选择候选区域的操作，其中外部对象的面部区域1520可与该候选区域相匹配。例如，候选区域还可包括用于确定外部对象的面部区域1520可被设置在3D模板1550上的条件(例如，模板大小和形状)是否被满足的操作。根据实施例，3D模板1550的形状可基于外部对象的面部区域1520来改变以与面部区域1520匹配。例如，电子设备101可确定根据面部区域1520中的一些(例如，耳朵)而改变的另一3D模板(未示出)，其中面部区域1520不与3D模板1540的第一位置1551匹配或者具有高相似度。
电子设备101可将面部区域1520的属性值应用于3D模板1540的第一位置1551。电子设备101可显示通过将外部对象1510的属性应用于3D模板1540而生成的3D图形对象1560。电子设备101可将预定表情属性应用于从3D图形对象1560中选择的目标，以应用表情属性。电子设备101可通过将微笑表情属性应用于从3D图形对象1560中选择的眼睛1571来生成3D化身1570。根据实施例，当选择在3D图形对象1560中应用了表情属性的目标并选择表情属性时，电子设备101可从另外通过相机模块180接收到的面部图像(例如，人、动物或角色的面部)检测面部元素的属性，并基于该检测(例如，属性改变检测)来确定一个或多个目标(例如，外部3D图形对象1560的元素(例如，眼睛1571))和与该目标相对应的表情属性，以生成3D化身1570。
图16和图17示出了根据本公开的各种实施例的与由电子设备基于2D图像所生成的3D图形对象相关的属性。
参考图16，电子设备101可生成可应用于3D图形对象的图形属性。特别地，电子设备101可获得包括可应用于3D图形对象的配件的2D图像1601。电子设备101可基于通过相机(例如，图1的相机模块180)获得的2D图像来生成可应用于3D图形对象的一个或多个属性。可应用于3D图形对象的一个或多个属性可包括例如性别、种族、年龄、吸引力、面部表情、头发颜色、部位、头发长度、颧骨、脸型、肤色、眼睛位置、眼睛大小、眉毛长度、眉毛形状、眉毛大小、鼻子长度、鼻子位置、鼻子形状、嘴唇形状、嘴唇颜色、嘴唇长度、帽子、眼镜、耳环、项链、口红颜色、和领带形状中的至少一个。电子设备101可通过显示器(例如，图1的显示设备160)，来提供用于描述生成可应用于3D图形对象的一个或多个属性的操作的引导信息。例如，电子设备101可通过显示设备160提供可应用于3D图形对象的一个或多个属性的列表。电子设备101可通过显示设备160提供相机拍摄的引导信息，以便生成由用户输入选择的属性。例如，电子设备101可提供诸如“在屏幕中央拍摄眼镜”的引导信息，以便生成眼镜属性。电子设备101可通过相机模块180获得包括眼镜的2D图像1601。电子设备101可确定与从2D图像1601中提取的眼镜相对应的3D模板1602。电子设备101可从外部电子设备或服务器请求或接收与从2D图像1601提取的事物相关的至少一个模板，以便确定与从2D图像1601提取的事物相对应的3D模板。例如，电子设备101可搜索事物的名称并获得3D模板。电子设备101可提取与从2D图像提取的眼镜相关的属性1601，并将提取的眼镜的属性值应用于3D模板1602以生成图形属性1603。电子设备101可在图形属性列表区域中显示生成的图形属性1603。电子设备101可将生成的图形属性1603应用于3D图形对象1604，并显示3D图形对象1604，以便向用户提供预览。电子设备101可提供改变或删除生成的图形属性1603的功能。电子设备101可通过相机模块180获得另一个2D图像，以便改变生成的图形属性1603。电子设备101可改变与眼镜相对应的3D模板1602，以便改变生成的图形属性1603。
参考图17，电子设备101可获得包括可应用于3D图形对象的属性的2D图像1701。电子设备101可从2D图像1701中提取属性。可应用于3D图形对象的属性可包括颜色、图案或形状。例如，属性可以是红色的格子图案。电子设备101可选择应用了从2D图像1701提取的属性的3D模板1702。电子设备101可选择与上衣相对应的3D模板1702，并将提取的属性应用于选择的3D模板1702，以生成图形属性1703。电子设备101可通过显示设备160提供生成的图形属性1703，并且当选择图形属性1703时，可将图形属性1703应用于3D图形对象1704并显示3D图形对象1704。
图18示出了根据本公开的各种实施例的由电子设备基于包括与面部相对应的外部对象和附加对象的2D图像所生成的3D化身。
参考图18，电子设备101可提取包括在2D图像1810中的一个或多个外部对象1811、1812和1813。电子设备101可确定一个或多个提取的外部对象1811、1812和1813是否对应于面部。例如，电子设备101可确定第一外部对象1811和第二外部对象1812对应于人脸，并且确定第三外部对象1813不对应于人脸。电子设备101可生成包括不与面部相对应的外部对象的3D化身。电子设备101可确定一个或多个外部对象是否被包括在预定附加对象中。附加对象指示不与面部相对应但可被包括在3D化身中的对象，并且可以是例如地标、角色或用户指定的对象。当包括在2D图像中的一个或多个外部对象与地标、角色或由用户指定的对象相对应时，电子设备101可生成包括该外部对象的3D化身。
参考图18，2D图像1810可包括两个人和埃菲尔铁塔。电子设备101可确定埃菲尔铁塔是附加对象，并且生成包括埃菲尔铁塔的3D化身。电子设备101可生成包括与面部相对应的第一外部对象1811、与面部相对应的第二外部对象1812和与埃菲尔铁塔相对应的第三外部对象1813的3D化身1820。电子设备101可基于第一外部对象1811、第二外部对象1812和第三外部对象1813生成每个3D图形对象，并且确定可应用于3D图形对象的图形属性以生成3D化身1820。电子设备101可通过将化身的面部表情、化身的姿势、背景和动画效果应用于第一外部对象1811、第二外部对象1812和第三外部对象1813中的至少一个来生成3D化身1820。例如，电子设备101可将惊讶的表情应用于第一外部对象1811，将用手指比心的身体姿势应用于第二外部对象1812，或者控制第三外部对象1813的大小。
图19A和图19B示出了根据本公开的各种实施例的由电子设备生成包括多个3D化身的图像的操作，并且图20示出了根据本公开的各种实施例的3D化身的表情属性。
参考图19A，电子设备101可基于包括多个外部对象的2D图像来选择与面部相对应的一个或多个外部对象，并且生成与所选择的外部对象相对应的3D化身。具体地，电子设备101可获得包括三个人脸的2D图像1910。电子设备101可从2D图像1910中提取一个或多个外部对象，并确定提取的外部对象是否对应于面部。电子设备101可显示指示与2D图像1920中提取的面部相对应的外部对象1911、1912和1913的标识符(例如，虚线正方形)。电子设备101可顺序地为与面部相对应的第一外部对象1911、第二外部对象1912和第三外部对象1913生成3D化身。电子设备101可使用一个或多个3D化身来生成与多个外部对象相对应的多个3D化身。电子设备101可通过显示设备160提供一个或多个3D化身，以便选择与外部对象相对应的3D化身，并且确定根据用户输入选择的3D化身对应于外部对象。响应于通过输入设备150接收到的用户输入在多个外部对象中对第一外部对象1931的选择，电子设备101可在2D图像1930中显示指示所选择的第一外部对象1931的标识符(例如，圆圈)。电子设备101可显示可对应于所选择的第一外部对象1931的一个或多个3D化身1935。根据类别，一个或多个3D化身1935可包括与动物相关的动物3D集19341和与女英雄相关的女性集19352。一个类别可包括相互关联的角色的表情属性集，并且每个角色的表情属性集可包括与角色的元素(例如，身体、眼睛、鼻子、嘴巴、手或脚)中的每一个的条件相对应的表情属性子集(例如，表情属性集(眼睛))。
电子设备101可从一个或多个3D化身中选择与第一外部对象1941相对应的第一3D化身1942，并且在2D图像1940中显示所选择的第一3D化身1942。电子设备101可基于与第一外部对象1911的面部和身体姿势相关的属性中的一个或多个，生成反映与面部和身体姿势的一个或多个条件相对应的面部表情的第一3D化身。
参考图20，一个或多个3D化身1920可包括根据预定情形的、与面部表情相关的预定表情属性。电子设备101可定义一个或多个情形，并根据情形定义与3D化身的面部表情相关的表情属性。3D化身的表情属性可包括与面部相对应的眼睛、鼻子或嘴巴的形状和运动，并且还包括与除面部之外的元素相对应的头部、耳朵、手臂、腿或腹部的形状和运动。例如，电子设备101可定义一般情形2011，并为一个或多个化身定义表情属性2021和2031。
参考图19B，电子设备101可根据第一外部对象1941的微笑来反映微笑属性，以生成第一3D化身。为了根据对与2D图像1950中的第一外部对象1951相对应的第一3D化身1952的选择来生成与其他外部对象相对应的3D化身，电子设备101可推荐属于与第一3D化身1952相同类别的3D化身1955。例如，当第一3D化身1952属于与动物相关的类别时，电子设备101可显示包括动物3D集的3D化身1955。
电子设备101可选择与在2D图像1960中选择的第二外部对象1961相对应的第二3D化身1962，并且顺序选择与在2D图像1970中选择的第三外部对象1971相对应的第三3D化身1972。电子设备101可生成包括3D化身1981、1982和1983的图像1980，其中3D化身1981、1982和1983是通过将基于与多个外部对象的面部相关的属性所选择的面部表情属性应用于根据多个外部对象1951、1961和1971所选择的多个3D化身1952、1962和1972而生成的。
根据各种实施例，当存在多个外部对象时，电子设备101可根据所选择的外部对象的面部表情属性和所选择的化身类别来确定针对其他所选择的外部对象推荐和显示的3D化身1955。例如，当第一个人在微笑而第二个人在哭泣并且当选择了与第三个人相对应的外部对象时，推荐的3D化身1955的表情特性可包括与属于相同类别的角色中的微笑或哭泣相对应的3D化身。
图21A、21B、21C、21D和21E示出了根据本公开的各种实施例的电子设备与视频通话对方的电子设备共享3D化身的操作。
在图21A、21B、21C、21D和21E中，电子设备101可提供视频通话功能，并且根据与视频通话屏幕上显示的外部对象中的面部相对应的外部对象来生成3D化身。电子设备101可与进行视频通话的对方的电子设备共享3D化身。
参考图21A，电子设备101可运行视频通话功能，并且当视频通话接通时，可显示视频通话屏幕2101。电子设备101可从显示的视频通话屏幕2101提取一个或多个外部对象2110和2120，并确定提取的外部对象是否对应于面部。电子设备101可顺序地生成与第一外部对象2110和第二外部对象2120相对应的3D化身。
参考图21B，电子设备101可响应于对第二外部对象2120的选择来显示一个或多个3D化身2130。
参考图21C，电子设备101可确定根据用户输入选择的第一3D化身2131对应于第二外部对象2120。
参考图21D，响应于对第一外部对象2110的选择，电子设备101可显示基于第一3D化身所选择的一个或多个3D化身2140。
电子设备101可确定从一个或多个3D化身2140中选择的第二3D化身2132对应于第一外部对象2110。根据实施例，响应于对第一外部对象2110的选择，电子设备101可向对方的电子设备发送基于第一3D化身选择的一个或多个3D化身2140。对方的电子设备可执行以下操作：从电子设备101接收基于第一3D化身而选择的一个或多个3D化身2140，在视频通话屏幕2210中显示3D化身2140，并从中选择一个化身(例如，第二3D化身2132)。电子设备101可接收与由对方的电子设备选择的第二3D化身2132相对应的信号。
根据实施例，基于根据所选择的第二外部对象2120而选择的第一3D化身2131的类别或面部表情属性，电子设备101可根据此后选择的第一外部对象2110确定并显示相同类别或面部属性中的3D化身2130。
参考图21E，电子设备101可在视频通话屏幕上显示并提供与外部对象相对应的3D化身2111和2121。
图22示出了根据本公开的各种实施例的电子设备与视频通话对方的电子设备共享3D化身的操作。
参考图22，当电子设备101与对方的电子设备进行视频通话时，电子设备101可在电子设备101的视频通话屏幕2210上显示与用户相对应的外部对象2211和与对方相对应的外部对象2212，并且在对方的电子设备的视频通话屏幕2220上显示与对方相对应的外部对象2221和与用户相对应的外部对象2222。此时，对方的电子设备也可执行选择外部对象或者显示并选择与外部对象相对应的3D化身的操作。电子设备101可将针对外部对象显示的指示符和3D化身发送到对方的电子设备。
参考图22，电子设备101可生成与外部对象2211和外部对象2212相对应的3D化身，外部对象2211与用户相对应，并且外部对象2212与对方相对应。电子设备101可在视频通话屏幕2230上显示生成的3D化身2231和2232，并将3D化身2231和2231发送到对方的电子设备。对方的电子设备可在视频通话屏幕2240上显示接收到的3D化身2241和2242。根据各种实施例的电子设备(例如，图1的电子设备101)可包括相机(例如，图1的相机模块180)；显示器(例如，图1的显示设备160)；和处理器(例如，图1的处理器120)，其中处理器120可通过相机模块180获得一个或多个外部对象的第一图像，通过显示设备160提供基于与包括在第一图像中的一个或多个外部对象中与面部相对应的外部对象相关的属性而生成的3D图形对象，至少基于从可应用于3D图形对象的多个图形属性中选择的至少一个图形属性和该3D图形对象，生成外部对象的3D化身，并且使用该3D化身生成包括反映预定面部表情或动作的至少一个对象的第二图像。根据实施例，处理器120可确定包括与外部对象相对应的至少一个属性的3D模板，从第一图像提取与外部对象相关的属性，并且通过将提取的属性应用于与3D模板相对应的至少一个属性来生成3D图形对象。根据实施例，处理器120可从第一图像中提取面部的至少一个元素，并且识别每个元素的形状、颜色、元素之间的相对位置、元素之间的相对大小比率或者每个元素的配件的属性值。根据实施例，关于与提取的属性无关的3D模板的属性，处理器120可通过将预定属性应用于3D模板来生成3D图形对象。根据实施例，处理器120可确定不同于与面部相对应的外部对象的3D模板。根据实施例，可根据化身的面部表情、化身的姿势、背景或动画效果来确定对象，并且处理器120可使用3D化身生成反映化身的面部表情、化身的姿势、背景和动画效果中的至少一个的预定值的至少一个对象。根据实施例，关于一个或多个外部对象中的第一外部对象，处理器120可使与面部相对应的至少一个配置对应于第一外部对象的配置。根据实施例，处理器120可基于一个或多个外部对象中满足预定条件的第一外部对象来生成图形属性。根据实施例，处理器120可根据用户输入来确定与第一外部对象相对应的3D模板或预定3D模板，并将第一外部对象的属性应用于所确定的3D模板以生成图形属性。根据实施例，处理器120可从一个或多个外部对象中选择不与面部相对应的附加对象，并且添加所选择的附加对象以生成3D化身。根据实施例，处理器120可将生成的第二图像发送到外部电子设备。根据实施例，第一图像可以是2D图像，并且第二图像可以是2D静止图像或2D运动图像。
根据各种实施例的电子设备(例如，图1的电子设备101)可包括：相机(例如，图1的相机模块180)；以及处理器(例如，图1的处理器120)，其中处理器120可通过相机模块180获得一个或多个外部对象的第一图像，基于包括在第一图像中的一个或多个外部对象中与面部相对应的外部对象，在一个或多个3D化身中选择与该外部对象相对应的3D化身，并且生成包括使用反映与外部对象的面部相对应的面部表情的3D化身所生成的对象的第二图像。根据实施例，电子设备还可包括通信模块(例如，图1的通信模块190)，并且处理器120可通过通信模块190接收一个或多个3D化身。根据实施例，处理器120可在3D化身中反映第一表情属性，其中第一表情属性是在与和一个或多个情形相对应的预定面部的面部表情相关的表情属性中、基于与外部对象的面部相对应的面部表情所选择的。根据实施例，与和一个或多个情形相对应的预定面部的面部表情相关的表情属性可根据眼睛、鼻子或嘴巴来定义。根据实施例，对象可包括化身的面部表情、化身的姿势、背景或动画效果。
根据各种实施例的电子设备(例如，图1的电子设备101)可包括：相机(例如，图1的相机模块180)；以及处理器(例如，图1的处理器120)，其中处理器120可被配置为通过相机模块180获得一个或多个外部对象的第一图像，识别在包括在第一图像中的一个或多个外部对象中是否存在与面部相对应的外部对象，当存在与面部相对应的外部对象时，基于与外部对象相关的属性生成3D化身，并且当不存在与面部相对应的外部对象时，阻止3D化身的生成。根据实施例，电子设备还可包括显示器(例如，图1的显示设备160)，并且处理器120可通过显示设备160提供关于一个或多个外部对象中是否存在与面部相对应的外部对象的信息。
尽管已经参考本发明的各种实施例示出和描述了本发明，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同物限定的本发明的精神和范围的情况下，可在形式和细节上做出各种改变。

Claims (15)

1.一种电子设备，包括：
相机；
显示器；和
处理器，被配置为：
通过使用所述相机来获得包括一个或多个外部对象的第一图像，
使用所述显示器来显示，以输出基于与所述一个或多个外部对象中的面部相关的属性而生成的三维3D对象，
基于能应用于所述3D对象的多个图形属性中的至少一个图形属性，生成所述面部的3D化身，以及
使用所述3D化身来生成包括反映预定面部表情或动作的至少一个对象的第二图像。
2.根据权利要求1所述的电子设备，其中，所述处理器还被配置为：
确定3D模板，所述3D模板包括与所述面部相对应的至少一个属性，
从所述第一图像中提取与所述面部相关的属性，以及
通过将所述属性应用于所述3D模板来生成所述3D对象。
3.根据权利要求2所述的电子设备，其中，所述处理器还被配置为：
从所述第一图像中提取所述面部的一个或多个元素，以及
识别所述一个或多个元素中的每一个的形状、颜色、所述一个或多个元素中的每一个之间的相对位置、所述一个或多个元素中的每一个之间的相对大小比率、或者所述一个或多个元素中的每一个的配件的属性值。
4.根据权利要求2所述的电子设备，其中，所述处理器还被配置为通过将预定属性应用于所述3D模板来生成所述3D对象。
5.根据权利要求2所述的电子设备，其中，所述处理器还被配置为确定不同于所述面部的3D模板。
6.根据权利要求1所述的电子设备，
其中，所述3D对象包括化身的面部表情、所述化身的姿势、背景或动画效果，并且
其中，所述处理器还被配置为使用所述3D化身生成反映所述化身的面部表情、所述化身的姿势、所述背景、和所述动画效果中的至少一个的预定值的至少一个对象。
7.根据权利要求1所述的电子设备，其中，所述处理器还被配置为：
根据用户输入来生成包括与不同面部表情相对应的多个3D化身的至少一个配置。
8.根据权利要求1所述的电子设备，其中，所述处理器还被配置为基于所述一个或多个外部对象中满足预定条件的第一外部对象来生成图形属性。
9.根据权利要求8所述的电子设备，其中，所述处理器还被配置为：
确定与所述第一外部对象相对应的3D模板或者接收对于所述3D模板的用户输入，以及
将所述第一外部对象的属性应用于所述3D模板以生成所述图形属性。
10.根据权利要求1所述的电子设备，其中，所述处理器还被配置为：
从所述一个或多个外部对象中选择不对应于所述面部的附加对象，以及
将所述附加对象添加到所述3D化身。
11.根据权利要求1所述的电子设备，其中，所述处理器还被配置为将所述第二图像发送到外部电子设备。
12.一种电子设备，包括：
相机；和
处理器，被配置为：
使用所述相机获得包括一个或多个外部对象的第一图像，
识别包括在所述一个或多个外部对象中的面部，
基于所述面部，在一个或多个三维3D化身中选择3D化身，
使用反映与所述面部相对应的面部表情的所述3D化身来生成3D对象，以及
生成包括所述3D对象的第二图像。
13.根据权利要求12所述的电子设备，还包括：
收发器，
其中，所述处理器还被配置为使用所述收发器接收所述一个或多个3D化身。
14.根据权利要求12所述的电子设备，其中，所述处理器还被配置为：
接收用以从与不同面部表情相关的表情属性中选择第一表情属性的用户输入，以及
配置所述3D化身以基于所述第一表情属性显示面部表情。
15.一种电子设备，包括：
相机；和
处理器，被配置为：
通过使用所述相机来获得包括一个或多个外部对象的第一图像，
确定面部是否被包括在所述一个或多个外部对象中，
当所述面部被包括在所述一个或多个外部对象中时，基于与所述面部相对应的属性来生成三维3D化身，以及
当所述面部未被包括在所述一个或多个外部对象中时，阻止3D化身的生成。
CN201980014673.3A 2018-02-23 2019-02-20 用于生成包括通过与面部相对应的3d化身反映面部运动的3d化身的图像的电子设备及操作其的方法 Pending CN111742351A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2018-0022262 2018-02-23
KR1020180022262A KR102661019B1 (ko) 2018-02-23 2018-02-23 얼굴에 대응하는 3차원 아바타를 이용하여 얼굴의 움직임이 반영된 3차원 아바타를 포함하는 이미지를 생성하는 전자 장치 및 그 동작 방법
PCT/KR2019/002075 WO2019164266A1 (en) 2018-02-23 2019-02-20 Electronic device for generating image including 3d avatar reflecting face motion through 3d avatar corresponding to face and method of operating same

Publications (1)

Publication Number Publication Date
CN111742351A true CN111742351A (zh) 2020-10-02

Family

ID=65576184

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980014673.3A Pending CN111742351A (zh) 2018-02-23 2019-02-20 用于生成包括通过与面部相对应的3d化身反映面部运动的3d化身的图像的电子设备及操作其的方法

Country Status (6)

Country Link
US (3) US10977873B2 (zh)
EP (2) EP4109408A1 (zh)
JP (2) JP2019145108A (zh)
KR (2) KR102661019B1 (zh)
CN (1) CN111742351A (zh)
WO (1) WO2019164266A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095092A (zh) * 2023-09-01 2023-11-21 安徽圣紫技术有限公司 一种用于视觉艺术的动画制作***和方法

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8584031B2 (en) 2008-11-19 2013-11-12 Apple Inc. Portable touch screen device, method, and graphical user interface for using emoji characters
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
US9940637B2 (en) 2015-06-05 2018-04-10 Apple Inc. User interface for loyalty accounts and private label accounts
US10445425B2 (en) 2015-09-15 2019-10-15 Apple Inc. Emoji and canned responses
US11580608B2 (en) 2016-06-12 2023-02-14 Apple Inc. Managing contact information for communication applications
US10009536B2 (en) 2016-06-12 2018-06-26 Apple Inc. Applying a simulated optical effect based on data received from multiple camera sensors
DK179867B1 (en) 2017-05-16 2019-08-06 Apple Inc. RECORDING AND SENDING EMOJI
KR102439054B1 (ko) 2017-05-16 2022-09-02 애플 인크. 이모지 레코딩 및 전송
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
KR102661019B1 (ko) 2018-02-23 2024-04-26 삼성전자주식회사 얼굴에 대응하는 3차원 아바타를 이용하여 얼굴의 움직임이 반영된 3차원 아바타를 포함하는 이미지를 생성하는 전자 장치 및 그 동작 방법
WO2019198850A1 (ko) * 2018-04-13 2019-10-17 라인플러스 주식회사 사람의 얼굴을 이용한 동물 형상의 아바타를 생성하는 방법 및 시스템
CN112041891A (zh) * 2018-04-18 2020-12-04 斯纳普公司 增强表情***
US10607065B2 (en) * 2018-05-03 2020-03-31 Adobe Inc. Generation of parameterized avatars
JP7073238B2 (ja) * 2018-05-07 2022-05-23 アップル インコーポレイテッド クリエイティブカメラ
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
DK201870374A1 (en) 2018-05-07 2019-12-04 Apple Inc. AVATAR CREATION USER INTERFACE
US12033296B2 (en) 2018-05-07 2024-07-09 Apple Inc. Avatar creation user interface
CN115086736A (zh) 2018-05-08 2022-09-20 日本聚逸株式会社 动态图像分发***及其方法和记录介质
KR102481333B1 (ko) * 2018-05-08 2022-12-23 그리 가부시키가이샤 액터의 움직임에 기초하여 생성되는 캐릭터 오브젝트의 애니메이션을 포함하는 동화상을 배신하는 동화상 배신 시스템, 동화상 배신 방법 및 동화상 배신 프로그램
US11128932B2 (en) 2018-05-09 2021-09-21 Gree, Inc. Video distribution system for live distributing video containing animation of character object generated based on motion of actors
US11044535B2 (en) 2018-08-28 2021-06-22 Gree, Inc. Video distribution system for live distributing video containing animation of character object generated based on motion of distributor user, distribution method, and storage medium storing video distribution program
CN109447895B (zh) * 2018-09-03 2021-06-08 腾讯科技（武汉）有限公司 图片生成方法和装置、存储介质及电子装置
US10645294B1 (en) 2019-05-06 2020-05-05 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US10817365B2 (en) 2018-11-09 2020-10-27 Adobe Inc. Anomaly detection for incremental application deployments
KR20200084395A (ko) * 2018-12-20 2020-07-13 삼성전자주식회사 영상에서 오브젝트를 인식하는 전자 장치 및 그 동작 방법
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
CN111514584B (zh) * 2019-02-01 2022-07-26 北京市商汤科技开发有限公司 游戏控制方法及装置、游戏终端及存储介质
KR20200101014A (ko) * 2019-02-19 2020-08-27 삼성전자주식회사 아바타 추천 및 다운로드를 지원하는 전자 장치
DK201970530A1 (en) 2019-05-06 2021-01-28 Apple Inc Avatar integration with multiple applications
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
JP7202981B2 (ja) * 2019-06-28 2023-01-12 グリー株式会社 動画配信システム、プログラム、及び情報処理方法
CN112784621B (zh) * 2019-10-22 2024-06-18 华为技术有限公司 图像显示方法及设备
CN110827378B (zh) * 2019-10-31 2023-06-09 北京字节跳动网络技术有限公司 虚拟形象的生成方法、装置、终端及存储介质
CN111144252B (zh) * 2019-12-17 2023-09-05 北京深测科技有限公司 一种用于人流分析的监控预警方法
US11138781B1 (en) * 2020-04-01 2021-10-05 International Business Machines Corporation Creation of photorealistic 3D avatars using deep neural networks
CN111541950B (zh) * 2020-05-07 2023-11-03 腾讯科技（深圳）有限公司 表情的生成方法、装置、电子设备及存储介质
US11921998B2 (en) * 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
DK202070625A1 (en) 2020-05-11 2022-01-04 Apple Inc User interfaces related to time
KR20210138240A (ko) * 2020-05-12 2021-11-19 라인플러스 주식회사 아바타용 아이템 생성 방법, 컴퓨터 프로그램 및 컴퓨팅 장치
CN111738934B (zh) * 2020-05-15 2024-04-02 西安工程大学 基于mtcnn的红眼自动修复方法
KR102180576B1 (ko) * 2020-05-18 2020-11-18 주식회사 일루니 사용자의 플레잉에 기초하여 재프로그래밍되는 인터랙티브 콘텐츠 제공 방법 및 장치
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
USD947243S1 (en) 2020-06-19 2022-03-29 Apple Inc. Display screen or portion thereof with graphical user interface
JP7234187B2 (ja) * 2020-06-29 2023-03-07 グリー株式会社 情報処理プログラム、情報処理方法、情報処理装置
USD956068S1 (en) * 2020-09-14 2022-06-28 Apple Inc. Display screen or portion thereof with graphical user interface
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
CN112541963B (zh) 2020-11-09 2023-12-26 北京百度网讯科技有限公司 三维虚拟形象生成方法、装置、电子设备和存储介质
US11663764B2 (en) * 2021-01-27 2023-05-30 Spree3D Corporation Automatic creation of a photorealistic customized animated garmented avatar
EP4216167A4 (en) * 2021-01-13 2024-05-01 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND METHOD FOR OPERATING AN AVATAR VIDEO SERVICE
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11714536B2 (en) 2021-05-21 2023-08-01 Apple Inc. Avatar sticker editor user interfaces
CN115469735A (zh) * 2021-05-28 2022-12-13 北京字节跳动网络技术有限公司 基于手势的交互方法、装置和客户端
US11836905B2 (en) 2021-06-03 2023-12-05 Spree3D Corporation Image reenactment with illumination disentanglement
US11769346B2 (en) 2021-06-03 2023-09-26 Spree3D Corporation Video reenactment with hair shape and motion transfer
US11854579B2 (en) 2021-06-03 2023-12-26 Spree3D Corporation Video reenactment taking into account temporal information
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen
CN114187392B (zh) * 2021-10-29 2024-04-19 北京百度网讯科技有限公司 虚拟偶像的生成方法、装置和电子设备
WO2023139961A1 (ja) * 2022-01-21 2023-07-27 株式会社Ｎｔｔドコモ 情報処理装置
KR20230173503A (ko) * 2022-06-17 2023-12-27 삼성전자주식회사 컨텍스트 정보에 기초하여 아바타를 제공하는 전자 장치 및 그 동작 방법
KR20240065355A (ko) * 2022-11-03 2024-05-14 삼성전자주식회사 미디어 콜 서비스를 수행하기 위한 방법 및 장치
WO2024137644A1 (en) * 2022-12-19 2024-06-27 Dragon Tree Partners LLC Embodied interface for face-to-face communication between humans and artificial intelligence agents
KR102606746B1 (ko) 2022-12-26 2023-11-29 주식회사 인터랙트 XR(extended reality) 컨텐츠를 이용한 훈련 시스템, 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120309520A1 (en) * 2011-06-06 2012-12-06 Microsoft Corporation Generation of avatar reflecting player appearance
WO2013097139A1 (en) * 2011-12-29 2013-07-04 Intel Corporation Communication using avatar
CN104170358A (zh) * 2012-04-09 2014-11-26 英特尔公司 用于化身管理和选择的***和方法
KR20170002100A (ko) * 2015-06-29 2017-01-06 김영자 감성 아바타 이모티콘 기반의 스마트 러닝 학습 제공 방법, 그리고 이를 구현하기 위한 스마트 러닝 학습 단말장치

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6735566B1 (en) * 1998-10-09 2004-05-11 Mitsubishi Electric Research Laboratories, Inc. Generating realistic facial animation from speech
US6504546B1 (en) * 2000-02-08 2003-01-07 At&T Corp. Method of modeling objects to synthesize three-dimensional, photo-realistic animations
US6807290B2 (en) * 2000-03-09 2004-10-19 Microsoft Corporation Rapid computer modeling of faces for animation
KR100372811B1 (ko) * 2000-12-19 2003-02-26 (주) 웹씨인터미디어 2차원 얼굴 정면 이미지를 이용한 3차원 얼굴 모델 생성방법
US8555164B2 (en) * 2001-11-27 2013-10-08 Ding Huang Method for customizing avatars and heightening online safety
US7027054B1 (en) * 2002-08-14 2006-04-11 Avaworks, Incorporated Do-it-yourself photo realistic talking head creation system and method
US6919892B1 (en) * 2002-08-14 2005-07-19 Avaworks, Incorporated Photo realistic talking head creation system and method
US6925438B2 (en) * 2002-10-08 2005-08-02 Motorola, Inc. Method and apparatus for providing an animated display with translated speech
JP3950802B2 (ja) 2003-01-31 2007-08-01 株式会社エヌ・ティ・ティ・ドコモ 顔情報送信システム、顔情報送信方法、顔情報送信プログラム、及びコンピュータ読取可能な記録媒体
JP2006520055A (ja) * 2003-03-06 2006-08-31 アニメトリックス，インク． ２次元画像からの３次元オブジェクトの不変視点検出および識別
US8488023B2 (en) * 2009-05-20 2013-07-16 DigitalOptics Corporation Europe Limited Identifying facial expressions in acquired digital images
KR101068941B1 (ko) 2005-01-13 2011-09-30 엘지전자 주식회사 이동 통신 단말기의 개인 캐릭터 서비스 방법 및 그 이동통신 단말기
JP2008263297A (ja) * 2007-04-10 2008-10-30 Ntt Docomo Inc 通信制御装置および通信端末
KR101362768B1 (ko) * 2007-11-23 2014-02-14 삼성전자주식회사 객체 검출 방법 및 장치
CN102016877B (zh) 2008-02-27 2014-12-10 索尼计算机娱乐美国有限责任公司 用于捕获场景的深度数据并且应用计算机动作的方法
JP5383668B2 (ja) * 2008-04-30 2014-01-08 株式会社アクロディア キャラクタ表示用データの生成装置および方法
US8553973B2 (en) * 2009-07-07 2013-10-08 University Of Basel Modeling methods and systems
JP5423379B2 (ja) * 2009-08-31 2014-02-19 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
TWI439960B (zh) * 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
US8814363B2 (en) * 2010-04-08 2014-08-26 Disney Enterprises, Inc. Trackable projection surfaces using hidden marker tracking
JP5659228B2 (ja) 2010-06-11 2015-01-28 株式会社アルトロン キャラクタ生成システム、キャラクタ生成方法及びプログラム
JP5632469B2 (ja) 2010-06-11 2014-11-26 株式会社アルトロン キャラクタ生成システム、キャラクタ生成方法及びプログラム
US8830226B2 (en) * 2010-09-28 2014-09-09 Apple Inc. Systems, methods, and computer-readable media for integrating a three-dimensional asset with a three-dimensional model
US8682041B2 (en) * 2011-01-28 2014-03-25 Honeywell International Inc. Rendering-based landmark localization from 3D range images
US8922553B1 (en) * 2011-04-19 2014-12-30 Disney Enterprises, Inc. Interactive region-based linear 3D face models
KR101558202B1 (ko) * 2011-05-23 2015-10-12 한국전자통신연구원 아바타를 이용한 애니메이션 생성 장치 및 방법
JP6018707B2 (ja) * 2012-06-21 2016-11-02 マイクロソフト コーポレーション デプスカメラを使用するアバター構築
KR102004287B1 (ko) * 2012-10-17 2019-07-26 에스케이플래닛 주식회사 이모티콘 생성 장치 및 이모티콘 생성 방법
US20150091815A1 (en) * 2013-10-01 2015-04-02 Avaya Inc. Method and Apparatus to Support Visually Impaired Users of Touchscreen Based User Interfaces
US9508197B2 (en) * 2013-11-01 2016-11-29 Microsoft Technology Licensing, Llc Generating an avatar from real time image data
JP6274599B2 (ja) * 2013-12-17 2018-02-07 カシオ計算機株式会社 画像表示装置、画像表示プログラム及び画像表示方法
DE102016110903A1 (de) * 2015-06-14 2016-12-15 Facense Ltd. Head-Mounted-Devices zur Messung physiologischer Reaktionen
KR20170112406A (ko) 2016-03-31 2017-10-12 한국전자통신연구원 증강 현실 아바타 사진 촬영 장치 및 방법
US10062198B2 (en) * 2016-06-23 2018-08-28 LoomAi, Inc. Systems and methods for generating computer ready animation models of a human head from captured data images
US10559111B2 (en) * 2016-06-23 2020-02-11 LoomAi, Inc. Systems and methods for generating computer ready animation models of a human head from captured data images
FR3053509B1 (fr) * 2016-06-30 2019-08-16 Fittingbox Procede d’occultation d’un objet dans une image ou une video et procede de realite augmentee associe
US20180047200A1 (en) * 2016-08-11 2018-02-15 Jibjab Media Inc. Combining user images and computer-generated illustrations to produce personalized animated digital avatars
WO2018089691A1 (en) * 2016-11-11 2018-05-17 Magic Leap, Inc. Periocular and audio synthesis of a full face image
KR102439054B1 (ko) 2017-05-16 2022-09-02 애플 인크. 이모지 레코딩 및 전송
KR102661019B1 (ko) * 2018-02-23 2024-04-26 삼성전자주식회사 얼굴에 대응하는 3차원 아바타를 이용하여 얼굴의 움직임이 반영된 3차원 아바타를 포함하는 이미지를 생성하는 전자 장치 및 그 동작 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120309520A1 (en) * 2011-06-06 2012-12-06 Microsoft Corporation Generation of avatar reflecting player appearance
WO2013097139A1 (en) * 2011-12-29 2013-07-04 Intel Corporation Communication using avatar
CN104170358A (zh) * 2012-04-09 2014-11-26 英特尔公司 用于化身管理和选择的***和方法
KR20170002100A (ko) * 2015-06-29 2017-01-06 김영자 감성 아바타 이모티콘 기반의 스마트 러닝 학습 제공 방법, 그리고 이를 구현하기 위한 스마트 러닝 학습 단말장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095092A (zh) * 2023-09-01 2023-11-21 安徽圣紫技术有限公司 一种用于视觉艺术的动画制作***和方法

Also Published As

Publication number Publication date
US20210192858A1 (en) 2021-06-24
WO2019164266A1 (en) 2019-08-29
KR102661019B1 (ko) 2024-04-26
EP4109408A1 (en) 2022-12-28
KR20240063071A (ko) 2024-05-09
US20230394775A1 (en) 2023-12-07
JP2019145108A (ja) 2019-08-29
JP2024028390A (ja) 2024-03-04
US20190266807A1 (en) 2019-08-29
US11798246B2 (en) 2023-10-24
US10977873B2 (en) 2021-04-13
EP3531377A1 (en) 2019-08-28
KR20190101835A (ko) 2019-09-02

Similar Documents

Publication Publication Date Title
US20210192858A1 (en) Electronic device for generating image including 3d avatar reflecting face motion through 3d avatar corresponding to face and method of operating same
KR102664688B1 (ko) 가상 캐릭터 기반 촬영 모드를 제공하는 전자 장치 및 이의 동작 방법
TWI751161B (zh) 終端設備、智慧型手機、基於臉部識別的認證方法和系統
KR102530264B1 (ko) 아바타에 대응하는 속성에 따른 아이템을 제공하는 방법 및 장치
US20200402304A1 (en) Electronic device and method for managing custom object on basis of avatar
US11733769B2 (en) Presenting avatars in three-dimensional environments
KR102491140B1 (ko) 가상 아바타 생성 방법 및 장치
CN111432267B (zh) 视频调整方法、装置、电子设备及存储介质
KR101944112B1 (ko) 사용자 저작 스티커를 생성하는 방법 및 장치, 사용자 저작 스티커 공유 시스템
CN113362263B (zh) 变换虚拟偶像的形象的方法、设备、介质及程序产品
CN113569614A (zh) 虚拟形象生成方法、装置、设备及存储介质
WO2022252866A1 (zh) 一种互动处理方法、装置、终端及介质
US11995750B2 (en) Electronic device and method of providing user interface for emoji editing while interworking with camera function by using said electronic device
WO2021242765A1 (en) Augmented reality content from third-party content
KR20210012724A (ko) 아바타를 제공하는 전자 장치 및 그의 동작 방법
KR20200092207A (ko) 전자 장치 및 이를 이용한 감정 정보에 대응하는 그래픽 오브젝트를 제공하는 방법
US20220300728A1 (en) True size eyewear experience in real time
US20230120037A1 (en) True size eyewear in real time
US12026816B2 (en) Method for providing avatar and electronic device supporting the same
CN116320721A (zh) 一种拍摄方法、装置、终端及存储介质
CN112446821B (zh) 一种图像处理方法、装置及电子设备
KR20230083743A (ko) 이미지를 제공하는 방법 및 이를 지원하는 전자 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination