CN107797959A - 处理脸部图像的***和方法以及用于使脸部图像动画化的*** - Google Patents
处理脸部图像的***和方法以及用于使脸部图像动画化的*** Download PDFInfo
- Publication number
- CN107797959A CN107797959A CN201710795707.XA CN201710795707A CN107797959A CN 107797959 A CN107797959 A CN 107797959A CN 201710795707 A CN201710795707 A CN 201710795707A CN 107797959 A CN107797959 A CN 107797959A
- Authority
- CN
- China
- Prior art keywords
- section
- face image
- sections
- handling
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000001815 facial effect Effects 0.000 title abstract description 14
- 230000008569 process Effects 0.000 claims description 17
- 239000003086 colorant Substances 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 claims description 10
- 230000008439 repair process Effects 0.000 claims description 8
- 238000012887 quadratic function Methods 0.000 claims description 4
- 238000012888 cubic function Methods 0.000 claims 2
- 241000406668 Loxodonta cyclotis Species 0.000 claims 1
- 230000006870 function Effects 0.000 description 68
- 230000008859 change Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 230000004927 fusion Effects 0.000 description 9
- 238000007620 mathematical function Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 210000001508 eye Anatomy 0.000 description 6
- 210000000887 face Anatomy 0.000 description 5
- 230000036651 mood Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 210000004709 eyebrow Anatomy 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000008451 emotion Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 206010040954 Skin wrinkling Diseases 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 208000003351 Melanosis Diseases 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000003679 aging effect Effects 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 231100000075 skin burn Toxicity 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/02—Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators
- G06F15/025—Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators adapted to a specific application
- G06F15/0291—Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators adapted to a specific application for reading, e.g. e-books
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
Abstract
一种用于处理脸部图像的***和方法，包括下述步骤：接收对象的脸部图像；将脸部图像分割为一个或多个区段，其中所述一个或多个区段的每一个与对象的一个或多个脸部特征关联；以及处理一个或多个区段。
Description
技术领域
本发明涉及处理脸部图像的***和方法，并且具体地但非限制性地涉及用于动画化脸部图像以说出自然语言的***。
背景技术
在书籍发明之前，信息通过口述(通常意指一代人向下一代人“说故事”的过程)来保存和传承。但是，随着印刷机和纸张的发明，纸质装订书成为并且依然是许多世纪以来用来传播文化的常用工具。
虽然印刷技术已经改变，但是仅在最近书籍才在传播文学作品方面存在竞争。在过去的十年里，通过利用便携式电子设备阅读的文学作品的数字版本的传播，电子书已开始吸引了许多读者。
在许多情况下，电子书通过向阅读器传递数字形式的打印材料来运作。但是，尽管计算机技术有所进步，这些阅读器仅处理为用于数字版本的文学内容的简单接口。这意味着自从书籍发明后，除了将文学内容数字化，传递文学内容的方法几乎没有任何改变。
发明内容
根据本发明的第一方面，提供了一种用于处理脸部图像的方法，包括下述步骤：
接收对象的脸部图像；
将脸部图像分割为一个或多个区段，其中一个或多个区段的每一个与对象的一个或多个脸部特征关联；以及
处理一个或多个区段。
在第一方面的一个实施例中，处理所述脸部图像以生成所述对象的已被处理脸部图像的步骤包括：基于与所述对象的音素发音关联的所述一个或多个区段的模拟位置来处理所述脸部图像的一个或多个区段。
在第一方面的一个实施例中，与所述对象的音素发音关联的所述一个或多个区段的模拟位置通过处理与所述音素关联的预定区段处理指令而确定。
在第一方面的一个实施例中，所述预定区段处理指令包括用于二次函数和三次函数的贝塞尔方法，所述贝塞尔方法被设置为应用于处理所述一个或多个区段的一个或多个点或曲线以生成与所述对象的音素发音关联的所述一个或多个区段的模拟位置。
在第一方面的一个实施例中，处理所述一个或多个区段的步骤还包括修补所述一个或多个区段的步骤。
在第一方面的一个实施例中，修补所述一个或多个区段的步骤包括基于所述区段的一个或多个边缘的颜色和亮度来渲染所述区段的区段颜色和亮度。
在第一方面的一个实施例中，所述区段颜色和亮度基于所述区段的一个或多个边缘的颜色和亮度的平均值确定。
在第一方面的一个实施例中，处理所述一个或多个区段的步骤还包括将所述一个或多个已被处理区段融合到所述脸部图像的步骤。
在第一方面的一个实施例中，所述一个或多个已被处理区段被融合到所述脸部图像的已修补区段。
在第一方面的一个实施例中，将所述一个或多个已被处理区段被融合到所述脸部图像的已修补区段的步骤包括基于所述已被处理区段的边缘的像素颜色和亮度和所述已修补区段的边缘的像素颜色和亮度来渲染所述已被处理区段的边缘和所述已修补区段的边缘之间的图像部分的部分颜色和亮度。
在第一方面的一个实施例中，所述部分颜色和亮度是通过所述处理已被处理区段的边缘的像素颜色和亮度和所述已修补区段的边缘的像素颜色和亮度确定的。
在第一方面的一个实施例中，基于脸部特征处理所述已被处理区段的边缘和所述已修补区段的边缘的部分颜色和亮度。
在第一方面的一个实施例中，处理所述脸部图像以生成所述对象的已被处理脸部图像的所述步骤包括：基于与所述用户脸部表情关联的一个或多个区段的模拟位置来处理所述脸部图像的一个或多个区段的步骤。
在第一方面的一个实施例中，基于与所述用户脸部表情关联的一个或多个模拟位置来处理所述脸部图像的一个或多个区段的步骤包括：
确定被所述用户的脸部表情影响的一个或多个区段；
确定一个或多个表情区段关系，所述一个或多个表情区段关系每一个被设置为代表基于所述脸部表情对区段的调整；以及
利用所述一个或多个表情区段关系来处理所述一个或多个被影响的区段。
在第一方面的一个实施例中，所述一个或多个脸部区段基于所述脸部特征进一步被处理。
根据本发明的第二方面，提供了处理脸部图像的***，包括：
网关，所述网关被设置为接收对象的脸部图像；
分割模块，所述分割模块被设置为将所述脸部图像分割为一个或多个区段，其中所述一个或多个区段的每一个与所述对象的一个或多个脸部特征关联；以及
图像处理处理器，所述图像处理处理器被设置为处理所述一个或多个区段。
在第二方面的一个实施例中，所述图像处理处理器被设置为基于与所述对象的音素发音关联的所述一个或多个区段的模拟位置处理所述脸部图像的一个或多个区段来生成所述对象的已被处理脸部图像。
在第二方面的一个实施例中，与所述对象的音素发音关联的所述一个或多个区段的模拟位置通过处理与所述音素关联的预定区段处理指令而确定。
在第二方面的一个实施例中，所述预定区段处理指令包括用于二次函数和三次函数的贝塞尔***，所述贝塞尔***被设置为用于处理所述一个或多个区段的一个或多个点或曲线以生成与所述对象的音素发音关联的所述一个或多个区段的模拟位置。
在第二方面的一个实施例中，所述图像处理处理器被设置为修补所述一个或多个区段。
在第二方面的一个实施例中，所述图像处理处理器被设置为基于所述区段的一个或多个边缘的颜色和亮度来渲染所述区段的区段颜色和亮度以修补所述一个或多个区段。
在第二方面的一个实施例中，所述区段颜色和亮度基于所述区段的一个或多个边缘的颜色和亮度的平均值确定。
在第二方面的一个实施例中，所述图像处理处理器还被设置为将所述一个或多个已被处理区段融合到所述脸部图像。
在第二方面的一个实施例中，所述一个或多个已被处理区段被融合到所述脸部图像的已修补区段。
在第二方面的一个实施例中，当所述一个或多个已被处理区段被融合到所述脸部图像的已修补区段时，基于所述已被处理区段的边缘的像素颜色和亮度和所述已修补区段的边缘的像素颜色和亮度来渲染所述已被处理区段的边缘和所述已修补区段的边缘之间的图像部分的部分颜色和亮度。
在第二方面的一个实施例中，所述部分颜色和亮度是通过处理所述已被处理区段的边缘的像素颜色和亮度和所述已修补区段的边缘的像素颜色和亮度确定的。
在第二方面的一个实施例中，基于脸部特征处理所述已被处理区段的边缘和已修补区段的边缘的部分颜色和亮度。
在第二方面的一个实施例中，所述脸部处理处理器被设置为基于与所述用户的脸部表情关联的所述一个或多个区段的模拟位置来处理所述脸部图像的一个或多个区段。
在第二方面的一个实施例中，所述图像处理处理器包括：
决策例程，所述决策例程被设置为确定被所述用户脸部表情影响的一个或多个区段；
表情功能，所述表情功能被设置为确定一个或多个表情区段关系，所述一个或多个表情区段关系的每一个被设置为代表基于所述脸部表情对所述区段的调整；以及
区段处理例程，所述区段处理例程被设置为利用所述一个或多个表情区段关系处理所述一个或多个被影响的区段。
在第二方面的一个实施例中，所述一个或多个脸部区段基于所述脸部特征进一步被处理。
附图说明
现通过示例的方式参考附图来描述本发明的实施例，其中：
图1是计算机***的示意性框图，该***执行用于处理脸部图像的***和/或使脸部图像动画化的***的一个实施例；
图2是用于处理脸部图像的***的一个实施例的框图；
图3A是图1中处理器执行的示例性音素发音功能和脸部特征功能的流程图；
图3B是将个别脸部图像分割的示例；
图3C(i)是由修补模块的示例性实施例处理过的人类脸部图像的示意图；
图3C(ii)是在示例性修补图像和脸部图像的边缘的数学关系式的示意图；
图3D(i)是示出运行图画融合功能的一个实施例的图；
图3D(ii)是显示已被绘制到脸部图像上的个别区段的示意图；
图4A是示出图2中用于处理脸部图像的***的脸部表情功能的处理的框图；
图4B是脸部特征和脸部表情的示例性矩阵；
图4C是偏斜椭圆区段曲线和函数的示例；
图4D是被脸部表情功能处理的脸部图像的示意图；
图4E是被脸部表情功能处理的脸部图像的示意图；
图4F是被脸部表情功能处理的脸部图像的示意图；
图5是使脸部图像动画化的示例性***的框图；
图6是根据图5的用于使脸部图像动画化的***的框图；
图7是根据另一个实施例的用于使脸部图像动画化的***的流程图；
图8A是利用用于处理脸部图像的***生成的示例性电子出版物的示例性屏幕截图；
图8B是利用用于处理脸部图像的***生成的示例性电子出版物的示例性屏幕截图；
图8C是利用用于处理脸部图像的***生成的示例性电子出版物的示例性屏幕截图；以及
图8D是利用用于处理脸部图像的***生成的示例性电子出版物的示例性屏幕截图。
具体实施方式
参见图1，其示出了被设置为作为处理脸部图像的***运作的计算设备的实施例，包括：
被设置为接收对象的脸部图像的网关(gateway)；
被设置为将脸部图像分割为一个或多个区段(其中每一个区段与对象的一个或多个脸部特征关联)的分割模块；和
被设置为处理一个或多个区段的图像处理处理器(image manipulationprocessor)。
在该实施例中，计算设备以运行或以其它方式被设置作为用于处理脸部图像的***运行。计算设备可通过利用软件编程或设置有硬件以接收对象的脸部图像并且根据一个或多个图像处理功能处理脸部图像以生成已被处理的脸部图像。然后，该已被处理的脸部图像可被显示、储存、传输或者进一步通过动画引擎处理以生成该脸部图像的动画。在一些示例性实施例中，***可被设置为处理人(说特定语言或念出特定单词)的脸部的一个或多个图像和/或使人(说特定语言或念出特定单词)的脸部的一个或多个图像动画化。在其他示例中，***可被设置为处理人或目标的脸部图像以模拟该人或目标的不同脸部表情和/或特性或特征。在另外其他示例性实施例中，***被设置为使说特定语言的人的脸部动画化，同时在生成动画时将人的脸部表情和/或脸部特征考虑在内。
如图1所示，计算设备可为通过任何计算架构实施的计算机或计算设备，该架构包括单机PC、客户/服务器架构、“哑(dumb)”终端/主机架构或任何其他合适架构。计算设备也可适当地被编程以实施本发明。如图所示的计算设备包括计算机100。计算机100包括用于接收、存储和执行合适计算指令的必需的合适组件。这些组件可包括处理单元102、只读存储器(ROM)104，随机存取存储器(RAM)106，诸如磁盘驱动器108的输入/输出设备，以及诸如以太网端口、USB接口等的输入设备110，诸如液晶显示器、发光显示器或任何其他合适显示器的显示器112和通信链路114。计算机100包括指令，该指令可被包括到ROM 104、RAM 106或磁盘驱动器108内并且可通过处理单元102执行。可提供多个通信链路114，它们能个别地连接到一个或多个计算设备(诸如服务器、个人电脑、终端、无线或手持型计算设备)。多个通信链路中的至少一个可通过电话线或其他类型的通信链路连接到外部的计算网络。
计算机100也可包括诸如磁盘驱动器108的存储设备，它可包括固态驱动器、硬盘驱动器、光驱或磁带驱动器。计算机100可使用单个磁盘驱动器或多个磁盘驱动器。计算机100也可具有合适的处理***116，其位于磁盘驱动器上或服务器100的ROM中。
***也可具有位于磁盘或其他存储设备上的数据库120，其被设置为存储各种用于处理使脸部图像动画化的***所必需的数据或信息。数据库120也可和接口202通信，接口202是利用位于计算机100上的计算机软件实施的。
参见图2，示出了用于处理脸部图像的***200的实施例的方框图，该***包括：被设置为接收对象的脸部图像的网关204；被设置为将脸部图像分割为一个或多个区段(其中每个区段和对象的一个或多个脸部特征关联)的分割模块208；以及被设置为处理一个或多区段的图像处理处理器210。
在该实施例中，***200包括网关、分割模块208和图像处理处理器210，它们可至少部分地在一个或多个计算机(诸如图1所示的那些计算设备)上实施。同时，这些组件204、206、208、210被设置为接收对象202的脸部图像并且响应于用户要求的所需要的处理功能(212、214、216)来处理该脸部图像202。然后，这些组件204、206、208、210被设置为生成已被处理的脸部图像218。该已被处理的脸部图像218可在显示器上显示、在存储器或储存器中保存、通过通信网络传输、或进一步由动画引擎处理以形成动画序列的一部分。
如本示例显示的，网关204被设置为从***的用户接收脸部图像202。它可以是，例如，特定对象(例如人的头部和颈部的照片)的脸部画像(可为任意适合格式(例如JPEG、PGP、BMP))的图像文件。要注意的是，脸部图像202可为人脸的照片或图像文件，但也可包括目标、动物或任何物件或艺术品的图像。术语“脸部”包括任何人、动物、物件或目标的一个或多个脸部和/或外观。术语“脸部”也旨在包括可起到人脸、外观、正面或图像作用的任何目标、物件或艺术品的任意抽象理解。这意指建筑物、车辆或任何其他静物(可被人化或以其他方式呈现为“脸部”或以其他方式为拟人化或人格化的外观或部分)也可包括到脸部图像中。
一旦网关204接收到脸部图像202，图像202随后被传递到处理器206，在该处理器中，脸部图像被处理以生成已被处理的脸部图像218。该已被处理的脸部图像218可基于初始接收的脸部图像202，但脸部图像202的一个或多个部分可已经基于所需的图像功能212、214、216被处理。然后，该已被处理的脸部图像218可形成动画序列中的一帧或一部分。
处理器206也可包括数个脸部处理功能212、214、216(其可被执行以根据需要处理脸部图像)。如图2所示的，这些脸部处理功能可包括：
音素发音功能212，其被设置为处理脸部图像以模仿对象脸部发出(由对象说出的)特定音素的脸部表情。由于音素是语言音系学的基本单元，因此使用任何语言的用户说出的每个单词都可被分解为一个或多个音素；
脸部表情功能214，其被设置为基于对象的脸部表情处理脸部图像。这些脸部表情可包括但不限于，开心、伤心、愤怒、受挫、惊奇、冷漠、热切、无聊、困倦、警觉、痛苦或任何其它可通过脸部表情显示的情绪、情感或感觉；以及
脸部特征功能216，其被设置为基于对象的脸部特征处理脸部图像。这些脸部特征可包括，例如皱纹、雀斑、瑕疵、衰老效果、皮肤烧伤、酒窝、由于体重增加或减少产生的皮肤和肌肉轮廓拉伸或收紧。
处理器206可根据需要执行这些脸部处理功能212、214、216中的一个或多个。在示例性实施例中，处理器206可被设置为仅仅执行音素发音功能212以将对象的脸部动画化为发出特定音素。例如，在对象没有表情或仅仅表示单个情感时，这是有利的。
但是，有时，脸部表情功能214也可被设置为和发音音素功能212一起执行以模拟对象发出音素时的脸部表情。这就允许音素发音的动画包括脸部表情因素，使得动画更加生动和逼真。在另外其他实施例中，处理器206可和音素发音功能212、脸部表情功能214和脸部特征功能216结合以生成包括对象的音素发音、脸部表情和脸部特征的动画。
如上所述，处理器206也被设置为如所期望地个别处理每一个功能212、214、216。因此，作为示例，可无需音素发音功能212而独立执行脸部表情功能214或脸部特征功能216(或它们的组合)。该示例的结果是处理脸部图像的***200可被设置为通过基于需要的待模拟脸部表情处理由网关204接收的脸部图像202来模拟对象的脸部表情和/或如指示的通过处理脸部图像来模拟对象的脸部特征。
一旦处理器206执行一个或多个脸部处理功能212、214、216，处理脸部图像202然后被处理以形成已被处理的脸部图像218。该已被处理的脸部图像218可为由网关204接收的初始脸部图像202的变型。然后，该已被处理的脸部图像218随后可个别地显示为单个已被处理的脸部图像，存储在存储器、通过通信网络传递或通过动画引擎进一步处理以形成个别动画帧(然后可和其他已被处理的脸部图像组合以生成对象脸部的动画序列)。
优选地，如图2所示，处理器206可包括分割模块208，其被设置为和图像处理处理器210一起运行。分割模块208被设置为将脸部图像202分割为多个区段，每个区段与对象的特定脸部特征关联。然后，这些区段通过图像处理处理器210(其被设置为根据需要利用每个脸部处理功能212、214、216处理这些区段的每一个)处理。在一个示例中，每个脸部特征的区段允许脸部图像更容易处理，因为每个处理功能212、214、216可根据需要处理特定区段。进一步如下参考图3A到图4A描述图像处理处理器210与分割模块208的操作。
参见图3A，显示了音素发音功能212的实施例其，被设置为通过图像处理处理器210执行以形成已被处理的脸部图像218(显示发出音素320的图像内的脸部)。进一步地，被设置为基于脸部图像202中的对象的脸部特征314处理脸部图像的脸部特征功能216也在图3A显示以和音素发音功能212一起运行或无需音素发音功能212而单独运行。
如图所示，一旦脸部图像202被网关204接收并且传递到处理器206处理，分割模块208首先被设置为将脸部图像分割为多个区段(304)。多个区段的目的在于允许图像处理功能212、214、216仅仅处理被图像处理功能影响(例如通过音素发音功能212)的区段。这增加了处理过程的速度，因为仅仅要求被处理的区段被处理同时不处理未被影响的区段以将使用的处理资源减到最少。如图3B所示，人类脸部的示例可分割为13个区段，包括前额(1)、眉毛(2、4)、眼睛(5、6)、鼻梁(3)、脸颊(7、8)、上嘴唇(10)、下嘴唇(12)和嘴巴口(11)。本领域的技术人员可理解，基于对象的脸部特征或如果希望具有更高分辨率的处理可适当地形成另外或不同的区段。
一旦脸部图像202被分割模块208分割，首先基于询问区段数据库(其包括每个音素302的清单和与其关联的、会被处理以模拟特定音素的发音的对象脸部区段)来确定将要处理的区段。每一个会被音素发音影响的区段会首先被修补(304)以在区段内预备空间以用于输入替代区段。实际上，该修补过程(304)是用于预备脸部图像区段以使得替代脸部图像区段会融入脸部图像中以使得出现的图像变化或变更减到最少。如图3C所示，为了修补每个区段，首先确定数学表达式(例如代表特定区段的边界的曲线的数学函数)。
在确定了边界的数学函数后，对于该边界内的每个像素或像素的簇，每个像素或像素的簇由相对于在其最临近的环绕边缘的像素颜色和亮度的像素颜色和亮度绘制。该环绕边缘，作为被修补和已被早先定义为数学曲线的区段的边界，然后可通过该数学曲线由处理器定位以确定将要被相对于最临近边缘的像素颜色或亮度绘制出来的区段的面积。在一个实施例中，如图3C(i)所示，对每个像素的颜色和亮度取平均值(相对于两个周围曲线的像素上发现的极端值)，由此允许第一曲线到下一个曲线时颜色和亮度逐渐改变，同时如图3C(ii)所示的清除初始区段。
这样，该修补区段的方法将两个环绕曲线之间的颜色变化减到最低。这就允许区段被有效地修补并且随后用新的区段替代该区段，同时将对颜色或亮度的破坏(如果该修补过程没有被图像处理处理器210执行就会产生)减到最低。
一旦被影响的区段被修补(304)，随后待处理的区段被挑选和处理以进行处理(306)。就这一点而言，处理被发出的音素302以挑选必要的区段，该区段会被影响以模拟音素发音(306)。为了开始该过程，处理器206被设置为在数据库或查阅表(其对脸部图像(306)的每个区段都具有一组处理参数)上进行询问。这些处理参数和任何语言(正在发出的)的每个音素(302)关联。由此，一旦处理器206具有其要发出的音素302，每个区段的一组处理参数可从数据库(306)获得。优选地，这些参数可包括可作为数学函数(例如三次、二次或贝塞尔)存在以改变每个区段的形状的一组数据。作为示例，上部和下部嘴唇区段可根据发出的特定音素而改变形状，由此根据数学函数处理这些区段的每一个(可上移或下移、变宽、收缩、弯曲这些区段的每一个)。
在一些实施例中，这些存储于数据库内的处理参数可以是基于标准脸部拓扑结构的，由此可从各种不同脸部(其当说出特定音素时被处理)收集的许多脸部数据的最佳匹配或平均值生成。因此，在一些其他实施例中，一旦从数据库获得这些处理参数，其还可基于脸部特征(正在被处理的)的特征处理这些处理参数。
该进一步处理可包括基于脸部特征的特征(正在被处理的)调整这些处理参数。作为一个示例，如果对象的嘴唇比标准拓扑结构中发现的嘴唇更厚，进一步的处理会将加权附加到处理参数以适应对特别厚的一组嘴唇的处理。也可通过该进一步的处理进行对象的脸部特征和标准拓扑结构的对比以确定可应用于这些处理参数的调整。出于实际原因(例如最小用户输入)，仅要求一个照片以生成一组模仿每个音素发音的图像。在一些示例中，标准脸部拓扑结构从专业获得以提供正确的嘴巴运动。在一个示例中，考虑到用户和专业之间的差异，整个标准组都必须通过观察用户的静止照片和专业的静止照片之间的差异进行几何调整。以嘴巴作为示例，定义下述“嘴巴属性”以描述个别嘴巴的特征：
Overall_Width
Upper_Ht
Peak_Thick
Valley_Thick
Peak_to_Peak
Upper_AvThick
LowHt
LowThick
LowAv
LefPeak
RitPeak
Valley
XDrop
YDrop
该简单的矢量使得可以对发音组进行线性调整。换言之，如果用户具有更薄的上嘴唇，专业的对应物会成比例地更薄，无论发音是“e”或“u”。
一旦通过基于脸部特征的特征询问数据库或进一步处理来确定这些参数，基于这些参数(306)的替代区段图像就会生成。有效地，需要被处理的区段随后基于之前确定的参数而被改变或调整。可通过对区段图像自身应用必要的变化参数(数学函数等)以形成替代图像区段(308)来实施该对区段的处理。
一旦形成替代图像区段(308)，这些区段的每一个随后被修正到初始脸部图像以替代它们在初始脸部图像(310)上对应的区段。由于这些对应的区段的每一个之前已经被修补以接收替代区段，当替代图像区段修正到脸部图像202时，在脸部图像上不应存在会改变替代区段的外观的图像。但是，替代区段的颜色不一定会在已修补区段内很好地融合，因为每个替代区段可能具有和修补区段的颜色不同的起始边缘颜色。
为了解决该问题，当每个替代区段修正到脸部图像内时，通过确定替代区段边缘和修补区段边缘之间的每个像素的颜色和亮度和然后利用这些颜色和亮度以确定边缘之间像素的颜色和亮度来执行绘制融合功能(312)。优选地，如图3D(i)所示，绘制融合功能(312)被设置为基于在替代区段和已修补区段的边缘上发现的像素的颜色和亮度之间的线性平均数画出替代区段的边缘和修补区段(具有确定的颜色和亮度)的边缘之间的像素。如图3D(ii)所示，人类脸部的嘴巴区段随后画在如图3C(ii)显示的人类脸部的修补区段上以显示发出特定音素的人类脸部的脸部图像。在该嘴巴区段已画在修补区段上后，随后执行图画融合功能(312)以使得在嘴巴区段的边缘和存在的已修补脸部区段之间的每个像素随后被融合，以将在嘴巴区段载入后对脸部图像的颜色和亮度的破坏减到最少。
但是，在一些情况下，该图画融合功能(312)不一定用线性平均数运行，而是根据所提供的个别脸部特征314也可使用可为非线性的不同的图画融合功能(312)以模拟对象的特定脸部特征。
作为示例，可在脸颊区段周围使用双曲正弦函数(而非使用上述参考图3D描述的线性平均函数)以模拟在替代图像区段和已修补区段之间的眉间皱纹的外观。同样，为了模拟松弛的脸颊的存在，可使用余玄函数将替代图像区段的边缘绘制到已修补区段。由此，根据所确定的脸部特征，可对数据库进行询问以获得合适的函数以模拟这些脸部特征314。
如图3A所示，不必为了音素发音或为了其他原因处理个别区段，也可调用图画融合功能(312)。如图所示，一旦脸部图像202被分割模块208分割和被修补(304)，利用如上所述的绘制融合功能(310)、(312)和基于输入的脸部特征314，每个区段可简单地重新绘制到脸部图像上。
参见图4A，显示了脸部表情功能214的实施例，其中处理器206用脸部表情功能214来处理脸部图像202以模拟输入的脸部表情402。在该示例中，一旦对象的脸部图像被输入到网关204并且被传递到处理器206进行处理，脸部表情数据也被递交以修饰脸部图像202从而显示已经提供的脸部表情402。如上所述，这些脸部表情402可不受限制地包括：开心、伤心、愤怒、受挫、惊奇、冷漠、热切、无聊、困倦、警觉、痛苦或任何其它可通过脸部表情402显示的情绪、情感或感觉。
一旦脸部图像202被接收和脸部表情被提供，分割模块208被设置为将脸部图像202分割为多个区段(404)。以与参考图3A示出的分割模块208相同的方式，分割模块208被设置为将脸部图像202分为多个区段，其中每个区段与对象的脸部特征关联。除了参考图3A和图3B提及的13个区段，在该特定示例性实施例中，特定分割模块208被设置为将脸部特征分割为16项，包括：前额、眉毛、眼皮、眼睛、眼珠、眼袋、鼻子、脸颊、酒窝、上嘴唇、下嘴唇、舌头、下巴、耳朵、头发和脖子。一旦分割模块208将脸部图像分割为这样的16个区段，分割功能被设置为指示处理器206鉴于脸部表情(406)确定每个区段的几何变化。
在该示例中，脸部几何变化功能(406)首先被设置为询问概括了必须基于特定表情对每个脸部特征进行的调整的数据库410或图表。该数据库可以矩阵的形式存在，该矩阵的一个示例包括一列脸部特征和数行脸部表情，在该矩阵中每个元素具有用于处理个别区段以反映针对该特定脸部特征的脸部表情的调整数值的特定参数。这样的矩阵的示例在图4B和16个脸部特征的列表中示出，由此在该示例中总共具有20×15＝320个矩阵元素，其中每个都包括一组图像参数或目标，这些图像参数或目标可被几何变化函数使用以处理反映每个脸部特征的区段。
参见图4A和图4C，对每个区段(408)的处理可包括使用个别数学函数其鉴于脸部表情修饰个别区段的曲线、形状或尺寸。作为图4C中显示的示例，可通过以预先设定的尺寸参数相对于区段角度和旋转角度来调整眉毛和眼睛区段的每一个曲线部分的尺寸以利用特定的歪斜椭圆曲线修饰眉毛和眼睛区段。
优选地，这些参数的每一个用来确定个别区段(408)的处理方式。一旦从数据库410获得这些参数(406)，参数随后被使用以处理每个区段的个别图像(该处理基于针对其关联的脸部特征的脸部表情)。在数据库410中，期望的是具有多个数学函数(取决于个别脸部表情和用于对应每个区段的每一个脸部特征)并且在过程中，这些函数的每一个都可随后用于要被处理的每个图像区段。
如图4D、图4E和图4F所示，可通过基于希望模仿的脸部表情应用涉及每个脸部特征的个别数学函数，以处理脸部图像的个别区段来模拟不同的脸部表情。
在所描述的实施例中，数据库内的每个元素可仅作为个别参数存储或作为个别图像目标(其之前在图像目标库被处理和存储)存储。在这些示例中，通过使用之前被处理的图像目标，***能够通过网关输入脸部图像并且调用预处理例程以首先生成针对每个脸部表情和每个脸部特征的个别图像目标。在这些示例中，通过对这些矩阵元素的每一个使用这些例程来随后预先处理和生成个别图像目标，并且然后当处理脸部图像时允许这些目标被简单地输入。如果速度为生成脸部图像的必然要求，该实施例就是有利的。该应用的示例可包括视频或动画流或对大量的脸部图像进行实时处理。
如图4A所示的，脸部特征314也可输入到被设置为处理每个区段(408)的例程。，如前参考图3A所述，当个别区段被替换到脸部图像内，可处理每个脸部图像和初始图像的边缘以将替代区段融合到初始脸部图像。如上参考图3A所述，也可基于使用不同的绘制融合功能，根据希望的将要被模拟的脸部特征来模拟个别脸部特征。
参见图5，示出了用于使脸部图像500动画化的***的实施例，该***包括被设置为接收脸部图像的网关(没有示出)、被设置为处理对象脸部图像的处理器206和被设置为合成声音和说话方式以与一个或多个动画帧504组合从而生成动画序列510的声频处理器508。在该实施例中，图像处理器206被设置为以不同函数或例程(包括之前参考图2到图4F描述的脸部表情功能214、脸部特征功能216和音素发音功能212)一起运行。
在该实施例中，***500被设置为作为动画引擎或***运作，以生成发出一系列声音的用户的动画序列510(该一系列声音被分解为个别音素并且在过程中音素被提供给音频处理器，以将个别音素合成为声音形式)。同时，图像处理器206也被设置为处理脸部图像以模拟每个音素的发音，同时也允许使用个别脸部表情来处理脸部图像。
另外，以上描述的脸部特征功能216也用来模拟个别对象的任何特定脸部特征。一旦这些图像处理功能212、214、216的每一个被处理器206调用并且由多个脸部图像504组成的个别帧随后由***500编辑，被编辑好的脸部图像随后和音频(从音频处理器508输出)组合和整合。然后，和音频输出编辑在一起的脸部图像504形成动画序列510。该动画序列随后可被显示512、存储、传输或进一步处理以对用户读出一系列单词进行动画化或对用户显示特定脸部表进行动画化或对用户显示特定脸部特征进行动画化或上述一个或多个的任何组合。
参见图6，示出了用于生成动画序列600的***的另一个实施例。如该流程图中所示的，用户可首先上传它们的相片、图像或漫画作为个别脸部图像(602)。一旦该相片或脸部图像被提供给网关，图像就被分割为多个区段。如果确定区段会被后来的图像处理功能(604)处理，则这些区段的每一个随后如上所述的被修补。
这些步骤之后的步骤是：如果确定有脸部表情的变化，那么个别脸部表情402被提供处理相关区段中的每一个以反映该特定脸部表情(606)。在周边生成后，它们可和也基于将要发出(608)的音素302确定的图像周边组合。如上参考图3A所述，数学关系首先基于将要发出的音素302被确定。这些个别周边随后被组合，以使得可对图像进行处理以将脸部表情和被挑选以用于发音(608)的音素包括在内。
在个别周边生成后，该周边随后被应用于处理脸部图像区段(610)。这些区段随后被输入和替换到初始脸部图像(612)。可调用绘制融合功能(614)以保证个别区段可融合到初始脸部图像。在该阶段，根据所选择的脸部特征314，随后能应用绘制融合功能的额外功能以使得区段可被绘制到初始脸部图像中以将任何需要的脸部特征314包括在内。
一旦完成，可随后产生已被处理脸部图像(616)并且形成涉及用户表情、特征或音素发音的动画序列的个别帧。一旦与如图5显示的任意必要音轨组合，随后可基于多个已被处理的脸部图像的组合产生动画序列。
参见图7，示出了用于处理脸部图像的***700的另一个实施例的流程图。在该实施例中，***700被设置为接收来自对象的脸部照片702。一旦照片702被接收，通过分割过程704(其随后被设置为将照片分割为与照片内的对象每个脸部特征关联的多个区段)同时处理照片。同时，一组处理参数706被确定，以基于音素发音712和旨在被照片内的对象表达的任意情绪(脸部特征)714来处理脸部特征。
通过首先确定照片内的对象可能具有的任意特定个人属性708来确定处理参数706。这些属性708的示例可包括检查对象的特征是否偏离标准脸部拓扑结构710。通过将该照片映射到标准脸部拓扑结构模型710并且确定对象的脸部特征是否实际上偏离标准拓扑结构710来对比图像。这些偏差可包括照片内的对象脸部特征的尺寸的变化，例如对象的嘴巴比标准的更大或更小，当和标准拓扑结构相比眼睛是否更大、更小、弯曲、狭窄、宽广。这样的偏差可随后用于调整处理参数706，其中参数706基于要发出的音素712或对象将要表达的情绪714确定。
一旦确定了处理参数706，随后利用被移除的每个初始区段(修补)来处理照片716、718，然后基于处理参数706处理每个区段并且它们然后在照片内被替换成替代区段。在照片内每个区段被替换之前，基于任意扭曲716(可基于任何脸部特征适用)进一步处理被替换的每个区段的边缘。然后，基于被模仿的脸部特征处理和软化719每个区段的分界线，以确保每个区段可被放回照片而不显著扭曲。在被要求替换的每个区段由替代区段替换后，照片720已被处理并且能返回到用户、存储或进一步作为部分动画处理。
上述***的特定实施例也可实施以生成可分布于电子书的动态内容。作为一个示例，通过要求终端用户的单个相片，文学作品可包括利用用户相片生成的动态内容。可包括基于初始相片的用户的动画的该动态内容随后可分布于用户用于学习的电子书阅读器。通过将对该初始相片的动画或修饰包括在内，电子书内容的作者可将用户合并到故事中(从说述或使电子书文学作品动画化的角度或通过将用户的照片包括到部分文学作品的故事或主题。用户然后可选择扮演哪个角色并且利用脸部表情和音素发音动画的实施例，用户也可看见他们自己说外语和扮演角色。来自用户的唯一输入是上传一张照片。
该***的优势在于也允许个别用户模拟他们的脸部表情、特征和个别单词的发音并且由此为个别用户提供产生他们自己、其他人的动画或提供静物的机会，以用于娱乐、教育或商业目的。在教育领域内，希望获得语言技能(涉及第二或第三语言)的用户可观看他们自己发出个别单词的模型或模拟，由此给他们机会模仿动画序列以跟踪嘴巴运动从而使得个别单词发音更完美。并且，***的可将脸部特征和脸部表情包括在内的能力提供额外的用途，其中用户能为了视觉准确度或娱乐目的使他们自己或其他人动画化。
参见图8A到图8D，显示了电子出版物(例如电子书)，其包括由处理脸部图像的***的实施例生成的动画或脸部图像的若干示例性屏幕截图。
如在这些图中显示的，可通过将对象802的已被处理图像包括在内以显示特定情绪从而生成电子出版物的页码或屏幕800。优选地，用于处理脸部图像的***也处理对象802的图像以使对象802动画化以阅读与故事相关的句子或短语805。在这些示例中，电子书可调用用于处理脸部图像的***的实施例以生成这些已被处理图像或动画，并且随后将这些整合到电子书内以分布或传递给终端用户。
这些示例性实施例的优势在于其允许用户通过处理用户脸部图像和/或使用户脸部图像动画化而被整合到电子书中以为用户定制电子书。将这些已被处理和/或已被动画化的图像包括在内允许用户被整合到故事中并且然后增加交付到用户的电子书的质量和趣味性。进一步地，由于处理脸部图像的***可被称为实时电子书或超前电子书的产生，生成电子书，即图像定制过程，也可利用最低计算和通信资源有效地完成。然后，在用户完成购买后可生产电子书并且随后在接收到用户脸部图像后在非常短的时间内传递到用户以用于学习。
图像定制过程也是有优势的，其能带领电子出版物发展到娱乐和信息获取的新的水平。它也可向出版商提供提交现存的材料进行转换的选择。作为一个示例，如果是小说，***可被设置为进行图像替换以允许顾客挑选扮演小说或戏剧中的哪个角色。在其他应用中，例如在美容/时尚手册中，***也可被设置为客户进行头部/身体交换以评价他或者她化妆或穿戴衬衫或裙子(如供应商描述的)后看起来如何。在这些示例的一些中，也可进一步地处理客户的图像以将眼线技术或其他优化处理或适当的美容步骤的应用包括在内以增强个人的脸部特征(例如让眼睛，嘴唇变大等)。由于存在对处理脸部图像的***示例的分析方法和计算功能，因此考虑了大量的参数(例如22种情绪、属于英语的42个音素、10个美容技术)并且由此该***的一些实施例能增加或加强用户脸部(其可为出版物、动画、游戏或接口的主题)的视觉效果。
虽然没有要求，但是参考附图描述的实施例可作为应用编程接口(API)或作为用户的一系列图书馆(开发者提供)而实施，或可包括在其他软件应用(例如终端或个人电脑处理***或可携带计算设备处理***)中。通常地，由于程序模块包括辅助实施特定功能的例程、程序、目标、组件和数据文件，本领域的技术人员可理解的是，软件应用的功能性可分布在若干例程、目标或组件以获得与本文的描述相同的功能。
也能理解的是，当本发明的方法和***通过计算***全部实施或通过计算***部分实施时，那么可使用任何合适的计算***架构。这包括独立计算机、网路计算机和专有硬件设备。术语“计算***”和“计算设备”的使用意在覆盖能实施所描述功能的计算机硬件的任意合适布置。
本领域的技术人员可理解的是，可对本发明的特定实施例进行多个变型和/或修饰，而不偏离本发明广泛描述的精神或范围。因此，本发明的实施例在所有方面都应被认为是示例性而不是非限制性的。
除非另有指明，否则本文包含的对现有技术的任何参考不应被视为承认该信息是公知常识。
Claims (30)
1.一种用于处理脸部图像的方法，包括下述步骤：
接收对象的脸部图像；
将所述脸部图像分割为一个或多个区段，其中所述一个或多个区段的每一个与所述对象的一个或多个脸部特征关联；以及
处理所述一个或多个区段。
2.根据权利要求1所述的用于处理脸部图像的方法，其中处理所述脸部图像以生成所述对象的已被处理脸部图像的步骤包括：基于与所述对象的音素发音关联的所述一个或多个区段的模拟位置来处理所述脸部图像的一个或多个区段。
3.根据权利要求2所述的用于处理脸部图像的方法，其中与所述对象的音素发音关联的所述一个或多个区段的模拟位置通过处理与所述音素关联的预定区段处理指令而确定。
4.根据权利要求3所述的用于处理脸部图像的方法，其中所述预定区段处理指令包括用于二次函数和三次函数的贝塞尔方法，所述贝塞尔方法被设置为应用于处理所述一个或多个区段的一个或多个点或曲线以生成与所述对象的音素发音关联的所述一个或多个区段的模拟位置。
5.根据前述权利要求中任意一项所述的用于处理脸部图像的方法，其中处理所述一个或多个区段的步骤还包括修补所述一个或多个区段的步骤。
6.根据权利要求5所述的用于处理脸部图像的方法，其中修补所述一个或多个区段的步骤包括基于所述区段的一个或多个边缘的颜色和亮度来渲染所述区段的区段颜色和亮度。
7.根据权利要求6所述的用于处理脸部图像的方法，其中所述区段颜色和亮度基于所述区段的一个或多个边缘的颜色和亮度的平均值确定。
8.根据权利要求7所述的用于处理脸部图像的方法，其中处理所述一个或多个区段的步骤还包括将所述一个或多个已被处理区段融合到所述脸部图像的步骤。
9.根据权利要求8所述的用于处理脸部图像的方法，其中所述一个或多个已被处理区段被融合到所述脸部图像的已修补区段。
10.根据权利要求9所述的用于处理脸部图像的方法，其中将所述一个或多个已被处理区段被融合到所述脸部图像的已修补区段的步骤包括基于所述已被处理区段的边缘的像素颜色和亮度和所述已修补区段的边缘的像素颜色和亮度来渲染所述已被处理区段的边缘和所述已修补区段的边缘之间的图像部分的部分颜色和亮度。
11.根据权利要求10所述的用于处理脸部图像的方法，其中所述部分颜色和亮度是通过所述处理已被处理区段的边缘的像素颜色和亮度和所述已修补区段的边缘的像素颜色和亮度确定的。
12.根据权利要求11所述的用于处理脸部图像的方法，其中基于脸部特征处理所述已被处理区段的边缘和所述已修补区段的边缘的部分颜色和亮度。
13.根据权利要求1到12中任意一项所述的用于处理脸部图像的方法，其中处理所述脸部图像以生成所述对象的已被处理脸部图像的所述步骤包括：基于与所述用户脸部表情关联的一个或多个区段的模拟位置来处理所述脸部图像的一个或多个区段的步骤。
14.根据权利要求13所述的用于处理脸部图像的方法，其中基于与所述用户脸部表情关联的一个或多个模拟位置来处理所述脸部图像的一个或多个区段的步骤包括：
确定被所述用户的脸部表情影响的一个或多个区段；
确定一个或多个表情区段关系，所述一个或多个表情区段关系每一个被设置为代表基于所述脸部表情对区段的调整；以及
利用所述一个或多个表情区段关系来处理所述一个或多个被影响的区段。
15.根据权利要求14所述的用于处理脸部图像的方法，其中所述一个或多个脸部区段基于所述脸部特征进一步被处理。
16.一种用于处理脸部图像的***，包括：
网关，所述网关被设置为接收对象的脸部图像；
分割模块，所述分割模块被设置为将所述脸部图像分割为一个或多个区段，其中所述一个或多个区段的每一个与所述对象的一个或多个脸部特征关联；以及
图像处理处理器，所述图像处理处理器被设置为处理所述一个或多个区段。
17.根据权利要求16所述的用于处理脸部图像的***，其中所述图像处理处理器被设置为基于与所述对象的音素发音关联的所述一个或多个区段的模拟位置处理所述脸部图像的一个或多个区段来生成所述对象的已被处理脸部图像。
18.根据权利要求17所述的用于处理脸部图像的***，其中与所述对象的音素发音关联的所述一个或多个区段的模拟位置通过处理与所述音素关联的预定区段处理指令而确定。
19.根据权利要求18所述的用于处理脸部图像的***，其中所述预定区段处理指令包括用于二次函数和三次函数的贝塞尔***，所述贝塞尔***被设置为用于处理所述一个或多个区段的一个或多个点或曲线以生成与所述对象的音素发音关联的所述一个或多个区段的模拟位置。
20.根据权利要求16到19中任意一项所述的用于处理脸部图像的***，其中所述图像处理处理器被设置为修补所述一个或多个区段。
21.根据权利要求20所述的用于处理脸部图像的***，其中所述图像处理处理器被设置为基于所述区段的一个或多个边缘的颜色和亮度来渲染所述区段的区段颜色和亮度以修补所述一个或多个区段。
22.根据权利要求21所述的用于处理脸部图像的***，其中所述区段颜色和亮度基于所述区段的一个或多个边缘的颜色和亮度的平均值确定。
23.根据权利要求22所述的用于处理脸部图像的***，其中所述图像处理处理器还被设置为将所述一个或多个已被处理区段融合到所述脸部图像。
24.根据权利要求23所述的用于处理脸部图像的***，其中所述一个或多个已被处理区段被融合到所述脸部图像的已修补区段。
25.根据权利要求24所述的用于处理脸部图像的***，其中当所述一个或多个已被处理区段被融合到所述脸部图像的已修补区段时，基于所述已被处理区段的边缘的像素颜色和亮度和所述已修补区段的边缘的像素颜色和亮度来渲染所述已被处理区段的边缘和所述已修补区段的边缘之间的图像部分的部分颜色和亮度。
26.根据权利要求25所述的用于处理脸部图像的***，其中所述部分颜色和亮度是通过处理所述已被处理区段的边缘的像素颜色和亮度和所述已修补区段的边缘的像素颜色和亮度确定的。
27.根据权利要求26所述的用于处理脸部图像的***，其中基于脸部特征处理所述已被处理区段的边缘和已修补区段的边缘的部分颜色和亮度。
28.根据权利要求16到27中任意一项所述的用于处理脸部图像的***，其中所述脸部处理处理器被设置为基于与所述用户的脸部表情关联的所述一个或多个区段的模拟位置来处理所述脸部图像的一个或多个区段。
29.根据权利要求28所述的用于处理脸部图像的***，其中所述图像处理处理器包括：
决策例程，所述决策例程被设置为确定被所述用户脸部表情影响的一个或多个区段；
表情功能，所述表情功能被设置为确定一个或多个表情区段关系，所述一个或多个表情区段关系的每一个被设置为代表基于所述脸部表情对所述区段的调整；以及
区段处理例程，所述区段处理例程被设置为利用所述一个或多个表情区段关系处理所述一个或多个被影响的区段。
30.根据权利要求29所述的用于处理脸部图像的***，其中所述一个或多个脸部区段基于所述脸部特征进一步被处理。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| HK16110630 | 2016-09-07 | ||
| HK16110630.7 | 2016-09-07 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107797959A true CN107797959A (zh) | 2018-03-13 |
Family
ID=61274990
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710795707.XA Pending CN107797959A (zh) | 2016-09-07 | 2017-09-06 | 处理脸部图像的***和方法以及用于使脸部图像动画化的*** |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10600226B2 (zh) |
| CN (1) | CN107797959A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111481376A (zh) * | 2020-05-10 | 2020-08-04 | 烟台科慧科技服务有限公司 | 一种多功能护理床 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10963774B2 (en) * | 2017-01-09 | 2021-03-30 | Microsoft Technology Licensing, Llc | Systems and methods for artificial intelligence interface generation, evolution, and/or adjustment |
| US10607065B2 (en) * | 2018-05-03 | 2020-03-31 | Adobe Inc. | Generation of parameterized avatars |
| CN110634174B (zh) * | 2018-06-05 | 2023-10-10 | 深圳市优必选科技有限公司 | 一种表情动画过渡方法、***及智能终端 |
| US11270010B2 (en) * | 2018-09-14 | 2022-03-08 | Tata Consultancy Services Limited | Method and system for biometric template protection |
| US10817365B2 (en) | 2018-11-09 | 2020-10-27 | Adobe Inc. | Anomaly detection for incremental application deployments |
| US11113862B1 (en) * | 2020-05-11 | 2021-09-07 | Sony Interactive Entertainment Inc. | Simulating motion of computer simulation characters to account for simulated injuries to the characters using current motion model |
| CN113781291B (zh) * | 2020-05-21 | 2024-01-23 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5995119A (en) * | 1997-06-06 | 1999-11-30 | At&T Corp. | Method for generating photo-realistic animated characters |
| CN101216949A (zh) * | 2008-01-14 | 2008-07-09 | 浙江大学 | 一种基于区域分割和分段学习的三维人脸动画制作的方法 |
| CN101593363A (zh) * | 2009-06-24 | 2009-12-02 | 西北工业大学 | 虚拟人脸部颜色变化控制方法 |
| US20100007665A1 (en) * | 2002-08-14 | 2010-01-14 | Shawn Smith | Do-It-Yourself Photo Realistic Talking Head Creation System and Method |
| CN101751692A (zh) * | 2009-12-24 | 2010-06-23 | 四川大学 | 语音驱动唇形动画的方法 |
| US20130169827A1 (en) * | 2011-12-28 | 2013-07-04 | Samsung Eletronica Da Amazonia Ltda. | Method and system for make-up simulation on portable devices having digital cameras |
| CN103198508A (zh) * | 2013-04-07 | 2013-07-10 | 河北工业大学 | 人脸表情动画生成方法 |
| US20150029362A1 (en) * | 2013-07-23 | 2015-01-29 | Samsung Electronics Co., Ltd. | User terminal device and the control method thereof |
| CN105407293A (zh) * | 2014-09-10 | 2016-03-16 | 株式会社摩如富 | 图像合成装置以及图像合成方法 |
| CN105578094A (zh) * | 2015-12-18 | 2016-05-11 | 深圳市帅映科技有限公司 | 一种图像边缘融合处理*** |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6693646B1 (en) * | 1999-04-28 | 2004-02-17 | Microsoft Corporation | Method and system for iterative morphing |
-
2017
- 2017-03-16 US US15/460,417 patent/US10600226B2/en not_active Expired - Fee Related
- 2017-09-06 CN CN201710795707.XA patent/CN107797959A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5995119A (en) * | 1997-06-06 | 1999-11-30 | At&T Corp. | Method for generating photo-realistic animated characters |
| US20100007665A1 (en) * | 2002-08-14 | 2010-01-14 | Shawn Smith | Do-It-Yourself Photo Realistic Talking Head Creation System and Method |
| CN101216949A (zh) * | 2008-01-14 | 2008-07-09 | 浙江大学 | 一种基于区域分割和分段学习的三维人脸动画制作的方法 |
| CN101593363A (zh) * | 2009-06-24 | 2009-12-02 | 西北工业大学 | 虚拟人脸部颜色变化控制方法 |
| CN101751692A (zh) * | 2009-12-24 | 2010-06-23 | 四川大学 | 语音驱动唇形动画的方法 |
| US20130169827A1 (en) * | 2011-12-28 | 2013-07-04 | Samsung Eletronica Da Amazonia Ltda. | Method and system for make-up simulation on portable devices having digital cameras |
| CN103198508A (zh) * | 2013-04-07 | 2013-07-10 | 河北工业大学 | 人脸表情动画生成方法 |
| US20150029362A1 (en) * | 2013-07-23 | 2015-01-29 | Samsung Electronics Co., Ltd. | User terminal device and the control method thereof |
| CN105407293A (zh) * | 2014-09-10 | 2016-03-16 | 株式会社摩如富 | 图像合成装置以及图像合成方法 |
| CN105578094A (zh) * | 2015-12-18 | 2016-05-11 | 深圳市帅映科技有限公司 | 一种图像边缘融合处理*** |
Non-Patent Citations (1)
| Title |
|---|
| 曾鸿 等: "《船舶机电***虚拟仿真研究》", 31 May 2016, 哈尔滨工程大学出版社 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111481376A (zh) * | 2020-05-10 | 2020-08-04 | 烟台科慧科技服务有限公司 | 一种多功能护理床 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20180068482A1 (en) | 2018-03-08 |
| US10600226B2 (en) | 2020-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107797959A (zh) | 处理脸部图像的***和方法以及用于使脸部图像动画化的*** | |
| Brennan | Caricature generator | |
| CN113781610B (zh) | 一种虚拟人脸的生成方法 | |
| Foster et al. | Integrating 3D modeling, photogrammetry and design | |
| Spencer | ZBrush character creation: advanced digital sculpting | |
| KR20100047863A (ko) | 메이크업 시뮬레이션 시스템, 메이크업 시뮬레이션 장치, 메이크업 시뮬레이션 방법 및 메이크업 시뮬레이션 프로그램이 기록된 컴퓨터 판독가능한 기록매체 | |
| Spencer | Zbrush digital sculpting human Anatomy | |
| CN109741438A (zh) | 三维人脸建模方法、装置、设备及介质 | |
| Maraffi | Maya character creation: modeling and animation controls | |
| Choi et al. | Animatomy: An animator-centric, anatomically inspired system for 3d facial modeling, animation and transfer | |
| Orvalho et al. | Transferring the rig and animations from a character to different face models | |
| Wang | Langwidere: a hierarchical spline based facial animation system with simulated muscles. | |
| De la Flor et al. | Digital sculpting with Mudbox: essential tools and techniques for artists | |
| Villagrasa et al. | Face! 3d facial animation system based on facs | |
| CN112970046A (zh) | 数字角色混合和生成***和方法 | |
| Brooks | Mixed media painting and portraiture | |
| Li et al. | Physically-based facial modeling and animation with Unity3D game engine | |
| Kingslien | ZBrush studio projects: realistic game characters | |
| Van Horn | 3D character development workshop: Rigging fundamentals for artists and animators | |
| Santos | Virtual Avatars: creating expressive embodied characters for virtual reality | |
| Ji et al. | Artist-drawing inspired automatic sketch portrait rendering | |
| JP7145359B1 (ja) | 推論モデル構築方法、推論モデル構築装置、プログラム、記録媒体、構成装置及び構成方法 | |
| Hardin et al. | LightWave 3D 8 Cartoon Character Creation: Rigging and Animation | |
| Bibliowicz | An automated rigging system for facial animation | |
| Hoffensetz | A plane away: Transitioning traditional 2D character design workflows to 3D space using VR paint tools |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180313 |
|
| WD01 | Invention patent application deemed withdrawn after publication |