CN108701355B - Gpu优化和在线基于单高斯的皮肤似然估计 - Google Patents

Gpu优化和在线基于单高斯的皮肤似然估计 Download PDF

Info

Publication number
CN108701355B
CN108701355B CN201680082615.0A CN201680082615A CN108701355B CN 108701355 B CN108701355 B CN 108701355B CN 201680082615 A CN201680082615 A CN 201680082615A CN 108701355 B CN108701355 B CN 108701355B
Authority
CN
China
Prior art keywords
skin
image
gaussian
model
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680082615.0A
Other languages
English (en)
Other versions
CN108701355A (zh
Inventor
徐琳
杨柳
姚安邦
陈玉荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN108701355A publication Critical patent/CN108701355A/zh
Application granted granted Critical
Publication of CN108701355B publication Critical patent/CN108701355B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Algebra (AREA)
  • Software Systems (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本文描述了用于执行单高斯皮肤检测的***。该***包括存储器和处理器。该存储器被配置为接收图像数据。该处理器被耦合到该存储器。该处理器基于与图像数据相关联的皮肤主导区域生成单高斯皮肤模型并基于与图像数据相关联的第二区域生成单高斯非皮肤模型，并且基于单高斯皮肤模型和单高斯非皮肤模型经由区别皮肤似然函数来对与图像数据相关联的个体像素进行分类，以生成与图像数据相关联的皮肤标签数据。

Description

GPU优化和在线基于单高斯的皮肤似然估计
背景技术
在图像处理和计算机视觉情境中，基于颜色的皮肤检测技术可以用于较宽范围的应用，例如，数字化妆、基于视频的美化、面部追踪、三维面部建模、手势检测和跟踪、从数据库检索人等。此外，这样的应用正变得等越来越流行，特别是对于相机嵌入式移动设备，例如，智能电话、平板计算机等。因此，强健和高效的皮肤检测技术可能会越来越重要。
附图说明
可以通过参考附图来更好地理解以下具体的详细描述，其中包括所公开的主题的许多对象和特征的具体示例。
图1是实现基于单高斯的皮肤似然估计的示例性***的框图；
图2是用于基于单高斯的皮肤似然估计的方法200的处理流程图；
图3是包括具有面部特征点(landmark)的图像300的帧；
图4是用于利用基于单高斯的皮肤似然估计来执行皮肤检测的方法400的处理流程图；
图5是示出存储用于利用基于单高斯的皮肤似然估计来执行皮肤检测的指令的有形非暂态计算机可读介质的框图；
图6是根据本公开的至少一些实现方式布置的示例***600的说明性图示；以及
图7示出了可以在其中体现图6的***的示例小形状因子设备700。
本公开和附图中通篇使用相同的标号来引用相同的组件和特征。100系列的标号指最初在图1中找到的特征；200系列中的标号指最初在图2中找到的特征；以此类推。
具体实施方式
皮肤检测是通过其来在图像、一系列图像或视频中检测皮肤的技术。可以以逐个像素为基础或以逐个区域为基础来应用皮肤检测。在一些情况下，像素可以被转换为特定颜色空间，并且皮肤分类器模型可以用于确定该像素或区域被分类为皮肤还是非皮肤。皮肤检测预测给定图像/视频中的每个像素是皮肤颜色的似然性。在传统的基于像素的皮肤检测中，颜色空间和参数化皮肤分类模型是在离线模式下被训练的研究点。在一些场景下，照明条件、不同种族等将影响特定皮肤颜色以及使用离线模型的皮肤检测的精度。
皮肤检测技术可以试图将图像中的每个像素分类为皮肤类或非皮肤类别。在这样的情境中，用于表示图像像素的颜色空间的选择、用于建模和分类皮肤的技术、以及用于适应视频序列中的动态变化的技术可能是皮肤检测精度的三个重要因素。例如，可以在皮肤检测中使用许多颜色空间，例如，红、绿、蓝(RGB)颜色空间以及从RGB的线性和非线性变换，例如，RGB颜色空间的色调、饱和度、值(HSV)表示，RGB颜色空间的亮度、蓝色差、红色差(YCbCr)编码，CIE-Lab颜色空间等。此外，可以在皮肤检测中使用各种离线分类器。可以通过费力和昂贵的离线训练来训练这样的分类器，例如，分配并注释数十亿的训练像素。此外，这样的分类器可能仅适用和/或适应于有限范围的应用场景，并且当在无约束环境中使用时它们的性能可能急剧下降。为了在这样的环境中获得改善的结果，一些模型提出随时间更新离线训练分类器的参数。然而，这种技术易于具有引入来自使用误报的意外错误的问题以及其他问题。
本文描述的实施例执行基于单高斯的皮肤似然估计。单高斯模型被用于改善所得的皮肤图的平滑度。此外，本技术实现了GPU优化技术，其中，皮肤似然任务在CPU和GPU之间进行被划分。
在以下描述和权利要求中，可以使用术语“耦合”和“连接”及其派生词。应理解，这些术语不意图作为彼此的同义词。相反，在特定实施例中，“连接”可以用于指示两个或更多元件彼此直接物理或电接触。“耦合”可以表示两个或更多个元件直接物理或电接触。然而，“耦合”还可以表示两个或更多个元件彼此不相互直接接触，但仍彼此协作或交互。
一些实施例可以在硬件、固件和软件之一或其组合中实现。一些实施例还可以被实现为存储在机器可读介质上的指令，其可以由计算平台读取和执行以执行本文描述的操作。机器可读介质可以包括用于以机器(例如，计算机)可读的形式存储或传输信息的任何机构。例如，机器可读介质可以包括只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光存储介质；闪速存储器设备；或电、光、声或其他形式的传播信号，例如，载波、红外信号、数字信号、或发送和/或接收信号的接口等。
实施例是实现方式或示例。说明书中对“实施例”、“一个实施例”、“一些实施例”、“各种实施例”或“其他实施例”的提及表示结合这些实施例所描述的特定特征、结构、或特性被包括在本技术的至少一些实施例中，但不一定在所有实施例中。“实施例”、“一个实施例”或“一些实施例”的各种出现不一定都指代相同的实施例。来自一个实施例的要素或方面可以与另一实施例的要素或方面相结合。
并非本文所描述和示出的所有组件、特征、结构、特性等都需要被包括在特定的一个或多个实施例中。例如，如果说明书陈述组件、特征、结构、特性“可”、“可以”、“能够”或“可能”被包括，则不要求包括该特定组件、特征、结构、特性。如果说明书或权利要求书提及“一”或“一个”元件，则这并不表示仅存在一个该元件。如果说明书或权利要求书提及“一个额外”元件，则这并不排除存在不止一个该额外元件。
应注意，尽管已经参考特定实现方式了描述一些实施例，但根据一些实施例其他实现方式是可能的。此外，附图中示出的和/或本文描述的电路元件或其他特征的布置和/或顺序不需要按照所示出和描述的特定方式来布置。根据一些实施例许多其他布置是可能的。
在附图所示的每个***中，一些情况下的要素可以各自具有相同的附图标记或不同的附图标记以指示所表示的要素可以是不同的和/或类似的。然而，要素可以是足够灵活的以具有不同的实现方式，并与本文示出或描述的一些或全部***一起工作。附图所示的各种要素可以是相同的或不同的。哪个要素被称为第一要素并且哪个要素被称为第二要素是任意的。
图1是实现基于单高斯的皮肤似然估计的示例性***的框图。电子设备100可以是例如膝上型计算机、平板计算机、移动电话、智能电话或可穿戴设备等。电子设备100可以用于接收流数据，并且可以被称为接收器。电子设备100可以包括被配置为执行所存储的指令的中央处理单元(CPU)102，以及存储可以由CPU 102执行的指令的存储器设备104。CPU可以通过总线106被耦合到存储器设备104。此外，CPU 102可以是单核处理器、多核处理器、计算集群、或任何数目的其他配置。此外，电子设备100可以包括不止一个CPU 102。存储器设备104可以包括随机存取存储器(RAM)、只读存储器(ROM)、闪存、或任何其他适当的存储器***。例如，存储器设备104可以包括动态随机存取存储器(DRAM)。
电子设备100还包括图形处理单元(GPU)108。如图所示，CPU 102可以经由总线106被耦合到GPU 108。GPU 108可以被配置为在电子设备100内执行任何数目的图形操作。例如，GPU 108可以被配置为渲染或操纵要被呈现或显示给电子设备100的用户的图形图像、图形帧、视频、流数据等。在一些实施例中，GPU 108包括多个图形引擎，其中，每个图形引擎被配置为执行特定图形任务或运行特定类型的工作负载。
在实施例中，GPU可以执行与皮肤似然估计相关联的指数计算。由于GPU的并行计算架构，GPU可以相对快速地执行指数计算。在实施例中，皮肤似然估计包括由CPU执行的流SIMD扩展(SSE)指令，和由GPU执行的图形库GL(OPENGL)。此外，面部区域估计和高斯建模可以由CPU执行，而皮肤检测由GPU执行。以这种方式，使得如本文描述的基于单高斯的皮肤似然估计可以被GPU优化。
CPU 102可以经由总线106被链接到显示接口110，该显示接口110被配置为将电子设备100连接到一个或多个显示设备112A。显示设备112可以包括作为电子设备100的内置组件的显示屏。在实施例中，显示接口110跨网络130经由任何联网技术(例如，蜂窝硬件124、WiFi硬件126、或Bluetooth(蓝牙)接口128)与显示设备112B相耦合。显示设备112B还可以包括外部地连接到电子设备100的计算机监视器、电视机或投影仪等。
CPU 102还可以通过总线106连接到被配置为将电子设备100连接到的一个或多个输入/输出(I/O设备)116A的I/O设备接口114。I/O设备116A可以包括例如键盘和指点设备，其中，指点设备可以包括触摸板或触摸屏等。I/O设备116A可以是电子设备100的内置组件，或者可以是被外部地连接到电子设备100的设备。因此，在实施例中，I/O设备接口114跨网络130经由任何联网技术(例如，蜂窝硬件124、WiFi硬件126、或蓝牙接口128)与I/O设备116B相耦合。I/O设备116B还可以包括被外部地连接到电子设备100中的任何I/O设备。
电子设备100还包括皮肤检测机构118。在实施例中，皮肤检测机构118是实现基于单高斯的皮肤似然估计的硬件模块或软件模块。因此，皮肤检测机构118可以是在CPU和GPU之间划分皮肤检测任务的控制器。皮肤检测机构118可以是在CPU和GPU之间划分皮肤检测任务的驱动器。此外，在实施例中，皮肤检测机制118可以在没有CPU和GPU的情况下执行皮肤检测任务。
在已经执行皮肤检测之后，皮肤检测结果被用于皮肤相关的美化模块，包括皮肤美白和皮肤平滑。皮肤检测结果可以被称为皮肤图。例如，图像捕获机构120可以捕获图像、一系列图像、或视频。皮肤检测机构可以对来自图像捕获机构120的图像执行基于单高斯的皮肤似然估计。本技术可以通过首先基于面部边界框(bounding box)模型生成皮肤和非皮肤的单高斯模型来检测皮肤。面部边界框的每个像素的皮肤的似然性基于高斯模型来计算。由于与寻找面部边界框的每个像素的皮肤的似然性相关联的指数运算的昂贵计算成本，尤其是在移动平台中，GPU的并行计算功率被用来执行指数计算。使用CPU侧来计算基于面部边界框的皮肤和非皮肤的单高斯模型，从而得到一组模型参数。可以以每10/20帧的速率执行对模型参数的更新，这将降低CPU成本。
存储设备122是物理存储器，例如，硬盘驱动器、光盘驱动器、闪速驱动器、驱动器阵列、或它们的任意组合。存储设备122可以存储用户数据，例如，音频文件、视频文件、音频/视频文件和图像文件等。存储设备122还可以存储编程代码，例如，设备驱动程序、软件应用、操作***等。存储于存储设备122中的编程代码可以由CPU 102、GPU 108、或可以被包括在电子设备100中的任何其他处理器来执行。
CPU 102可以通过总线106被链接到蜂窝硬件124。蜂窝硬件124可以是任何蜂窝技术，例如，4G标准(由国际电信联盟-无线电通信部门(ITU-R)颁布的国际移动电信高级(IMT高级)标准)。以这种方式，电子设备100可以访问任何网络130而不被拴系(tether)或配对到另一设备，其中，蜂窝硬件124允许访问网络130。
CPU 102也可以通过总线106被链接到WiFi硬件126。WiFi硬件126是根据WiFi标准(被颁布为电气和电子工程师协会(IEEE)802.11标准的标准)的硬件。WiFi硬件126使得电子设备100能够使用传输控制协议和互联网协议(TCP/IP)连接到互联网。因此，电子设备100可以通过根据TCP/IP协议寻址、路由、发送和接收数据而不使用另一设备来实现与互联网的端到端连通性。此外，蓝牙接口128可以通过总线106被耦合到CPU 102。蓝牙接口128是根据蓝牙网络(基于由蓝牙特殊兴趣组颁布的蓝牙标准)的接口。蓝牙接口128使得电子设备100能够通过个人区域网(PAN)来与其他启用蓝牙的设备进行配对。因此，网络130可以是PAN。启用蓝牙的设备的示例包括膝上型计算机、台式计算机、超级本、平板计算机、移动设备或服务器等。
网络130可以被用于获取用于执行如本文所讨论的皮肤检测的数据。在实施例中，在线是指实时皮肤和非皮肤建模，其中，可以使用网络130来获取数据和参数。在实施例中，在线皮肤似然估计也可以指不使用离线训练的皮肤似然估计。
图1的框图不旨在指示电子设备100将包括图1所示的所有组件。相反，计算***100可以包括更少的组件或图1中未示出的附加组件(例如，传感器、电源管理集成电路、附加网络接口等)。取决于特定实现方式的细节，电子设备100可以包括图1未示出的任何数目的附加组件。此外，CPU 102任何功能可以部分地或完全地在硬件和/或处理器中实现。例如，功能可以用专用集成电路、在处理器中实现的逻辑中、在专用图形处理单元中实现的逻辑中、或在任何其他设备中实现。
图2是用于基于单高斯的皮肤似然估计的方法200的处理流程图。方法200包括三个主要模块：框202处的自动皮肤主导面部区域估计、框204处的在线皮肤和非皮肤建模、以及框206处的具有实值置信度的逐像素皮肤检测。与基于单高斯的皮肤似然估计相关联的计算任务被进一步划分成两个部分：框208，其中，面部区域估计和高斯建模任务被分配在CPU上，以及框210，皮肤检测任务被分配在GPU上。
在框212处，获得时刻t处的帧。时刻t处的帧可以被输入到框202，其中，执行自动皮肤主导面部区域估计。自动皮肤主导面部区域估计提供该帧内表示皮肤主导区域的粗略面部区域。在实施例中，自动皮肤主导面部区域估计可以接收或生成指示所检测的身体部分(例如，面部、手部、手臂等)的特征点或特征点数据。例如，面部特征点可以包括与面部相关联的特征点，例如，眼睛特征、眉毛特征、鼻子特征、嘴部特征。身体特征点可以包括手指、手部等。
可以检测、跨视频序列的图像帧跟踪、和/或验证任何数目的面部特征点。在一些示例中，可以检测、跟踪、和/或验证约20至40个特征点。这种面部特征点可以被提供给框202或在框202处生成。框202处的自动皮肤主导面部区域估计可以基于特征点来生成皮肤主导区域数据。可以确定包括特征点的最小边界框。最小边界框可以被反复扩展以生成或提供皮肤主导区域。最小边界框可以是例如包括所有特征点的最小尺寸的矩形。此外，最小边界框可以被扩展以生成皮肤主导区域。例如，可以通过提取填充参数的因子和原始图像的大小等来将最小边界框的边界扩展预定量(例如，扩展参数或定义围绕最小边界框的方向扩展的参数)。填充比率可以包括任何适当的值，例如，在约1/20至1/10的范围内的值或在约1/10至1/5的范围内的值等。在一些示例中，一些或全部的填充比率可以是相同的，在其他示例中，可以是全部不同的。
可以将帧连同定义至少一个皮肤主导区域的边界框提供给框204。虽然如本文描述的边界已被称为框，但具有至少一个皮肤主导区域的有界区域可以是任何形状或大小。此外，皮肤主导区域可以被表征为皮肤区域、前景区域、面部区域(在一些情境中)、手部区域(在一些情境中)、感兴趣的区域等。自动皮肤主导面部区域估计还可以定义背景区域和/或前景区域。人的大部分皮肤像素可以在皮肤主导区域和背景区域内。背景区域可以是在皮肤主导区域之外的主要包括非皮肤像素的多个区域。尽管一些非皮肤像素(例如，与眉毛、眼球、嘴部、嘴唇、眼睛等相关联的像素)也可以被包括在皮肤主导区域中，但皮肤主导区域内的这种像素的部分小于皮肤像素的部分。类似地，背景区域以可以包括一些皮肤像素，但同样，这种皮肤像素的部分小于非皮肤像素的部分。在框204处，执行在线皮肤和非皮肤高斯建模。可以基于皮肤主导区域内的像素的颜色值和在皮肤主导区域之外的像素的颜色值来执行在线(例如，实时)皮肤和非皮肤建模。
在框204处，可以基于皮肤主导区域内的和皮肤主导区域以外的图像像素的颜色分布来构建皮肤和非皮肤模型。如上所讨论的，可以将皮肤主导区域数据提供给框204。在框204处，可以基于与皮肤主导区域数据相关联的皮肤主导区域内的像素相关联的像素值以及与图像数据的另一区域相关联的像素值来生成皮肤模型和非皮肤模型。
例如，皮肤和非皮肤建模模块102还可以接收图像数据。可以执行在线皮肤和非皮肤高斯建模以使用任何适当的一种或多种技术来生成皮肤模型和非皮肤模型。例如，可以基于皮肤主导区域内的像素的颜色值来生成皮肤模型，并且基于图像的另一区域内的像素的颜色值生成非皮肤模型。图像的另一区域可以是皮肤主导区域之外的任何适当的区域。在一些示例中，整个背景区域(例如，皮肤主导区域之外的整个图像)可以被用于生成非皮肤模型。在其他示例中，可以使用皮肤主导区域之外的图像区域的随机或预先选择的部分或采样。此外，皮肤和非皮肤高斯建模模块可以将皮肤模型和非皮肤模型提供为在线建模(OM)数据。
在线皮肤和非皮肤高斯建模可以使用单高斯模型来生成皮肤模型和非皮肤模型，以生成强健且光滑的皮肤图。对于皮肤和非皮肤颜色，单高斯模型被构建为拟合帧It中的图像的颜色分布。在帧It中，令f＝{u(xk,yk)}k-1,…,M为属于上述皮肤主导前景区域或非皮肤主导背景区域的图像像素的颜色特征集，其中，u(xk,yk)是位于(xk,yk)处的图像像素的颜色特征向量，并且M是像素的数目。帧It中的图像可以是属于皮肤主导区域或另一非皮肤主导区域的图像像素的颜色特征集。例如，皮肤主导区域的颜色特征集可以被表征为fskin，并且非皮肤区域主导区域的颜色特征集可以被表征为fnon-skin。此外，u(xk,yk)可以是位于(xk,yk)处的图像像素的颜色特征向量，并且M是像素的数目。颜色特征向量可以是任意颜色空间中的一维(1D)、二维(2D)、或三维(3D)或更多维颜色向量。例如，颜色特征向量可以包括基于图像数据的颜色空间在像素位置处可用的一个或多个颜色值(例如，包括亮度值)。如所讨论的，图像数据可以在具有任何数目的颜色通道的任何颜色空间中。颜色特征向量可以包括这些颜色通道中的全部、一些、或一个。例如，如果图像数据在RGB颜色空间中，则颜色特征向量可以是具有R值、G值和B值的3D向量，或者颜色特征向量可以是具有R值和G值(或G值和B值或R值和B值)的2D向量。例如，本文所讨论的技术的优势可以是可以不需要图像数据的颜色转换，并且可以在图像数据的本地颜色空间中生成在线建模数据(例如，基于经由图像传感器的图像捕获和/或经由图像信号处理器的图像捕获处理等)。
框204可以生成在线皮肤和非皮肤高斯模型。对于每个颜色向量，皮肤和非皮肤像素的均值和方差被计算为μi和σi，其中，i＝1,…,N，其中，N是颜色空间的维数。然后，基于单高斯模型的皮肤/非皮肤模型被构建为：
根据上面的单高斯在线建模，皮肤和非皮肤模型的分布表示皮肤和非皮肤区域中的图像像素的实际颜色分布。因此，皮肤似然函数可以被构建为：
P(i)＝exp(Gskin(i)-Gnon-skin(i))，i＝1,...,N (2)
在实施例中，由于指数皮肤似然函数是正单调递增函数，因此它确保了概率结果的正确性。
在框204处使用等式1生成的模型Gskin和Gnon-skin可以表示皮肤主导区域(例如，面部区域、手部区域等)和非皮肤主导区域(例如，背景区域等)中的图像像素的实际颜色分布。这种模型可以用于确定如图2所示的代表性的区别皮肤似然函数P(i)。可以将似然函数P(i)提供给框206，其中，利用实置信度来执行逐像素皮肤检测。
在框206处，通过利用实置信度执行逐像素皮肤检测来生成皮肤图。基于像素的皮肤检测模块206可以从在线皮肤和非皮肤高斯建模模块204接收似然函数。基于像素的皮肤检测模块206可以将图像数据的个体像素(例如，图像数据的所有像素或样本像素)分类为皮肤像素或非皮肤像素，并且皮肤标签数据可以包括这样的分类(例如，作为包括针对皮肤像素的值1和针对非皮肤像素的值0的二进制图像或遮罩等)。例如，基于像素的皮肤检测模块206还可以接收用于执行这样的分类的图像数据。此外，皮肤标签数据针对每个所分类的图像数据的像素可以包括与该分类相关联的置信度值。例如，以高置信度被分类为皮肤像素的像素可以包括指示皮肤像素分类的二进制值1和相对高置信度值，并且以低置信度被分类为皮肤像素的像素可以包括指示皮肤像素分类的二进制值1但具有相对低的置信度值。这样的二进制值和置信度值可以由其他模块用于执行数字化妆、基于视频的美化、面部跟踪、面部增强、3维面部建模、手势检测和跟踪、从数据库检索人等。皮肤标签数据可以被生成为皮肤图214。在实施例中，皮肤标签数据例如可以被表征为皮肤检测数据、皮肤图估计数据、皮肤建模数据等。在框216处，时间增加并且可以处理下一帧。
由在线皮肤和非皮肤高斯建模模块204生成的似然函数P(i)可以测量皮肤主导区域和另一(非皮肤主导)区域之间的集群化的颜色值的分离。此外，如所讨论的，基于像素的皮肤检测模块206可以对图像数据的个体像素进行分类。基于似然函数P(i)，图像帧It中的每个像素u(xk,yk)可以使用以下等式被分类为皮肤类和非皮肤类别：
其中，C是类别(例如，1针对被分类为皮肤像素的像素并且0针对被分类为非皮肤像素的像素)，P是似然函数，τ是阈值，并且P(G(u(xk,yk)))是位于xk,yk处的图像像素的实置信度。阈值τ可以被表征为似然阈值、皮肤像素阈值等。阈值可以是任何适当的值，例如，在约-0.2至约-0.3的范围内的值、在约-0.2至-0.25的范围内的值等。
如关于等式(3)所示，基于像素的皮肤检测模块206可以针对个体像素xk,yk确定高斯分布(例如，基于单高斯模型G)和像素是皮肤像素的似然性(例如，基于P)。如果似然性大于阈值τ，则像素可被分类为皮肤像素(例如，赋予值1)，并且如果似然性小于阈值τ，则像素可被分类为非皮肤像素(例如，赋予值0)。针对特定像素的似然或皮肤分类值等(例如，P(G(u(xk,yk))))可以被提供为实值置信度或置信度值，并且在一些示例中，似然性可以被量化或向量化为0至255、0至128等的范围内的值以包括在皮肤标签数据120中。为了描述的简单性，本技术已经使用基本RGB颜色空间的红色、绿色和蓝色通道以及每个帧中的代表性的区别皮肤似然函数进行了描述。然而，根据本技术可以使用任何颜色空间。
图3是包括具有面部特征点的图像300的帧。帧300包括具有面部特征点304的人302。如图3所示，图像300还可以包括背景306。面部特征点304可以包括与眼睛特征、眉毛特征、鼻子特征、嘴部特征等相关联的特征点。如上所讨论的，可以检测、跨视频序列的图像帧跟踪、和/或验证任何数目的面部特征点304。在一些示例中，可以被检测、跟踪、和/或验证约20至40个特征点。这种面部特征点204可以被提供给自动皮肤主导面部区域估计模块202或由自动皮肤主导面部区域估计模块202生成。还示出了包括所有特征点304的边界框308。在示例中，边界框可以被迭代地扩展以包括所有皮肤区域，例如，人302的面部的上半部分。
由基于单高斯的皮肤似然估计生成的皮肤图足够平滑以用于皮肤美化应用，而不会在皮肤平滑和美白之后在皮肤上生成斑点。这是引入单高斯模型的平滑以提高皮肤图的平滑性以及GPU优化的直接结果。不具有基于单高斯的模型的皮肤似然估计通常在皮肤表面中显示出较大不连续性。如本文所描述的基于单高斯的皮肤似然估计产生光滑的皮肤图。
下面的表1和表2示出了非优化的基于单高斯的皮肤似然估计和优化的基于单高斯的皮肤似然估计之间的性能数据比较。如本文所使用的，非优化的基于单高斯的皮肤似然估计使用单个处理器来执行。优化的基于单高斯的皮肤似然估计利用基于由CPU和GPU中的每一个所呈现的处理优势来在CPU和GPU之间划分任务来执行。
在示例中，由CPU处理的代码已经在SSE指令中被高度优化，而GPU侧上的代码已经在OPENGL中实现。表1对应于支持SSE、SSE2指令并集成了第一图形加速器/GPU的移动平台。表2对应于也支持SSE、SSE2但还集成了第二、不同的图形加速器/GPU的移动平台。
表1-第一图形加速器/GPU
表2-第二图形加速器/GPU
如表1和表2所示，基于单高斯模型的皮肤检测算法的非优化性能是非常耗时的。这可能是在CPU上实现指数函数的直接结果。将在线皮肤/非皮肤建模任务和逐像素皮肤检测任务分别划分成CPU和GPU任务来完成，因为典型的GPU是针对输入图像可以并行执行指数计算的并行计算单元，而不管应用于GPU的速度或加速度。为减少计算，为了描述性目的，将皮肤图的分辨率缩小到320×240或320×180。本技术使用CPU计算皮肤和非皮肤区域中的像素的均值和方差。使用GPU来计算基于CPU的结果的皮肤似然函数。在实施例中，对于CPU代码，SSE/SSE2内联函数(intrinsics)可以用于优化CPU处的数据计算。在表1和表2中示出了最终性能值。
图4是用于利用基于单高斯的皮肤似然估计来执行皮肤检测的方法400的处理流程图。方法400可以由设备(例如，设备100、本文讨论的任何其他设备或***)执行，或者方法400的部分可以由设备执行以提供皮肤检测和/或分类。此外，可以针对任何数目的图像帧、视频序列等来重复方法400或其部分。方法400可以起始于框402处的开始。
在框404处，接收图像帧。在实施例中，图像帧可以是视频序列的图像帧。例如，如上所述的图像300可以是图像帧。在实施例中，可以从静止图像等获取图像帧。在框402处接收到的图像帧可以包括以任何适当格式和在任何颜色空间(比如，本文讨论的那些)中的图像数据。在框406处，确定图像帧的皮肤主导区和另一区域。在示例中，可以使用本文所讨论的用于生成皮肤主导区域的任何技术(例如，特征点确定、最小边界框生成、以及最小边界框的扩展)来确定皮肤主导区域。此外，可以基于对任何对象(例如，面部或手部等)的检测来确定皮肤主导区域。在实施例中，可以确定单个皮肤主导区域或多个皮肤主导区域。图像帧的其他区域可以包括图像帧的背景区域或图像帧的任何其他非皮肤主导区域。
在框408处，生成单高斯皮肤模型和非皮肤模型。可以基于皮肤主导区域生成皮肤模型，并且可以基于其他区域生成非皮肤模型。这种模型可以包括任何适当的模型，例如，如本文所讨论的基于颜色的模型。例如，这种模型可以基于皮肤主导区域和其他区域内的像素的颜色特征向量。如本文所述，皮肤模型和非皮肤模型各自可以是基于单高斯的模型。在其中在框406处确定多个皮肤主导区域的实施例中，这种皮肤主导区域可以被组合以生成可以被生成用于这种皮肤主导区域的单个皮肤模型或多个皮肤模型。
在框410处，可以确定区别皮肤似然函数。在实施例中，可以基于在框408处生成的单高斯模型来确定一个或多个区别皮肤似然函数。在操作410处确定的一个或多个区别皮肤似然函数可以包括本文讨论的任何区别皮肤似然函数，例如，基于对数的区别皮肤似然函数、基于对数的分类器、阈值函数、贝叶斯分类器、高斯分类器、多层感知分类器、神经网络分类器等。
在框412处，图像帧的像素被分类为皮肤或非皮肤像素。在实施例中，可以生成与分类相关联的置信度值。例如，可以基于在框410处确定的区别皮肤似然函数来对图像帧的个体像素进行分类。例如，图像帧的每个像素可以被分类(例如，如果被分类为皮肤像素，则提供1，否则，提供0)并被提供可以在操作412处生成的置信度值(例如，与分类的置信度相关联的从0到1、从0到255、从0到128等的范围内的值)。
在框414处，确定是否已经处理了最后一个图像帧。在实施例中，如果在框406处未检测到皮肤主导区域，则处理流程可以继续到框416。如果最后一个图像帧已经被处理，则处理流程继续到框416。如果最后一个图像帧尚未被处理，则处理流程继续到框418。
在框416处，处理流程结束。在框418处，选择下一图像帧。下一图像帧可以根据如本文所描述的框404-418来处理。以这种方式，迭代地处理每个帧，直到没有剩余的帧要处理。在实施例中，可以针对任何数目的图像帧、视频序列等来并联或串联地执行方法400。此外，方法400可以提供用于对视频序列的所有图像帧执行皮肤检测的处理流程。在其他示例中，仅视频序列的一些图像帧(例如，选定子集，如，每隔一个、每隔两个等)可以通过操作404-412来处理。在其他示例中，方法400可以由指示视频序列将被处理以进行皮肤检测的用户或驱动器等来唤起。这样的唤起可以包括图像帧采样模式(例如，所有、每隔一个等)等。
本文讨论的技术提供了具有相对低计算成本和相对较低存储器占用的高质量皮肤检测。本文讨论的技术的结果提供了精确的皮肤像素分类，即使是在包括背景杂乱、低照度、各种用户种族等的困难图像帧中。光滑皮肤图可以与于皮肤美化算法一起使用而不会不利地影响该皮肤美化算法。
如在本文描述的任何实现方式中所使用的，术语“模块”指被配置为提供本文描述的功能的软件逻辑、固件逻辑、硬件逻辑和/或电路的任何组合。软件可以被体现为软件包、代码和/或指令集或指令，并且如在本文描述的任何实现方式中所使用的，“硬件”可以单独地或以任何组合包括例如硬连线电路、可编程电路、状态机电路、固定功能电路、执行单元电路和/或存储由可编程电路执行的指令的固件。模块可以被共同地或单独地实现为形成较大***的一部分的电路，例如，集成电路(IC)、片上***(SoC)等。
图5是示出存储用于利用基于单高斯的皮肤似然估计来执行皮肤检测的指令的有形非暂态计算机可读介质的框图。有形非暂态计算机可读介质500可以由处理器502通过计算机总线504进行访问。此外，有形非暂态计算机可读介质500可以包括被配置为引导处理器502来执行本文描述的方法的代码。
本文所讨论的各种软件组件可以被存储在如图5所示的一个或多个有形非暂态计算机可读介质500上。皮肤区域估计模块506可以被配置为通过提供帧内表示皮肤主导区域的粗略面部区域来执行自动皮肤主导面部区域估计。单高斯建模模块508可以被配置为基于皮肤主导区域内的和皮肤主导区域之外的那些图像像素的颜色分布来构建单高斯皮肤和非皮肤模型。
皮肤检测模块510可以被配置为通过利用实值置信度执行逐像素皮肤检测来生成皮肤图。
图5的框图并不旨在指示有形非暂态计算机可读介质500将包括图5所示的所有组件。此外，取决于特定实现方式的细节有形非暂态计算机可读介质500可以包括任何数目的图5中未示出的附加组件。
本技术不需要任何离线训练的皮肤和非皮肤分类器来执行逐像素的皮肤检测。皮肤检测可以被构思为使用在皮肤检测之前仅知的用户面部的粗略区域的在线区别建模和分类问题。此外，在线区别学***均/框等滤波器来进行平滑。
图6是根据本公开的至少一些实现方式布置的示例***600的说明性图示。在各种实现方式中，***600可以是媒体***，但***600不受限于该情境。例如，***600可以被合并到个人计算机(PC)、膝上型计算机、超级膝上型计算机、平板计算机、触摸板、便携式计算机、手持计算机、掌上计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视、智能设备(例如，智能电话、智能平板计算机或智能电视)、移动互联网设备(MID)、消息传递设备、数据通信设备、相机(例如，傻瓜相机、超级变焦相机、数码单反(DSLR)相机)等。
在各种实现方式中，***600包括耦合到显示器620的平台602。平台602可以从诸如(一个或多个)内容服务设备630或(一个或多个)内容递送设备640或其他类似内容源之类的内容设备接收内容。包括一个或多个导航特征的导航控制器650可以用于与例如平台602和/或显示器620进行交互。下面更详细地描述这些组件中的每一个。
在各种实现方式中，平台602可以包括芯片组605、处理器610、存储器612、天线613、存储装置614、图形子***615、应用616、和/或无线电装置618的任何组合。芯片组605可以提供处理器610、存储器612、存储装置614、图形子***615、应用616、和/或无线电装置618之间的相互通信。例如，芯片组605可以包括能够提供与存储装置614的相互通信的存储装置适配器(未示出)。
处理器610可以被实现为复杂指令集计算机(CISC)或精简指令集计算机(RISC)处理器、x86指令集兼容处理器、多核或任何其他微处理器或中央处理单元(CPU)。在各种实现方式中，处理器610可以是(一个或多个)双核处理器、(一个或多个)双核移动处理器等。
存储器612可以被实现为易失性存储器设备，例如但不限于：随机存取存储器(RAM)、动态随机存取存储器(DRAM)、或静态RAM(SRAM)。存储装置614可以被实现为非易失性存储设备，例如但不限于：磁盘驱动器、光盘驱动器、磁带驱动器、内部存储设备、附加存储设备、闪存、电池备用SDRAM(同步DRAM)、和/或网络可访问存储设备。在各种实现方式中，例如，存储装置614可以包括在包括多个硬盘驱动器时增加对有价值数字介质的存储性能增强保护的技术。
图形子***615可以执行对诸如静止图像或视频图像之类的图像的处理以供显示。例如，图形子***615可以是图形处理单元(GPU)或视觉处理单元(VPU)。模拟或数字接口可以用于通信地耦合图形子***615和显示器620。例如，接口可以是高清晰度多媒体接口、DisplayPort(显示端口)、无线HDMI、和/或无线HD兼容技术中的任何一种。图形子***615可以被集成到处理器610或芯片组605中。在一些实现方式中，图形子***615可以是被通信地耦合到芯片组605的独立设备。
本文描述的图形和/或视频处理技术可以在各种硬件架构中实现。例如，图形和/或视频功能可以被集成在芯片组内。替代地，可以使用独立的图形和/或视频处理器。作为又一实现方式，图形和/或视频功能可以由包括多核处理器的通用处理器提供。在进一步的实施例中，这些功能可以在消费者电子设备中实现。
无线电装置618可以包括能够使用各种适当的无线通信技术来发送和接收信号的一个或多个无线电装置。这种技术可以涉及跨一个或多个无线网络的通信。示例无线网络包括(但不限于)无线局域网(WLAN)、无线个域网(WPAN)、无线城域网(WMAN)、蜂窝网络和卫星网络。在跨这些网络进行通信时，无线电装置618可以根据任何版本的一个或多个适用标准进行操作。
在各种实现方式中，显示器620可以包括任何电视机类型的监视器或显示器。显示器620可以包括例如计算机显示屏、触摸屏显示器、视频监视器、类电视机设备、和/或电视机。显示器620可以是数字的和/或模拟的。在各种实现方式中，显示器620可以是全息显示器。此外，显示器620可以是可以接收视觉投影的透明表面。这种投影可以传达各种形式的信息、图像和/或对象。例如，这种投影可以是用于移动增强现实(MAR)应用的视觉覆盖。在一个或多个软件应用616的控制下，平台602可以在显示器620上显示用户界面622。
在各种实现方式中，例如，(一个或多个)内容服务设备630可以由任何国内、国际和/或独立服务托管，并且因此可以经由互联网来访问平台602。(一个或多个)内容服务设备630可以被耦合到平台602和/或显示器620。平台602和/或(一个或多个)内容服务设备630可以被耦合到网络660以向和从网络660传送(例如，发送和/或接收)媒体信息。(一个或多个)内容传递设备640也可以被耦合到平台602和/或显示器620。
在各种实现方式中，(一个或多个)内容服务设备630可以包括有线电视机盒、个人计算机、网络、电话、能够递送数字信息和/或内容的启用互联网的设备或设施、以及能够经由网络660或直接地在内容提供商和平台602和/或显示器620之间单向地或双向地传送内容的任何其他类似设备。应理解，可以经由网络660来单向和/或双向地向***600中的任何一个组件和内容提供商传送内容，或者从***600中的任何一个组件和内容提供商传送内容。内容的示例可以包括任何媒体信息，包括例如，视频、音乐、医疗和游戏信息等。
(一个或多个)内容服务设备630可以接收诸如包括媒体信息、数字信息和/或其他内容的有线电视节目之类的内容。内容提供商的示例可以包括任何有线或***、或无线电或互联网内容提供商。所提供的示例并不意味着以任何方式限制根据本公开的实现方式。在各种实现方式中，平台602可以从具有一个或多个导航特征的导航控制器650接收控制信号。例如，控制器650的导航特征可以用于与用户界面622进行交互。在各种实施例中，导航控制器650可以是指点设备，其可以是允许用户将空间(例如，连续和多维)数据输入到计算机内的计算机硬件组件(具体地，人机接口设备)。诸如图形用户界面(GUI)、以及电视和监视器之类的许多***允许用户使用物理手势来控制计算机或电视和向计算机或电视机提供数据。
控制器650的导航特征的移动可以通过显示器上所显示的指针、光标、聚焦环或其他视觉指示符的移动来复制在显示器(例如，显示器620)上。例如，在软件应用616的控制下，位于导航控制器650上的导航特征可以被映射到在用户界面622上显示的虚拟导航特征。在各种实施例中，控制器650可以不是单独的组件，但可以被集成到平台602和/或显示器620中。然而，本公开不限于本文示出或描述的元件或情境中。
在各种实现方式中，例如，驱动器(未示出)可以包括在被启用时使得用户能够在初始启动之后通过触摸按钮来立即打开和关闭平台602(例如，电视机)的技术。即使当平台602被“关闭”时，程序逻辑也可以允许平台602将内容流送到媒体适配器或其他(一个或多个)内容服务设备630或(一个或多个)内容递送设备640。此外，例如，芯片组605可以包括支持5.1环绕声频和/或高清7.1环绕声频的硬件和/或软件。驱动器可以包括用于集成图形平台的图形驱动器。在各种实施例中，图形驱动器可以包括***组件互连(PCI)快速图形卡。
在各种实现方式中，可以集成***600中示出的组件中的任何一个或多个组件。例如，可以集成平台602和(一个或多个)内容服务设备630，或者可以集成平台602和(一个或多个)内容递送设备640，或者可以集成平台602、(一个或多个)内容服务设备630和(一个或多个)内容递送设备640。在各种实施例中，平台602和显示器620可以是集成单元。例如，可以集成显示器620和(一个或多个)内容服务设备630，或者可以集成显示器620和(一个或多个)内容递送设备640。这些示例并不意味着限制本公开。
在各种实施例中，***600可以被实现为无线***、有线***或两者的组合。当被实现为无线***时，***600可以包括适用于通过无线共享介质来进行通信的组件和接口，例如，一个或多个天线、发送器、接收器、收发器、放大器、滤波器、控制逻辑等。无线共享介质的示例可以包括无线频谱(例如，RF频谱等)的部分。当被实现为有线***时，***600可以包括适用于通过有线通信介质来进行通信的组件和接口，例如，输入/输出(I/O)适配器、用于将I/O适配器与相应的有线通信介质连接的物理连接器、网络接口卡(NIC)、盘控制器、视频控制器、音频控制器等。有线通信介质的示例可以包括电线、电缆、金属引线、印刷电路板(PCB)、背板、交换结构、半导体材料、双绞线、同轴电缆、光纤等。
平台602可以建立一个或多个逻辑或物理信道以传送信息。信息可以包括媒体信息和控制信息。媒体信息可以指表示打算供用户使用的内容的任何数据。内容的示例可以包括例如来自语音对话、视频会议、流视频、电子邮件(“email”)消息、语音邮件消息、字母数字符号、图形、图像、视频、文本等的数据。来自语音对话的数据可以是例如语音信息、静默时段、背景噪声、舒适噪声、音调等。控制信息可以指表示打算供自动化***使用的命令、指令或控制字的任何数据。例如，控制信息可以用于通过***来路由媒体信息，或指示节点来以预定方式处理媒体信息。然而，实施例不限于图6中示出或描述的元件或情境中。
如上所述，***600可以被体现为不同的物理样式或形状因子。图7示出了根据本公开的至少一些实现方式布置的示例小形状因子设备700。在一些示例中，***600可以经由设备700来实现。在其他示例中，设备60、***900、或其部分可以经由设备700来实现。在各种实施例中，例如，设备700可以被实现为具有无线功能的移动计算设备。例如，移动计算设备可以指具有处理***和移动电源或供电装置(例如，一个或多个电池)的任何设备。
移动计算设备的示例可以包括：个人计算机(PC)、膝上型计算机、超级膝上型计算机、平板计算机、触摸板、便携式计算机、手持计算机、掌上计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、智能设备(例如，智能电话、智能平板计算机或智能移动电视)、移动互联网设备(MID)、消息传递设备、数据通信设备、相机等。
移动计算设备的示例还可以包括被布置为由人穿戴的计算机，例如，腕式计算机、手指计算机、戒指计算机、眼镜计算机、带夹计算机、臂带计算机、鞋计算机、服饰计算机、以及其他可穿戴计算机。在各种实施例中，例如，移动计算设备可以被实现为能够执行计算机应用以及语音通信和/或数据通信的智能电话。尽管可以通过示例的方式利用被实现为智能电话的移动计算设备来描述一些实施例，但可以理解，其他实施例也可以使用其他无线移动计算设备来实现。实施例不限于此情境中。
如图7所示，设备700可以包括具有前部701和后部702的壳体。设备700包括显示器704、输入/输出(I/O)设备706和集成天线708。设备700还可以包括导航特征712。I/O设备706可以包括用于将信息输入到移动计算设备内的任何适当的I/O设备。I/O设备706的示例可以包括字母数字键盘、数字小键盘、触摸板、输入键、按钮、开关、麦克风、扬声器、语音识别设备和软件等。信息也可以通过麦克风(未示出)来输入设备700，或者可以由语音识别设备进行数字化。如图所示，设备700可以包括集成到设备700的后部702(或其他地方)的相机705(例如，包括镜头、光圈和成像传感器)和闪光灯710。在其他示例中，相机705和/或闪光灯710可以被集成到设备700的前部701或者可以提供前后相机二者。例如，相机705和闪光灯710可以是相机模块的组件以发起图像数据，这些图像数据被处理成输出到显示器704的流视频和/或经由天线708从设备700进行远程传送。
示例1是用于执行单高斯皮肤检测的***。该***包括：存储器，被配置为接收图像数据；以及处理器，耦合到存储器，该处理器基于与图像数据相关联的皮肤主导区域生成单高斯皮肤模型并基于与图像数据相关联的第二区域生成单高斯非皮肤模型，并且基于单高斯皮肤模型和单高斯非皮肤模型经由区别皮肤似然函数来对与图像数据相关联的个体像素进行分类，以生成与图像数据相关联的皮肤标签数据。
示例2包括示例1的***，包括或不包括可选特征。在该示例中，对个体像素进行分类包括将第一个体像素的皮肤分类值与预定阈值进行比较。
示例3包括示例1至2中的任一项的***，包括或不包括可选特征。在该示例中，区别皮肤似然函数包括下列项中的至少一项：基于日志的分类器、阈值函数、贝叶斯分类器、高斯分类器、多层感知分类器、或神经网络分类器。
示例4包括示例1至3中的任一项的***，包括或不包括可选特征。在该示例中，图像数据包括视频序列的图像帧，并且其中，处理器生成皮肤模型和非皮肤模型并对个体像素进行分类包括处理器在线地相对于视频序列生成皮肤模型和非皮肤模型并对个体像素进行分类。
示例5包括示例1至4中的任一项的***，包括或不包括可选特征。在该示例中，图像数据包括视频序列的图像帧，并且处理器还接收与视频序列的第二图像帧相关联的第二图像数据、基于第二图像帧生成第二皮肤模型和第二非皮肤模型、并且基于第二皮肤模型和第二非皮肤模型经由第二区别皮肤似然函数来对与第二图像数据相关联的第二个体像素进行分类，以生成与第二图像数据相关联的第二皮肤标签数据。可选地，处理器在图像数据的个体像素被分类之后接收第二图像数据。
示例6包括示例1至5中的任一项的***，包括或不包括可选特征。在该示例中，皮肤标签数据对于个体像素中的每一个还包括分类置信度值。
示例7包括示例1至6中的任一项的***，包括或不包括可选特征。在该示例中，处理器还基于多个面部特征特征点确定最小边界框，并扩展该最小边界框以生成皮肤主导区域。
示例8包括示例1至7中的任一项的***，包括或不包括可选特征。在该示例中，图像数据在包括下列项中的至少一项的颜色空间中：红绿蓝颜色空间、亮度色度颜色空间、亮度蓝色差异红色差异颜色空间、或色调饱和度值颜色空间。可选地，颜色空间包括红、绿、蓝颜色空间，并且其中，皮肤模型是基于该红、绿、蓝颜色空间的红色和绿色通道的。
示例9包括示例1至8中的任一项的***，包括或不包括可选特征。在该示例中，处理器还基于与图像数据相关联的第二皮肤主导区域来生成第二皮肤模型，并且其中，处理器对与图像数据相关联的个体像素进行分类还包括该处理器将个体像素分类为与皮肤主导区域相关联的第一皮肤像素或者与第二皮肤主导区域相关联的第二皮肤像素。
示例10是用于执行皮肤检测的方法。该方法包括：基于图像的皮肤主导区域生成单高斯皮肤模型并基于图像的第二区域生成单高斯非皮肤模型；基于单高斯皮肤模型和单高斯非皮肤模型确定区别皮肤似然函数；以及基于该区别皮肤似然函数将图像的个体像素分类为皮肤像素或非皮肤像素，以生成与图像相关联的皮肤标签数据。
示例11包括示例10的方法，包括或不包括可选特征。在该示例中，对个体像素进行分类包括将用于第一个体像素的皮肤分类值与预定阈值进行比较。
示例12包括示例10至11中的任一项的方法，包括或不包括可选特征。在该示例中，区别皮肤似然函数包括下列项中的至少一项：基于日志的分类器、阈值函数、贝叶斯分类器、高斯分类器、多层感知分类器、或神经网络分类器。
示例13包括示例10至12中的任一项的方法，包括或不包括可选特征。在该示例中，图像包括视频序列的图像帧，并且其中，生成皮肤模型和非皮肤模型、确定该区别皮肤似然函数、以及对个体像素进行分类在视频序列的处理期间被在线执行。
示例14包括示例10至13中的任一项的方法，包括或不包括可选特征。在该示例中，图像包括视频序列的图像帧，该方法还包括：接收视频序列的第二图像帧；基于第二图像帧生成第二皮肤模型和第二非皮肤模型；基于第二皮肤模型和第二非皮肤模型确定第二区别皮肤似然函数；并且基于第二区别皮肤似然函数来对第二图像帧的第二个体像素进行分类，以生成与第二图像帧相关联的第二皮肤标签数据。可选地，第二图像帧在图像的个体像素被分类之后被接收。
示例15包括示例10至14中的任一项的方法，包括或不包括可选特征。在该示例中，皮肤标签数据对于个体像素中的每一个还包括分类置信度值。
示例16包括示例10至15中的任一项的方法，包括或不包括可选特征。在该示例中，该方法包括基于多个面部特征特征点确定最小边界框，并扩展该最小边界框以生成皮肤主导区域。
示例17包括示例10至16中的任一项的方法，包括或不包括可选特征。在该示例中，图像与在包括下列项中的至少一项的颜色空间中的图像数据相关联：红绿蓝颜色空间、亮度色度颜色空间、亮度蓝色差异红色差异颜色空间、或色调饱和度值颜色空间。
示例18包括示例10至17中的任一项的方法，包括或不包括可选特征。在该示例中，颜色空间包括红、绿、蓝颜色空间，并且其中，皮肤模型是基于该红、绿、蓝颜色空间的红色和绿色通道的。
示例19包括示例10至18中的任一项的方法，包括或不包括可选特征。在该示例中，该方法包括基于图像的第二皮肤主导区域来生成第二皮肤模型；并且基于第二皮肤模型和第二非皮肤模型确定第二区别皮肤似然函数，其中，对图像的个体像素进行分类还包括将个体像素分类为与皮肤主导区域相关联的第一皮肤像素或者与第二皮肤主导区域相关联的第二皮肤像素。
示例20是一种用于执行皮肤检测的设备。该设备包括：用于基于图像的皮肤主导区域生成单高斯皮肤模型并基于图像的第二区域生成单高斯非皮肤模型的装置；用于基于单高斯皮肤模型和单高斯非皮肤模型确定区别皮肤似然函数的装置；以及用于基于该区别皮肤似然函数将图像的个体像素分类为皮肤像素或非皮肤像素以生成与图像相关联的皮肤标签数据的装置。
示例21包括示例20的设备，包括或不包括可选特征。在该示例中，用于对个体像素进行分类的装置包括用于将第一个体像素的皮肤分类值与预定阈值进行比较的装置。
示例22包括示例20至21中的任一项的设备，包括或不包括可选特征。在该示例中，区别皮肤似然函数包括下列项中的至少一项：基于日志的分类器、阈值函数、贝叶斯分类器、高斯分类器、多层感知分类器、或神经网络分类器。
示例23包括示例20至22中的任一项的设备，包括或不包括可选特征。在该示例中，图像包括视频序列的图像帧，并且其中，用于生成皮肤模型和非皮肤模型的装置、用于确定该区别皮肤似然函数的装置、以及用于对个体像素进行分类的装置相对于视频序列在线操作。
示例24包括示例20至23中的任一项的设备，包括或不包括可选特征。在该示例中，图像包括视频序列的图像帧，该设备还包括：用于接收视频序列的第二图像帧的装置；用于基于第二图像帧生成第二皮肤模型和第二非皮肤模型的装置；用于基于第二皮肤模型和第二非皮肤模型确定第二区别皮肤似然函数的装置；以及用于基于第二区别皮肤似然函数来对第二图像帧的第二个体像素进行分类以生成与第二图像帧相关联的第二皮肤标签数据的装置。可选地，用于接收第二图像帧的装置在图像的个体像素被分类之后接收第二图像帧。
示例25包括示例20至24中的任一项的设备，包括或不包括可选特征。在该示例中，皮肤标签数据对于个体像素中的每一个还包括分类置信度值。
示例26包括示例20至25中的任一项的设备，包括或不包括可选特征。在该示例中，该设备包括用于基于多个面部特征特征点确定最小边界框的装置，以及用于扩展该最小边界框以生成皮肤主导区域的装置。
示例27包括示例20至26中的任一项的设备，包括或不包括可选特征。在该示例中，图像与在包括下列项中的至少一项的颜色空间中的图像数据相关联：红绿蓝颜色空间、亮度色度颜色空间、亮度蓝色差异红色差异颜色空间、或色调饱和度值颜色空间。可选地，颜色空间包括红、绿、蓝颜色空间，并且其中，皮肤模型是基于该红、绿、蓝颜色空间的红色和绿色通道的。
示例28包括示例20至27中的任一项的设备，包括或不包括可选特征。在该示例中，该设备包括用于基于图像的第二皮肤主导区域来生成第二皮肤模型的装置；以及用于基于第二皮肤模型和第二非皮肤模型确定第二区别皮肤似然函数的装置，其中，用于对个体像素进行分类的装置还将个体像素分类为与皮肤主导区域相关联的第一皮肤像素或者与第二皮肤主导区域相关联的第二皮肤像素。
示例29是包括多个指令的至少一种机器可读介质。该机器可读介质包括引导处理器来执行以下操作的指令：基于图像的皮肤主导区域生成单高斯皮肤模型并基于图像的第二区域生成单高斯非皮肤模型；基于单高斯皮肤模型和单高斯非皮肤模型确定区别皮肤似然函数；以及基于该区别皮肤似然函数将图像的个体像素分类为皮肤像素或非皮肤像素，以生成与图像相关联的皮肤标签数据。
示例30包括示例29的计算机可读介质，包括或不包括可选特征。在该示例中，对个体像素进行分类包括将第一个体像素的皮肤分类值与预定阈值进行比较。
示例31包括示例29至30中的任一项的计算机可读介质，包括或不包括可选特征。在该示例中，区别皮肤似然函数包括下列项中的至少一项：基于日志的分类器、阈值函数、贝叶斯分类器、高斯分类器、多层感知分类器、或神经网络分类器。
实施例32包括示例29至31中的任一项的计算机可读介质，包括或不包括可选特征。在该示例中，图像包括视频序列的图像帧，并且其中，生成皮肤模型和非皮肤模型、确定该区别皮肤似然函数、以及对个体像素进行分类在视频序列的处理期间被在线执行。
示例33包括示例29至32中的任一项的计算机可读介质，包括或不包括可选特征。在该示例中，计算机可读介质包括指令，该指令响应于在计算设备上被执行，使得计算设备通过执行下列项来执行皮肤检测：基于多个面部特征特征点确定最小边界框，并扩展该最小边界框以生成皮肤主导区域。
示例34包括示例29至33中的任一项的计算机可读介质，包括或不包括可选特征。在该示例中，计算机可读介质包括指令，这些指令响应于在计算设备上被执行，使得计算设备通过执行下列项来执行皮肤检测：基于图像的第二皮肤主导区域来生成第二皮肤模型；并且基于第二皮肤模型和第二非皮肤模型确定第二区别皮肤似然函数，其中，对图像的个体像素进行分类还包括将个体像素分类为与皮肤主导区域相关联的第一皮肤像素或者与第二皮肤主导区域相关联的第二皮肤像素
示例35包括示例29至34中的任一项的计算机可读介质，包括或不包括可选特征。在该示例中，图像包括视频序列的图像帧，该计算机可读介质还包括：接收视频序列的第二图像帧；基于第二图像帧生成第二皮肤模型和第二非皮肤模型；基于第二皮肤模型和第二非皮肤模型确定第二区别皮肤似然函数；并且基于第二区别皮肤似然函数来对第二图像帧的第二个体像素进行分类，以生成与第二图像帧相关联的第二皮肤标签数据。
示例36包括示例29至35中的任一项的计算机可读介质，包括或不包括可选特征。在该示例中，第二图像帧在图像的个体像素被分类之后被接收。
示例37包括示例29至36中的任一项的计算机可读介质，包括或不包括可选特征。在该示例中，皮肤标签数据对于个体像素中的每一个还包括分类置信度值。
示例38是一种用于执行皮肤检测的装置。该装置包括指令，该指令将处理器引导至：控制器，用于基于图像的皮肤主导区域生成单高斯皮肤模型并基于图像的第二区域生成单高斯非皮肤模型；似然单元，用于基于单高斯皮肤模型和单高斯非皮肤模型确定区别皮肤似然函数；以及分类器单元，用于基于该区别皮肤似然函数将图像的个体像素分类为皮肤像素或非皮肤像素，以生成与图像相关联的皮肤标签数据。
示例39包括示例38的装置，包括或不包括可选特征。在该示例中，分类器单元将第一个体像素的皮肤分类值与预定阈值进行比较。
示例40包括示例38至39中的任一项的装置，包括或不包括可选特征。在该示例中，区别皮肤似然函数包括下列项中的至少一项：基于日志的分类器、阈值函数、贝叶斯分类器、高斯分类器、多层感知分类器、或神经网络分类器。
示例41包括示例38至40中的任一项的装置，包括或不包括可选特征。在该示例中，图像包括视频序列的图像帧，并且其中，用于生成皮肤模型和非皮肤模型的装置、用于确定该区别皮肤似然函数的装置、以及用于对个体像素进行分类的装置相对于视频序列在线操作。
示例42包括示例38至41中的任一项的装置，包括或不包括可选特征。在该示例中，图像包括视频序列的图像帧，该装置还包括：接收器，用于接收视频序列的第二图像帧；经由控制器基于第二图像帧生成第二皮肤模型和第二非皮肤模型；经由似然单元基于第二皮肤模型和第二非皮肤模型确定第二区别皮肤似然函数；并且经由分类器基于第二区别皮肤似然函数来对第二图像帧的第二个体像素进行分类，以生成与第二图像帧相关联的第二皮肤标签数据。可选地，控制器在图像的个体像素被分类之后接收第二图像帧。
示例43包括示例38至42中的任一项的装置，包括或不包括可选特征。在该示例中，皮肤标签数据对于个体像素中的每一个还包括分类置信度值。
示例44包括示例38至43中的任一项的装置，包括或不包括可选特征。在该示例中，该装置包括基于多个面部特征特征点确定最小边界框，以及用于扩展该最小边界框以生成皮肤主导区域的装置。
示例45包括示例38至44中的任一项的装置，包括或不包括可选特征。在该示例中，图像与在包括下列项中的至少一项的颜色空间中的图像数据相关联：红绿蓝颜色空间、亮度色度颜色空间、亮度蓝色差异红色差异颜色空间、或色调饱和度值颜色空间。可选地，颜色空间包括红、绿、蓝颜色空间，并且其中，皮肤模型是基于该红、绿、蓝颜色空间的红色和绿色通道的。
示例46包括示例38至45中的任一项的装置，包括或不包括可选特征。在该示例中，该装置包括：经由控制器基于图像的第二皮肤主导区域来生成第二皮肤模型；并且经由似然单元基于第二皮肤模型和第二非皮肤模型确定第二区别皮肤似然函数，其中，用于对个体像素进行分类的装置还将个体像素分类为与皮肤主导区域相关联的第一皮肤像素或者与第二皮肤主导区域相关联的第二皮肤像素。
本技术不受限于本文列出的具体细节。实际上，受益于本公，本领域技术人员将理解，可以在本技术的范围内进行上述描述和附图的许多其他变型。因此，所附权利要求包括限定本技术的范围的任何修改。

Claims (20)

1.一种用于执行单高斯皮肤检测的***，包括：
中央处理单元，被配置为：在线地基于与接收的图像数据相关联的皮肤主导区域生成实时单高斯皮肤模型并基于与所述图像数据相关联的第二区域生成实时单高斯非皮肤模型；以及
图形处理单元，被耦合到所述中央处理单元并且被配置为：基于所述实时单高斯皮肤模型和所述实时单高斯非皮肤模型经由区别皮肤似然函数来对与所述图像数据相关联的个体像素进行分类，以生成与所述图像数据相关联的皮肤标签数据。
2.根据权利要求1所述的***，其中，对个体像素进行分类包括将第一个体像素的皮肤分类值与预定阈值进行比较。
3.根据权利要求1所述的***，其中，所述区别皮肤似然函数包括下列项中的至少一项：基于日志的分类器、阈值函数、贝叶斯分类器、高斯分类器、多层感知分类器、或神经网络分类器。
4.根据权利要求1所述的***，其中，所述图像数据包括视频序列的图像帧，并且其中，所述中央处理单元被配置为在线地相对于所述视频序列生成所述实时单高斯皮肤模型和所述实时单高斯非皮肤模型。
5.根据权利要求1所述的***，其中，所述图像数据包括视频序列的图像帧，并且所述中央处理单元还被配置为在线地基于与所述视频序列的第二图像帧相关联的第二图像数据生成第二皮肤模型和第二非皮肤模型，并且所述图形处理单元还被配置为基于所述第二皮肤模型和所述第二非皮肤模型经由第二区别皮肤似然函数来对与所述第二图像数据相关联的第二个体像素进行分类，以生成与所述第二图像数据相关联的第二皮肤标签数据。
6.根据权利要求1所述的***，其中，所述皮肤标签数据对于所述个体像素中的每一个体像素还包括分类置信度值。
7.根据权利要求1所述的***，其中，所述中央处理单元还基于多个面部特征特征点确定最小边界框，并扩展所述最小边界框以生成所述皮肤主导区域。
8.根据权利要求1所述的***，其中，所述图像数据在包括下列项中的至少一项的颜色空间中：红绿蓝颜色空间、亮度色度颜色空间、亮度蓝色差异红色差异颜色空间、或色调饱和度值颜色空间。
9.根据权利要求1所述的***，其中，所述中央处理单元还被配置为在线地基于与所述图像数据相关联的第二皮肤主导区域来生成第二皮肤模型，并且其中，所述图形处理单元还被配置为将所述个体像素分类为与所述皮肤主导区域相关联的第一皮肤像素或者与所述第二皮肤主导区域相关联的第二皮肤像素。
10.一种用于执行皮肤检测的方法，包括：
由中央处理单元在线地基于图像的皮肤主导区域生成实时单高斯皮肤模型并基于所述图像的第二区域生成实时单高斯非皮肤模型；
由所述中央处理单元基于所述实时单高斯皮肤模型和所述实时单高斯非皮肤模型确定区别皮肤似然函数；以及
由与所述中央处理单元耦合的图形处理单元基于所述区别皮肤似然函数将所述图像的个体分类为皮肤像素或非皮肤像素，以生成与所述图像相关联的皮肤标签数据。
11.根据权利要求10所述的方法，其中，对个体像素进行分类包括将第一个体像素的皮肤分类值与预定阈值进行比较。
12.根据权利要求10所述的方法，其中，所述区别皮肤似然函数包括下列项中的至少一项：基于日志的分类器、阈值函数、贝叶斯分类器、高斯分类器、多层感知分类器、或神经网络分类器。
13.根据权利要求10所述的方法，其中，所述图像包括视频序列的图像帧，并且其中，在所述视频序列的处理期间执行在线地生成所述皮肤模型和所述非皮肤模型、确定所述区别皮肤似然函数、以及对所述个体像素进行分类。
14.根据权利要求10所述的方法，其中，所述图像包括视频序列的图像帧，所述方法还包括：
由所述中央处理单元在线地基于所述视频序列的第二图像帧生成第二皮肤模型和第二非皮肤模型；
由所述中央处理单元基于所述第二皮肤模型和所述第二非皮肤模型确定第二区别皮肤似然函数；并且
由所述图形处理单元基于所述第二区别皮肤似然函数来对所述第二图像帧的第二个体像素进行分类，以生成与所述第二图像帧相关联的第二皮肤标签数据。
15.根据权利要求10所述的方法，其中，所述皮肤标签数据对于所述个体像素中的每一个还包括分类置信度值。
16.根据权利要求10所述的方法，还包括：
由所述中央处理单元基于多个面部特征特征点确定最小边界框，并扩展所述最小边界框以生成所述皮肤主导区域。
17.根据权利要求10所述的方法，其中，所述图像与在包括下列项中的至少一项的颜色空间中的图像数据相关联：红绿蓝颜色空间、亮度色度颜色空间、亮度蓝色差异红色差异颜色空间、或色调饱和度值颜色空间。
18.根据权利要求17所述的方法，其中，所述颜色空间包括所述红绿蓝颜色空间，并且其中，所述皮肤模型是基于所述红绿蓝颜色空间的红色和绿色通道的。
19.一种用于执行皮肤检测的设备，包括用于执行根据权利要求10-18中的任一项所述的方法的装置。
20.一种机器可读存储介质，其上存储有多个指令，所述多个指令响应于在计算设备上被执行，使得所述计算设备执行根据权利要求10-18中的任一项所述的方法。
CN201680082615.0A 2016-03-25 2016-03-25 Gpu优化和在线基于单高斯的皮肤似然估计 Active CN108701355B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/077348 WO2017161561A1 (en) 2016-03-25 2016-03-25 Gpu optimized and online single gaussian based skin likelihood estimation

Publications (2)

Publication Number Publication Date
CN108701355A CN108701355A (zh) 2018-10-23
CN108701355B true CN108701355B (zh) 2023-07-28

Family

ID=59899839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680082615.0A Active CN108701355B (zh) 2016-03-25 2016-03-25 Gpu优化和在线基于单高斯的皮肤似然估计

Country Status (3)

Country Link
US (1) US10846560B2 (zh)
CN (1) CN108701355B (zh)
WO (1) WO2017161561A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018053703A1 (en) 2016-09-21 2018-03-29 Intel Corporation Estimating accurate face shape and texture from an image
CN111201772A (zh) * 2017-10-09 2020-05-26 深圳传音通讯有限公司 一种录像方法、装置及终端
US20190213475A1 (en) * 2018-01-10 2019-07-11 Red Hat, Inc. Reducing machine-learning model complexity while maintaining accuracy to improve processing speed
CN109493326B (zh) * 2018-10-31 2021-07-20 广州蚁群信息科技有限公司 一种用于医疗检测领域的移动式识别分析***
CN109492650B (zh) * 2018-10-31 2021-07-20 广州蚁群信息科技有限公司 一种基于神经网络的ivd图像识别判定方法
JP7377078B2 (ja) * 2019-11-21 2023-11-09 キヤノン株式会社 画像処理装置および画像処理方法、ならびに撮像装置
US10678594B2 (en) 2020-01-09 2020-06-09 Alipay Labs (singapore) Pte. Ltd. System and method for optimizing resource allocation using GPU
US11709915B2 (en) * 2020-08-26 2023-07-25 Adobe Inc. Classifying images utilizing generative-discriminative feature representations

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101251898A (zh) * 2008-03-25 2008-08-27 腾讯科技（深圳）有限公司 一种肤色检测方法及装置
CN102254327A (zh) * 2011-07-29 2011-11-23 西南交通大学 数码照片中的人脸自动分割方法
CN102637298A (zh) * 2011-12-31 2012-08-15 辽宁师范大学 基于高斯混合模型与支持向量机的彩色图像分割方法
CN102938054A (zh) * 2012-09-06 2013-02-20 北京工业大学 基于视觉注意模型的压缩域敏感图像识别方法
CN105426816A (zh) * 2015-10-29 2016-03-23 深圳怡化电脑股份有限公司 一种处理人脸图像的方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050031173A1 (en) * 2003-06-20 2005-02-10 Kyungtae Hwang Systems and methods for detecting skin, eye region, and pupils
KR100695174B1 (ko) 2006-03-28 2007-03-14 삼성전자주식회사 가상 입체음향을 위한 청취자 머리위치 추적방법 및 장치
US8218862B2 (en) * 2008-02-01 2012-07-10 Canfield Scientific, Incorporated Automatic mask design and registration and feature detection for computer-aided skin analysis
US8406482B1 (en) * 2008-08-28 2013-03-26 Adobe Systems Incorporated System and method for automatic skin tone detection in images
CN102324025B (zh) 2011-09-06 2013-03-20 北京航空航天大学 基于高斯肤色模型和特征分析的人脸检测与跟踪方法
CN105869159A (zh) * 2016-03-28 2016-08-17 联想(北京)有限公司 一种图像分割方法及装置
CN105869459B (zh) 2016-06-21 2018-10-26 和伟 一种英语教具

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101251898A (zh) * 2008-03-25 2008-08-27 腾讯科技（深圳）有限公司 一种肤色检测方法及装置
CN102254327A (zh) * 2011-07-29 2011-11-23 西南交通大学 数码照片中的人脸自动分割方法
CN102637298A (zh) * 2011-12-31 2012-08-15 辽宁师范大学 基于高斯混合模型与支持向量机的彩色图像分割方法
CN102938054A (zh) * 2012-09-06 2013-02-20 北京工业大学 基于视觉注意模型的压缩域敏感图像识别方法
CN105426816A (zh) * 2015-10-29 2016-03-23 深圳怡化电脑股份有限公司 一种处理人脸图像的方法及装置

Also Published As

Publication number Publication date
CN108701355A (zh) 2018-10-23
WO2017161561A1 (en) 2017-09-28
US20190065892A1 (en) 2019-02-28
US10846560B2 (en) 2020-11-24

Similar Documents

Publication Publication Date Title
CN108701355B (zh) Gpu优化和在线基于单高斯的皮肤似然估计
CN111476306B (zh) 基于人工智能的物体检测方法、装置、设备及存储介质
US10430694B2 (en) Fast and accurate skin detection using online discriminative modeling
US9501716B2 (en) Labeling component parts of objects and detecting component properties in imaging data
US20240112035A1 (en) 3d object recognition using 3d convolutional neural network with depth based multi-scale filters
US10685262B2 (en) Object recognition based on boosting binary convolutional neural network features
EP3271867B1 (en) Local change detection in video
CN112561920A (zh) 用于在视频中进行密集语义分割的深度学习
CN111062981B (zh) 图像处理方法、装置及存储介质
US20200117936A1 (en) Combinatorial shape regression for face alignment in images
US9292927B2 (en) Adaptive support windows for stereoscopic image correlation
US11698529B2 (en) Systems and methods for distributing a neural network across multiple computing devices
CN111932463B (zh) 图像处理方法、装置、设备及存储介质
CN111368116B (zh) 图像分类方法、装置、计算机设备及存储介质
WO2022104026A1 (en) Consistency measure for image segmentation processes
WO2022061726A1 (en) Method and system of multiple facial attributes recognition using highly efficient neural networks
CN113168502A (zh) 用于可变计算资源的动态自适应卷积神经网络
CN110909817B (zh) 分布式聚类方法及***、处理器、电子设备及存储介质
CN113642359B (zh) 人脸图像生成方法、装置、电子设备及存储介质
CN111667553A (zh) 头像像素化的面部颜色填充方法、装置及电子设备
WO2023003642A1 (en) Adaptive bounding for three-dimensional morphable models
WO2022047783A1 (en) Poly-scale kernel-wise convolution for high-performance visual recognition applications
CN116686006A (zh) 基于可变形模型的三维扫描配准
CN117242502A (zh) 使用面部特征点估计面部表情
CN114676360A (zh) 图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant