CN114677703A - 隐私保护的口罩合规性水平测量的***和方法 - Google Patents

隐私保护的口罩合规性水平测量的***和方法 Download PDF

Info

Publication number
CN114677703A
CN114677703A CN202111601841.4A CN202111601841A CN114677703A CN 114677703 A CN114677703 A CN 114677703A CN 202111601841 A CN202111601841 A CN 202111601841A CN 114677703 A CN114677703 A CN 114677703A
Authority
CN
China
Prior art keywords
face
spectral density
mask
depth
depth image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111601841.4A
Other languages
English (en)
Inventor
D·冈萨雷斯阿圭里
J·扎莫拉伊奎维尔
J·费利普里昂
I·J·阿尔瓦雷兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN114677703A publication Critical patent/CN114677703A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本文所公开的是一种用于隐私保护的口罩合规性水平测量的***和方法。在实施例中，口罩合规性测量***包括处理器，该处理器被配置成用于根据人的图像生成人的面部区域的面部深度图像，以及根据面部深度图像生成面部小波描述符。处理器还被配置成用于确定小波描述符的光谱密度值，以及用于分析光谱密度值以生成该人的口罩佩戴合规性结果。在实施例中，分析包括使用分类模型，该分类模型经训练以关于从中导出光谱密度值的图像中的口罩佩戴对光谱密度值集进行分类。

Description

隐私保护的口罩合规性水平测量的***和方法
技术领域
本公开的实施例涉及处理三维(3D)深度图像、隐私保护、公共健康、公共安全，并且更具体地涉及实现隐私保护的口罩合规性水平测量的***和方法。
背景技术
随着地球上人口的不断增长，人类在这个星球上的总足迹也在不断增长。随着人类和动物的生活越来越接近，并且通常至少在某种程度上共享同一块土地，人类的动物传播感染往往变得越来越普遍。在极端情况下，诸如此类的情况可能导致流行病甚至大流行病，尽管流行病和大流行病也可能因其他原因而出现。
在公共健康和安全措施中，似乎有效地减缓了空气传播的呼吸道病毒(诸如新冠肺炎)的传播，是人们戴口罩(包括其他面部覆盖物等)，尤其是在他们不能或不彼此保持社交距离的情境的情况下。事实上，口罩已经成为人们敢于出去公共场所时佩戴的个人防护装备(PPE)的极其常见的示例。
然而，人们有时忘记戴口罩而有时选择不戴。因此，戴口罩的合规性水平可能因情况而异，情况包括在诸如火车站和公共汽车站之类的运输枢纽，以及诸如火车车厢和公共汽车之类的运输交通工具。通常情况下，公众对使用此类交通工具和外出的信心通常会受到戴口罩合规性水平的影响，公众的整体安全和健康、经济活力以及生活的许多其他方面也会受到影响。
附图说明
可以从以下说明书中获得更详细的理解，以下说明书通过示例的方式结合以下附图呈现，其中在附图中结合类似元件使用类似的附图标记。
图1示出了根据至少一个实施例的包括示例口罩合规性测量***的示例通信情境。
图2示出了根据至少一个实施例的图1的示例口罩合规性测量***的示例架构。
图3示出了根据至少一个实施例的示例过程流。
图4示出了根据至少一个实施例的示例方法。
图5示出了没有口罩的示例面部以及许多不同的口罩佩戴配置。
图6示出了同时佩戴口罩和毛衣的人的示例颜色图像和示例深度图像。
图7示出了根据至少一个实施例的示例图像集。
图8示出了根据至少一个实施例的示例裁剪图像集。
图9示出了根据至少一个实施例的示例裁剪面部罩图像集。
图10示出了根据至少一个实施例的示例基于传感器的光谱带函数的示例图。
图11示出了根据至少一个实施例的示例口罩光谱密度参考曲线的示例图。
图12示出了可执行指令集以使计算机***执行本文所讨论的方法中的任何一个或多个方法的示例计算机***。
图13示出了可以根据其实现本公开的一个或多个实施例的示例软件架构。
具体实施方式
除其他启发和动机外，本公开的实施例部分源于以下认识和认知，即虽然能够在许多不同情境下(包括公共和私人交通枢纽和车辆)测量口罩佩戴合规性水平当然是重要的，保护相关人员的隐私和身份也非常重要。因此，除其他优点外，本公开的实施例不旨在标识和/或报告特定人员是否佩戴口罩，也不旨在跟踪任何特定人员在任何特定时间段内佩戴口罩的合规性。相反，本公开的实施例以稳健地匿名并且还在计算上高效且节能的方式测量一个或多个人佩戴口罩的合规性程度。
许多先前的实现方式依赖于对可见光图像(例如，红绿蓝(RGB)图像)的分析来识别给定框中的人，不一定是通过实际身份，但至少是作为人，可见地标识表面，并对此类图像进行分割，试图确定给定人当前是否戴着口罩。除其他缺点外，此类先前的实现通常不提供匿名性，并且通常在例如妇女、有色人种、给定种族的人等的情境中无意地受到***性不准确的影响，有时由于关于可用训练数据的限制。
此类先前的实现的一种示例类型涉及使用经训练的卷积神经网络来处理个体的颜色图像，以评估这些个体是否佩戴口罩。该示例类型的先前实现通常不仅受到上述***性的基于外观的不准确性的影响，而且往往至少在所需的处理时间和功率方面是昂贵的，这通常限制了其在电池供电的实现中的用途，以及其他缺点。
一般而言，除其他缺点外，基于可见光图像分析的口罩合规性测量实现通常受到隐私保护限制，而事实上，由于此类***可能用于，例如，泄漏身份、参与个人不希望的跟踪、参与各种形式的大规模操纵等，因此通常情况下此类***在各地的法律中是不被许可的。此外，如前所述，许多当前实现基于深度神经网络，其通常具有显著的计算需求，这通常限制了此类实现在功率、空间、移动性等方面的适用性。
许多当前实现采用强大的图形处理单元(GPU)和其他计算成本高昂的资源。此外，使用图像数据集学习高维分类函数往往在可变性和注释精度方面高度依赖于训练数据的数量和质量。许多深度神经网络都遇到了这一困难，这一问题只会在口罩合规情境中加剧，因为可用的训练数据量甚至比正常情况下更有限。
为了解决先前实现的这些和其他缺点，本文公开了用于隐私保护的口罩合规性水平测量的***和方法。本公开的实施例可靠地确定给定情境中的人们(例如，公共和/或其他共享交通***的用户，诸如公共汽车、地铁、通勤列车、空中旅行、拼车服务、自主拼车服务等)正确佩戴口罩的程度，例如，在大流行病场景期间。此外，如上所述，本公开的实施例在不损害个人的隐私和/或身份的情况下这样做。此外，本公开的实施例可定制以检查特定类型口罩的佩戴情况，并且通常即使考虑到人们通常用于遮盖面部、佩戴在面部附近(例如，耳机、头巾、围巾等)的PPE和/或个人物品的可变性，也能稳健地操作。
在本公开的许多实施例中，根本不使用可见光图像来评估给定的人在给定时刻是否戴着口罩。然而，在一些实施例中，最初在立体分析中使用可见光图像，以便产生人的至少上段(例如，头部和上部躯干)的深度图像。在至少一些此类实施例中，一旦用于该目的，可见光图像被丢弃(例如，安全地删除)。在各种其他实施例中使用获取此类深度图像的众多其他模式中的一个或多个，包括涉及飞行时间、光检测和测距(LiDAR)、雷达、声纳、结构光、散斑光等的方法。相关领域的技术人员认为适合于获得深度图像的任何方法或模式可以在各种不同的实现中使用。
在一些实施例中，深度信息捕获设备的定位使得其视野可能包括一个或多个相对静止的人的头部。例如，深度相机可位于驾驶室后部、公共汽车站、火车车厢或公共汽车内的前方位置等。如本文所用的术语，“深度信息捕获设备”可是布置成用于捕获深度信息的任何设备，一些示例包括深度相机、组合可见光和深度相机，测距设备、雷达装置、声纳设备、LiDAR设备等。类似地，如本文所使用的，“深度图像”可以是包含深度信息的任何数据集。这包括深度地图，并且还包括由例如，深度相机、组合可见光和深度相机等捕获的深度图像，并且还包括数据集(诸如点云，其包括代表其(多个)对象的三维点、(多个)曲面、(多个)特征等的数据)，包括但不限于由本领域技术人员通常不称为深度相机的设备收集的数据集。
本公开的各实施例的大部分说明书都是关于获得人的至少上段的深度图像的各个实例：将该深度图像向下裁剪到面部区域，以有意且不可恢复地破坏可用于标识特定个体的信息的方式根据经裁剪的深度图像生成光谱密度值的集合(作为表面描述符)，使用与正确佩戴特定类型的面部覆盖物相关联的预计算光谱密度参考曲线对生成的光谱密度值集进行过滤，可选地使用一个或多个情境指示符增加过滤后的光谱密度值集，使用分类器对(可选地增加的)过滤后的光谱密度值集进行分类，该分类器经训练以对过滤后的光谱密度值集进行分类来确定在从中导出那些过滤后的光谱密度值集的图像中特定类型的口罩是否(或其可能性有多大)正在佩戴(例如，正确佩戴)，以及将该分类操作的结果合并到正在进行的和迭代的口罩合规性数据集中。因此，尽管本公开的大部分内容涉及对此类单个实例的示例的描述，但应当理解，本公开的实施例考虑以频繁的间隔(诸如每秒四次、每秒两次、每秒一次、每两秒一次等)重复执行此类操作，并且对于单个或多个个体，在某些情况下来自单个深度信息捕获设备，在其他情况下来自多个深度信息捕获设备。此外，如本文所述，在至少一些实施例中使用某些试探法来基于诸如考虑先前评估的滚动窗口等之类的方法来评估某人是否佩戴口罩。
在获得给定深度图像的给定实例中，在该示例中，该深度图像包括人的上(例如，头部和上部躯干)段，根据本公开的至少一个实施例的口罩合规性测量***可以移除深度图像的背景区域，然后，可以使用本文公开的一个或多个结构和统计技术来从无背景深度图像中标识和裁剪(或等效地将无背景深度图像向下裁剪)有时从图像中被称为“口罩”的内容。这些技术在下文中进行了更全面的描述，但引起了一个面部罩，该面部罩在深度数据上表示了从前额区域到下巴区域的大致人的颌面部(例如，正面)区域，并围绕头部向两侧下巴的背面缠绕。(图9中示出了示例口罩902。)
在获得口罩后，在至少一些实施例中，口罩合规性测量***获取口罩深度值的矩形网格状样本。在该公开中，该网格被描述为n*m的大小，其中n和m是正整数。当然，在各种不同的实施例中，除了矩形网格之外的几何配置(例如，圆形、三角形、菱形、伪随机(但重复使用)等)可以用于从人的面部的至少一部分的深度图像中采样深度值。此外，无论几何配置是否缩放到用于获取样本深度值的特定面部，被成像人员的隐私都受到保护，因为从任何大小的面部标准化到例如，n*m的数组会导致丢失关于从中产生给定数组的面部大小的信息。
在至少一个实施例中，一旦获取该(例如，矩形)样本，口罩的其余部分不再用于进行口罩佩戴评估。并且，如上所述，人的面部的大小不再是可检索的，因为在实施例中，每个大小的面部产生n*m深度值数组，从而以本公开的实施例所做的多种方式中的一种方式保护隐私。在至少一个实施例中，将该深度值数组(或其平滑版本)从空域变换(例如，使用快速傅立叶变换(FFT))到频域，每个深度值被变换为具有实部和虚部的复数。
频域中的此类复数是本文中称为“小波描述符”的示例。此外，需要明确注意的是，虽然在本公开中使用了“小波描述符”，但该术语也旨在涵盖类小波描述符；实际上，在一些实施例中，在本公开中被称为“小波描述符”的是类小波描述符，包括采用FFT和/或离散余弦变换(DCT)技术的至少一些实施例，以及其他示例。
此后，可以使用不可逆函数处理每个此类小波描述符，诸如对两个分量的系数求平方，对这些平方求和，以及取和的平方根。一旦完成此操作并且深度值和小波描述符已被安全删除，则无法重建个人面部(罩)的深度图。这是本公开的实施例稳健地保护隐私的另一种方式。无论黑客有多熟练，他们都无法找到不存在的信息，也无法逆转不可逆函数。作为简化的示例，仅基于这些操作产生的给定实数(例如，5)的值，根本无法知道该实数是从3+4i、4-3i还是频域中的某个其他复数推导而来，并且知道需要从特定的频域值重建相对应的深度值。
在至少一个实施例中，不可逆函数的结果是实数的n*m数组(或长度为n*m的向量)，每个实数是光谱密度值，其与从口罩上获取的原始n*m样本中的相应深度值相对应。在至少一个实施例中，使用预计算的n*m实数数组对该n*m实数数组进行过滤，其中预计算数组是使用正确佩戴当前数据(针对该时间t)被评估的口罩类型的一个或多个人的一个或多个深度图像生成的。该过滤可以包括两个数组的逐个元素相乘(例如，阿达玛乘积)，其中每个数组中第一个值的乘积成为结果数组中的第一个值，每个数组中第二个值的乘积成为结果数组中的第二个值，依此类推。进一步注意，结合本文所公开的各实施例，n*m阵列有时也被称为u*v阵列。
在一些实施例中，如下面更全面地讨论的，然后将由该操作产生的数组排列成长度为n*m的向量，例如，通过从第一行开始，在第一行的末端连接第二行，在第二行的末端连接第三行，以此类推。在一些情况下，该向量通过(例如)具有一个或多个情境值(反映，例如，位置类型、环境天气等)也包括在(例如，附加到)该向量中来增强。在各种非增强和增强状态下，该向量在本文中有时被称为“光谱密度值集”、“过滤后的光谱密度值集”、“光谱密度表面描述符”、“增强光谱密度表面描述符”、“情境增强光谱密度表面描述符”和其他类似排列。
接下来，在至少一个实施例中，该光谱密度值集(在本文中有时称为“光谱密度表面描述符”)被输入到分类模型(由本领域技术人员认为合适的任何类型的分类模型)中，该分类模型先前已被训练以基于从中导出该光谱密度值集的深度图像中的人是否正确佩戴口罩(例如，特定类型的口罩)来对光谱密度值集进行分类。该分类的结果可以是布尔是/否类型指示，表明模型是否确定相关联人员在相关迭代中(例如，在当前评估时间t)佩戴(例如，正确佩戴)了特定类型的口罩。此类指示可以基于分类器确定的特定类型的口罩被正确佩戴的可能性的一个或多个阈值。此外或替代地，分类的结果可以是关于正确佩戴特定类型口罩的置信度值和/或计算的可能性。
然后，口罩合规性测量***可应用某些试探法(例如，一定数量的先前评估的滚动窗口)，以确定是否将该人视为正确佩戴特定类型的口罩。***随后可更新合规性数据，***可将该合规性数据输出至显示器、另一计算设备和/或输出设备，该输出设备可为音频输出设备(其可在给定空间中产生当前口罩合规性水平的音频指示)，以及其他可能的模式。***可以代替或另外将经更新的合规性数据存储在本地数据存储中。在一些情况下，一个或多个正在测量其口罩佩戴合规性的人可查看显示器。例如，显示器可以安装在公共汽车内部的前方部分或火车站等。
如上所述，本公开的实施例涉及重复执行诸如本文针对给定人员或针对多人所述的操作。此外，在一些实施例中，一个或多个迭代涉及评估多个不同类型的口罩或其他面部覆盖物中的任何一个是否正被一个或多个人正确佩戴。此类评估可以在软件、固件或硬件中以串联或并联的方式发生，和/或以相关领域技术人员认为适合于给定实现或给定情境的任何其他方式发生。
因此，本公开的实施例的一个有利方面在于使用稳健的表面描述符，该描述符基于测距(深度)数据反映稳健的形状特征，而不是依赖可见光成像。由于室内和/或舱内距离的限制，因此测距在运输应用中往往是有利的。
此外，如上文和本文其他地方所述，本公开的实施例在保护隐私、身份等方面是有利的，原因包括上述从深度值到光谱密度值的单向映射(不可逆函数)。一旦原始深度数据或甚至中间频域复数被变换为本文描述的光谱密度值，就不可能重新创建它们，因此不可能根据光谱密度值重新生成原始面部特征或甚至面部大小。因此，生成的描述符不能与根据其生成描述符的人相关联。实际上，在一些实施例中，硬件元件(例如，芯片、小芯片等)接收深度信息并输出光谱密度值集，使得没有个人标识信息离开硬件元件。
此外，由于光谱密度表面描述符的谐波性质，至少在一些情况下，用于断言某人是否正确佩戴特定类型的面部覆盖物的信息可压缩为相对较少的光谱密度系数。这些系数汇总了用于进行给定分类的属性。此外，本公开的实施例易于定制为特定于任何类型的面部覆盖物、口罩等。一旦使用本文描述的技术生成了预计算的光谱密度参考曲线并存储以供以后使用，然后，在本公开的给定实施例中，该参考曲线可被实现为过滤器。实现可以检查该参考曲线，以及可选地一个或多个其他参考曲线。
因此，本公开的实施例在特定类型的口罩(例如，N95口罩)可是护理标准的情境(例如，医院)中以及在许多类型的面部覆盖物中的任何一种被认为是可接受的情境(例如，公共汽车)中均适用且非常有用。此外，可以在工业环境中验证特定类型的面部覆盖物的当前佩戴(例如，正确佩戴)(以便，例如，激活给定的机器或过程)，在本文可以列出的许多其他示例中，以及在受益于本公开的相关领域的技术人员将想到的示例中。
本公开的实施例的进一步优点涉及计算工作量、综合成本和功耗。舱内、室内感测和移动分析的性质使其成为一种在有限的、小型计算范围内具有高度响应的有益方法。本公开的实施例通过利用诸如用于智能测距相机的芯粒、LiDAR、声纳、图像处理软件、固件和/或硬件块之类的技术来解决这些方面，这些技术可以利用谐波(例如，小波、DCT、FFT等)加速技术，以及本文描述的对使用一种或多种此类技术产生的描述符的概率分类操作。一般而言，与先前的实现相比，本公开的实施例在真实场景中有效地操作，提供有关部署选项的灵活性，促进更好地使用共享空间(例如，在运输情境中)，并降低操作成本，与此同时，仍提高公众的健康和安全。
一个实施例的形式为口罩合规性测量***，该***包括处理器，该处理器被配置成用于根据人的图像生成人的面部区域的面部深度图像。处理器还被配置成用于根据面部深度图像生成面部小波描述符，并用于确定小波描述符的光谱密度值。处理器进一步被配置成用于分析光谱密度值以生成该人的口罩佩戴合规性结果，其中该分析包括使用分类模型，该分类模型经训练以关于从中导出光谱密度值的图像中的口罩佩戴对光谱密度值集进行分类。
另一个实施例采取一种或多种非瞬态计算机可读存储介质的形式，该存储介质上存储有指令，当该指令由至少一个硬件处理器执行时，使该至少一个硬件处理器执行包括根据人的图像生成人的面部区域的面部深度图像的操作。这些操作还包括根据面部深度图像生成面部小波描述符，以及确定小波描述符的光谱密度值。操作进一步包括分析光谱密度值以生成该人的口罩佩戴合规性结果，其中该分析包括使用分类模型，该分类模型经训练以关于从中导出光谱密度值的图像中的口罩佩戴有关对光谱密度值集进行分类。
另一个实施例的形式为包括裁剪装置的***，该裁剪装置用于根据人的图像生成人的面部区域的面部深度图像。***进一步包括计算装置，该计算装置用于根据面部深度图像生成面部小波描述符，以及用于确定小波描述符的光谱密度值。***还包括分类装置，该分类装置用于分析光谱密度值以生成该人的口罩佩戴合规性结果，其中该分析包括使用分类模型，该分类模型经训练以关于从中导出光谱密度值的图像中的口罩佩戴对光谱密度值集进行分类。
另一个实施例的形式为通过计算机***在硬件处理器上执行指令而执行的方法，其中该方法包括根据人的图像生成人的面部区域的面部深度图像。方法还包括根据面部深度图像生成面部小波描述符，以及确定小波描述符的光谱密度值。方法进一步包括分析光谱密度值以生成该人的口罩佩戴合规性结果，其中该分析包括使用分类模型，该分类模型经训练以关于从中导出光谱密度值的图像中的口罩佩戴对光谱密度值集进行分类。
如本文所述，本公开的一个或多个实施例的形式为包括多个操作的方法。一个或多个其他实施例的形式为包括至少一个硬件处理器并且还包括一种或多种非瞬态计算机可读存储介质的***，该存储介质包含指令，这些指令在由至少一个硬件处理器执行时，使至少一个硬件处理器执行多个操作(在一些实施例中，操作与在本文公开的方法实施例中执行的操作集相对应，而在其他实施例中，操作与在本文公开的方法实施例中执行的操作集不对应)。还有一个或多个其他实施例的形式为一种或多种非瞬态计算机可读存储介质，该存储介质包含指令，这些指令在由至少一个硬件处理器执行时，使至少一个硬件处理器执行多个操作(同样，在一些实施例中，操作与在本文公开的方法实施例中执行的操作集和/或由本文公开的***实施例执行的操作集相对应，而在其他实施例中，操作与在本文公开的方法实施例中执行的操作集和/或由本文公开的***实施例执行的操作集不对应)。
此外，本文描述了上述所列实施例的许多变化和置换，并且明确注意，本公开中描述的任何变化或置换都可以针对任何类型的实施例来实现。例如，在本公开中主要结合方法实施例描述的变化或置换也可以结合***实施例和/或非瞬态计算机可读存储介质实施例来实现。此外，尽管用于描述和/或表征此类实施例和/或其任何一个或多个元件的任何稍有不同的语言(例如，过程、过程流、方法、方法论、步骤、操作、功能等)，实施例的这种灵活性和交叉适用性仍然存在。
在该公开中，一个或多个设备、***等的一个或多个组件被称为实施(例如，执行、进行等)各种功能的模块。如在本公开中所使用的，模块包括硬件和指令。硬件可包括一个或多个处理器、一个或多个微处理器、一个或多个微控制器、一个或多个微芯片、一个或多个专用集成电路(ASIC)、一个或多个现场可编程门阵列(FPGA)、一个或多个图形处理单元(GPU)、一个或多个张量处理单元(TPU)，和/或本领域技术人员认为适合于给定实现的任何其他类型的一个或多个设备和/或组件。
给定模块的指令可由硬件执行，用于执行本文描述的模块的一个或多个功能，并且可以包括硬件(例如，硬接线)指令，也可以包括或代替包括存储在本领域技术人员认为适合于给定实现的任何一种或多种非瞬态计算机可读存储介质中的固件指令、软件指令等。每个此类非瞬态计算机可读存储介质可以是或包括存储器(例如，随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM，又称E2PROM)、闪存存储器、和/或一种或多种其他类型的存储器)和/或一种或多种其他类型的非瞬态计算机可读存储介质。模块可以是单个组件，也可以分布在多个组件之间。
图1示出了根据至少一个实施例的包括示例口罩合规性测量***102的示例通信情境100。通信情境100作为示例而非限制来提供，因为与给定实现相关的通信情境可以具有不同数量、类型和/或布置的设备、***等。此外，尽管通信情境100在本文被描述为与运输环境有关，但本公开的适用性并不限于此类环境，因为本公开的实施例可以应用于许多不同类型的情况、情境、环境等。
此外，图1和/或任何其他附图中描绘的任何设备、***等可以具有类似于下面结合图12的示例计算机***1200描述的架构，并且可以包含并执行具有类似于下面结合图13的示例软件架构1302描述的架构的软件。此外，图1和/或任何其他附图中描绘的任何通信链路可以是或包括一个或多个有线通信链路(例如，以太网、光纤、通用串行总线(USB))，等)和/或一个或多个无线通信链路(例如，Wi-Fi、LTE、NFC、蓝牙、蓝牙低能量等)。任何一个或多个通信链路可以包括一个或多个中间设备，诸如一个或多个路由器、网桥、服务器、接入点、基站等。此外，任何通信链路都可以包括一个或多个VPN和/或其他隧道类型的连接。
如图1中的示例所示，口罩合规性测量***102通过通信链路从深度信息捕获设备106接收深度图像104。在一些实施例中，口罩合规性测量***102包括深度信息捕获设备，诸如深度信息捕获设备106，其可以是适合于使用本文提及的任何深度感测技术和/或相关领域技术人员认为适合于给定实现的任何其他深度感测技术来捕获深度图像的任何深度信息捕获设备。在至少一个实施例中，深度信息捕获设备106使用主动感测(例如，LiDAR)作为捕获深度图像104的一部分。
在图1中，深度信息捕获设备106被描绘为在本示例中乘坐公共汽车(未描绘)的多个乘客108的方向上定向。在至少一个实施例中，深度信息捕获设备106被定位和定向，以便当人们的面部相对静止(例如，在公共汽车上站着或坐着)时，能够捕获包括这些面部的深度图像。当人们直视设备或从该位置转向小于约12度或至少不大于约45度时，深度信息捕获设备通常获得关于人的面部的良好结果。然而，各个不同的实施例被布置成以各种此类角度工作。
口罩合规性测量***102将口罩佩戴合规性数据114输出到显示器110，并且还经由通信链路将口罩佩戴合规性数据116输出到计算设备112。显示器110可以是任何合适类型的显示器，并且在该示例中是基于发光二极管(LED)的显示器，其安装在乘客108乘坐的公共汽车的前方区域。计算设备112可以是能够接收和(例如)存储、显示等接收到的口罩佩戴合规性数据116的任何合适的计算设备。
图2示出了根据至少一个实施例的图1的示例口罩合规性测量***102的示例架构200。架构200以示例的方式呈现，因为不同的架构可以在不同的情境中实现。此外，可以通过组合组件和/或在组件之间不同地分配功能来实现口罩合规性测量***102的一个或多个组件的一个或多个功能。
如图2所示，口罩合规性测量***102包括通信接口202、面部区域裁剪模块204、描述符提取模块206和描述符分类模块208，所有这些模块都经由***总线210以通信方式互连。这些组件中的任何一个或多个都可以实现为独立的硬件组件，具有其自己存储的指令和处理硬件。此外，这些组件中的任何一个或多个可以实现为在共享硬件上执行的代码块，诸如口罩合规性测量***102的一个或多个硬件处理器(未描绘)。
在进一步讨论口罩合规性测量***102的组件之前，这里简要介绍图3的过程流300和图4的方法400。在下面的讨论中，在适用的情况下，提及与口罩合规性测量***102的各种组件相对应的过程流300的元素和方法400的操作，以避免读者遇到过程流300和/或方法400的独立冗余解释。过程流300和方法400中的一个或两个可由口罩合规性测量***102执行，这是这里对它们的大部分描述方式，一个例外是，在该描述的示例中，深度信息捕获设备106执行过程流300的至少一些第一元素。在返回到口罩合规性测量***102的组件之前，接下来呈现该讨论。
过程流300从3D主动感测和定向操作302开始，该操作涉及信号和情境采集，并且通常涉及如上所述使用主动感测来捕获乘客108的深度图像104。关于定向，3D主动感测和定向操作302还可涉及从深度信息捕获设备106(例如，从深度信息捕获设备的惯性测量单元(IMU))收集加速计和/或陀螺仪信息。如本领域所知，该信息可传达分解为X、Y和Z分量的加速度。在至少一个实施例中，该信息用于确定裁剪面盖的过程的定向，下面将更全面地描述该过程。特别是，该信息有助于垂直(Y)轴的标识和定向。过程流300还包括瞬时表面和置信度操作304、基于表面的头部和面部裁剪操作306、光谱密度表面描述符提取操作308和情境增强分类操作310，这些操作在下文中讨论。
方法400包括口罩合规性测量***102根据人的图像生成(在操作402)人的面部区域的面部深度图像。此外，口罩合规性测量***102根据面部深度图像生成(在操作404)面部小波描述符，并确定(在操作406)小波描述符的光谱密度值。口罩合规性测量***102分析(在操作408)光谱密度值以生成人的口罩佩戴合规性结果，其中，分析包括使用分类模型，该分类模型经训练以关于与从中导出光谱密度值的图像中的口罩佩戴对光谱密度值集进行分类。口罩合规性测量***102可以将口罩佩戴合规性数据输出到显示器、计算设备和输出设备中的至少一个，其中口罩佩戴合规性数据反映从光谱密度值集中为人确定的口罩佩戴合规性结果。
将读者的注意力简要地返回到图2，面部区域裁剪模块204可被配置成用于根据乘客108的深度图像104生成乘客108的面部(例如，颌面部)区域的裁剪面部罩深度图像，该乘客可能在给定的时间内处于大量佩戴口罩(或不佩戴口罩)配置中的任何一种，图5中仅示出了其中的几个示例。如图所示，给定乘客108可以有一张目前未佩戴口罩的面部502。作为另一种选择，乘客108可以具有正佩戴着口罩506(例如，布口罩)的面部504。作为又一个示例，乘客108可以具有在其上佩戴着口罩510的面部508，在该口罩510上已经打印了其自己面部(或另一面部)的下部的图像，对于依赖可见光成像的实现来说，该配置可被证明是棘手的。
作为最后一个示例，可以提供更多的信息，乘客108可以具有在其上佩戴眼镜、有图案的口罩514、正下方佩戴庞大的、有类似图案的围巾516的面部512，这是另一种可被证明对于依赖可见光成像的实现来说棘手的配置。图5中描绘的任何一个或多个口罩可以是多种类型的口罩中的任何一种，包括布口罩、外科口罩、其他类型的医用口罩等。可以描绘许多其它配置和类型的口罩，以代替或补充图5中描绘的那些配置和类型，因为这些仅通过示例而非限制的方式提供。
继图5中的示例面部512之后，图6中描绘了类似的配置，图6示出了处于此类配置中的人的上部的示例颜色图像602(或另一类型的可见光图像)和示例深度图像612，这对评估面部的可见光图像以确定给定人是否佩戴口罩的***来说是一个挑战。如在颜色图像602中可以看到的，所描绘的人佩戴眼镜610，有纹理和有图案的毛衣604、该毛衣在该人的脖子的左右两侧都标有的相对庞大的衣领606、毛衣604下面的深色高领衬衫，以及鼻子和嘴上的有图案口罩608。通过检查可以看出，基于可见光的颜色图像602分析可能很难区分毛衣604的衣领606、高领衬衫和口罩608。
作为比较，图6中还描绘了与颜色图像602相对应(例如，根据颜色图像602生成)的深度图像612。如本领域已知的，深度图像(诸如深度图像612)通常使用公共颜色描绘公共深度的区域，例如，通常在可见光谱的蓝色或“冷”端描绘与距离深度信息捕获设备最近的对象相对应的最小深度值，而在可见光谱的红色或“热”端描绘与距离深度信息捕获设备更远的对象相对应的更大深度值。在图6中的深度图像612中，光谱的蓝色端显示为较浅的阴影，而光谱的红色端显示为较深的阴影。
从深度图像612中可以看出，衣领606的显著结构在标在人的脖子左右两侧且与衣领606相对应的衣领区域616以及与毛衣604相对应的毛衣区域614的中部和上部可见。另外，面部区域618在深度图像612中被清楚地描绘，其中在颜色图像602中没有此类描绘是清楚的。鉴于不同的人有不同的发型、不同的面部毛发、做出不同的服装选择、佩戴不同的眼镜等，可以看出，在自动评估给定的人是否佩戴口罩、正确佩戴某种类型的口罩等的***中，使用深度成像相对于可见光成像具有优势。
将读者的注意力再次返回到图2——为了根据乘客108的深度图像104生成乘客108的面部区域的裁剪面部罩深度图像，面部区域裁剪模块204可以如所讨论的那样，基于深度图像104进行该操作而无需其他输入。然而，在至少一个实施例中，面部区域裁剪模块204利用一个或多个附加的替代模式，例如当能够访问多模态传感器时。在此类实施例中，面部区域裁剪模块204可以采用一个或多个其他信息通道，诸如近红外、反射图像等，以便促进本文讨论的面部罩裁剪操作，例如，以帮助减少计算工作负荷。面部区域裁剪模块204可以被认为是本公开语言中的“裁剪装置”，并且可以包括和/或利用口罩合规性测量***102的一个或多个处理器(例如，通用处理器、图像处理器、图形处理器等)，这些处理器执行指令以执行记载的功能(诸如本文中描述的由面部区域裁剪模块204执行的功能)。
一般来说，从一个或多个附加模态导出的信息可用于通知裁剪决定，例如，通过提供附加概率相关计算来在一些情况下，基于每像素、每体素、每点、每段等通知各种裁剪决定，如相关领域中已知。面部区域裁剪模块204以此方式使用一个或多个附加的替代模态可与过程流300的瞬时表面和置信度操作304相对应以及与方法400的操作402的一部分相对应。
在图7中通过示例的方式示出了与附加模态相关的一些代表性示例图像，图7描绘了示例图像集700。注意，第一图像(RGB图像702)被包括在图像集700中，这不是因为在这些描述的实施例中必须使用可见光信息来辅助面部罩裁剪，而只是为了示出用于生成图像集700中的剩余图像的示例实验设置(例如，佩戴口罩的人体模型)的图形表示。使用该实验设置，可以看到，近红外图像704可被生成并使用(在LiDAR代替近红外的情况下可以是反射图像)来计算(感测)置信度图像706。
在该描述的实施例中，置信度图像706反映了表面感测的质量水平，而不是确定人(或人体模型)是否佩戴口罩。置信度图像706可用于通过诸如线板(stringboard)和稳定阈值之类的分割方法来产生分割图像708，以分割诸如口罩和定位在人体模型胸部上的小金属物品之类的表面材料。通过使用分割图像作为深度图像104上的选择函数，面部区域裁剪模块204可以标识感兴趣区域，以便稍后提取小波描述符和光谱密度表面描述符。注意，结合一个或多个附加的替代模态的该预处理可用于改进(例如，修剪)以下描述的基于深度图像的面部罩裁剪操作。
无论是否由一个或多个附加的替代模态辅助，面部区域裁剪模块204都可以继续根据乘客108的深度图像104生成乘客108面部区域的裁剪面部罩深度图像。注意，执行该裁剪功能的面部区域裁剪模块204可以与过程流300的基于表面的头部和面部裁剪操作306相对应以及与方法400的操作402相对应。
在图8所示的裁剪图像集800中示出了一些与面部罩裁剪相关的示例图像。裁剪图像集800包括深度图像802、背景抑制图像804、X带图像806、Y带图像808、Z0带图像810和Z1带图像812。深度图像802基本上是面部区域裁剪模块204用于生成乘客108的裁剪面部罩深度图像(“裁剪面部罩”)的起点。因此，深度图像802可与图1的深度图像104相对应。如图8所示，深度图像802包括头部区域814和躯干区域816。
面部区域裁剪模块204可通过使用本领域已知的背景去除功能，根据深度图像802生成背景抑制图像804。背景抑制图像804包括头部区域818和躯干区域820，两者一起有时在本文被称为上部段、前侧面部和上部躯干段等。一种可以使用的背景抑制技术称为八叉树减法。进行背景消除(也称背景抑制)的一个主要好处是通过消除对不必要数据的处理来减少以后的计算工作负荷。面部区域裁剪模块204还可以对背景抑制图像804进行边缘保护的深度平滑，以便去除低幅度、高频深度噪声。双边过滤可以使用网格和范围距离来保持面部特征的显著性，同时去除特定于传感器的噪声。
一旦获得并平滑和/或以其他方式过滤背景抑制图像804，面部区域裁剪模块204可以继续使用结构和统计方法从头部的其余部分获得待裁剪的面部区域来裁剪感兴趣区域，以便于随后建立表面的标准光谱响应，利用噪声缓解和间隙填充来促进稳定可靠的预处理。此方法有时可称为基于带的面部感兴趣区域提取。如下所述，面部区域裁剪模块204可通过在进行实际裁剪之前独立地处理三维中的每一维来裁剪至少部分面部罩。此外，如上所述，面部区域裁剪模块204可以使用由深度信息捕获设备收集的IMU数据(例如，加速计和/或陀螺仪数据等)，以便标识下面讨论的各种轴(包括垂直(Y)维度的轴)。
关于水平(X)维度和Y维度，面部区域裁剪模块204可以首先工作以标识背景抑制图像804的前侧面部和上部躯干段的边界框架。结合X维度，这可包括将前侧面部和上部躯干段描绘成多个水平带，如X带图像806中的X带826所示，该X带图像806还包括头部区域822和躯干区域824。尽管可以使用任何合适的宽度，但是X带826的宽度可以在1毫米(mm)至1厘米(cm)的量级上。此外，X带826可以包括每一个其他可能的水平带，使得每个X带826可以是远离其每个相邻X带826的带宽度。类似布置可与下述Y带832一起使用。可以替代地使用其他宽度和其他设置(例如，所有带、每三条带等)。
面部区域裁剪模块204可以至少部分地基于X带826中的至少一条的水平对称程度来标识面部的边界框架的第一和第二水平边界。因此，面部区域裁剪模块204可以检查每个X带826，并记录每个X带826上距离中心的最远点，在该点上仍然保持水平对称。除其他选项外，多个X带826中这些点中最远点或这些点的平均可用于设置边界框架的第一和第二水平边界。注意，在一些实施例中，每个X带826的轮廓是被检查的，每个轮廓基本上是各个X带826在xz平面上的投影。
结合Y维度，面部区域裁剪模块204可将前侧面部和上部躯干段描绘成多个垂直带，如Y带图像808中的Y带832所示，该Y带图像808还包括头部区域828和躯干区域830。Y带832在结构和布置上可类似于X带826，当然，除了相对正交的定向之外。
此外，面部区域裁剪模块204可以至少部分地基于Y带832中的至少一条的多个拐点来标识面部的边界框架的第一和第二垂直边界。因此，面部区域裁剪模块204可以检查每个Y带832，并使用过滤器来标识并记录与面部前额相对应的第一拐点的位置以及与下巴和脖子之间的连接相对应的第二拐点的位置。除其他选项外，多个Y带832中这些拐点中最远点或这些拐点的平均可用于设置边界框架的第一和第二垂直边界。注意，在一些实施例中，每个Y带832的轮廓是被检查的，每个轮廓基本上是各个Y带832在yz平面上的投影。
结合深度(Z)维度，面部区域裁剪模块204可将前侧面部和上部躯干段在边界框架刚刚标识的水平和垂直边界内描绘成多个不同的深度维度(Z)带集，Z带可以比X带826或Y带832更宽(具有例如，2-3cm的宽度量级)。Z带集可以具有不同的宽度和/或以不同的偏移开始，以便增加捕获整个面部罩的可能性。在该描述的示例中，使用两个Z带集，此处称为Z0带和Z1带。在给定的实现中可以使用任意数量的Z带集，诸如2到5个集(包括2个集和5个集)。但是，也可以使用其他数量的Z带集。
每个Z带集可包括面部的点的不同子集。可以在Z0带图像810(包括(部分)头部区域834和(部分)躯干区域836)和Z1带图像812(包括(部分)头部区域838和(部分)躯干区域840)中看到，不同的Z带集Z0和Z1捕获了基本上互斥的点子集，其中，两个子集可拼接在一起，以基本上重新形成整个前侧头部和躯干区域，如背景抑制图像804中所示。
对于每一Z带集，面部区域裁剪模块204可标识包含面部的相对应点子集且在面部的边界框架的水平和垂直边界内的椭球。此外，面部区域裁剪模块204随后可以按体积标识这些椭球中最大的一个，并且可以将面部的边界框的第一和第二深度维度边界设置为等于或接近(例如，基于)该椭球在Z维度中的近端和远端端点。在至少一个实施例中，边界框的水平和垂直边界是上述边界框架的边界。在一些实施例中，基于边界框架的水平和垂直边界来选择边界框的水平和垂直边界。可以使用其他方法。
一旦标识出边界框，面部区域裁剪模块204可以使用标识的边界框的水平、垂直和深度维度边界，将深度图像的前侧面部和上部躯干段裁剪为面部区域的裁剪面部罩深度图像(裁剪面部罩)。图9中示出了裁剪的面部罩图像集900中的示例面部罩902，该图像集900还包括第一光谱带面部罩904和第二光谱带面部罩906。面部罩902具有下部区域908和上部区域910；第一光谱带面部罩904具有下部区域912和上部区域914；并且第二光谱带面部罩906具有下部区域916和上部区域918。在每种情况下，相应的上部区域与人的眼睛和前额所在的位置相对应，而相应的下部区域与鼻子、嘴、下巴以及可能的口罩所在的位置相对应。第一光谱带面部罩904和第二光谱带面部罩906可分别与两个不同光谱带中的面部罩表面信息相对应，从而产生表面特征的不同显示，如图9中的示例所示。
再次回到图2，描述符提取模块206可被配置成用于生成光谱密度表面描述符，其包括光谱密度值，每个光谱密度值与来自面部罩902的深度值样本的深度值相对应。本文结合描述符提取模块206描述的功能可与过程流300的光谱密度表面描述符提取操作308相对应以及与方法400的操作404和406相对应。
描述符提取模块206可以与本文使用的术语“计算装置”相对应，并且可以与执行在口罩合规性测量***102的一个或多个处理器、算术逻辑单元(ALU)、浮点单元(FLU)等上执行的记载的功能的指令相对应。其中，“记载的功能”可以是或包括本文中描述的由描述符提取模块206执行的那些功能。如本文所讨论的，在至少一个实施例中，根据本公开的实施例的光谱密度表面描述符的内容反映了相关表面的性质而不是大小，从而增强了对所涉及者隐私的保护。
进一步注意，在一些实施例中，口罩合规性测量***102包括深度信息捕获设备(诸如深度信息捕获设备106)，在一些实施例中，深度信息捕获设备本身包括面部区域裁剪模块204，并且在一些此类实施例中，进一步包括描述符提取模块206。在一些实施例中，口罩合规性测量***102中的硬件元件(例如，芯片、芯粒、ASIC、深度信息捕获设备等)执行本文中描述为由面部区域裁剪模块204执行的功能以及本文中描述为由描述符提取模块206执行的功能。在此类实施例中，此类硬件元件可以被认为是计算装置。。在一些此类实施例中，硬件元件根据本公开的实施例接收深度数据并输出匿名光谱密度数据。
一旦生成了面部罩902，在至少一个实施例中，描述符提取模块206对面部罩902中的深度值进行采样，其中，在这些描述的示例实施例中，样本的形式为深度值的n*m数组，n和m为正整数。当然，可以以六边形图案、圆形图案等获取样本的其他构造和/或布置等。在至少一个实施例中，无论面部大小，都可以获取n*m样本，从而使得得到的描述符大小不变。如果有n*m个以上的可用点，则可获取子样本。如果可用点少于n*m，则可以使用插值来获得完整的n*m值集。
在至少一个实施例中，在从面部罩902获取深度值的n*m样本之后，描述符提取模块206使用这些值来生成光谱密度表面描述符，该表面描述符包括光谱密度值集，每个光谱密度值与n*m样本的深度值相对应。描述符提取模块206可以通过将样本中的深度值变换成n*m相对应的频域值集(例如，小波描述符)来至少部分地生成该描述符，该频域值可以是具有实部和虚部的复数。
描述符提取模块206可将这些相对应的小波描述符转换成n*m相对应的光谱密度值集，在一些情况下使用不可逆函数来实现。不可逆函数的一个示例是获取相关联复数的实部和虚部的平方和(例如，系数)的平方根，从而导致所期望的个人标识信息的损失，因为，如上所述，频域值和深度值的细节都不能从产生的光谱密度值中恢复。
在转换为光谱密度值之后，描述符提取模块206可通过获取从频域值产生的光谱密度值集以及使用预计算的口罩光谱密度参考曲线过滤这些值，至少部分地生成过滤后的n*m相对应光谱密度值集。描述符提取模块206随后可在光谱密度表面描述符中包括过滤后的n*m光谱密度值集。在一些实例中，过滤涉及执行以下各项的逐个元素相乘(例如，阿达玛积)(i)从频域值产生的n*m光谱密度值集和(ii)从预计算的口罩光谱密度参考曲线产生的参考样本大小(n*m)光谱密度值集。所得的n*m数组可以(例如，通过逐个行串接)排列成长度为n*m的向量。
图10示出了光谱带函数1000的示例图。在示例中，光谱带函数1000反映描述符提取模块206基于来自当前时间t的深度图像产生的光谱密度值的数组。光谱带函数1000描述构成面部罩902的表面结构的组件的谐波幅度。
光谱密度函数可由以下表达式表示，诸如：
St(u,v)
其中，t表示正在评估的当前时间段。
如图10所示，光谱带函数1000的图包括u轴1002、v轴1004和S(u，v)轴1006。(S(u，v)轴1006对应于上面列出的表达式，只是图10中没有出现下标t。)此外，该图包括光谱带1008、光谱带1010、光谱带1012和光谱带1014。光谱带1008具有由u值1026和v值1036定义的中心点，并且还具有与S(u，v)值1018相对应的峰值。光谱带1010具有与u值1028和v值1038相对应的中心点，并且还具有与S(u，v)值1020相对应的峰值。
此外，光谱带1012具有与u值1030和v值1032相对应的中心点，以及与S(u，v)值1016相对应的峰值。最后，光谱带1014具有与u值1024和v值1034相对应的中心点，以及与S(u，v)值1022相对应的峰值。uv平面通常充满数据点，尽管为清楚起见，图10中未描绘这些数据点。此外，每个频带可以具有一系列类似于小山丘或小山脉的海拔，而不是单个峰值。如上所述，维度n和m在本文中有时表示为u和v。
图11中描绘了示例口罩光谱密度参考曲线1100的示例图。该图包括u轴1102、v轴1104和G(u，v)轴1106。示例口罩光谱密度参考曲线1100可由以下表达式表示：
Gk(u,v)
其中k表示所示的特定光谱密度参考曲线。(图11的G(u，v)轴1106对应于上面列出的表达式，只是图11中没有出现下标k。)注意，通过使用不同的k∈{1，…，w}面部加权函数Gk(u，v)，可以确定用户是否佩戴特定的口罩类型。此外，通过对照所有已知的曲线进行评估，可以确定(或至少确定到给定的满意度或置信度)用户是否佩戴口罩。
在实施例中，口罩光谱密度参考曲线1100是基于正确佩戴当前示例中正在检查的特定类型的口罩的用户预计算的。口罩光谱密度参考曲线1100突出显示与结合图10描述的四个光谱带相对应的四个光谱带。口罩光谱密度参考曲线1100包括具有与u值1126和v值1136相对应的中心点以及G(u，v)值1118处的峰值的光谱带1108。光谱带1110对应于u值1128和v值1138，并且具有对应于G(u，v)值1120的峰值。接下来，光谱带1112具有与u值1130和v值1132相对应的中心点，以及G(u，v)值1116处的峰值。最后，光谱带1114具有与u值1124和v值1134相对应的中心点，以及具有与G(u，v)值1122相对应的峰值。给定的G(u，v)函数可以表示任何类型的面部覆盖物，诸如通用口罩、N95口罩等。
当在光谱带函数1000与口罩光谱密度参考曲线1100之间执行逐个元素相乘时，所得函数可称为过滤后光谱响应，并可由以下等式表示：
Ht(u,v,k)＝St(u,v)*Gk(u,v)
该函数是沿着与口罩光谱密度参考曲线1100相关联的Gk(u，v)曲线向上缩放St(u，v)的结果，以帮助对结果进行分类。基于此函数，逐个行串接生成特征向量
Figure BDA0003432076180000211
在一些实现中，除了逐个元素相乘的结果外，描述符提取模块206包括光谱密度表面描述符中的一个或多个情境值，例如，通过将一个或多个情境值附加到上述长度为n*m的向量上。情境值可反映情境条件，诸如口罩合规性测量***102的安装类型和/或位置、环境天气和/或一个或多个其他情境条件。描述符提取模块206可以访问当前情境条件的数据存储，并且可以参考预定的神经嵌入，以标识与给定情境条件的存在相关的要附加到描述符的特定向量。
从传感器安装的情境中，口罩合规性测量***102可以从集合中选择位置的标签，诸如：
L：＝{“汽车”、“公共汽车”、“地铁”、“楼梯”、“走廊”等}
该信息可从静态部署移动即服务(MaaS)协调***获得。此外，根据环境条件集合，口罩合规性测量***102可从集合中将当前位置与一组天气标签相关联，诸如：
W：＝{“晴天”、“雨天”、“大风”等}
该信息可从实时情境MaaS协调***获得。此类属性对的特定配置(可以扩展到其他集)可以表示为：
Q：＝{L0→汽车，W1→雨天}
其可用于产生神经嵌入，诸如：
Figure BDA0003432076180000221
并串接成维度的实值特征向量。
此外，一些实施例涉及堆叠(或串接)两个特征向量
Figure BDA0003432076180000222
和
Figure BDA0003432076180000223
Figure BDA0003432076180000224
以创建包含结构信息
Figure BDA0003432076180000225
和分类情境
Figure BDA0003432076180000226
(来自，例如，位置和天气因素)的输入特征向量，其可影响人们佩戴的口罩的类型和位置。添加该情境信息可以增强本文描述的分类操作，从而帮助其准确地适应***运行的空间和时间，从而增加置信度和灵活性。
描述符分类模块208可被配置成用于至少部分地通过使用机器学习分类模型处理光谱密度表面描述符来生成光谱密度表面描述符的口罩佩戴合规性结果，该机器学习分类模型经训练以关于从中导出光谱密度值集的图像中的口罩佩戴对光谱密度值集(包括光谱密度表面描述符、情境增强的光谱密度表面描述符等)进行分类。在各不同的实施例中，可以训练并使用任何合适类型的分类器。在至少一个实施例中，可使用卷积神经网络来处理过滤的光谱响应Ht(u，v，k)。在其他实施例中，可以使用统计分类器。也可以使用其他分类器，诸如决策树、随机林和/或本领域技术人员认为适合给定实现的任何其他分类器。
在至少一个实施例中，分类器产生二进制输出(例如，是否正确佩戴特定类型的口罩)以及相关联的归一化置信度分数。上述任何其他可能的输出也可被实现。在至少一些实施例中，本文描述的由描述符分类模块208执行的操作与过程流300的情境增强分类操作310相对应以及与方法400的操作406相对应。描述符分类模块208可以被视为本文中使用的术语“分类装置”，并且可以包括执行指令以执行所记载的功能(诸如本文中描述为由描述符分类模块208执行的功能)的任意数量的处理器。
如上所述，口罩合规性测量***102可配置成用于经由通信接口202将口罩佩戴合规性数据输出到显示器110、计算设备112和输出设备(例如，音频输出设备(未示出))中的至少一个。其他输出选项包括更新合规性报告、基于口罩佩戴合规性数据的内容向一个或多个端点发送一个或多个警报等。在实施例中，口罩佩戴合规性数据反映来自上述分类器的光谱密度表面描述符的口罩佩戴合规性结果。
上文描述了多种可能的方式，其中口罩佩戴合规性数据可以反映来自上述分类器的用于光谱密度表面描述符(因此也用于被成像的人)的口罩佩戴合规性结果。口罩佩戴合规性数据可以包括合规和/或不合规的人的整数、分数、百分比、图形、饼图等中的一个或多个。如上所述，在一些实施例中，将给定的人分类为正确佩戴特定种类的口罩可用于对各种资源的访问控制、激活各种工业机器和/或过程、激活拼车交通工具等。在至少一个实施例中，经由通信接口202的口罩合规性测量***102的一个或多个功能与方法400的操作408相对应。
图12是计算机***1200的图示性表示，在该计算机***内，可执行用于使计算机***1200执行本文所讨论的方法中的任何一种或多种方法的指令1212(例如，软件、程序、应用、小程序、应用、和/或其他可执行代码)。例如，执行指令1212可以使计算机***1200执行本文所描述的方法中的任何一种或多种方法。指令1212将一般的、非编程的计算机***1200变换成被编程用于以所描述的方式执行所描述的和所图示的功能的特定的计算机***1200。计算机***1200可作为独立设备进行操作，或可被耦合(例如，联网)到其他机器。在经联网的部署中，计算机***1200可在服务器-客户端网络环境中以服务器机器或客户端机器的方式来操作，或者可在对等(或分布式)网络环境中作为对等机器操作。
计算机***1200可以是或可以包括但不限于，服务器计算机、客户端计算机、个人计算机(PC)、平板计算机、膝上型计算机、上网本、机顶盒(STB)、个人数字助理(PDA)、娱乐媒体***、蜂窝电话、智能电话、移动设备、可穿戴设备(例如，智能手表)、智能家居设备(例如，智能家电)、其他智能设备、网络家电、网络路由器、网络交换机、网络桥、或能够按顺序地或其他方式执行由计算机***1200采取的指定行动的指令1212的任何机器。进一步地，虽然仅图示出单个计算机***1200，但是，术语“机器”也应当被认为包括单独地或联合地执行指令1212以执行本文中所讨论的方法中的任何一种或多种方法的机器的集合。
计算机***1200可以包括可以被配置成用于经由总线1244彼此进行通信的处理器1202、存储器1204、和I/O组件1206。在示例实施例中，处理器1202(例如，中央处理单元(CPU)、精简指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、射频集成电路(RFIC)、另一个处理器和/或其任何合适的组合)可以包括例如执行指令1212的处理器1208和处理器1210。术语“处理器”旨在包括多核处理器，多核处理器可包括可同时执行指令的两个或更多个独立的处理器(有时称为“核”)。尽管图12示出多个处理器1202，但计算机***1200可以包括具有单个核的单个处理器、具有多个核的单个处理器(例如，多核处理器)、具有单个核的多个处理器、具有多个核的多个处理器，或其任何组合。
存储器1204包括主存储器1214、静态存储器1216、和存储单元1218，所有这些存储器都可由处理器1202经由总线1244访问。存储器1204、静态存储器1216、和/或存储单元1218可存储可执行用于执行本文所述的方法或功能中的任何一种或多种的指令1212。指令1212还可以或替代地在由计算机***1200对其执行期间完全地或至少部分地驻留在主存储器1214内、静态存储器1216内、存储单元1218中的机器可读介质1220内、处理器1202中的至少一个处理器(例如，处理器1202中的给定处理器的高速缓存存储器)内、和/或其任何合适的组合。机器可读介质1220是一种或多种非瞬态计算机可读存储介质。
I/O组件1206可以包括用于接收输入、产生和/或提供输出、传送信息、交换信息、捕获测量等的各种各样的组件。在计算机***1200的特定实例中包括的特定I/O组件1206将取决于机器的类型。例如，便携式机器(诸如移动电话)可能包括触摸输入设备或其他此类输入机构，而无头服务器机器可能不包括此类触摸输入设备。将领会，I/O组件1206可以包括图12中未示出的许多其他组件。
在各个示例实施例中，I/O组件1206可以包括输出组件1230和输入组件1232。输出组件1230可以包括视觉组件(例如，显示器，诸如等离子显示板(PDP)、发光二极管(LED)显示器、液晶显示器(LCD)、投影仪、和/或阴极射线管(CRT))、声学组件(例如，扬声器)、触觉组件(例如，振动电机、阻力机构)、其他信号发生器等。输入组件1232可以包括字母数字输入组件(例如，键盘、被配置成用于接收字母数字输入的触摸屏、光电键盘、和/或其他字母数字输入组件)、基于指向的输入组件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器、和/或一个或多个其他指向仪器)、触觉输入组件(例如，物理按钮、对触摸位置和/或力度或触摸手势作出响应的触摸屏、和/或一个或多个其他触觉输入组件)、音频输入组件(例如，麦克风)等。
在进一步的示例实施例中，I/O组件1206可以包括生物计量组件1234、运动组件1236、环境组件1238、和/或位置组件1240，以及各种各样的其他组件。生物计量组件1234可以包括用于检测表情(例如，手部表情、面部表情、声音表情、身体姿势、或眼球跟踪等)、测量生物信号(例如，血压、心率、体温、汗液或脑电波等)、标识人(通过例如，语音标识、视网膜标识、面部标识、指纹标识、和/或基于脑电图的标识)等的组件。运动组件1236可以包括加速度感测组件(例如，加速度计)、重力感测组件、旋转感测组件(例如，陀螺仪)，等等。
环境组件1238可以包括，例如，照明感测组件(例如，光度计)、温度感测组件(例如，一个或多个温度计)、湿度感测组件、压力感测组件(例如，气压计)、声学感测组件(例如，一个或多个麦克风)、接近度感测组件(例如，检测附近对象的红外传感器)、气体感测组件(例如，为了安全性检测危险气体浓度和/或测量大气中的污染物的气体检测传感器)、和/或可提供与周围物理环境相对应的指示、测量、信号等的其他组件。位置组件1240可包括位置感测组件(例如，全球定位***(GPS)接收器)、高度感测组件(例如，高度计和/或检测可从其中得出高度的气压的气压计)、定向感测组件(例如，磁力计)等。
通信可以使用各种各样的技术来实现。I/O组件1206可进一步包括通信组件1242，通信组件1242可操作以分别经由耦合1226和/或耦合1228来将计算机***1200以通信方式耦合到网络1222和/或设备1224。例如，通信组件1242可以包括网络接口组件或者用于与网络1222对接的另一合适的设备。在进一步的示例中，通信组件1242可以包括有线通信组件、无线通信组件、蜂窝通信组件、近场通信(NFC)组件、蓝牙组件(例如，蓝牙低能量)、Wi-Fi组件、和/或用于经由一个或多个其他模态提供通信的其他通信组件。设备1224可以包括一个或多个其他机器和/或各种各样的***设备中的任何一个***设备(例如，经由通用串行总线(USB)连接耦合的***设备)。
此外，通信组件1242可以检测标识符或包括可操作以检测标识符的组件。例如，通信组件1242可以包括射频标识(RFID)标签阅读器组件、NFC智能标签检测组件、光学阅读器组件(例如，用于检测一维条形码(诸如通用产品代码(UPC)条形码)、多维条形码(诸如快速响应(QR)码、阿兹特克代码、数据矩阵、Dataglyph、最大码、PDF417、超码、UCC RSS-2D条形码和/或其他光学代码)的光学传感器)、和/或声音检测组件(例如，用于标识加标签的音频信号的麦克风)。另外，可以经由通信组件1242得出各种信息，诸如经由互联网协议(IP)地理位置的得出的位置、经由Wi-Fi信号三角测量得出的位置、经由检测可指示特定位置的NFC信标信号得出的位置，等等。
各种存储器中的一个或多个(例如，存储器1204、主存储器1214、静态存储器1216、和/或处理器1202中的一个或多个(例如，高速缓存)存储器)和/或存储单元1218可存储一个或多个指令集(例如，软件)和/或具体化本文所描述的任何一种或多种方法或功能或者由本文所描述的任何一种或多种方法或功能使用的数据结构。这些指令(例如，指令1212)当由处理器1202中的一个或多个处理器执行时，使得各种操作用于实现本公开的各实施例。
可以经由网络接口设备(例如，通信组件1242中包括的网络接口组件)使用传输介质并利用多个众所周知的传输协议(例如，会话发起协议(SIP)、超文本传输协议(HTTP)等)中的任何一个传输协议在网络1222上发送或接收指令1212。类似地，指令1212可以经由耦合1228(例如，对等耦合)使用传输介质传送到设备1224或从设备1224中接收。
图13是示出软件架构1302的框图1300，软件架构1302可以安装在本文所述的任何一个或多个设备上。例如，软件架构1302可以安装在布置类似于图12的计算机***1200的任何设备或***上。软件架构1302由硬件(诸如包括处理器1306、存储器1308和I/O组件1310的机器1304)支持。在该示例中，软件架构1302可以概念化为层的堆栈，其中每一层提供特定功能。软件架构1302包括诸如操作***1312、库1314、框架1316和应用1318之类的层。在操作上，应用1318使用一个或多个应用编程接口(API)，通过软件堆栈调用API调用1320，并接收消息1322以对API调用1320作出响应。
操作***1312管理硬件资源并提供公共服务。操作***1312包括例如，核1324、服务1326和驱动器1328。核1324充当硬件层与其他软件层之间的抽象层。例如，核1324在一些情况下可提供存储器管理、处理器管理(例如，调度)、组件管理、联网和/或安全设置以及其他功能。服务1326可以为其他软件层提供其他公共服务。驱动器1328负责控制底层硬件或与底层硬件对接。例如，驱动器1328可包括显示器驱动器、相机驱动器、蓝牙或蓝牙低能量驱动器、闪存驱动器、串行通信驱动器(例如，USB驱动器)、Wi-Fi驱动器、音频驱动器、功率管理驱动器等。
库1314提供应用1318使用的低级公共基础设施。库1314可包括***库1330(例如，C标准库)，其提供诸如存储器分配函数、字符串操纵函数、数学函数等之类的函数。此外，库1314可以包括API库1332，诸如媒体库(例如，支持各种媒体格式的呈现和/或操纵的库，诸如运动图像专家组4(MPEG4)、高级视频编码(H.264或AVC)、运动图像专家组层3(MP3)、高级音频编码(AAC)，自适应多速率(AMR)音频编解码器、联合图像专家组(JPEG或JPG)、便携式网络图形(PNG)等)、图形库(例如，用于在显示器上以二维(2D)和三维(3D)图形内容呈现的OpenGL框架)、数据库库(例如，提供各种关系数据库功能的SQLite)、web库(例如，提供web浏览功能的WebKit)等。库1314还可以包括多种其他库1334，以向应用1318提供许多其他API。
框架1316可以提供应用1318使用的高级公共基础设施。例如，框架1316可以提供各种图形用户界面(GUI)功能、高级资源管理、高级位置服务等。框架1316可提供可由应用1318使用的其他API的广谱，其中一些API可特定于特定操作***或平台。
纯粹作为代表性示例，应用1318可包括家庭应用1336、联系人应用1338、浏览器应用1340、图书阅读器应用1342、位置应用1344、媒体应用1346、消息传递应用1348、游戏应用1350、和/或图13中一般表示为第三方应用1352的其他应用的广泛分类。应用1318是执行在程序中定义的功能的程序。各种编程语言可以被用来创建一个或多个应用1318，其以多种方式结构化，诸如面向对象的编程语言(例如，Objective-C、Java、C++等)、过程编程语言(例如，C语言、汇编语言等)等。在特定示例中，第三方应用1352(例如，由特定平台的供应商之外的实体使用安卓TM或IOSTM软件开发工具包(SDK)开发的应用)可以是在移动操作***(诸如IOSTM、安卓TM、
Figure BDA0003432076180000281
手机等)上运行的移动软件。在该示例中，第三方应用1352可以调用由操作***1312提供的API调用1320以促进本文所述的功能。
鉴于上述公开，下文给出了各种示例。应当注意，在本申请的公开范围内，应当考虑单独或组合获取的示例的一个或多个特征。
示例1是一种包括处理器的口罩合规性测量***，该处理器被配置成用于根据人的图像生成人的面部区域的面部深度图像；根据面部深度图像生成面部小波描述符；确定小波描述符的光谱密度值；以及分析光谱密度值以生成该人的口罩佩戴合规性结果，分析包括使用分类模型，该分类模型经训练以关于从中导出光谱密度值的图像中的口罩佩戴对光谱密度值集进行分类。
示例2是示例1的口罩合规性测量***，其中处理器被进一步配置成用于标识深度图像的上部段的面部的边界框的边界；以及基于经标识面部的边界框的边界来将深度图像的上部段向下裁剪为面部深度图像。
示例3是示例2的口罩合规性测量***，其中处理器被配置成用于标识面部的边界框的边界包括处理器被配置成用于将深度图像的上部段描绘成多个水平带；以及基于至少一个水平带的水平对称程度来标识面部的边界框的第一和第二水平边界。
示例4是示例2或示例3的口罩合规性测量***，其中处理器被配置成用于标识面部的边界框的边界包括处理器被配置成用于将人的深度图像的上部段描绘成多个垂直带；以及基于至少一个垂直带的多个拐点的标识来标识面部的边界框的第一和第二垂直边界。
示例5是示例2至示例4中任一项的口罩合规性测量***，其中处理器被配置成用于标识面部的边界框的边界包括处理器被配置成用于标识面部的边界框架的水平边界和垂直边界；以及从深度图像的上部段的框定部分内标识面部的边界框的第一和第二深度维度边界，框定部分是位于所标识的边界框架的水平边界和垂直边界内的部分。
示例6是示例5的口罩合规性测量***，其中处理器被配置成用于标识面部的边界框的第一和第二深度维度边界包括处理器被配置成用于将框定部分描绘成多个不同深度维度带集，每一个深度维度带集包括框定部分的不同点子集；针对每一个深度维度带集标识一个椭球，该椭球包含面部相对应点子集并且位于框定部分内；以及基于标识多个椭球中体积最大的一个的近端和远端深度极值，标识面部的边界框的第一和第二深度维度边界。
示例7是示例1至示例6中任一项的口罩合规性测量***，其中，处理器被配置成用于根据面部深度图像生成面部小波描述符包括处理器被配置成用于将来自面部深度图像的深度值样本中的每个深度值变换为面部小波描述符中的一个；以及处理器被配置成用于确定小波描述符的光谱密度值包括处理器被配置成用于将每个面部小波描述符转换为相对应的光谱密度值。
示例8是示例1或示例7的口罩合规性测量***，其中使用不可逆函数将每个面部小波描述符转换为相对应的光谱密度值。
示例9是示例7或示例8的口罩合规性测量***，其中处理器被进一步配置成用于至少部分通过使用预计算的口罩光谱密度参考曲线对从面部深度图像的深度值样本中导出的光谱密度值进行过滤来生成过滤后的光谱密度值；以及处理器被配置成用于分析光谱密度值包括处理器被配置成用于分析过滤后的光谱密度值。
示例10是示例9的口罩合规性测量***，其中预计算的口罩光谱密度参考曲线包括与导出的光谱密度值相同数量的参考光谱密度值；以及过滤包括参考光谱密度值和导出的光谱密度值的逐个元素相乘。
示例11是示例1至示例10中任一项的口罩合规性测量***，其中处理器被配置成用于分析光谱密度值包括处理器被配置成用于分析光谱密度值以及一个或多个情境值。
示例12是示例11的口罩合规性测量***，其中一个或多个情境值表示从由口罩合规性测量***的环境天气和安装位置组成的组中选择的一个或多个情境条件。
示例13是一种或多种非瞬态计算机可读存储介质，其上存储有指令，这些指令在由至少一个硬件处理器执行时，使至少一个硬件处理器执行操作，包括根据人的图像生成人的面部区域的面部深度图像；根据面部深度图像生成面部小波描述符；确定小波描述符的光谱密度值；以及分析光谱密度值以生成该人的口罩佩戴合规性结果，分析包括使用分类模型，该分类模型经训练以关于从中导出光谱密度值的图像中的口罩佩戴对光谱密度值集进行分类。
示例14是示例13的一种或多种非瞬态计算机可读存储介质，操作进一步包括标识深度图像的上部段的面部的边界框的边界；以及基于经标识面部的边界框的边界来将深度图像的上部段向下裁剪为面部深度图像。
示例15是示例14的一种或多种非瞬态计算机可读存储介质，其中标识面部的边界框的边界包括将深度图像的上部段描绘成多个水平带；以及基于至少一个水平带的水平对称程度来标识面部的边界框的第一和第二水平边界。
示例16是示例14或示例15的一种或多种非瞬态计算机可读存储介质，其中标识面部的边界框的边界包括将人的深度图像的上部段描绘成多个垂直带；以及基于至少一个垂直带的多个拐点的标识来标识面部的边界框的第一和第二垂直边界。
示例17是示例14至示例16中任一项的一种或多种非瞬态计算机可读存储介质，其中标识面部的边界框的边界包括标识面部的边界框架的水平边界和垂直边界；以及从深度图像的上部段的框定部分内标识面部的边界框的第一和第二深度维度边界，框定部分是位于所标识的边界框架的水平边界和垂直边界内的部分。
示例18是示例17的一种或多种非瞬态计算机可读存储介质，其中标识面部的边界框的第一和第二深度维度边界包括将框定部分描绘成多个不同深度维度带集，每一个深度维度带集包括框定部分的不同点子集；针对每一个深度维度带集标识一个椭球，该椭球包含面部相对应点子集并且位于框定部分内；以及基于标识多个椭球中体积最大的一个的近端和远端深度极值，标识面部的边界框的第一和第二深度维度边界。
示例19是示例13至示例19中任一项的一种或多种非瞬态计算机可读存储介质，其中，根据面部深度图像生成面部小波描述符包括将来自面部深度图像的深度值样本中的每个深度值变换为面部小波描述符中的一个；以及确定小波描述符的光谱密度值包括将每个面部小波描述符转换为相对应的光谱密度值。
示例20是示例13或示例19的一种或多种非瞬态计算机可读存储介质，其中使用不可逆函数将每个面部小波描述符转换为相对应的光谱密度值。
示例21是示例19或示例20的一种或多种非瞬态计算机可读存储介质，操作进一步包括至少部分通过使用预计算的口罩光谱密度参考曲线对从面部深度图像的深度值样本中导出的光谱密度值进行过滤来生成过滤后的光谱密度值；以及分析光谱密度值包括分析过滤后的光谱密度值。
示例22是示例21的一种或多种非瞬态计算机可读存储介质，其中预计算的口罩光谱密度参考曲线包括与导出的光谱密度值相同数量的参考光谱密度值；以及过滤包括参考光谱密度值和导出的光谱密度值的逐个元素相乘。
示例11是示例13至示例22中任一项的一种或多种非瞬态计算机可读存储介质，其中分析光谱密度值包括分析光谱密度值以及一个或多个情境值。
示例24是一种***，包括：裁剪装置，用于根据人的图像生成人的面部区域的面部深度图像；计算装置，用于根据面部深度图像生成面部小波描述符，该计算装置还用于确定小波描述符的光谱密度值；以及分类装置，用于分析光谱密度值以生成该人的口罩佩戴合规性结果，分析包括使用分类模型，该分类模型经训练以关于从中导出光谱密度值的图像中的口罩佩戴对光谱密度值集进行分类。
示例25是示例24的***，操作进一步包括标识深度图像的上部段的面部的边界框架的水平和垂直边界；从深度图像的上部段的框定部分内标识面部的边界框的第一和第二深度维度边界，该框定部分是位于所标识的边界框架的水平边界和垂直边界内的部分，该边界框具有基于该边界框架的水平边界和垂直边界的水平边界和垂直边界；以及基于经标识面部的边界框的边界来将深度图像的上部段向下裁剪为面部深度图像。
为了促进对本公开的原理的理解，在附图中示出了各实施例。本文所公开的实施例并非旨在穷尽或将本公开限制为在上述详细说明书中公开的精确形式。相反，所描述的实施例被选择为使得本领域的其他技术人员可以利用他们的教导。因此，意指本公开的范围不由此限制。
在本公开的任何实例下，包括在权利要求书中，其中引用组件、数据(例如，值、标识符、参数等)和/或任何其他元素使用数字修饰符(诸如第一、第二和第三)，此类修饰符的使用并不旨在表示或规定以这种方式引用的元素的任何特定或要求的顺序。相反，此类修饰符的任何此类使用旨在帮助读者区分元素之间的差异，并且不应被解释为坚持任何特定顺序或具有任何其他意义，除非本文明确且肯定地解释了此类顺序或其他意义。
此外，如在本公开中使用的，形式为“A和B中的至少一个”、“A、B和C中的至少一个”等的短语应被解释为“A和/或B”、“A、B和/或C”等语言。在本公开中，除非结合特定实例另有明确说明，否则这种措辞方式并不意味着“至少一个A和至少一个B”、“至少一个A、至少一个B和至少一个C”等等。如在本公开中所使用的，双元素版本涵盖以下各项：一个或多个A和无B，一个或多个B和无A，一个或多个A和一个或多个B。对于三元素版本和更高版本是类似地。除非在特定实例下另有明确说明，否则应同样对代替“至少一个”使用“一个或多个”的短语进行类似的解释。
此外，与本文描述的实体和布置(包括在附图中描述和结合附图描述的实体和布置)作为示例而非限制性地呈现的事实一致，任何和所有陈述或其他指示特定附图“描绘”了什么，特定附图中的特定元素或实体或本公开中以其他方式提及的“是”或“具有”什么，以及任何和所有没有明确自我限定(以诸如“在至少一个实施例中”之类的条款的方式)并且因此可以孤立地并脱离情境理解为绝对的的类似陈述，因此作为对所有实施例的限制，只能正确地理解为被此类条款建设性地限定。出于与陈述的简洁性和清晰性类似的原因，本公开中不重复该隐含限定条款。

Claims (25)

1.一种口罩合规性测量***，包括处理器，所述处理器被配置成用于：
根据人的图像生成所述人的面部区域的面部深度图像；
根据所述面部深度图像生成面部小波描述符；
确定小波描述符的光谱密度值；以及
分析所述光谱密度值以生成所述人的口罩佩戴合规性结果，分析包括使用分类模型,该分类模型经训练以关于从中导出所述光谱密度值的图像中的口罩佩戴对光谱密度值集进行分类。
2.如权利要求1所述的口罩合规性测量***，其中，所述处理器被进一步配置成用于：
标识深度图像的上部段的面部的边界框的边界；以及
基于经标识所述面部的所述边界框的所述边界来将所述深度图像的所述上部段向下裁剪为所述面部深度图像。
3.如权利要求2所述的口罩合规性测量***，其中，所述处理器被配置成用于标识所述面部的所述边界框的所述边界包括所述处理器被配置成用于：
将所述深度图像的所述上部段描绘成多个水平带；以及
基于至少一个水平带的水平对称程度来标识所述面部的所述边界框的第一和第二水平边界。
4.如权利要求2所述的口罩合规性测量***，其中，所述处理器被配置成用于标识所述面部的所述边界框的所述边界包括所述处理器被配置成用于：
将所述人的所述深度图像的所述上部段描绘成多个垂直带；以及
基于至少一个垂直带的多个拐点的标识来标识所述面部的所述边界框的第一和第二垂直边界。
5.如权利要求2所述的口罩合规性测量***，其中，所述处理器被配置成用于标识所述面部的所述边界框的所述边界包括所述处理器被配置成用于：
标识所述面部的边界框架的水平边界和垂直边界；以及
从所述深度图像的所述上部段的框定部分内标识所述面部的所述边界框的第一和第二深度维度边界，所述框定部分是位于所标识的所述边界框架的水平边界和垂直边界内的部分。
6.如权利要求5所述的口罩合规性测量***，其中，所述处理器被配置成用于标识所述面部的所述边界框的所述第一和第二深度维度边界包括所述处理器被配置成用于：
将所述框定部分描绘成多个不同深度维度带集，每一个所述深度维度带集包括所述框定部分的不同点子集；
针对每一个所述深度维度带集标识一个椭球，所述椭球包含所述面部的相对应点子集并且位于所述框定部分内；以及
基于标识多个椭球中体积最大的一个椭球的近端和远端深度极值，标识所述面部的所述边界框的所述第一和第二深度维度边界。
7.如权利要求1所述的口罩合规性测量***，其中：
所述处理器被配置成用于根据所述面部深度图像生成所述面部小波描述符包括所述处理器被配置成用于将来自所述面部深度图像的深度值样本中的每个深度值变换为所述面部小波描述符中的一个；以及
所述处理器被配置成用于确定所述小波描述符的所述光谱密度值包括所述处理器被配置成用于将所述面部小波描述符中的每个转换为相对应的光谱密度值。
8.如权利要求7所述的口罩合规性测量***，其中，使用不可逆函数将所述面部小波描述符中的每个转换为相对应的光谱密度值。
9.如权利要求7所述的口罩合规性测量***，其中：
所述处理器被进一步配置成用于至少部分通过使用预计算的口罩光谱密度参考曲线对从所述面部深度图像的所述深度值样本中导出的所述光谱密度值进行过滤来生成过滤后的光谱密度值；以及
所述处理器被配置成用于分析所述光谱密度值包括所述处理器被配置成用于分析所述过滤后的光谱密度值。
10.如权利要求9所述的口罩合规性测量***，其中：
所述预计算的口罩光谱密度参考曲线包括与导出的光谱密度值相同数量的参考光谱密度值；以及
所述过滤包括所述参考光谱密度值和所述导出的光谱密度值的逐个元素相乘。
11.如权利要求1所述的口罩合规性测量***，其中，所述处理器被配置成用于分析所述光谱密度值包括所述处理器被配置成用于分析所述光谱密度值以及一个或多个情境值。
12.如权利要求11所述的口罩合规性测量***，其中，所述一个或多个情境值表示从由所述口罩合规性测量***的环境天气和安装位置组成的组中选择的一个或多个情境条件。
13.一种或多种非瞬态计算机可读存储介质，具有存储于其上的指令，所述指令当由至少一个硬件处理器执行时，使所述至少一个硬件处理器执行包括以下各项的操作：
根据人的图像生成所述人的面部区域的面部深度图像；
根据所述面部深度图像生成面部小波描述符；
确定小波描述符的光谱密度值；以及
分析所述光谱密度值以生成所述人的口罩佩戴合规性结果，分析包括使用分类模型，该分类模型经训练以关于从中导出所述光谱密度值的图像中的口罩佩戴对光谱密度值集进行分类。
14.如权利要求13所述的一种或多种非瞬态计算机可读存储介质，所述操作进一步包括：
标识所述深度图像的上部段的面部的边界框的边界；以及
基于经标识所述面部的所述边界框的边界来将所述深度图像的所述上部段向下裁剪为所述面部深度图像。
15.如权利要求14所述的一种或多种非瞬态计算机可读存储介质，其中，标识所述面部的所述边界框的所述边界包括：
将所述深度图像的所述上部段描绘成多个水平带；以及
基于至少一个水平带的水平对称程度来标识所述面部的所述边界框的第一和第二水平边界。
16.如权利要求14所述的一种或多种非瞬态计算机可读存储介质，其中，标识所述面部的所述边界框的所述边界包括：
将所述人的所述深度图像的所述上部段描绘成多个垂直带；以及
基于至少一个垂直带的多个拐点的标识来标识所述面部的所述边界框的第一和第二垂直边界。
17.如权利要求14所述的一种或多种非瞬态计算机可读存储介质，其中，标识所述面部的所述边界框的所述边界包括：
标识所述面部的边界框架的水平边界和垂直边界；以及
从所述深度图像的所述上部段的框定部分内标识所述面部的所述边界框的第一和第二深度维度边界，所述框定部分是位于所标识的所述边界框架的水平边界和垂直边界内的部分。
18.如权利要求17所述的一种或多种非瞬态计算机可读存储介质，其中，标识所述面部的所述边界框的所述第一和第二深度维度边界包括：
将所述框定部分描绘成多个不同深度维度带集，每一个所述深度维度带集包括所述框定部分的不同点子集；
针对每一个所述深度维度带集标识一个椭球，所述椭球包含所述面部的相对应点子集并且位于所述框定部分内；以及
基于标识多个椭球中体积最大的一个椭球的近端和远端深度极值，标识所述面部的所述边界框的所述第一和第二深度维度边界。
19.如权利要求13所述的一种或多种非瞬态计算机可读存储介质，其中：
根据所述面部深度图像生成所述面部小波描述符包括将来自所述面部深度图像的深度值样本中的每个深度值变换为所述面部小波描述符中的一个；以及
确定所述小波描述符的所述光谱密度值包括将所述面部小波描述符中的每个转换为相对应的光谱密度值。
20.如权利要求19所述的一种或多种非瞬态计算机可读存储介质，其中，使用不可逆函数将所述面部小波描述符中的每个转换为相对应的光谱密度值。
21.如权利要求19所述的一种或多种非瞬态计算机可读存储介质，所述操作进一步包括：
至少部分通过使用预计算的口罩光谱密度参考曲线对从所述面部深度图像的所述深度值样本中导出的所述光谱密度值进行过滤来生成过滤后的光谱密度值，
其中，分析所述光谱密度值包括分析所述过滤后的光谱密度值。
22.如权利要求21所述的一种或多种非瞬态计算机可读存储介质，其中：
所述预计算的口罩光谱密度参考曲线包括与导出的光谱密度值相同数量的参考光谱密度值；以及
过滤包括所述参考光谱密度值和所述导出的光谱密度值的逐个元素相乘。
23.如权利要求13所述的一种或多种非瞬态计算机可读存储介质，其中，分析所述光谱密度值包括分析所述光谱密度值以及一个或多个情境值。
24.一种***，包括：
裁剪装置，用于根据人的图像生成所述人的面部区域的面部深度图像；
计算装置，用于根据所述面部深度图像生成面部小波描述符，
所述计算装置还用于确定所述小波描述符的光谱密度值；以及
分类装置，用于分析所述光谱密度值以生成所述人的口罩佩戴合规性结果，分析包括使用分类模型，该分类模型经训练以关于从中导出所述光谱密度值的图像中的口罩佩戴对光谱密度值集进行分类。
25.如权利要求24所述的***，所述操作进一步包括：
标识所述深度图像的上部段的面部的边界框架的水平边界和垂直边界；
从所述深度图像的所述上部段的框定部分内标识所述面部的边界框的第一和第二深度维度边界，所述框定部分是位于所标识的所述边界框的水平边界和垂直边界内的部分，所述边界框具有基于所述边界框架的水平边界和垂直边界的水平边界和垂直边界；以及
基于经标识所述面部的所述边界框的边界来将所述深度图像的所述上部段向下裁剪为所述面部深度图像。
CN202111601841.4A 2020-12-26 2021-12-24 隐私保护的口罩合规性水平测量的***和方法 Pending CN114677703A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/247,847 US20210117649A1 (en) 2020-12-26 2020-12-26 Systems and methods for privacy-preserving facemask-compliance-level measurement
US17/247,847 2020-12-26

Publications (1)

Publication Number Publication Date
CN114677703A true CN114677703A (zh) 2022-06-28

Family

ID=75491211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111601841.4A Pending CN114677703A (zh) 2020-12-26 2021-12-24 隐私保护的口罩合规性水平测量的***和方法

Country Status (3)

Country Link
US (1) US20210117649A1 (zh)
EP (1) EP4020403A1 (zh)
CN (1) CN114677703A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11404061B1 (en) * 2021-01-11 2022-08-02 Ford Global Technologies, Llc Speech filtering for masks
KR20240045830A (ko) * 2022-09-30 2024-04-08 주식회사 슈프리마에이아이 피인식 대상자의 특성 정보를 예측하는 방법 및 장치, 피인식 대상자의 특성 정보를 예측하는 신경망을 학습하는 방법 및 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797653B (zh) * 2019-04-09 2024-04-26 华为技术有限公司 基于高维图像的图像标注方法和装置

Also Published As

Publication number Publication date
US20210117649A1 (en) 2021-04-22
EP4020403A1 (en) 2022-06-29

Similar Documents

Publication Publication Date Title
KR102459610B1 (ko) 자동화된 아바타 생성
EP3274916B1 (en) Automated three dimensional model generation
JP2023171650A (ja) プライバシーの保護を伴う人物の識別しおよび／または痛み、疲労、気分、および意図の識別および定量化のためのシステムおよび方法
KR20220062338A (ko) 스테레오 카메라들로부터의 손 포즈 추정
KR101198322B1 (ko) 얼굴 표정 인식 방법 및 시스템
WO2021169637A1 (zh) 图像识别方法、装置、计算机设备及存储介质
CN114677703A (zh) 隐私保护的口罩合规性水平测量的***和方法
Kocacinar et al. A real-time cnn-based lightweight mobile masked face recognition system
CN107590430A (zh) 活体检测方法、装置、设备及存储介质
CN112513875B (zh) 眼部纹理修复
KR101141643B1 (ko) 캐리커쳐 생성 기능을 갖는 이동통신 단말기 및 이를 이용한 생성 방법
CN110956122B (zh) 图像处理方法及装置、处理器、电子设备、存储介质
WO2016089529A1 (en) Technologies for learning body part geometry for use in biometric authentication
CN109766755A (zh) 人脸识别方法及相关产品
CN111902821A (zh) 检测动作以阻止识别
US11436804B2 (en) Augmented reality system
Kumar et al. Elderly fall detection using IoT and image processing
CN111832346A (zh) 人脸识别方法、装置、电子设备及可读存储介质
Jeny et al. Deep Learning Framework for Face Mask Detection
CN115205943A (zh) 图像处理方法、装置、电子设备及存储介质
CN112733594A (zh) 一种基于可变形卷积网络的机房人物重识别方法
CN113494964B (zh) 一种人员测温方法、装置、电子设备及存储介质
Hsu et al. Extraction of visual facial features for health management
Wu et al. Human Pose Recognition Based on Openpose and Application in Safety Detection of Intelligent Factory
SOMASHEKAR et al. Real-Time COVID-19 Infection Risk Assessment And Alert System Using Mask Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination