CN110050276A

CN110050276A - 患者识别***和方法

Info

Publication number: CN110050276A
Application number: CN201780074269.6A
Authority: CN
Inventors: 王海波; C·C·A·M·范宗; W·P·洛德
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2016-11-30
Filing date: 2017-11-22
Publication date: 2019-07-23
Anticipated expiration: 2037-11-22
Also published as: US20190362137A1; JP2020502642A; JP7107932B2; WO2018099773A1; EP3549059A1; CN110050276B; US10997397B2

Abstract

所公开的技术涉及识别数字图像中的对象。在一些实施例中，采集(1002)捕获第一对象的收录数字图像(404)。选择(1004)描绘所述第一对象的面部的多个不同的视图的收录数字图像的子集。基于收录数字图像的选定的子集，第一对象参考模板被生成并且被存储在对象数据库(412)中。稍后，选择(1008)用于在区域内进行识别的第二对象。从所述对象参考数据库检索(1010)相关联的第二对象参考模板。采集(1012)描绘所述区域的(一幅或多幅)数字图像(420)。描绘所述区域中的(一个或多个)对象的面部的(一幅或多幅)数字图像的(一个或多个)部分被检测(1014)为(一幅或多幅)检测到的面部图像。将给定的检测到的面部图像与所述第二对象参考模板进行比较(1016)以识别捕获所述区域的(一幅或多幅)数字图像中的第二对象(1018)。

Description

患者识别***和方法

技术领域

本公开总体上但是非排他地涉及识别数字图像(包括数字图像流)中的人。更具体地，但是非排他地，本文所公开的各种方法和装置涉及识别数字图像(或其流)中的人，使得那些人可以被定位在医院的诸如等候室的区域中。

背景技术

存在其中能够期望基于捕获包含人的场景的数字图像自动地识别人(或者“对象”)的多个情形。例如，当患者访问医院时，其通常被登记、分诊并且然后被送到诸如等候室的区域以等候诸如医师的医院资源变为可用于检查和/或处置患者。能够自动识别个体患者对于可以帮助当其等候医学资源的分配时监测其状况(例如，针对恶化)。其也可以帮助确定是否/何时患者离开而未被看到(LWBS)。基于数字图像自动地识别人也可以在各种其他背景(诸如机场、火车站、过境处、体育馆和健身中心、各种公司等)下是有用的。

在一些背景下，能够期望识别包含多个对象的数字图像中的个体对象。例如，除等候患者之外，由等候室中的相机捕获的数字图像可能描绘能够与患者一起等候的其他人，诸如朋友、亲属等。面部检测技术可以检测数字图像中的所有面部，但是哪些面部属于患者并且哪些属于他人可能是不清楚的。此外，诸如等候室的监测区域中的对象将不可能查看相机。代替地，其可以查看其电话、杂志、彼此等。因此，甚至当检测到描绘的面部时，如在其原始状态中所描绘的检测到的面部可能对于识别对象是不理想的。此外，区域中的光条件可以跨时间(例如，日间对夜间)和/或跨物理空间变化。

发明内容

本公开涉及用于自动地识别所采集的数字图像中所描绘的人的方法、***和装置。作为一个非限制性范例，多个分诊的患者可以在等候室中等候直到其可以由急诊医师看到。所述患者可以被包括在例如基于与每个患者相关联的敏锐度的量度(在本文中被称为“患者敏锐度量度”)以及其他数据点(诸如患者等候时间、患者存在等)来排序或者排名的患者监测队列(还简单地被称为“患者队列”)中，所述量度基于由分诊护士从所述患者获得/采集的信息来确定。被安装在等候室中的一个或多个“生命体征采集相机”可以被配置为周期性地执行来自每个患者的一个或多个经更新的生命体征和/或生理参数的非接触和/或非侵扰的采集。这些经更新的生命体征和/或生理参数可以包括但不限于温度、脉搏率、血氧饱和度(“SpO2”)、呼吸率、姿势、汗水等。

为了识别(一个或多个)生命体征采集相机应当采集经更新的生命体征的具体患者，本文所描述的技术可以被用于匹配所谓的“对象参考模板”-例如描绘对象的面部的各种不同的视图的数字图像-与被包含在由一个或多个生命体征采集相机采集(例如，从相对宽的视场(“FOV”))的一幅或多幅数字图像中捕获的场景中的人。更一般地，本文所描述的技术可以在各种背景下被实施为识别数字图像(例如，单幅图像和/或数字图像流，诸如视频馈送)中所描绘的对象，例如通过收集与要监测的每个对象相关联的对象参考模板并且稍后使用那些对象参考模板来识别随后捕获的数字图像中的对象。

通常，在一个方面中，一种方法可以包括：采集多幅收录(intake)数字图像，所述多幅收录数字图像捕获至少第一对象；从所述多幅收录数字图像中选择描绘所述第一对象的面部的多个不同的视图的收录数字图像的子集；基于收录数字图像的选定的子集来生成第一对象参考模板，其中，所述第一对象参考模板与关于所述第一对象的信息相关联地被存储在对象数据库中，并且所述对象数据库存储与多个对象有关的对象参考模板；选择要在区域内识别的第二对象；从对象参考数据库检索与所述第二对象有关的第二对象参考模板；采集描绘所述区域的一幅或多幅数字图像；检测所述一幅或多幅数字图像的描绘所述区域中的一个或多个对象的面部的一个或多个部分作为一幅或多幅检测到的面部图像；将检测到的所述一幅或多幅检测到的面部图像中的给定的检测到的面部图像与所述第二对象参考模板进行比较；并且基于所述比较来在捕获所述区域的所述一幅或多幅数字图像中识别所述第二对象。

在各种实施例中，所述区域可以包括等候室，所述收录图像可以是使用被配置为捕获登记或者分诊区域的第一相机来采集的，并且描绘所述区域的所述数字图像可以是使用被配置为捕获所述等候室的第二相机来采集的。在各种实施例中，所述比较可以包括将给定的检测到的面部图像用作跨经训练的机器学习模型的输入以生成指示所述给定的检测到的面部图像与所述第二对象之间的相似度的量度的输出，其中，所述机器学习模型是至少部分地基于所述第二对象参考模板来训练的。在各种实施例中，所述经训练的机器学习模型可以采取线性判别分析模型的形式。在各种实施例中，所述方法还可以包括响应于新对象被添加到所述对象数据库或者现有的对象从所述对象数据库被移除而对所述机器学习模型进行重新训练。在各种实施例中，所述经训练的机器学习模型可以基于与所述多个对象有关的所述对象参考模板来训练。

在各种实施例中，收录数字图像的子集中的一个或多个可以是基于足够地不类似于一幅或多幅其他收录数字图像来选择的。在各种实施例中，所述方法还可以包括对一幅或多幅面部图像进行规范化，使得每幅检测到的面部图像描绘面部的正面视图。在各种实施例中，所述规范化可以包括几何翘曲。

应当意识到，以下更详细讨论的前述构思和额外的构思的所有组合(假设这些构思不相互矛盾)被预期为本文所公开的主题的部分。具体而言，出现在本公开的结束处的请求保护的主题的所有组合被预期为是本文所公开的主题的部分。还应该意识到，本文明确采用的也可以出现在通过引用并入的任何公开中的术语应该被赋予与本文所公开的具体构思最一致的含义。

附图说明

在附图中，相似的附图标记贯穿不同视图通常指代相同的部件。而且，附图不必是按比例的，而是通常将强调放在图示本公开的原理上。

图1示意性地图示了根据各种实施例的用于使用所公开的技术监测数字图像中所识别的患者的总体过程流；

图2图示了根据各种实施方式的其中本公开的各种部件可以实施本公开的选定的方面的范例环境；

图3描绘了根据各种实施例的其中可以实践所公开的技术的范例情形；

图4描绘了用于执行本公开的各方面的范例部件和操作；

图5描绘了根据各种实施例的可以如何从用于对象参考模板的生成的收录数字图像中选择对象参考模板的范例；

图6描绘了根据各种实施例的可以如何检测进入和/或离开相机的视场的对象的范例；

图7描绘了根据各种实施例的检测到的面部图像可以如何规范化(例如，到为正面)的一个范例；

图8比图5更详细地描绘了根据各种实施例的可以如何从收录数字图像中选择对象参考模板的范例；

图9描绘了根据各种实施例的姿势自适应面部图像匹配的一个范例；

图10描绘了根据各种实施例的用于执行本公开的选定的方面的范例方法；并且

图11描绘了范例计算机***的部件。

具体实施方式

图1总体上示意性地图示了可以如何使用所公开的技术监测患者。具体地，描绘了可以在预等候室区域中(诸如在(一个或多个)预等候室区域102处)发生的操作和动作，其可以包括接收和/或登记，和/或分诊站或者摊位。此外，描绘了能够在等候室104中发生的操作和动作。应当理解，图1的顺序不旨在是限制性的，并且其他顺序是可能的。

在框108处，可以登记新患者。登记可以包括，例如，收集关于患者的信息，例如患者的姓名、年龄、性别、保险信息和访问原因。通常但非排他地，该信息可以由诸如接待员或登记员的医学人员手动输入计算机中。在一些实施例中，患者的一幅或多幅参考数字图像可以例如由与由分诊护士操作的计算设备集成的相机、由独立相机和/或由生命体征采集相机(在这种情况下，可以在登记时任选地采集至少一些生命体征)来采集。如下面将更详细地描述的，在一些实施例中，在框108处在登记期间由相机采集的数字图像可以被称为“收录数字图像”。这些收录数字图像的子集-并且在一些情况下，描绘例如面部的这些图像的选定的子部分-可以选择性地被保持为可以稍后被用于识别诸如等候室104的区域中的患者(或更一般地，“对象”)的“对象参考模板”。

在许多情况下，分诊护士此外可以使用各种医学仪器在框110采集各种初始生命体征和/或生理参数。这些初始生命体征和/或生理参数可包括但不限于血压、脉搏、葡萄糖水平、SpO₂、光体积描记图(“PPG”)、呼吸率(例如呼吸速率)、温度、肤色等。尽管未在图1中描绘，但是在一些实施例中，也可以在分诊时收集其他信息，例如采集/更新患者的医学史，确定患者过敏，确定患者对药物的使用等。在一些实施例中，可以为患者分配所谓的“患者敏锐度量度”，其可以是用于对患者疾病的严重性进行排名的量度，并且在一些情况下可以指示对急诊室资源的预期需要。可以使用任何数量的常用指示符和/或临床医师决策支持(“CDS”)算法来确定和/或分配患者敏锐度量度，包括但不限于紧急严重性指数(“ESI”)、台湾分诊***(“TTS”)、加拿大分诊和敏锐度量表(“CTAS”)等。例如，在一些实施例中，可以将患者的生命体征与存储在***数据库中的预定义生命体征阈值进行比较，或者与针对给定患者年龄、性别、体重等的典型的已发布或已知生命体征值进行比较，以确定患者的初始患者敏锐度量度和/或患者在患者队列中的初始位置。在一些实施例中，可以将关于患者的各种生理信息和其他信息应用为跨以下的输出：训练模型(例如，回归模型、神经网络、深度学习网络等)、基于案例的推理算法或其他临床推理算法，以导出一个或更多的敏锐度量度。在一些实施例中，用于导出敏锐度量度的信息可以包括或甚至完全限于可以由生命体征采集相机捕获的生命征(vitals)或其他信息。在一些实施例中，用于导出敏锐度量度的信息备选地或额外地包括诸如以下项的信息：来自患者的先前电子病历(“EMR”)的信息、分诊时从患者采集的信息、来自可穿戴设备或由患者携带的其他传感器的信息、关于等候室中的其他患者或人的信息(例如，房间中其他人的生命征)、关于家庭成员或与患者相关联的其他人(例如，家庭成员EMR)的信息等。

在框112处，一旦患者被登记和/或被分诊，患者可以被送到等候室104。在许多情形下，图1的操作可以以稍微不同的顺序发生。例如，在一些实例中，患者可以首先被登记，然后去等候室直到其可以被分诊，并且然后在分诊之后的一些时间被送到医生(要么立即地要么在被送回等候室之后)。在一些情况下，诸如在紧急情况(例如，在灾难期间)下，患者可以直接去分诊并且然后到医生，并且可以仅当患者已经稳定时稍后被登记。

在框114处，可以例如使用一个或多个相机、传感器或来自医学人员的输入来确定患者已经离开等候室。框114可以包括扫描当前在等候室内的每个人(例如，作为寻求功能的部分，一旦患者处于要捕获生命征的患者的队列的顶部，则所述寻求功能尝试定位患者，例如下面描述的框120的运行，或循环通过要捕获生命征的房间中的每个人，如包括下面描述的框118和120的回路的多次运行)并确定患者未被定位。在一些实施例中，***可以等候直到达到患者缺失的预定实例数量或者在患者被认为已离开等候室之前患者正丢失的已经过去预定时间量，以考虑临时缺席(例如，去洗手间或与临床工作人员交谈)。例如，患者能够已经适当地被送进ER中，因为轮到其看医生了。或者，患者在其等候时状况可能已经改进，从而导致他们离开医院。或者，患者可能已经变得不耐烦并且离开而到其他地方寻求护理。无论什么原因，一旦确定患者已经至少在阈值时间量内离开等候室，在框116处，患者可以被认为是已经离开而未被看到并且可以从***中释放，例如，通过将他们从登记的患者被输入的队列中移除。

在框118处，等候室104中的患者可以被选择用于监测。例如，在一些实施例中，存储在框108-110处获得的登记信息的数据库(例如，图4中的对象参考数据库412)可以被搜索以选择具有最高患者敏锐度量度的患者或具有最近未被监测的测量的最高敏锐度的患者，如可以由为所有患者设置的或基于敏锐度量度设置(例如，反相关)的时间阈值确定的。在其他实施例中，除了诸如等候时间、患者在等候室中的存在(例如，可以选择缺失的患者以更频繁地监测以确定是否应该在重复缺席的情况下释放其)等的其他量度之外或替代其，与等候室中的多个患者相关联的登记信息可以例如通过其相应的患者敏锐度量度在患者监测队列中排名。在另外的实施例中，在对患者监测队列进行排名时能够不考虑患者敏锐度量度，而是代替地可以仅考虑患者等候时间、患者存在等的考虑。

然而，这样的患者监测队列被排名，在一些实施例中，队列中的第一患者可以被选择为接下来要监测的患者。不需要(尽管可能)患者监测队列被存储在由患者敏锐度量度排序的物理存储器位置的序列中。而是，在一些实施例中，排名的患者监测队列可以仅仅包括与每个患者相关联的排名或优先级值。换句话说，如本文所描述的“患者监测队列”可以指代基于患者敏锐度量度、等候时间等在逻辑上排名的“逻辑”队列，而不一定是连续的存储器位置序列。可以在框118处以患者监测队列中其相应的排名的顺序来选择患者以进行监测。

在框120处，在框118处选择的患者可以被定位在等候室104中。在各种实施例中，被部署在等候室104中或者附近的一个或多个相机(诸如一个或多个生命体征采集相机(未在图1中描绘，参见图2和图3))可以***作(例如，平移、倾斜、缩放等)以采集等候室104中的患者的一幅或多幅数字图像。如下面将更详细地描述的，那些采集的数字图像可以与在框108处的登记期间捕获的一幅或多幅参考患者图像(常常地在本文中被称为“对象参考模板”)比较。

在框122处，可以操作安装或以其他方式部署在等候室104中或附近的一个或多个生命体征采集相机，以执行来自在框118处选择并且在框120处定位的患者的一个或多个经更新的生命体征和/或生理参数的非侵扰(例如，无接触)采集。这些生命体征采集相机可以被配置为从患者采集(不与患者物理接触)各种不同的生命体征和/或生理参数，包括但不限于血压、脉搏率(或心率)、肤色、呼吸率、SpO₂、温度、姿势、汗液水平等。在一些实施例中，生命体征采集相机可以被装备为执行所谓的“非接触方法”以从患者采集生命体征和/或提取生理信息，可以用作医学图像设备。这样的相机的非限制性范例在美国专利申请公开US20140192177A1、US20140139656A1、US 20140148663A1、US 20140253709A1、US20140235976A1和美国专利US9125606B2中被描述，出于全部目的通过引用将这些公开并入本文。

在框124处，可以例如由图2中描绘的一个或多个部件(下面描述的)，基于在框122处采集的(一个或多个)经更新的生命体征和/或生理参数与先前采集的生命体征和/或生理参数(例如，在框110处采集的初始生命体征或由生命体征采集相机采集的经更新的生命体征/生理参数的先前迭代)的比较来确定患者的状况是否已经改变。例如，可以确定患者的脉搏率、呼吸率、血压、SpO2、PPG、温度等是否在患者已经等候时已经增加或减少。如果回答为否，则控制可以行进返回到框118，并且可以选择新患者(例如，具有下一最高患者敏锐度量度的患者)并且控制可以行进返回到框120。然而，如果框124的回答为是(即，患者的状况已经改变)，然后控制可以转到框126。在一些实施例中，患者的状况可以(至少部分地)由用于确定监测顺序的目的的相同的敏锐度量度表示。

在框126处，可以(再次，由图2的一个或多个部件)基于在框124处检测到的改变确定医学警告是否有必要。例如，可以确定是否一个或多个生命体征或患者敏锐度量度的改变满足一个或多个阈值(例如，具有增加到高于对该特定患者而言认为安全的水平的血压？)。如果回答为是，则控制可以转到框128。在框128处，可以向值班护士或其他医学人员输出患者正在恶化的警报。然后，医学人员可以检查患者以确定是否有必要进行补救动作，例如立即进入ED以看医生。在一些实施例中，控制然后可以返回到框118。然而，如果框126处的回答为否，则在一些实施例中，控制可以返回到框118。

图2描绘了根据各种实施例的可以用于实践所公开的技术的范例部件。医院信息***240可以是在医院、医生办公室等中常见的类型。医院信息***240可以使用一个或多个计算***来实施，所述一个或多个计算***可以或可以不经由一个或多个计算机网络(未描绘)连接。除其他事物以外，医院信息***240可以包括登记模块242、分诊模块244、释放模块246和警报模块248。模块242-248中的一个或多个，或者本文描述的任何其他模块或引擎，可以使用硬件和软件的任何组合来实施，包括运行存储在存储器中的指令的一个或多个微处理器。例如，登记模块242可以包括实施本文结合在处理器上运行的登记而描述的功能的登记指令，而分诊模块244可以包括实施本文结合在相同处理器上运行的分诊所描述的功能的分诊指令。类似的下层硬件和软件可以用于实施本文描述的其他“模块”。

登记模块242可以被配置为例如从值班护士接收新患者的登记信息作为手动输入。这可以包括例如患者的姓名、年龄、保险信息等。分诊模块244可以被配置为例如从值班护士或直接从联网医学设备接收诸如上述生命体征的生命体征和/或其他生理数据(例如体重、身高、患者访问的原因等)作为手动输入。在各种实施例中，由分诊模块244接收的生命体征和/或患者敏锐度量度(例如，图2中的ESI)可以与由登记模块242接收的对应患者信息相关联，例如，在与医院信息***240相关联的一个或多个数据库(未描绘)中。

警报模块248可以被配置为接收指示诸如患者恶化的各种事件的信息，并且作为响应发出各种警报和/或警告。可以使用各种模态输出这些警报和/或警告，包括但不限于视觉输出(例如，在医院人员可见的显示屏上)、内部通信公告、文本消息、电子邮件、音频警告、触觉警告、页面、弹出窗口、闪烁灯等。医院信息***240的模块242-248可以例如经由一个或计算机网络(未描绘)可操作地耦合到医院信息***接口250(图2中的“H.I.S.接口”)。

医院信息***接口250可以用作传统医院信息***240与配置有本公开的选定方面的患者监测***252之间的接口。在各种实施例中，医院信息***接口250可以例如向患者监测***252的其他模块发布关于患者的各种信息，诸如登记信息、患者敏锐度量度(例如，ESI)、处方和/或施用的药物、患者是否已被释放、各种警报/警告等。如下面将描述的，在一些实施例中，这些发布可以被提供给事件发布和订阅(“EPS”)模块270，其然后可以选择性地将它们存储在数据库272中和/或选择性地将它们发布到患者监测***252的其他模块。在一些实施例中，医院信息***接口250可以额外地或备选地订阅由其他模块提供的一个或多个警告或发布内容。例如，医院信息***接口250可以订阅来自恶化检测模块268的警告，例如，使得医院信息***接口250可以向医院信息***240的适当部件(例如警报模块248)通知患者正在恶化。EPS仅是可以被用于***部件中间的通信的许多可能协议之一，并且不旨在是限制性的。

患者监测***252可以包括多种部件，其便于监测诸如等候室104的区域中的患者，以确保以有利于其实际医学状况的方式服务患者。专利监测***252可包括例如与一个或多个相机256接合的患者捕获模块254、患者队列模块258、患者识别模块260、动态校准模块262、面部/躯干采集模块264、生命体征测量模块266、恶化检测模块268、前述EPS模块270和一个或多个数据库272、274。如上所述，模块250、254和258-270中的每个可以使用硬件和软件的任何组合来实施。尽管这些模块是分开描绘的，但这并不意味着限制或建议每个模块都是在硬件的单独的片上实施的。例如，可以组合和/或省略一个或多个模块，并且可以在经由一个或多个计算机网络(未描绘)可操作地连接的一个或多个计算***上实施一个或多个模块。描绘的连接图2的各种部件的线可以表示可访问这些部件的通信信道。这些通信信道可以使用任何数量的网络或其他计算机通信技术来实施，例如一个或多个总线、以太网、Wi-Fi、蓝牙、Z-Wave、ZigBee、蜂窝通信等。

患者监测***252还可以包括一个或多个生命体征采集相机276，其被配置成从距患者的一定距离采集患者的一个或多个生命体征和/或生理参数。上面描述了这种生命体征采集相机的范例。在各种实施例中，生命体征采集相机276可以是平移-倾斜-缩放(“PTZ”)相机，其可操作于平移、倾斜和缩放，使得诸如等候室104的区域的不同部分被包含在其FOV内。以这种方式，能够扫描被监测的区域以定位不同的患者，使得可以非侵扰地采集经更新的生命体征和/或生理参数。

患者捕获模块254可以从一个或多个相机256接收携带患者的捕获的图像数据的一个或多个信号。例如，在一些实施例中，患者捕获模块254可以从相机256接收视频流。患者捕获模块254可以在视频流上执行图像处理(例如，面部检测、分割、检测人类形式的形状检测等)以检测何时患者存在，并且可以响应于检测而捕获患者的一幅或多幅参考数字图像(例如，下面所描述的收录数字图像)。在一些实施例中，可以以比视频流的个体帧更高的分辨率捕获参考数字图像，但这不是必需的。在一些实施例中，相机256可以是独立相机，诸如网络摄像头、PTZ相机(例如，276)等，其被部署在(一个或多个)预等候室区域102中或附近。由相机276捕获的收录数字图像的子集可以被用于生成与患者(并且更一般地“对象”)相关联的对象参考模板并且稍后被用于识别被监测的区域中的患者。

患者队列模块258可以被配置为建立和/或维持区域中的患者应当被监测的顺序的优先级队列，例如，在数据库中。在各种实施例中，可以通过各种参数对队列进行排序。在一些实施例中，队列中的患者可以以患者敏锐度量度的顺序(即，通过优先级)进行排名。例如，与较不关键的患者相比，最关键的患者可以被放置在队列的前面。在一些实施例中，可以以队列的顺序从在被监测的区域(例如等候室104)中等候的患者采集经更新的生命体征。在其他实施例中，可以以FIFO或循环顺序从患者采集经更新的生命体征。在其他实施例中，可以以与编程到生命体征采集相机276中的预定扫描轨迹相对应的顺序从患者采集经更新的生命体征(例如，按顺序扫描每行椅子)。

患者识别模块260可以被配置有本公开的选定的方面以结合由患者捕获模块254捕获的对象参考模板使用由生命体征采集相机276(或者未被配置为非侵扰地采集生命体征的另一相机)捕获的一幅或多幅数字图像，以定位被监测的区域(例如，等候室104)中的一个或多个患者。患者识别模块260可以使用下文所描述的各种技术分析所采集的数字图像以识别和定位患者(对象)。下面所描述的图4-10说明了可以被用作在任何背景下鉴别/识别/定位患者(或者更一般地对象)的部分的各种技术的各方面。

在一些实施例中，患者识别模块260可以针对从其获得经更新的生命体征的特定患者来搜索被监测的区域。例如，患者识别模块260可以针对由患者队列模块258选择的患者来搜索被监测的区域，所述患者可以是例如队列中具有最高患者敏锐度量度的患者。在一些实施例中，患者识别模块260可以使(一个或多个)生命体征采集相机276扫描被监测的区域(例如，等候室104)，直到识别出选定的患者。

动态校准模块262可以被配置为跟踪(一个或多个)生命体征采集相机276的使用并根据需要校准它们。例如，动态校准模块262可以确保每当指导生命体征采集相机276指向特定PTZ位置时，其总是指向精确相同的位置。PTZ相机可以是持续或至少频繁运动的。因此，它们的机械部件可能经受磨损。小的机械误差/偏离可能累积并导致生命体征采集相机276随时间不同地响应于给定的PTZ命令。动态校准模块262可以例如通过偶尔运行校准例程来校正这一点，其中，可以使用界标(例如，诸如墙壁上的小贴纸的标记)来训练将使生命体征采集相机276适当地响应的校正机构。

一旦由患者队列模块258识别的患者由患者识别模块260识别/定位，则面部/躯干采集模块264可以被配置为平移、倾斜和/或缩放一个或多个生命体征采集相机276，使得其视场捕获患者的期望部分。例如，在一些实施例中，面部/躯干采集模块264可以平移、倾斜或者缩放生命体征采集相机276，使得其聚焦于患者的面部和/或上部躯干上。额外地或者备选地，面部/躯干采集模块264可以平移、倾斜或者缩放一个生命体征采集相机276以主要地捕获患者的面部，并且平移、倾斜或者缩放另一个以主要地捕获患者的躯干。可以然后采集各种生命体征和/或生理参数。例如，可以例如通过在由(一个或多个)生命体征采集相机276捕获的患者的面部的视频上执行图像处理由生命体征测量模块266获得生命体征，诸如患者的脉搏率和SpO2。可以例如通过在由(一个或多个)生命体征采集相机276捕获的患者的躯干的视频上执行图像处理由生命体征测量模块266获得生命体征和/或生理参数，诸如患者的呼吸率等。当然，面部和躯干仅是可以被检查以获得生命体征的身体部分的两个范例，并且不意味着限制。

恶化检测模块268可以被配置为分析各种信号和/或数据以确定登记的患者(或者甚至未登记的同伴)的状况是否正在恶化、改进和/或保持稳定。在一些实施例中，患者状况可以至少部分地由上面描述的用于确定用于监测的患者的顺序的相同患者敏锐度量度来表示。这样一来，恶化检测模块268可以包括一个或多个CDS、基于病例的推理、或如本文所述的其他临床推理算法或用于评估除了此处描述的敏锐度量度之外的患者状况量度的其他临床推理算法(例如，经训练的逻辑回归模型或其他机器学习模型)。在一些实施例中，用于评估由恶化检测模块268采用的患者敏锐度或患者状况的其他量度的算法可以通过例如为选定的机器学习模块写入新的训练的权重(例如，θ值)或提供由处理器运行的新指令(例如，以java档案、JAR、文件或编译库的形式)来不时地更新。这些信号可以包括，例如，患者的初始生命体征和其他生理信息(例如，在图1的框108-110处获得的)、由生命体征测量模块266获得的经更新的生命体征、患者的初始患者敏锐度量度(例如，在登记期间计算的)，和/或患者的经更新的患者敏锐度量度(例如，基于从生命体征测量模块266接收的经更新的生命体征和/或生理参数计算的)。

基于使用这些数据和/或信号进行的确定，恶化检测模块268可以向各种其他模块发送各种警告以采取各种动作。例如，恶化检测模块268可以例如通过以下来发布警告：向EPS模块270发送警告使得EPS模块可以将警告发布到订阅的模块，诸如医院信息***240的警报模块248。在一些实施例中，这样的警告可以包括例如患者的姓名(或更一般地，患者标识符)、图片、实况视频流、患者在等候室中最后检测到的位置、基线生命体征、一个或多个经更新的生命体征和/或患者的敏锐度量度的指示。在接收到警告时，警报模块248可以向医学人员发出这样的警告或警报：患者的恶化，以及在其他事物中间，患者在等候室中最后检测到的位置等。

EPS模块270可以是通用通信集线器，其被配置为分配由图2的各种其他部件释放的事件。在一些实施例中，图2中描绘的其他模块中的所有或至少一些可以生成指示来自该模块的某种形式的结果/确定/计算/决定的事件。这些事件可以被发送或“发布”到EPS模块270。图2中描绘的其他模块中的所有或一些可以选择接收或“订阅”来自任何其他模块的任何事件。当EPS模块270接收到事件时，其可以将指示事件的数据发送(例如，转发事件)到已经订阅该事件的所有模块。

在一些实施例中，EPS模块270可以与一个或多个数据库(诸如数据库272和/或档案274(其可以是任选的))通信。在一些实施例中，EPS模块270可以接受来自任何模块的远程流程调用(“RPC”)以提供对存储在一个或多个数据库272和/或274中的信息的访问，和/或将从其他模块接收到的信息(例如，警告)添加到数据库272和/或274。数据库272(其在一些实施例中可以与对象参考数据库412相同)可以存储由图2中的一个或多个其他模块发送/广播/传送的警告、发布或其他通信中包含的信息。在一些实施例中，数据库272可以存储例如与患者相关联的对象参考模板和/或其初始生命体征、经更新的生命体征(由生命体征采集相机276采集)和/或患者敏锐度量度。在一些实施例中，任选的档案274可以在更长的时间段内存储相同或相似的信息。

将显而易见的是，可以利用各种硬件装置来实施患者监测***252。例如，在一些实施例中，单个设备可以实施整个***252(例如，单个服务器来操作相机276来执行生命体征采集功能260-266并执行包括恶化检测268和患者队列管理258的(一个或多个)生命体征分析和警告功能)。在其他实施例中，多个独立设备可以形成***252。例如，第一设备可以驱动生命体征采集相机276并实施功能260-266，而(一个或多个)其他设备可以执行其余功能。在一些这样的实施例中，一个设备可以是等候室的本地的而另一个设备可以是远程的(例如，实施为地理上遥远的云计算架构中的虚拟机)。在一些实施例中，设备(例如，包括处理器和存储器)可以设置在生命体征采集相机276自身内，并且这样一来，相机276可以不简单是哑的***设备，而是可以执行生命体征功能260-266。在一些这样的实施例中，另一服务器可向相机276提供指示(例如，标识符、完整记录或登记的面部图像)以请求返回生命征以供进一步处理。在一些这样的实施例中，可以在相机276上机载地提供额外的功能，例如，可以在相机276上机载地执行恶化检测268(或其预处理)和/或患者队列模块258管理。在一些实施例中，相机276甚至可以实施HIS接口250或EPS 270。各种额外的布置将是显而易见的。

图3图示了其中所公开的技术可以被实施为出于监测目的识别等候室304中的患者378A-C的范例情形。在该范例中，三个患者378A-C正在医院等候室304中等候由医学人员380医治。两个视频相机376A、376B被安装在等候室304的表面(例如，天花板、墙壁)上。两个视频相机376A、376B可以被用于监测等候室304中的患者378。患者378A-C均可以基于初步患者状况分析由分诊医学人员(未描绘)分配患者敏锐度量度。当患者378等候主治医师时，两个视频相机376A、376B可以捕获(一幅或多幅)数字图像，所述数字图像使用本文所描述的技术来分析以识别被选择用于监测的患者。相同的视频相机(假定其被配置为非侵扰地采集生命体征)或者不同的视频相机可以然后***作为监测如上文所描述的患者378，例如，以检测患者恶化。在一些实施例中，可以响应于由患者监测***(更具体地，恶化检测模块268)对患者已经恶化的检测而由医学人员更新与患者相关联的患者敏锐度量度。在各种实施例中，当新患者进入等候室304中时，可以执行新一轮患者监测和优先化(例如，由患者监测***252)。每次新患者进入等候室304时，患者队列可以例如通过患者队列模块258自动地更新。额外地或者备选地，医学人员可以手动地更新患者队列以包括在分诊之后的新到达的患者。

在本文中所描述的技术不限于医院等候室。存在其中本文所描述的技术可以被实施为识别/定位数字图像或视频中的对象的许多其他情形。例如，所公开的技术还可以被用于机场、竞技场、过境处和其他公共场所内的人群的安全监测。在这样的情形下，不是监测患者以确定患者敏锐度量度，而是可以出于其他目的(诸如风险评估或者事件后调查)识别对象。本文所描述的技术还可以适用于诸如在健身环境(例如，体育馆、疗养院)中的情形或者其中可以实现数字图像中所描绘的个体对象的识别的其他监督情形(例如，机场、过境处等)中。例如，在机场中，在登机口处等候的对象可以例如通过将在登机口处等候的对象的图像与在登记处获得的对象参考模板进行比较来识别。此外，本文所描述的技术可以被用于在不要求患者的面部可见的情况下识别离开而未被看到的患者。

图4以相对高的水平示意性地描绘了被配置有本公开的选定的方面的部件的范例，以及那些部件之间的范例交互。在各种实施例中，这些部件中的一个或多个可以使用硬件和软件的任何组合实施，例如，作为图2中的患者监测***252的部分。例如，图4的部件可以在图1的框108处被用于将诸如患者的对象登记在对象参考数据库412中。与对象的收录信息(例如，年龄、性别、姓名、初始生命体征等)一起，包括来自多个视图(例如，不同的角度、不同的面部表情、不同的照明条件、不同的头部位置等)的对象的面部的数字图像的任何数量的“对象参考模板”可以被选择并且与对象参考数据库412中的对象相关联，例如，通过医学记录编号“MRN”。这些对象参考模板然后可以稍后(例如，由患者识别模块260)用于使用捕获其视场中的等候室的另一相机(例如，生命体征采集相机276、376)识别诸如等候室的区域中的对象。一旦对象被识别，对象的位置可以被用于各种目的，诸如由医学人员接触、使生命体征非侵扰地被采集等。

从右下开始，描绘了根据各种实施例的收录例程402，其包括用于收录新登记的对象(例如，将新患者登记和/或分诊)并且将该对象添加到对象参考数据库412的操作。第一相机456可以被配置为捕获在本文中将被称为“收录”数字图像404(例如，个体图像和/或图像流，诸如视频流)的事物中的一个或多个。在一些实例中可以对应于图2的相机256的第一相机456可以采取各种形式，诸如被定位在收录区域(例如，登记和/或分诊)中的网络摄像头、与由收录人员(例如，分诊护士)操作的计算设备集成的相机等。该图像捕获可以对于收录人员和对象两者是非侵入的，因为其可以在具有很少或没有人类介入的情况下自动地发生(但是这不意味着限制)。

在框406处，(一幅或多幅)收录数字图像404可以被分析(例如，由与相机456可操作地耦合的一个或多个计算***(例如，图2中的患者捕获模块254))以检测描绘当前被定位在收录区域(例如，登记和/或分诊)中的对象的面部的数字图像404的一个或多个部分。图6说明了用于检测对象的面部的一个范例技术。

在框408处，可以从多幅收录数字图像404选择描绘对象的面部的多个不同的视图的收录数字图像的子集。选定的子集可以被用于生成被用于稍后视觉地识别/定位对象的对象参考模板。在一些实施例中，被用于生成对象参考模板的收录数字图像的子集可以基于足够地不类似于一幅或多幅其他收录数字图像来选择。下面图5和图8说明了用于选择用于对象参考模板的生成的收录图像的子集的范例技术。

在框410处，所生成的对象参考模板可以例如被存储在对象参考数据库412中与对象相关联。在各种实施例中，所生成的对象参考模板可以被存储在对象参考数据库412中与关于对象的信息相关联，例如，通过前述MRN。更一般地，对象参考数据库412可以存储与多个对象(诸如可能正等候医学处置的等候室104中的多个登记的患者)有关的对象参考模板。

移动到右上，描绘了根据各种实施例的对象(例如，患者)监测例程414，其说明可以如何选择具体对象(例如，患者)(例如，由医学人员(诸如值班护士)和/或自动地(例如，基于对象的患者敏锐度量度))以及可以如何发出试图定位诸如等候室的区域中的对象的查询的一个范例。在考虑中的对象迄今为止将被称为“查询的对象”。

在框416处，可以例如由患者识别模块260从对象参考数据库412检索与查询的对象相关联的对象参考模板。同时，作为可以例如由图2的患者识别模块260执行的正在进行的患者识别例程418的部分，可以或可以不采取先前地描述的生命体征采集相机的形式的另一相机476可以正采集数字图像420，数字图像420描绘查询的患者被认为处于的区域，诸如等候室104。

在框422处，描绘区域中的一个或多个对象的面部的(一幅或多幅)数字图像420的一个或多个部分可以被检测(例如，由患者识别模块260)为在本文中将被称为“检测到的面部图像”的事物。在各种实施例中，框422的操作可以连续地执行和/或可以通过来自患者监测例程414的对象查询的接收来触发。与框406处应用的类似的用于面部检测的技术可以在框422处应用，并且将在下面更详细地描述。

在框424处，可以执行一个或多个操作以对在框422处检测到的部分中所描绘的面部进行规范化。例如，在一些实施例中，几何翘曲和/或其他类似技术可以被用于将检测到的面部规范化为在正面视图处或者附近。下文图7说明了用于将检测到的面部规范化的一个范例技术。因此，框424的输出可以是一系列规范化的检测到的面部图像。

在一些实施例中，在框426处，可以执行规范化的检测面部的“第一次通过”以获得查询的对象的初步匹配。例如，在一些实施方式中，检测到的面部图像中的每幅可以被应用为跨经训练的机器学习模型的输入。在各种实施例中，机器学习模型可以采取各种形式，诸如线性判别分析模型、支持向量机、神经网络等。在各种实施例中，机器学习模型可以(例如，在框419处)使用当前被存储在对象参考数据库412中的对象参考模板训练和/或动态地重新训练。在各种实施例中，经由机器学习模型生成的输出可以包括每幅输入的检测到的面部图像与每个对象之间的相似度评分，或者可以包括最类似于检测到的面部图像的对象。对于给定规范化的检测到的面部图像，产生最高相似度评分(例如，满足某个预设最小阈值)的登记的对象可以被识别为匹配。例如，在图4的框428处，可以确定查询的对象是否在给定的检测到的面部图像中被识别。如果回答为否(例如，最小阈值未满足)，那么控制可以返回转到框424并且下一检测到的面部图像可以被规范化并且被应用为跨机器学习模型的输入。

机器学习模型可以在不同的时间在框419处被训练和/或动态地重新训练。在一些实施例中，无论何时在对象参考数据库412中创建新患者记录或者从对象参考数据库412释放现有患者，对象参考数据库412可以例如向EPS模块270发布事件。作为响应，EPS模块270可以触发新机器学习模型进行训练，或者基于当前被存储在对象参考数据库412中的对象参考模板对现有的机器学习模型进行重新训练。在一些背景下(诸如在医院中)，这可以是可行的，因为一天中的患者的数量通常不是非常大的。因此，可以使用多类线性判别分析机器学习模型，因为其对于重新训练是相对地计算便宜的，并且因此可以近实时重新训练。

返回在框428处，如果回答为是，那么在一些实施例中，测试的“第二次通过”可以被应用到规范化的检测到的面部图像。例如，在框430处，可以应用所谓的“姿势自适应面部图像匹配”，其中，将规范化的检测到的面部图像与同查询的对象相关联的对象参考模板中的每个比较。下面图9说明了用于执行姿势自适应面部图像匹配的一个范例技术。如下面将描述的，姿势自适应面部图像匹配可以是迭代过程，所述迭代过程重复预定次数以确定在框426-428处匹配的规范化的检测到的面部图像是否真实地是查询的对象的面部图像。换言之，框430的操作可以用于确证框426-428的初始发现。

在框432处，如果确定规范化的检测到的面部图像真实地描绘查询的对象，那么在框436处，与规范化的检测到的面部图像相关联的位置(例如，具***置，诸如对象定位的等候室中的座位)可以被提供为输出。另一方面，如果确证是不可能的，例如，因为一些预定相似度阈值在迭代姿势自适应面部图像匹配过程期间未满足，那么在框434处，相机476可以被重新定位(例如，平移、倾斜、缩放)以聚焦于不同的区域(例如，其包含(一个或多个)不同的对象)。

图5描绘了根据各种实施例的可以如何实施收录例程402的工作流程的各方面的一个范例。如上文所描述的，相机456可以采集收录数字图像404，例如，作为视频流。在一些实施例中，收录数字图像404可以描绘收录(例如，分诊)区域，但是不要求这一点。可以在各种计算设备(诸如与收录区域中或者附近的相机456可操作地耦合的计算设备)处执行图5中所描绘的操作。

在其中新对象被评估(例如，临床评估)的收录(例如，分诊)区域中，针对由相机456捕获的每幅新收录数字图像(例如，视频流的帧)，分别地在框502和504处，可以并行执行面部检测(例如，新面部的)和面部跟踪(例如，在先前的收录数字图像中检测到的面部的)。这确保收录区域中的每个对象的面部被检测到，无论哪个对象首先进入。对于每个新检测到的面部，在框506处，发动新面部***。该新面部***将在下一图像帧处开始其分析。然后，在框508处，新检测到的面部被规范化例如到接近正面视图(在图7中更详细地说明了规范化)。

在一些实施例中，该规范化的检测到的面部可以被视为对象模板候选。然后，如果任何还存在的话，新对象参考模板候选可以与现有对象参考模板候选(例如，从先前的图像帧采集的)进行比较(例如，在框510处)。各种准则可以被用于确定是否保持新对象参考模板候选(例如，作为另一先前地捕获的对象参考模板候选的替换)，或者丢弃新对象参考模板候选。最终地，仅最具代表性的对象参考模板候选可以被选择并且被保留在对象参考数据库412中。图8更详细地说明了收录数字图像可以如何被选择(510)用于生成对象参考模板中的一个范例。

现在转到面部跟踪框504，针对每个收录图像帧中先前地检测到的每个跟踪面部，在框512处，可以确定对应的对象是否正离开相机的视场。图6描绘了可以如何做出对象是否正离开的确定的一个范例。如果在框512处的回答为是，那么操作返回转到框504并且选择下一跟踪面部。如果在框512处的回答为否，那么在框514处，可以执行单应估计，例如，以估计当前收录图像帧中的跟踪面部的三维头部姿势。基于估计的姿势，可以在框516处“正面化”当前帧中的跟踪面部图像(移除面部外观上的姿势效果)。控制可以然后转到框508。

图6说明了用于例如在收录期间(例如，在框406处)或者稍后在对象监测期间(例如，在框422处)检测对象的面部的一个范例技术。相机的视场(“FOV”)640被示出，并且可以与本文所描述的任何相机(诸如相机456或者相机476)相关联。图6图示了对象(624A)进入和对象(642B)离开两者的检测。这两种情况仅当对象的面部在FOV 640中部分地可见时发生。对象的存在可以例如通过测量面部区域与FOV 640的交叠比来检测。如果该比小于具体数(诸如一)，并且与(一个或多个)先前帧相比较正增加，则对象能够被确定为正进入。否则，如果该比大于一并且与(一个或多个)先前帧相比较正减小，则对象可以被确定为正离开。如果两个情况中的任一个持续预定时间间隔(诸如五秒)，则能够确定对象已经进入或者离开。

图7描绘了例如可以在图4的框424和/或图5的框508处执行的一个范例面部规范化例程的细节。输入可以采取检测到的面部图像的形式，例如，来自图4的框422和/或来自图5的框506/516。输出可以是规范化的检测到的面部图像。在框702和704处，可以执行左和右眼检测操作(还可以以相反的顺序或者并行执行操作702和704)。这些操作可以包括各种图像处理技术，诸如边缘检测、模板匹配、特征空间方法、霍夫变换、形态学操作、经训练的神经网络等。在框706处，如果双眼成功地被检测，则控制可以转到框714，在该点处，可以对面部进行规范化(例如，几何翘曲可以被应用到检测到的面部图像以使面部近似地面向正面)。从框714，控制可以例如转到图4的框426或者图5的框510。

如果在框706处的回答为否，那么在框708处可以确定任一眼睛是否被检测到。如果回答为否，那么控制可以通过操作714的下游，在一些实例中，可以唤起故障事件，并且然后控制可以例如转到图4的框426或图5的框510。如果仅一只眼睛在702-704处成功地检测到，那么在框710处，检测到的眼睛区域可以水平地镜像，并且可以搜索镜像眼罩(例如，使用模板匹配)以定位另一眼睛。然后，操作可以行进到先前地所描述的框714。

图8描绘了检测到的面部图像在图4的框408和图5的框510处可以如何被选择为对象参考模板(例如，以包括在对象参考数据库412中)的一个范例。控制可以从各种位置转到图8的操作，诸如图4的框406、图5的框508(如果考虑中的检测到的面部图像是在当前收录数字图像帧中新检测到的)、和/或图5的框516(如果考虑中的检测到的面部图像在先前收录数字图像帧中被检测到并且当前正被跟踪)。在框802处，可以确定面部是否是阻隔的。如果回答为是，那么控制可以转到框504，在该点处可以分析下一跟踪面部(如果有的话)。

如果在框802处的回答为否，那么在框806处，可以确定当前检测到的面部图像与针对当前对象的任何现有对象参考模板之间的图像相似度。在框808处，可以确定是否还存在针对当前对象收集的足够的对象参考模板。可以针对每个新对象选择各种数量的对象参考模板。在一些实施例中，可以收集与九个对象参考模板一样多。尽管收集更多对象参考模板是可行的，但是在某个点之后能够经历收益递减。

如果还未存在针对当前对象收集的足够的对象参考模板，那么在框408/410(与图4相同)处，当前检测到的面部图像可以被用于生成然后被添加到对象参考数据库412的对象参考模板。然而，在框808处，如果已经存在收集的足够的模板，那么在一些实施例中，可以确定当前检测到的面部图像是否与当前对象的先前收集的对象参考模板足够地不同以使替换先前收集的对象参考模板有必要。例如，在框处，在框812处，可以对以下做出确定：当前检测到的面部图像是否比先前地收集的对象参考模板中的任一个彼此与每个先前收集的对象参考模板更不类似。如果对于特定对象参考模板而言回答为是，那么当前检测到的面部图像可以被用于生成替换对象参考数据库412中的特定对象参考模板的新对象参考模板。

图8的操作(并且更一般地，图5的操作)针对由相机456捕获的每幅收录数字图像重复，并且可以例如跟踪每个对象，直到其离开收录区域(框512)。因此，在对象处于相机456的FOV 640中时采集的收录数字图像的总数中，具有最适合地(例如，最不同的)视图的n幅收录数字图像可以被选择为生成针对该特定对象的对象参考模板。如先前地所提到的，可以稍后使用这些对象参考模板，例如，响应于对象在对象监测例程414处被查询。

图5和图8涉及收集要存储在对象参考数据库412中的每个对象的对象参考模板。图6和图7两者涉及收集对象参考模板并且使用那些对象参考模板以在诸如医院等候室的在收录区域的下游的区域中识别对象。图9涉及后者。具体地，图9描绘了可以被执行作为图4中的框430的姿势自适应面部图像匹配操作的部分的操作的一个范例。如上所述，在一些实施例中，姿势自适应面部图像匹配可以构成框426处执行的初始对象匹配(例如，使用经训练的机器学习模型)之后的“第二次通过”。在各种实施例中，姿势自适应面部图像匹配可以比单独的框426的操作提供对区域中的对象(例如，等候室中的患者)的更准确的识别。

姿势自适应面部图像匹配的过程总体上涉及将检测到的面部图像(其可以或可以不是规范化的)与响应于对象查询检索的一个或多个对象参考模板进行匹配。具体地，为了消除或减少由空间未对准引起的匹配误差，检测到的面部图像可以通过增加匹配阈值并且迭代地将检测到的面部图像与对象参考模板对齐来与参考对象模板重复地匹配。

在图9中，接收两个输入：考虑中的当前检测到的面部图像以及与查询的对象(即，被搜索的对象)相关联的对象参考模板。在框902处，这两个输入可以被用于执行单个检测到的面部图像与同查询的对象相关联的多个对象参考模板之间的一对多匹配。在一些实施例中，可以在检测到的面部图像与每个对象参考模板之间计算相应的相似度评分。在框904处，可以确定相似度评分中的一个或多个是否满足相对小的相似度阈值。如果在框904处的回答为否，那么可以确定在当前检测到的面部图像中描绘的对象不匹配对象参考模板，并且可以选择与被监测的区域中的下一检测到的对象相关联的检测到的面部图像。

如果在框904处的回答为是，那么在框906处，可以选择最类似于检测到的面部图像的对象参考模板-例如，在框902处计算最高相似度评分的对象参考模板。在框908处，可以将选定的最类似的对象参考模板和单个检测到的面部图像对齐。例如，在一些实施例中，可以计算两者之间的几何误差。基于该几何误差，在框910处，检测到的面部图像可以几何地翘曲到对象参考模板。在一些实施例中，可以迭代该过程，直到在框912处，满足特定相似度阈值(例如，0.9)，或者在框914处，已经达到特定最大迭代次数。如果满足框912的相似度阈值，则在检测到的面部图像与同对象参考模板相关联的对象之间发现匹配，并且检测到的面部图像中所描绘的对象被识别为查询的对象。但是，如果在不满足该相似度阈值的情况下在框914处到达最大迭代次数，那么检测到的面部图像中所描绘的对象被指示为不匹配与对象参考模板相关联的对象。

当考虑中的检测到的面部图像不与对象参考模板匹配时，在一些实施例中，正监测诸如等候室的区域的相机(例如，276、376、476)可以被平移、倾斜和/或缩放以捕获对象(诸如患者)可能被发现的特定数量的位置中的另一位置。这些位置可以对应于例如等候室中的座位、体育馆中的训练设备、机场登机口处的座位等。在一些实施例中，相机476的PTZ控制可以预校准以顺序地捕获这些位置。如果在当前位置处未找到查询的对象，则相机476可以通过存在位置的剩余部分顺序地重新定位，直到查询的对象已经找到或者直到所有预设位置已经被扫描。备选地，如果没有预设位置是可用的，在一些实施例中，人检测技术可以被用于确定通常地区域中的人的位置，并且然后可以扫描那些位置中的每个。此外，如果查询的对象未被找到(尤其是当查询的对象是进入医院急诊科的患者时)，那么一个或多个通知可以被发送给各种人员，诸如医院员工。在其中缺席患者是被识别用于使用一个或多个生命体征采集相机276进行非侵扰监测的患者的实例中，缺席患者可以返回参考用于重新***患者队列中的患者队列模块258。

另一方面，如果检测到的面部图像匹配(一个或多个)对象参考模板，则输出可以例如由患者识别模块260被提供给图2中的另一模块和/或与图4中的对象监测414相关联的人员。该输出可以指示例如等候室或被监测的其他区域中的查询的对象的位置。尽管未在图9中描绘，但是在各种实施例中，超过一个检测到的面部图像可以立刻(例如，并行)起作用。例如，可以并行处理相机的FOV内捕获的两幅或更多单独的检测到的面部图像。

图10描绘了根据各种实施例的用于实践本公开的选定的方面的范例方法1000。为了方便起见，参考执行操作的***描述了流程图的操作。该***可以包括各种计算机***的各种部件，包括患者监测***252。此外，尽管以特定顺序示出了方法1000的操作，但是这不意味着限制。一个或多个操作可以被重新排序、省略或者添加。

在框1002处，***可以采集捕获至少第一对象的多幅收录数字图像。例如，在一些实施例中，患者捕获模块254可以从相机256采集多幅收录(例如，预等候室区域102)数字图像。相机256可以被定位在收录区域中，诸如医院登记/分诊、机场或火车站的登记台、体育馆处的登记台、与过境处相关联的收录区域等。在一些实施例中，多幅收录数字图像可以包括视频帧，其在对象处于收录区域中的整个时间(例如，从其被检测到进入的时刻到其被检测到离开的时刻)内或者在某个其他时间间隔(诸如在正执行分诊时、手动选定的时间间隔等)内被采集。

在框1004处，***可以从多幅收录数字图像选择描绘第一对象的面部的多个不同的视图的收录数字图像的子集。图5和图8描绘了可以如何从多幅收录图像选择对象参考模板的非限制性范例。通常，与特定对象相关联的对象参考模板可以被选择为提供对象的面部的各种不同的视图，诸如不同的面部表情、不同的照明条件、不同的姿势等。

在框1006处，***可以基于收录数字图像的选定的子集生成第一对象参考模板，并且将其存储在对象参考数据库412中。在一些实施例中，对象参考模板是与选定的收录图像相同的数字图像。然而，在其他实施例中，对象参考模板可以是对应的选定的收录数字图像的更改的版本，例如，裁剪、增强的等。例如，每个对象参考模板可以包括对应的选定的收录数字图像的子部分(例如，从其裁剪的)，例如，描绘对象的面部的子部分。在各种实施例中，所生成的第一对象参考模板可以被存储在对象参考数据库412中与关于第一对象的信息相关联。更一般地，对象参考数据库412可以存储与多个对象(诸如在给定日或者在特定时间间隔期间已经登记和/或分诊的所有患者)有关的对象参考模板。

在框1008处，***可以选择要在区域内识别的第二对象。例如，在患者监测背景下，具有将其放置在患者队列的头部处的患者敏锐度评分的患者可以被选择，例如，在图1的框108处。额外地或者备选地，医学人员可以手动地选择要识别的患者(例如，使用描绘关于登记的患者的信息(诸如其敏锐度度量、图片等)的图形用户接口)。在图4和本文中的其他地方中，选定的患者常常被称为“查询的对象”。然而在其他实施例中，不是试图定位查询的患者，而是***可以简单地扫描通过预先选择的位置的序列(例如，对应于一系列等候室椅子)，并且使用所公开的技术，试图在每个位置处识别无论哪个对象处于该位置处(例如，确定所描绘的对象的MRN)。

在框1010处，***可以从对象参考数据库412检索与第二对象有关的第二对象参考模板。例如，与在框1008处选择的对象相关联的MRN可以被提供为对象参考数据库412的输入。与该MRN相关联的先前收集的对象参考模板可以被提供为输出。

在框1012处，可以采集描绘区域(例如，等候室104)的一幅或多幅数字图像(例如，由相机276、346、476或其他相机)。在患者监测背景下，在框1012处采集数字图像的(一个或多个)相机可以或可以不是生命体征采集相机。在其他背景下，在框1012处采集数字图像的(一个或多个)相机可以是其他类型的相机，并且可以或可以不具有PTZ能力。如上所述，在各种实施例中，可以存在采集捕获区域的数字图像的任何数量的相机。在一些实施例中，相机可以恒定地和/或连续地捕获区域的数字图像，并且捕获(例如，在框1008处选择对象之后)的仅那些数字图像可以被用于以下操作。

在框1014处，***可以检测(或者定位)描绘区域中的一个或多个对象的面部的在框1012处采集的一幅或多幅数字图像的一个或多个部分作为一幅或多幅检测到的面部图像。各种技术可以被用于执行面部检测，包括但不限于深度学习、遗传算法和/或特征面部技术。例如，可能的人眼区域可以通过测试灰度级数字图像中的所有谷值区域来检测。然后，遗传算法可以被用于生成所有可能的面部区域，其包括例如眼眉、虹膜、鼻孔和/或嘴角。额外地或者备选地，可以采用各种其他技术，诸如模板匹配、尺度不变特征变换(“SIFT”)、线性判别分析、弹性束图形匹配、隐马尔可夫模型等。如上所述，在一些实施例中，被监测的区域(例如，等候室104)内的许多预定位置可以被建立/选择为可能包含对象的位置。在医院等候室背景或者机场登机口背景下，预定位置可以对应于区域中的座位。在各种实施例中，一个或多个相机(例如，276、376、476)可以执行PTZ操作以顺序地扫描每个位置(例如，执行上文所描述的操作中的一个或多个)来检测所描绘的面部。

在框1016处，可以将检测到的一幅或多幅检测到的面部图像中的给定的检测到的面部图像与第二对象参考模板进行比较。例如，可以选择来自多个预定位置中的第一位置的检测到的面部图像。额外地或者备选地，可以首先选择当前查询的对象的最后已知的位置。可以执行的比较的类型的范例包括上文相对于图4的框426所描述的“第一次通过”机器学习模型方法和/或上文相对于框430所描述的“第二次通过”，其在一些实施例中可以构成如在图9中说明的姿势自适应面部图像匹配。

在框1018处，***可以基于比较来在捕获区域的一幅或多幅数字图像中识别第二对象。例如，如果给定的检测到的面部图像(其如上文所描述的可以与诸如等候室104中的座位的位置相关联)被确定为描绘查询的对象，那么与给定的检测到的面部图像相关联的位置可以被提供为查询的患者的位置。该位置可以被用于各种目的。例如，一个或多个生命体征采集相机(其可以或可以不是捕获数字图像等候室104的相同的相机)可以从位置处的对象采集一个或多个生命体征，如上文所描述的。额外地或者备选地，如果对象被手动地查询(例如，由医学人员或者其他人员)，那么查询的对象的位置可以被提供为输出。在一些实施例中，可以文本地提供输出位置，例如，“<对象>正坐在座位13上。”在其他实施例中，输出位置可以在图形用户接口(例如，由值班护士或者其他人员操作的)内被用于注释被监测的区域的视觉再现。例如，查询的对象可以视觉地强调(例如，利用边界框)，或者以其他方式比区域中的其他对象更明显地绘制。

图11是范例计算机***1110的框图。计算机***1110通常包括至少一个处理器1114，至少一个处理器1114经由总线子***1112与多个***设备通信。如本文所使用的，术语“处理器”将被理解为涵盖能够执行归于本文所描述的部件的各种功能的各种设备，例如微处理器、GPU、FPGA、ASIC、其他类似设备及其组合。这些***设备可以包括：数据保留子***1124，包括例如存储器子***1125和文件存储子***1126；用户接口输出设备1120；用户接口输入设备1122和网络接口子***1116。输入和输出设备允许用户与计算机***1110的交互。网络接口子***1116提供去往外部网络的接口，并且耦合到其他计算机***中的对应的接口设备。

用户接口输入设备1122可以包括：键盘；指点设备，诸如鼠标、跟踪球、触摸板或图形输入板；扫描器；并入到显示器中的触摸屏；音频输入设备，诸如语音识别***/麦克风；和/或其他类型的输入设备。通常，术语“输入设备”的使用旨在包括所有可能类型的设备和将信息输入到计算机***1110中或通信网络上的方式。

用户接口输出设备1120可以包括显示子***、打印机、传真机或诸如音频输出设备的非视觉显示器。显示子***可包括阴极射线管(CRT)、诸如液晶显示器(LCD)的平板设备、投影设备或用于产生可见图像的一些其他机构。显示子***还可以提供非视觉显示，例如通过音频输出设备。通常，术语“输出设备”的使用旨在包括所有可能类型的设备以及将信息从计算机***1110输出到用户或另一机器或计算机***的方式。

数据保留***1124存储提供本文描述的模块中的一些或全部的功能的编程和数据构造。例如，数据保留***1124可以包括用于执行图4-10的选定的方面的逻辑和/或实施患者监测***252的一个或多个部件的逻辑，包括患者识别模块260、患者捕获模块254等。

这些软件模块通常由处理器1114单独执行或与其他处理器结合执行。存储子***中使用的存储器1125可以包括多个存储器，包括用于在程序执行期间存储指令和数据的主随机存取存储器(RAM)1130、固定指令被存储的只读存储器(ROM)1132，以及诸如指令/数据高速缓存的其他类型的存储器(其可以额外地或备选地与至少一个处理器1114集成)。文件存储子***1126可以为程序和数据文件提供持久存储，并且可以包括硬盘驱动器、软盘驱动器以及相关联的可移除介质、CD-ROM驱动器、光驱或可移除介质盒。实施某些实施方式的功能的模块可以由数据保留***1124中的文件存储子***1126存储，或者存储在由(一个或多个)处理器1114可访问的其他机器中。如本文所使用的，术语“非瞬态计算机可读介质”将被理解为涵盖易失性存储器(例如DRAM和SRAM)和非易失性存储器(例如闪存、磁性存储设备和光学存储设备)，但是要排除瞬态信号。

总线子***1112提供用于使计算机***1110的各种部件和子***按预期彼此通信的机制。尽管总线子***1112示意性地示为单个总线，但总线子***的备选实施方式可以使用多个总线。在一些实施例中，具体地在计算机***1110包括经由一个或多个网络连接的多个个体计算设备的情况下，一个或多个总线可以被添加有有线或无线网络连接和/或利用有线或无线网络连接来替换。

计算机***1110可以是各种类型的，包括工作站、服务器、计算集群、刀片服务器、服务器群或任何其他数据处理***或计算设备。在一些实施例中，计算机***1110可以在云计算环境内实施。由于计算机和网络的不断变化的性质，图11中描绘的计算机***1110的描述仅旨在作为出于说明一些实施方式的目的的特定范例。计算机***1110的许多其他配置可能具有比图11中描绘的计算机***更多或更少的部件。

尽管本文中已经描述和图示了若干实施例，但是本领域的普通技术人员将容易想到用于执行功能和/或获得结果和/或本文描述的优点中的一个或多个的各种其他手段和/或结构，并且这些变化和/或修改中的每一个被认为是在本文描述的实施例的范围内。更具体地，本领域技术人员将容易意识到，本文中所描述的所有参数、尺度、材料和配置意味着是示范性的，并且实际参数、尺度、材料和/或配置将取决于教导被使用的一个或多个特定应用。本领域的技术人员将认识到，或者仅仅使用常规实验就能够确定本文描述的特定实施例的许多等价方案。因此，应理解的是，前述实施例仅通过范例呈现，并且在权利要求及其等价方案的范围内，可以以与具体描述和要求保护的方式不同的方式来实践实施例。本公开的发明性实施例涉及本文描述的每个个体特征、***、物品、材料、套件和/或方法。此外，如果这样的特征、***、物品、材料、套件和/或方法不相互不一致，则两个或更多个这样的特征、***、物品、材料、套件和/或方法的任何组合都包括在本公开的范围内。

如本文所定义和使用的所有定义应被理解为控制在字典定义、通过引用并入的文献中的定义和/或所定义的术语的普通含义上。

如本文中在说明书和权利要求书中所使用的词语“一”和“一个”应被理解为意指“至少一个”，除非明确相反指示。

如在本说明书和权利要求书中所使用的短语“和/或”应该被理解为是指如此联合的元素中的“任一个或两者”，即在一些情况下联合存在并且在其它情况下分离存在的元素。利用“和/或”列出的多个元素应该以相同的方式解释，即如此联合的元素中的“一个或多个”。除了由“和/或”子句特别识别的元素，其他元素可以任选地存在，不管与具体识别的那些元素相关还是不相关。因此，作为非限制性范例，当与诸如“包括”的开放式语言结合使用时，对“A和/或B”的引用在一个实施例中可以仅指A(任选地包括除了B之外的元素)；在另一个实施例中，仅指B(任选地包括除了A之外的元素)；在又一个实施例中，指A和B两者(任选地包括其他元素)；等等。

如在本说明书和权利要求书中所使用的，“或”应当被理解为具有与上面所定义的“和/或”相同的含义。例如，当在列表中分离项目时，“或”或“和/或”应被解释为包含性的，即包括多个元素或元素列表中的至少一个元素，但也包括多于一个元素，以及任选的其他未列出项目。仅清楚地指示为相反的术语，诸如“仅一个”或“确切地一个”，或者，当在权利要求中使用时，“由...组成”，将指包括多个元素或元素列表中的确切地一个元素。通常，如本文使用的术语“或”仅当前面有排他性术语(例如“任一个”，“...中的一个”，“...中的仅一个”，或者“...中的确切地一个”)时才应解释为指示排他性备选(即，“一个或另一个但是并非两者”)。当在权利要求中使用时，“实质上由...组成”应当具有其在专利法领域中使用的普通含义。

如本文中在说明书和权利要求书中所使用的，涉及一个或多个元素的列表的短语“至少一个”应该被理解为是指选自元素列表中的元素中的任何一个或多个的至少一个元素，但是不必包括元素列表内具体列出的每一个元素和每个元素中的至少一个，并且不排除元素列表中的元素的任何组合。该定义还允许除了在短语“至少一个”涉及的元素列表内具体识别的元素之外元素可以任选地存在，而不管与具体识别的那些元素相关还是不相关。因此，作为非限制性范例，“A和B中的至少一个”(或者等价地，“A或B中的至少一个”，或者等价地“A和/或B中的至少一个”)可以在一个实施例中指至少一个、任选地包括多于一个A，而不存在B(并且任选地包括除了B之外的元素)；在另一个实施例中，指至少一个、任选地包括多于一个B，而不存在A(并且任选地包括除了A之外的元素)；在又一个实施例中，指至少一个、任选地包括多于一个A，以及至少一个、任选地包括多于一个B(并且任选地包括其他元素)；等等。

还应该理解，除非明确地相反指示，在本文所要求保护的包括多于一个步骤或动作的任何方法中，方法的步骤或动作的顺序不必限于叙述该方法的步骤或动作的顺序。

在权利要求书以及上面的说明书中，所有的过渡性短语，诸如“包括”、“包含”、“携带”、“具有”、“含有”、“涉及”、“保持”、“带有”等等应被理解为是开放式的，即意味着包括但不限于。只有过渡性短语“由...组成”和“实质上由...组成”应分别是封闭式或半封闭式过渡短语，如美国专利局专利审查程序手册第2111.03节所阐明的。应该理解，依照专利合作条约(“PCT”)的规则6.2(b)在权利要求中使用的特定表达和附图标记不限制范围。

Claims

1.一种由一个或多个处理器实施的方法，所述方法包括：

采集(1002)多幅收录数字图像(404)，所述多幅收录数字图像捕获至少第一对象；

从所述多幅收录数字图像选择(1004)描绘所述第一对象的面部的多个不同的视图的收录数字图像的子集；

基于收录数字图像的选定的子集来生成(1006)第一对象参考模板，其中，所述第一对象参考模板与关于所述第一对象的信息相关联地被存储在对象数据库(412)中，并且所述对象数据库存储与多个对象有关的对象参考模板；

选择(1008)要在区域内识别的第二对象；

从所述对象参考数据库检索(1010)与所述第二对象有关的第二对象参考模板；

采集(1012)描绘所述区域的一幅或多幅数字图像(420)；

检测(1014)所述一幅或多幅数字图像的描绘所述区域中的一个或多个对象的面部的一个或多个部分作为一幅或多幅检测到的面部图像；

将检测到的所述一幅或多幅检测到的面部图像中的给定的检测到的面部图像与所述第二对象参考模板进行比较(1016)；并且

基于所述比较来在捕获所述区域的所述一幅或多幅数字图像中识别(1018)所述第二对象。

2.根据权利要求1所述的方法，其中，所述区域包括等候室，所述收录图像是使用被配置为捕获登记或者分诊区域的第一相机来采集的，并且描绘所述等候室的所述数字图像是使用被配置为捕获所述等候室的第二相机来采集的。

3.根据权利要求1所述的方法，其中，所述比较包括将所述给定的检测到的面部图像应用为跨经训练的机器学习模型的输入以生成指示所述给定的检测到的面部图像与所述第二对象之间的相似度的量度的输出，其中，所述机器学习模型是至少部分基于所述第二对象参考模板来训练的。

4.根据权利要求3所述的方法，其中，所述经训练的机器学习模型包括线性判别分析模型。

5.根据权利要求4所述的方法，还包括响应于新对象被添加到所述对象数据库或者现有的对象从所述对象数据库被移除而对所述机器学习模型进行重新训练(419)。

6.根据权利要求3所述的方法，其中，所述经训练的机器学习模型是基于与所述多个对象有关的所述对象参考模板来训练的。

7.根据权利要求1所述的方法，其中，收录数字图像的所述子集中的一个或多个子集是基于足够地不类似于一幅或多幅其他收录数字图像来选择的。

8.根据权利要求1所述的方法，还包括对所述一幅或多幅面部图像进行规范化(424)，使得每幅检测到的面部图像描绘面部的正面视图。

9.根据权利要求8所述的方法，其中，所述规范化包括几何翘曲。

10.一种包括一个或多个处理器和能够与所述一个或多个处理器耦合的存储器的***，其中，所述存储器存储指令，所述指令响应于由一个或多个处理器对所述指令的运行而使所述一个或多个处理器：

根据收录数字图像的选定的子集来生成(1006)第一对象参考模板，其中，所述第一对象参考模板与关于所述第一对象的信息相关联地被存储在对象数据库(412)中，并且所述对象数据库存储与多个对象有关的对象参考模板；

选择(1008)要在区域内识别的第二对象；

采集(1012)描绘所述区域的一幅或多幅数字图像(420)；

11.根据权利要求10所述的***，其中，所述区域包括等候室(104)，所述收录图像是使用被配置为捕获登记或者分诊区域的第一相机(256、456)来采集的，并且描绘所述等候室的所述数字图像是使用被配置为捕获所述等候室的第二相机(276、376、476)来采集的。

12.根据权利要求10所述的***，还包括用于执行以下操作的指令：将所述给定的检测到的面部图像应用为跨经训练的机器学习模型的输入以生成指示所述给定的检测到的面部图像与所述第二对象之间的相似度的量度的输出，其中，所述机器学习模型是至少部分基于所述第二对象参考模板来训练的。

13.根据权利要求12所述的***，其中，所述经训练的机器学习模型包括线性判别分析模型。

14.根据权利要求13所述的***，还包括用于执行以下操作的指令：响应于新对象被添加到所述对象数据库或者现有的对象从所述对象数据库被移除而对所述机器学习模型进行重新训练(419)。

15.根据权利要求12所述的***，其中，所述经训练的机器学习模型是基于与所述多个对象有关的所述对象参考模板来训练的。

16.根据权利要求10所述的***，其中，收录数字图像的所述子集中的一个或多个子集是基于足够地不类似于一幅或多幅其他收录数字图像来选择的。

17.根据权利要求10所述的***，还包括用于执行以下操作的指令：对所述一幅或多幅检测到的面部图像进行规范化，使得每幅检测到的面部图像描绘面部的正面视图。

18.根据权利要求17所述的***，其中，所述规范化包括几何翘曲。

19.一种包括指令的至少一个非瞬态计算机可读介质，所述指令响应于由一个或多个处理器对所述指令的运行而使所述一个或多个处理器执行以下操作：

选择(1008)要在区域内识别的第二对象；

采集(1012)描绘所述区域的一幅或多幅数字图像(420)；

20.根据权利要求19所述的至少一个非瞬态计算机可读介质，其中，所述区域包括等候室(104)，所述收录图像是使用被配置为捕获登记或者分诊区域的第一相机(256、456)来采集的，并且描绘所述等候室的所述数字图像是使用被配置为捕获所述等候室的第二相机(276、376、476)来采集的。