CN117918021A - 从摄像头观察结果中提取信号 - Google Patents

Abstract

本发明公开了一种方法(100)，其用于基于摄像头观察结果在诊断成像或治疗过程期间确定指示受试者的状态的信号。该方法包括从摄像头获取(101)摄像头图像，该摄像头被配置为在该过程期间监测受试者的身体部位，例如通过该身体部位在反射表面中的反射。该方法包括：检测(102)在至少一个获取的摄像头图像中的反射表面的形状或轮廓，以在该图像中限定关注区域，该关注区域包含与关注的身体部位相对应的图像信息；以及分割(103)一个或多个摄像头图像中的关注区域，以选择与关注的身体部位的特征相对应的像素。该方法还包括从选择结果中确定(105)指示受试者的状态的信号。本发明还涉及相应的设备、***和计算机程序。

Description

从摄像头观察结果中提取信号

技术领域

本发明涉及图像处理领域，尤其是用于推断指示受试者的状态的信号，例如与诊断成像结合使用。更具体地说，本发明涉及一种用于基于远程观察结果(例如受试者的摄像头图像)来确定指示受试者(例如正在经历医学成像过程的患者)的状态的信号的设备、方法和计算机程序产品。

背景技术

本领域中已知的是使用受试者的摄像头观察结果，以便获得有用的信号，例如指示正在接受医学成像检查的受试者的生理参数和/或情绪的信号。示例包括用于确定指示心血管和/或呼吸功能以及身体或其部分的移动的参数的基于摄像头的方法，。

例如，心脏触发被广泛应用于医学成像，如磁共振成像(MRI)和计算机断层扫描(CT)。可在一段时间内收集通过诊断成像扫描仪获取的数据，而这段时间对于身体或其部分由于生理功能而产生的运动来说是不可忽略的。例如，在脑部或心脏成像(不受限制)中，数据获取过程，即通过扫描仪获取原始成像数据的过程，可能花费比一个心动周期(cardiac cycle)明显更长的时间。然而，获取的数据可经过后处理，以便生成高质量的断层重建图像(例如，用于诊断目的)。为了生成高质量的图像，例如提供给医生用于辅助诊断的医学图像，期望能减少心脏运动的影响，否则这会导致重建图像中出现与运动相关的伪影。如果在数据获取时关于心动周期的信息是可用的，则可根据心动阶段对原始数据进行分类，丢弃来自不关注的周期的数据，和/或可应用适当的运动校正。

如本领域所知的，心脏同步通常是通过考虑根据心电图(ECG)信号产生的触发信号来实现的，例如使用接触电极传感器。例如，ECG信号中的R峰(其表示收缩阶段的开始(心肌收缩的开始))可用于生成用于同步的触发信号。对R峰的了解为MRI扫描的可靠选通(gating)提供准确的信息，使得可以尽可能减少运动伪影。

然而，使用ECG的接触式测量需要使用位于身体上的电极贴片，这可能会让受试者感到不舒服，而且需要有经验的人员花时间附接传感器和设置准备信号获取。因此，这种方法会对高效的工作流程产生负面影响。此外，依赖高场强(如利用磁流体动力学效应)的成像操作可能会使ECG信号失真，这降低了在信号中检测R峰的可靠性或甚至可行性。这种方法的另一个缺点是通过皮肤接触式传感器受到例如细菌或病毒类污染的风险。

对于回顾性触发或列表模式触发，也可在记录的MRI序列中包含获取的单独的心脏导航回波。对于直接心脏触发(前瞻性触发)，可使用光纤听诊器，或可将冲击描记(ballistograhic)设备附接到胸部。在肢端进行PPG测量在本领域也是已知的，但同样需要在患者身上布设导线，而且PPG信号相对于ECG信号的时序可能存在不确定性。尽管如此，这种方法仍可以以回顾性模式来使用。

因此，在心脏触发的成像检查的情形中(如在CT或MRI中)，使用摄像头观察结果进行非接触式心脏脉搏检测可提供多个优点，例如简化了工作流程，降低了对强场的敏感性。

基于摄像头的方法在本领域已知用于获得有用的信号，例如消除用于呼吸选通的体上传感器。例如，可以观察胸部的移动来确定呼吸状态。然而，本领域中仍然需要一些方法，以便例如结合实现舒适、无麻烦的测量(对患者和工作人员而言，例如简化工作流程)和可靠的心脏选通。优选地，通过这种方法获得的选通信号的特征将在于与ECG周期中的具体特征(如R峰)有很强的相关性，以便在前瞻性和回顾性模式两者中使用。基于摄像头的PPG(其也可被称为视频PPG或远程PPG)已被认为是一种很有前途的技术，但需要良好的设置和适当的处理才能提供良好的结果。

与传统的基于传感器的测量(如作为时间的函数的一维ECG)不同，通过摄像头捕捉到的成像数据包含三维信息，如两个空间维度的像素强度及其随时间的变化。因此，除了信号处理技术外，图像处理方法还可用于获得关注的一维信号，例如用于生成心脏触发信号的PPG信号。

例如，WO2015/117084A1公开了一种在MRI检查期间使用视频摄像头和主动照明来检测心脏和呼吸信号的方法。从视频数据(例如通过摄像头以每秒30帧的速率获取的)中提取微小的强度变化和运动信息。计算整个帧或图像的预定分段的平均像素值，然后应用通带滤波器(例如使0.6Hz到10Hz之间的频率通过)，以获得代表心动周期的信号。此外，一维子像素图像配准被用于在下/上方向上检测轻微的点头运动，该点头运动利用另一带通滤波器(0.2Hz至0.6Hz)进行滤波，以获得代表呼吸周期的信号。

作为另一示例，US 8,542,877 B2公开了另一种处理视频序列的方法。摄像头设置(如曝光时间、获取速率和增益)在校准阶段自动调整，以使图像中的平均亮度的波动幅度最大化。采用分割方法来识别和确定视频中的人脸(或其他关注的身体部位)，以便允许通过图像序列跟踪该关注的区域，例如人脸。在关注的区域中，可以确定一个或多个测量区域，例如在该区域中显示最小(空间)梯度变化的连续区域。例如，可以在该序列的参考图像中确定该测量区域，使得可以通过利用其在分割的关注区域内的相对位置，通过该序列来跟踪测量区域内的图像点的位置。因此，可以针对每个测量区域提取时变信号，例如平均亮度，这样在例如滤波之后提供关注的信号。

WO2019/068185A1公开了一种成像***，在该***中利用反射镜向患者显示图像，并向摄像头显示患者的多个部分(或基准点)的图像。

发明内容

本发明的实施例的目的是提供用于基于远程观察结果(例如受试者的摄像头图像)来确定指示受试者(例如正在经历医学成像过程的患者)的状态的信号的良好且有效的装置和方法。

本发明的实施例的一个优点是，可以根据对受试者的摄像头观察结果来(例如自动地和/或在算法上)确定有用的信号，例如指示接受医学成像检查的受试者的生理参数的信号(例如指示心血管或呼吸功能、运动、警觉性、动作等的信号)和/或情绪的信号。

本发明的实施例的一个优点是，可以根据摄像头观测结果来确定这样一个信号，即，该信号可在使用扫描仪***(如MRI、CT、SPECT或PET扫描仪)的诊断成像过程中用于心脏触发，例如，利用所确定的信号对所收集的数据或由此重建的图像进行整理、校正和/或注释，和/或根据该信号控制图像扫描过程。例如，这种触发信号还可用于放射疗法和类似的(如治疗)过程，例如不必严格限于医学成像应用。

本发明的实施例的一个优点是，可以在不直接接触受试者的情况下确定指示受试者的状态的信号，例如与生理功能相关的信号，比如PPG信号。例如，心脏同步(例如通过指示或近似于ECG信号中的R峰出现的时间的信号)可以在不需要接触电极来记录ECG信号的情况下实现。通过避免需要接触电极或其他接触式传感器，可提高被监测的受试者的舒适度，并可更有效地执行操作，例如避免在施加和配置此类接触式传感器中浪费时间。此外，基于摄像头的信号生成还可以基本上自动化地进行，从而潜在地减少对工作人员培训和/或经验的需求。例如，接触式传感器可能需要在身体上精确定位和/或以规定的方式定位，和/或在使用前可能需要特定于受试者的校准和/或配置。通过避免或减少在操作期间与患者的皮肤接触，还可以降低生物污染的风险，例如病毒和/或细菌污染的风险。

本发明的实施例的一个优点是，在需要高场强的过程期间，例如利用磁流体动力学效应，可以获得心脏触发信号或适用于心脏选通或同步的信号，且不会干扰(例如使其失真)信号获取。例如，在MRI扫描仪中，可以使用被定位在与接受观察的受试者相距相当远距离的位置处的摄像头。

本发明的实施例的一个优点是，即使在次优的成像条件下，也能从摄像头图像中可靠、准确地确定相关信号，例如指示ECG或PPG特征的信号。例如，可以获得足够高的时间分辨率和时间准确度，以提供可(例如接近实时地)用于选通或其他控制目的的信号。因此，可以接近实时地提供触发信号。所提供的信号对于受试者的移动来说是鲁棒的，或者至少对受试者的移动(例如对患者运动)具有有益的较低的灵敏度。根据实施例的方法可以有利地应对较差的成像条件，例如较差的照明和/或次优的视角。这可以与MRI中的使用情况尤其相关，例如当从磁体孔的外部(例如使用位于孔的凸缘上或集成到孔的凸缘中的摄像头)和/或通过反射镜观察受试者时。此外，用于摄像头成像的波长可能被限制在不太理想的范围内，和/或受试者可能处于不太理想的位置和/或姿势。

本发明的实施例的一个优点是，可生成的信号可被用于回顾式(或列表模式)触发和/或前瞻式(或直接)触发。

本发明的实施例的一个优点是，图像和信号处理可以使用多处理或并行处理技术，以便提供仅有较小延迟的信号。

本发明的实施例的一个优点是，以有效的方式(例如自动地)确定所获取的摄像头图像中的信号提取区域(从该信号提取区域中可以提取信息以便生成该信号)，例如所确定的包含用于触发的有用信息的区域。这样可以有利地限制所需的处理能力和时间。

根据本发明的实施例的方法、设备、***和计算机程序产品实现了上述目的。

在第一方面中，本发明涉及一种用于基于远程摄像头观察结果在诊断成像或治疗过程期间确定指示受试者的状态的信号的方法。该方法包括从摄像头获取摄像头图像，该摄像头被配置为在检查或介入期间直接监测受试者的身体部位和/或通过受试者的身体部位在反射表面上的反射来监测受试者的身体部位。例如，身体部位可具有相对于图像中的反射表面的已知的或可假定的空间关系，例如，当身体部位被反射表面反射到摄像头上时在反射表面的轮廓内，或相对于反射表面处于已知的相对位置(和/或方向)处，例如，相对于反射表面处于至少近似已知的距离(在可能的情况下相对于图像中的反射表面的尺寸)的下方(或沿另一预定方向)。

该方法包括检测在所获取的摄像头图像中的至少一个中的反射表面的形状或轮廓，以限定图像中的关注区域，该关注区域包含与关注的身体部位相对应的图像信息。该方法包括分割在所获取的摄像头图像中的至少一个中的检测到的关注区域，以选择关注区域中的与关注的身体部位的特征相对应的像素或一个或多个(子)区域。该方法包括通过像素强度(或多维度，如颜色、值)分析、由摄像头获取的多幅图像中观察到的像素随时间变化的演变过程的动态分析、时间频率分析和/或类似的图像和/或信号处理技术，从选定的像素或区域中确定指示受试者的状态的信号，如作为时间的函数。

在根据本发明的实施例的方法中，检测反射表面(如反射镜)的形状或轮廓可包括使用反射表面的模板进行多尺度搜索，其中针对摄像头图像中的多个不同的候选位置和模板的多个不同的尺度来评估对应性的量度，以识别模板与摄像头图像在位置和尺度上的(例如最佳)对应性。例如，即使反射表面(如反射镜)的外观在尺度和位置(以及可选地，方向)上可能不同，但其形状、轮廓、高宽比和/或其他此类外观特征可被视为(基本)恒定或不变的。这个或这些特征可以用模板来表示，该模板被构建成用于捕捉反射器的这些方面。因此，该模板可以在同一***中重复使用，例如用于不同的成像期间、患者，......，或者甚至可以针对具有相同的通用配置的不同***重现，例如使用相同类型的反射镜和/或相同的摄像头***。

在根据本发明的实施例的方法中，可以通过以下方式构建所述模板(作为该方法的一部分，或在校准过程中如独立地确定的那样获得)：使用摄像头获取校准图像，将校准图像裁剪到图像中的反射表面的尺寸，并应用高频空间核(spatial kernel)来抑制低频上下文信息(context)，其中检测反射表面的步骤可包括在计算所述对应性的量度之前将所述高频空间核(或类似核)应用于摄像头图像。由此构建的模板可应用于不同尺度的图像(例如，使用模板的不同缩放版本，或等效地，通过对等地缩放正在被搜索的图像，或使用直接考虑一个或多个缩放参数的计算方法)，例如，以便在分层尺度搜索中匹配不同尺度的图像内容。

在根据本发明的实施例的方法中，检测反射表面可考虑由用于执行所述过程的诊断成像或治疗递送***提供的有关在操作期间受试者的定位的信息。

在根据本发明的实施例的方法中，检测反射表面可限定这样的关注区域(例如第一图像区域)，其中该关注区域包括由反射表面的轮廓包围的第一图像区域，和/或限定这样的关注区域(例如第二图像区域)，在该关注区域内通过使用第二图像区域相对于反射表面的预定空间关系可由摄像头直接观察身体部位而无需通过反射表面进行反射。

在根据本发明的实施例的方法中，分割可以基于像素强度对摄像头图像中的像素进行分类，和/或可以分析摄像头图像序列中的像素强度的动态变化，以确定像素或图像区域是否对应于关注的身体部位的特征。

根据本发明的实施例的方法可包括确定在不同时刻获取的摄像头图像之间的身体部位的运动或身体部位内的运动，其中：

关注区域中的检测到运动的像素被从通过分割确定的选择结果中排除，和/或

基于早期获取的图像，使用检测到的所述运动对通过分割确定的选择结果进行配准，以考虑图像中身体部位的位置和/或其他空间特性的变化，和/或

当检测到的运动超过预定阈值或指示整体运动(bulk motion)的其他标准时，再次执行分割和/或反射表面检测。

在根据本发明的实施例的方法中，该运动可通过光流算法确定。

在根据本发明的实施例的方法中，诊断或治疗过程可包括通过磁共振成像、计算机断层扫描、正电子发射断层扫描和/或单光子发射计算机断层扫描，和/或外科手术和/或放射疗法介入对受试者成像。

在根据本发明的实施例的方法中，身体部位可包括面部或其一部分。

在根据本发明的实施例的方法中，摄像头可包括红外摄像头、在可见光波长范围或其一部分内工作的单色摄像头、彩色摄像头和/或多光谱摄像头。

在根据本发明的实施例的方法中，信号可指示受试者的心脏、心血管和/或呼吸功能。

在根据本发明的实施例的方法中，信号可以是光电容积描记信号。

在根据本发明的实施例的方法中，信号可指示受试者的生理状态和/或参数。

在根据本发明的实施例的方法中，信号可用于(作为该方法的一部分，或作为供外部使用的输出提供)对通过用于所述诊断成像过程的***实现的数据获取进行选通，和/或控制治疗过程的递送，和/或对通过诊断成像***获取的图像数据进行分类、整理、选择和/或注释。

在第二方面中，本发明涉及一种用于基于远程摄像头观察结果在诊断成像或治疗过程期间确定指示受试者的状态的信号的设备。该设备包括输入装置，其用于接收来自摄像头的摄像头图像，该摄像头被配置为在诊断成像或治疗过程期间直接监测受试者的身体部位和/或通过受试者的身体部位在反射表面上的反射来监测受试者的身体部位。该设备包括图像特征检测器，其用于检测接收到的摄像头图像中的至少一个中的反射表面的形状或轮廓，以限定图像中的关注区域，该关注区域包含与关注的身体部位相对应的图像信息。该设备包括分割器，其用于分割所获取的摄像头图像中的至少一个中的检测到的关注区域，以选择关注区域中的与关注的身体部位的特征相对应的像素或一个或多个区域。该设备包括信号提取器，其用于从选定的像素或区域中确定指示受试者的状态的信号。

在第三方面中，本发明涉及一种具有检查区的诊断成像***。该***包括摄像头，其用于从在被定位于检查区内时正在经受检查的受试者获取图像。该***包括反射表面，其被布置在检查区内，用于将光(例如从受试者的身体部位)反射到摄像头上。该***包括图像处理器，其用于从所获取的一个或多个摄像头图像中确定在检查期间指示受试者的状态的信号，其中图像处理器包括根据本发明的第二方面的实施例所述的设备。

在第四方面中，本发明涉及一种计算机程序产品，其用于在由计算设备(例如计算机或处理器)运行时执行根据本发明的第一方面的实施例所述的方法。

独立权利要求和从属权利要求描述了本发明的具体和优选特征。从属权利要求中的特征可以与独立权利要求中的特征以及其他从属权利要求中的特征相结合，只要认为合适即可，而不必仅如权利要求中明确指出的那样。

附图说明

图1示出了根据本发明的实施例的例示说明性方法。

图2示出了根据本发明的实施例在校准中用于生成反射镜模板的裁剪的摄像头图像。

图3示出了根据本发明的实施例的基于图2所示的模板识别反射镜区域的二进制掩码。

图4示出了根据本发明的实施例在摄像头图像中对反射镜模板进行多尺度搜索的互相关图，其用于反射镜组件被相对靠近摄像头定位的情形。

图5示出了根据本发明的实施例在摄像头图像中对反射镜模板进行多尺度搜索的互相关图，其用于反射镜组件被相对远离摄像头定位的情形。

图6示出了基于摄像头观察结果并通过根据本发明的实施例的方法确定的所提取的光电容积描记(PPG)信号与同时获取的心电图(ECG)的比较。

图7示出了根据实施例的方法的例示说明性应用。

图8示出了根据本发明实施例的与图7所示的示例相对应的从摄像头观测图像中提取的信号。

图9示出了根据本发明的实施例的设备。

图10示出了根据本发明的实施例的***。

附图是示意性的，而不是限制性的。图中的要素不一定按比例表示。本发明不必限于图中所示的本发明的具体实施例。

具体实施方式

尽管有下文所述的示例性实施例，但本发明仅受所附权利要求的限制。所附权利要求在此明确地并入本具体实施方式部分中，其中每项权利要求以及权利要求所限定的从属结构所允许的每种权利要求组合构成本发明的单独的实施例。

权利要求中使用的“包括”一词并不限于下文所述的特征、要素或步骤，也不排除附加的特征、要素或步骤。因此，“包括”一词指定了所提及的特征的存在，并不排除一个或多个特征的进一步存在或添加。

在本具体实施方式部分中，给出了各种具体细节。本发明的实施例可以在没有这些具体细节的情况下实施。此外，为使本公开简洁明了，不必对众所周知的特征、要素和/或步骤进行详细描述。

在第一方面中，本发明涉及一种用于基于远程观察结果(例如受试者的摄像头图像)来确定指示受试者(例如正在经历医学成像过程的患者)的状态的信号。

图1示出了根据本发明的实施例的例示说明性方法100。

该方法包括从摄像头获取101摄像头图像，该摄像头被配置为在检查或介入期间直接监测受试者的身体部位和/或通过受试者的身体部位在反射表面(如反射镜)中的反射来监测受试者的身体部位。例如，该检查可以是磁共振成像、计算机断层扫描、正电子发射断层扫描或单光子发射计算机断层扫描检查。介入的示例包括治疗和相关操作，如外科手术和放射疗法。相关过程一般是指医疗性质的过程或以健康为关注点的过程(例如也包括比如整容手术的美容介入)。具体而言，该方法确定的信号可用于控制用于检查或介入的***或设备，和/或用于处理通过检查获得的数据，例如，使用指示运动、心脏功能和/或呼吸功能的信号来对数据获取或治疗的递送进行选通，或对所获取的(原始或重建的)图像数据(不限于此)进行分类和整理。身体部位可以是面部或其一部分，但不必仅限于此(例如，摄像头也可以观察到另一个身体部位的皮肤)。该信号可以是指示心脏和/或心血管功能的信号，例如光电容积描记(PPG)信号。

在许多情况下，可能难以直接观察到关注的身体部位。例如，用于检查或介入的设备的空间限制或特性，可能导致难以在直接视线上设置摄像头。例如，在MRI中，摄像头可能需要或优选地定位在扫描仪孔的外部或边缘，以便不限制已经受限的空间(孔直径)，并避免干扰敏感***，如磁场和/或射频发射/接收(反之亦然，扫描仪***影响摄像头操作)。通过使用一个或多个反射表面(如反射镜)，设置在一定距离处的摄像头可监测例如面部的更大面积的皮肤(通过面部的反射)。这样还具有的优点是，摄像头保持更广的视野，例如，既可以监测患者和/或辅助设备的总***置、姿势和状态，又可以得到关注的身体部位的细节视图。

然而，虽然使用反射镜或类似的反射器来监测关注的身体部位克服了一些困难，例如当扫描仪或治疗***的操作和/或特性和/或过程期间受试者的姿势对摄像头和身体部位之间的可用光路造成限制时，也会带来其他问题。例如，反射镜可能只能提供身体部位的有限视图，在这种情况下，可能难以通过算法(如面部或身体识别)检测较宽的特征。可能仅关注的身体部位的一小部分是可见的，而且在不同的检查或治疗过程之间反射镜可能处于不同的位置或不同的方向。然而，本发明的实施例可以克服这些挑战，甚至可以将这些缺点转化为可以有效利用的特性，下文将进一步讨论。

因此，在正确地设置的情况下，摄像头可以在整个检查或介入过程中监测受试者，例如指向患者。然后，可以从获取的视频序列中提取有用的信号，如PPG信号。

摄像头可以是红外摄像头(例如，在近红外范围NIR内工作，例如在800至850nm的范围内敏感的摄像头)，例如，使得可以在不干扰工作流程的情况下提取PPG信号，例如，不需要调整(可见光)照明条件，和/或不受(可见光谱中的)环境光的影响。由于人眼对红外光不敏感，因此被监测的受试者不会受到令人不快、干扰和/或不舒服(甚至疼痛)的亮光的影响。然而，实施例不限于此。例如，也可以从可见光范围内的成像中提取PPG信号(或其他有用信号)。例如，在(近)红外波长范围内，(脱)氧血红蛋白的光吸收比(如红色)可见光更强，而且红外光可以更深地穿透皮肤(如皮肤中黑色素的影响不那么明显)。而且，红外摄像头，例如基于半导体像素检测器的红外摄像头，在NIR范围(例如800-850nm)内的灵敏度要高于900nm以上波长的灵敏度，这可以带来更高的信噪比和/或在关注的身体部位未被理想地照亮时更好的操作。然而，本发明的实施例也可旨在产生不同类型的信号，例如指示运动的信号，对于这种信号，其他波长范围可能更适合或同样适合。其他光范围(IR或NIR以外)也可用于PPG信号检测，因为已经观察到，例如红色或绿色波长范围内的视频成像也能提供用于检测所使用的强度的微小变化的足够信息。

摄像头也可以是多光谱摄像头、彩色摄像头或其他类型的摄像头，这些摄像头可以检测(例如基本上同时检测)在不同波长范围(例如红色、绿色和/或蓝色成分、可见光谱中的其他或甚至更小的颜色范围、NIR成分或不同NIR波长范围的组合，和/或其组合(不受限制))内的图像信息。

方法100可包括利用光(至少在适合摄像头成像的范围内发射，例如与摄像头对其敏感的波长范围有足够的重叠)照亮(至少)关注的身体部位。例如，可以使用红外光源(如NIR红外光源)或可见光源照亮身体部位，使得通过摄像头能够获取高质量的视频序列。

方法100包括检测102在所获取的摄像头图像中的至少一个中的反射表面(如反射镜)的形状或轮廓。这样，在图像中的关注区域(ROI)就被识别出，该关注区域包含与关注的身体部位相对应的图像信息。如果关注的身体部位被反射表面反射，则可通过检测在该图像中的反射表面直接确定关注区域，但即使身体部位在由反射器提供的视图之外，也可有已知的位置(例如在相对于反射器的已知方向上的已知距离处)，使得检测反射表面的形状仍可被用于定位关注的身体部位。不必排除这样的组合，即一个关注区域被反射表面反射，而另一个关注区域相对于反射表面处于预定的相对位置/方向(例如，在反射镜视图之外)。

反射表面可能只在单个图像中被检测到，因为在该过程期间，反射器(如反射镜)可被假定为相对于静态摄像头设置是固定不动的。然而，实施例不必限于此。例如，也可以在整个过程中重复检测反射表面，例如在每个视频帧中或以某个时间间隔(或当评估标准或外部触发信号指示可能需要重新校准关注区域时)，例如，以便减少在该过程中的早期误检测的影响，或考虑成像几何形状的变化，例如由于患者的平移。这种检测的优点是可以非常高效地执行(自动地，例如通过使用检测算法的处理器)，因为反射器通常很容易检测。例如，反射器可以具有用于检测的相对简单的形状和/或固定的形状，如圆形、椭圆形、方形、矩形、基本上矩形(例如，除了调整基本矩形形状的圆角、凹槽等之外)或其变化。

尽管在下文的描述中提到了受试者的皮肤，例如作为在图像中检测的目标要素，以便从中提取有用信号(在下文进一步讨论的后续步骤中)，但技术人员应理解的是，不同的关注信号可旨在识别其他关注的特征，例如眼球或瞳孔(仅举一例)，以便能够提取不同性质的信号，例如眼球跟踪或觉醒信号。因此，提及“皮肤”、“皮肤区域”、“皮肤组织”等时，应笼统地解释为所关注的身体的用于观察和信号提取的解剖学或生理学特征，且不必是限制性的。应理解的是，摄像头可以通过反射表面观察到至少一些(或多个部分)的此类关注特征，例如合适的暴露的皮肤区域、眼睛、手指等，或者可以基于在摄像头图像中的反射表面的被识别出的位置(例如通过已知的其相对位置)在图像中至少近似地定位。

检测102反射表面的这一步骤可提供对(如一个或多个反射镜的)关注区域的第一粗略选择，在其进一步细化中可将其进一步减小到一个或多个较小的目标区域(或一个点/多个点)，如下文所述。例如，在MRI扫描仪中使用定位于孔外的摄像头观察患者，通常可看到患者的头部(或其他关注的解剖结构部位)的少量皮肤区域。这就使得使用图像特征(如在面部识别中)直接识别用于信号提取的合适点或区域变得尤为困难。由于反射表面(如一个或多个反射镜)被部署成能够在用于信号提取的摄像头图像中观察到合适的皮肤区域，因此该反射表面非常适合用于限制对图像中的潜在的一个或多个皮肤组织区域的进一步搜索。此外，与其他基于面部识别的方法相比，需要注意的是，不同受试者的面部外观会有所不同，但对于相同的***和/或观察***的相同设置来说，反射镜或其他合适的反射器将具有相同的外观。

即使受试者在图像中可能处于不同的位置，例如取决于在该过程期间支撑受试者的患者诊察台的姿势和/或平移位置(也参见图4和图5的左上方图像中显示的诊察台的不同位置)，这可能影响图像中的反射表面的位置，且可能会影响其透视，但这只相当于相对简单地检测图像中可通过相对位置(例如，在像素坐标中(即，在成像平面中)的X-Y空间移位)、缩放(例如高宽比)以及(可选地)旋转和/或倾斜进行建模的变化。因此，检测反射表面的形状和/或轮廓的这一步骤可以容器且非常高效地执行，例如使用反射表面(如反射镜)的预定模板进行多尺度搜索。

例如，可以使用所获取的图像与预定模板之间的对应性的量度(如互信息(mutualinformation)、互相关性(cross-correlation)等)来确定在该图像中的反射表面的最可能(如在数值优化意义上的最优)的尺度和/或位置(以及可选地，其他变换参数)。反射镜的最可能的尺度可在第一步骤中确定，而其位置可在后续步骤中确定(或可在联合参数空间中执行组合搜索/优化)。作为示例，位置搜索可通过使用图像中的不同尺度的移位的反射镜模板的互相关性来实施。

例如，在该***的校准中，可以基于已被裁剪到只显示反射表面的摄像头图像来确定预定模板，或者可以例如基于反射表面的已知特征使用反射表面的高级模型来创建该模板。一个优点是，对于摄像头***设置或模型***来说，可能只需要执行一次这样的校准，尽管更频繁的校准也是一种选择。图2示出了通过裁剪校准图像获得的反射镜组件的模板图像的示例。

反射表面的裁剪图像可被预处理(例如，作为用于配置摄像头***和/或检测算法的校准的一部分)，以便改善其匹配各种使用场景的能力。例如，可通过高频空间核对模板进行处理，以提取高频特征并抑制低频上下文信息，如平均强度(如DC分量)。

例如，一阶空间导数核可被用于提取图像的边缘或梯度特征，使得强调或提取轮廓(如边缘和/或拐角)，同时去除无关的图像内容，如反射表面本身的大部分，在使用中，一般的可变图像(如面部、其他身体部位或其子部位)被反射到摄像头上。可以使用高阶空间导数作为补充或替代，或者可以使用与具体导数不完全对应的空间滤波核(例如，不同阶数的组合或具有不同的分析形式，但优选的是排除或强烈抑制零阶数，即常数分量)。此外或替代性地，也可以使用定向空间滤波器，例如，滤波器不必是对称的，尽管至少在一些实施例中，为了简单和高效，这样做可能是优选的。

对于具有固定边缘和/或恒定曲率的固定形状的反射表面(如反射镜)，在使用本方法时，仅使用或主要使用高频特征可在摄像头图像中提供更稳定和/或更准确的检测。例如，低频特征可能更容易受到周围条件或环境条件的影响，如反射器与摄像头的距离、光照以及与光源的距离。反射表面还可对身体的相对较小的部位提供有限的视角，使得低频分量可能更加多变和/或更多地出现在通过反射器反射的图像部分中，这可能在多次检查或过程中改变(例如针对不同的受试者)。

图3示出了用于识别关注区域的二进制掩码，例如与图2的裁剪的校准图像相对应(或相关)。一旦模板已与所获取的摄像头图像匹配，就可以很容易地应用通过匹配算法确定的位置和/或其他参数，以便将模板掩码投射到摄像头图像上，从而在摄像头图像空间中限定关注区域的掩码。显然，这种模板掩码也可用于选择通过对应性量度来评估的像素，例如在匹配搜索中排除非反射镜图像内容。技术人员还应理解，可以使用两个不同的掩码，例如，一个用于限定待比较的像素(例如，对应于反射镜的框架或边缘)，另一个用于限定当在摄像头图像中识别出反射表面时待返回的关注区域，例如，识别与显示关注的身体部位的反射器的反射区域相对应的像素。

在执行匹配搜索之前，可使用与模板相同或类似的方法对摄像头图像进行预处理，例如，以便允许使用相对简单的对应性的量度(如互相关性)将图像中的一定位置(和/或尺度、方向......)的模板与该模板进行匹配。因此，在使用与该模板相同的算法(如高通滤波器)与反射镜模板进行(如多尺度)互相关性匹配之前，可对输入的原始摄像头图像进行预处理。然而，也可以使用敏感度较低的其他的对应性量度，例如基于信息论或(可选择地被归一化的)空间导数的度量标准，使得可以放宽或甚至避免预处理要求(或在某种意义上，被直接集成到对应性量度中)。因此，反射镜的最佳尺度和位置(和/或其他参数)可以基于对应性量度的最佳值来确定，例如在所有尺度和所有位置上的互相关性的最大值(表示模板匹配或配准的最佳相似度)。本领域已知的其他(局部)图像配准技术也可适用于此目的。

例如，多尺度搜索可以指的是将模板图像的不同尺度的版本与摄像头图像内容进行匹配，其中在每个尺度下对不同位置(和/或其他变换，如旋转或倾斜)进行评估。这也可以在渐进式的多步骤过程中实现，例如，首先评估数量有限的不同的、粗略的尺度(和/或位置......)，并使用最佳匹配来以更精细的分辨率(尺度、位置......)围绕找到的匹配来限定更小范围的选项，以便在下一步骤中进行评估。

也可以应用本领域已知的替代性方法。例如，可以使用小波或类似变换来执行位置-尺度联合搜索(潜在地还包括其他变换参数)。

作为针对摄像头图像中的反射表面的基于优化的搜索的替代或除此之外，还可以使用基于机器学习的方法，例如机器学习分类算法，该机器学习分类算法经过训练以识别图像中的反射表面的具体形状(例如基于训练数据集)，从而识别其位置和/或其他参数(例如旋转、倾斜、尺度和/或其他几何相关的特性)。

此外，反射器检测还可以考虑附加的信息，例如来自(自动)患者诊察台的位置信息。例如，这些信息可用作附加的输入(例如，用于基于机器学习的算法)，和/或在应用详细的搜索算法之前限定参数化搜索空间的约束条件。替代性地，也可以使用这些信息来直接限定关注的区域，例如，基于使用诊察台位置(和/或***的其他参数)作为参考的查找表来直接推断图像中的反射镜位置，即使基于图像的搜索可能为图像中已识别的关注区域提供更严格的限制。

这种检测102的结果可以是与图像中的反射表面相对应的关注区域的参数化规格的形式，例如反射表面的矩形或其他参数化(例如代数化)模型的参数规格，如长度、宽度、拐角或中心的位置、方向角和/或类似的代数化参数，或者是识别关注区域的图像掩码的形式(不限于此)。这种检测到的区域可被用于将图像裁剪到包括用于信号提取的所关注的皮肤区域的区域(例如包括一些非皮肤背景)。检测步骤的结果可以是二进制掩码的形式，例如具有用于指示每个相应像素中是否存在反射器(或等效地，是否不存在反射器)的布尔值；或者是软掩码的形式，例如其中在非二进制范围内的掩码图像值指示在相应像素中存在(或不存在)反射表面的概率，例如概率图或模糊逻辑图。

该检测步骤可同样被应用于使用多个反射表面的情况，例如在摄像头图像中同时提供不同或相同皮肤区域的不同视图。多个反射器可以在单次联合搜索(例如相应地扩展参数搜索空间)中依次或并行识别。反射器可以具有不同的形状，并具有相应的预定模板，或者可具有基本相同的形状(且因此使用相同的模板)。使用不同的形状和模板可有利于避免混淆搜索算法，例如，以便使针对一个反射器的检测算法对另一个反射器的存在不那么敏感(反之亦然)，但这并非严格必要。使用统一形状的反射镜也有好处，例如简化所应用的算法和/或减少应用该算法和/或训练机器学习模型所需的计算资源。

此外，需要注意的是，关注区域并不严格限于由反射表面的轮廓所限定的区域。例如，用于信号提取的可用皮肤区域的直接视图可以在相对于图像中的反射表面的固定(至少近似地)位置处已知，并可作为另一个关注区域被包括在内(或被整合到该区域中)。例如，可以在预定的成像设置中确定通过摄像头可直接观察到的皮肤区域的大致位置，例如在识别的反射器下方一定距离处(在可能的情况下考虑确定的缩放和/或旋转)。例如，在确定摄像头图像中与反射表面相对应的区域后，可基于空间坐标和尺度的建模或回归推断出该图像中的皮肤上的直接摄像头视图可用的一个或多个部分。

图4和图5示出了使用互相关性对反射镜组件的位置和尺度进行多尺度搜索的两个示例。从图4和图5的左上方的原始图像中可以看出，在图4的示例中，患者诊察台离摄像头相对较近，而在图5中，患者诊察台离摄像头较远。在这些原始图像上，已叠加了通过最大互相关性找到的(多尺度)模板的最佳匹配。图4和图5中的其余图像表示互相关性的图(像素位置表示每幅图像中的模板位置，像素的强度值代表计算出的互相关性，不同图像对应不同的评估尺度)。在这些示例中，在每个尺度下发现的最大互相关性在每个子图像的标题中示出。

在检测102反射表面以确定包含与关注的身体部位相对应的图像信息的关注区域(例如，在反射镜视图内，且在可能的情况下在相对于反射镜确定的预定位置内)之后，方法100包括分割103一个或多个摄像头图像中的检测到的关注区域，以确定关注的身体部位的图像特征，例如，执行限于由检测102的步骤获得的软掩码或硬掩码的图像分割。例如，可以选择限定的一个或多个关注区域内的像素或像素区域，这些像素或像素区域与关注的身体特征相对应，例如裸露的皮肤(不限于此，这取决于待提取的关注信号，例如可被分割的其他特征是瞳孔、眼球、手指或其一部分......)。

这种分割，例如皮肤分割，可被用于将关注区域细化为与信号提取相关的一个或多个部分。例如，关注的区域可对应于图像中包含通过反射镜的反射的区域和/或与之相关地限定的(一般粗糙的)区域，例如，反射镜下方的区域(在该区域中呈现摄像头的直接视图)。因此，关注的区域可能既包含关注的像素，如皮肤像素，也包含不关注的像素，如非皮肤像素，例如来自背景的像素。剔除关注的区域中的无关(如非皮肤)像素可能很重要，以便避免从图像中确定的信号(如PPG信号)的劣化。

当通过上述步骤102或以将该区域限定为每个像素的概率而非布尔指标的另一种方式将关注区域限定为软掩码时，分割结果可以考虑到这一点，例如通过对分割结果进行相应加权。例如，将一个像素识别为处于关注的像素集(如皮肤区域)内的概率，可通过该像素位于检测到的关注区域内的概率进行加权。也可以考虑本领域已知的其他更精细的方法，以便也将关注区域的定义的模糊性或概率性考虑在内。

分割103关注区域的步骤的结果可以是关注像素的识别结果，例如坐标列表或二进制掩码。然而，实施例不必限于此，例如，也可以考虑其他方式来描述所识别的像素或子区域，在可能的情况下包括另一软掩码(例如，在另一步骤中，可以考虑是用于提取信号的关注像素的概率，例如，通过根据该概率计算所识别的像素的加权平均值)。

在关注区域内的确定的所关注的身体部位的图像特征可以是一个或多个单独的像素，或者是关注区域的一个或多个连续的子区域，例如由通过分割获得的掩码所限定的子区域。这些子区域通常可具有与图像内容相适应的不规则边缘。例如，不同的个体可具有不同的皮肤分割结果，和/或通过反射镜看到的身体部位的视图在成像期间可能会改变(这也适用于针对摄像头直接观察结果的粗略识别的区域，该区域相对于反射镜而言被相对限定，但不在反射内)。

为了根据本发明的实施例执行分割步骤的目的，本领域已知许多合适的分割算法。一种尤其(有利)简单的方法可以是基于像素强度来分割关注区域，例如“基于DC”的方法，该方法使用每个像素的光强度将具有适当光反射特征(例如皮肤反射)的像素与其他图像要素(如较浅或较深的背景、眼睛、嘴......)区分开来。

提及DC和AC(下面进一步)时，应理解为使用相对于传统的一维信号处理的类比，例如，将在时间上恒定的静态分量称为直流(DC)，将在时间上变化的动态分量称为交流(AC)。然而，对于技术人员来说清楚的是，这只是一个类比，其中将这种静态/动态的二分法被转换为用图像强度值代替“电流”的情形。基于DC的方法和基于AC的方法两者可共有的特点是，主要孤立地考虑像素(在逐个像素的基础上处理每个像素的静态值或每个像素的时间序列值)。然而，实施例不限于此，本领域中已知的各种技术也可被用于考虑空间信息，例如，像素的分割结果不仅取决于针对该像素获取的数据，而且还可考虑来自邻近像素的信息(不必限于这种影响达到什么范围、考虑邻近的哪些像素或来自其他像素的贡献有多大，例如，这取决于所使用的技术)。

将空间信息考虑在内的其他方法可以(单独或与强度相结合)使用轮廓或边缘效应来找到一个连续区域(或多个区域)的边界，例如使用一阶或高阶空间导数进行边缘检测。还有一些方法可以使用(在可能的情况下与其他特征相结合)模式检测来检测关注特征的具体纹理(如皮肤的特征纹理)、形态操作和/或空间滤波(如基于小波)来检测具体形状(如瞳孔或眼睛的形状)或形状的组合。

时间上的变化(因为摄像头获得视频流)可被用于识别(ROI的)像素、像素组或子区域，这些像素、像素组或子区域显示出所期望的关注的动态行为，例如在“基于AC”的方法中。例如，这种动态行为可与预期的皮肤脉动性相对应，使得可以进一步使用识别出的显示这种动态的像素来提取PPG信号(不限于此)。因此，“活体皮肤”模型可用于检测显示脉动行为的像素(或区域)，该脉动行为可用于提取有用信息。例如，这种“基于AC”的方法可以使用时间滤波和时间频域分析(如基于傅立叶变换)、一阶和/或高阶时间导数、时间尺度分析或本领域已知的替代性方法。因此，动态的皮肤像素的选择可以基于“活体皮肤”的动态，其中显示较强脉动性(例如心率带中相对于(例如被归一化为)DC强度振幅(即傅立叶展开的常数项)的较大振幅)的像素可被选为属于皮肤分割组件。例如，该心率带可对应与大致为40Hz至240Hz(或类似的合适范围)的时间频率范围。

这样的一个优点是，从这样选定的像素中产生的信号(例如，当该信号代表从这些动态特性中得出的特征时，如PPG信号)可以具有良好的信噪比(SNR)，例如，潜在地优于通过不考虑这些动态特性的分割方法选择的像素所确定的相同信号。然而，也可造成在信号可用性上的时间延迟，因为在基于例如快速傅立叶变换进行分割之前，可能需要先填满时间信号缓冲区。此外，这种方法至少在单独使用时(例如未与其他分割技术相结合)可能对时间畸变(例如光照变化或身体移动)敏感，这可能使其不如“基于DC”的分割方法稳定。

还需注意的是，被称为“基于AC”方法的技术也不必限于皮肤分割和/或在下一步骤中的PPG信号提取。例如，可以使用眼球运动、眨眼和/或瞳孔放大的模型来识别具体的一个或多个时间频率带，这些频率带更有可能与眼球和/或瞳孔的动态特性相关，而不是与附近的图像内容相关。

分割方法可以结合不同的方法，例如上文讨论的方法，例如通过结合不同方法的结果，例如使用集合联合或交集、将中间分割结果加权到组合图中等，或者通过使用直接考虑不同性质的指标的分割算法，例如作为优化中的目标函数的不同项或因子(不限于此)。作为一个示例性的实施例，首先可以执行基于强度(“基于DC”)的分割，且因此可以在频域中分析由此获得的候选像素或子区域，以确定其是否传递脉冲信号(或剔除未显示足够或可检测的脉冲响应的像素或其一部分)。后一示例的优点是，基于强度的分割可以非常有效地执行，因为它的性质简单，而且待处理的关注区域已经只是整个摄像头图像的一部分(在可能的情况下很小)，而频域分析的效率可以通过只考虑未被第一粗略且简单的分割剔除的像素来提高。此外，如果该方法的目的是分割皮肤，那么简单的基于强度的分割可能相当稳定，因为在预定的摄像头设置中，皮肤强度和非皮肤强度之间的对比度通常相当稳定且足够大。虽然这种基于强度的分割可能已经提供了很好的结果，但根据一些实施例，考虑动态行为的另一步骤能够减少未显示良好的可观察响应的像素数量，因此可减少基于通过分割选定的像素而确定的用于进一步处理的信号中的噪声。

还需注意的是，如前所述，摄像头可以是多光谱(如彩色)摄像头，其可以检测在不同波长范围内的图像信息。通过考虑不同的波长范围，例如在多维彩色空间中进行分割，这可以改善分割结果。因此，提及“基于强度”或“基于DC”的方法时，可以认为包含“强度”不是标量而是矢量值的替代性方法。同样，其他(非DC)方法也可以以类似的方式对作为输入(每个像素)的矢量实体进行操作。例如，在有附加的图像信息(如在输出空间中是多维的)的情况下，将关注的像素与背景(或其他无关信息)区分开来以从中提取信号可能更容易。例如，即使使用比如基于强度(或其矢量扩展)的分割的简单方法，或将其作为分割算法的一部分，区分皮肤和非皮肤可能会更容易。可以考虑各种方法将光谱(多维)信息考虑在内，例如，结合每个分量的标量分析，使用光谱分量的加权组合作为标量分析的输入，为关注的分割分量限定多维空间(如彩色空间)中的目标体积(光谱矢量应位于该目标体积中以便被选入该分量)而不是目标强度范围，和/或本领域已知的用于彩色或多光谱图像分割的其他技术。

分割103可在由摄像头捕获的视频流的每个图像上执行，或至少经常执行(例如，以规律的时间间隔重复分割)。如果在分割中使用动态行为(“基于DC”)，“在每幅图像上”显然也会考虑到序列中的相邻时间点(图像帧)。不必排除只执行一次分割103的实施例，例如在第一幅图像或第一时间块图像上。代替以规律的间隔，例如每100帧(不限于此，例如可以根据处理性能和/或输出信号质量容易地确定合适的间隔)重复分割或除此之外，还可以使用质量度量标准(例如指示信噪比)来评估在下一步骤中生成的信号，以便在信号质量较差时，例如信号质量下降到阈值以下或信号质量相对于参考值(例如，参考值可在执行目前仍在使用的分割的时点时或之后不久确定)下降了预定系数时，触发(重新)执行分割。因此，也可以在时间上以不规律的间隔执行分割，例如以动态确定的质量度量标准或其他系数为条件。

方法100还可包括确定104所获取的摄像头图像之间的被监测的身体部位的运动或身体部位内的运动的步骤。根据通过分割步骤识别的像素确定的信号，例如，PPG信号，可通过连接空间平均的皮肤像素值而在时域中根据皮肤像素测量到。这种信号(例如PPG信号的振幅)可明显弱于由身体运动造成的影响，或者至少对这种影响敏感，使得所获取的信号可能会被移动(例如头部移动、面部表情和/或眨眼)污染。

检测到的运动可被用于进一步排除分割的图像区域内的区域或像素，例如检测到的皮肤像素，在这些区域或像素中，提取的信号可能会受到运动的影响(例如在皮肤/非皮肤边界处)。因此，可以将分割掩码缩小到基本不动的区域/像素。

本领域已知有多种方法用于检测视频流中的运动。例如，可以使用传统的图像配准技术来找到适当的对齐和/或变形，以便将一幅图像投射到之前的图像或更早获取的另一参考图像上。然而，鉴于效率和为了减少延迟，优选的是使用运动估计算法来确定运动矢量场，例如在覆盖该图像或每个像素的网格上限定的运动矢量场，例如通过估计(例如密集的)光流来限定运动矢量场。一个优点是可以非常高效地计算光流(也可以通过并行处理容易地执行，例如使用图形处理单元、多个处理内核和/或计算集群)。

因此，针对每个像素(直接地或通过在网格内插值，或根据通过配准确定的变换参数进行推断)，可以确定该运动。例如，这可用于生成运动掩码，如二进制(或软)运动掩码，以对像素(或至少是通过分割确定的关注的图像部分的像素)进行注释。因此，可以对分割步骤后仍在考虑用于处理(以生成信号)的像素进行修剪，以剔除显示相当大的移动的像素，或反之亦然，分割掩码可被用于从运动掩码中修剪不相关的部分。

因此，用于指示基本不动区域的运动掩码可与用于指示关注区域和/或像素的分割掩码相结合，以确定哪些像素适合用于(稳健的)信号提取。举例来说，分割可以较低频率地执行，可能的情况下只执行一次，而运动掩码可以更频繁地执行，例如针对每个图像帧，使得可以实现计算资源的有效利用，并可以生成基本实时的输出信号。然而，根据实施例，分割和运动估计两者也可以基本以相同的频率来执行，例如基本上针对流中的每个图像，例如在并行处理链中。

可选地，运动掩码可被进一步处理，例如使用侵蚀/扩张或或形态学操作的组合，和/或将掩码限制为连续或凸出形状，或数量有限的此类不连贯形状的组合。因此，可以使用具体的几何形状图案来减少通过分割步骤实现的不当选择和/或选择易受运动伪影影响的区域所造成的影响。例如，可以将选定的皮肤区域限制在凸出区域，以便基本上捕捉前额或脸颊区域，即与其自然形状相吻合。显然，这种进一步的处理也可以(另外或替代性地)应用于分割掩码。

例如，通过将运动掩码与分割掩码相结合，可以抑制显示较大运动幅度的关注像素(如通过分割所识别的)，例如，可以消除具有比如眨眼等运动的皮肤区域。在PPG信号提取的示例中，优选地，眼睛眨眼运动可能需要被抑制，因为它会在PPG信号中引入突然的***。当患者处于仰卧位并由位于孔外的摄像头观察时，由于胸部区域靠近面部区域，因此可能也需要抑制显示呼吸运动的像素。

所确定的运动还可以(替代性地或另外)用于转换分割掩码，使得可以在每个视频帧中识别出关注的像素，而无需针对每个帧执行分割。当检测到足够大的运动时，所确定的运动还可(另外或替代性地)用于触发新的分割103(如果尚未在每帧的基础上进行)。当检测到足够大的运动时，还可以(另外或替代性地)使用所确定的运动来触发对反射表面的新的检测102。不同的阈值可用于这些触发信号，或者反射表面可以在整个过程中呈现为固定不动。替代性地，也可以使用外部输入，例如来自(诊断)成像***的控制器的信号来重新初始化反射表面检测，例如指示患者诊察台的运动的触发信号。用于重复分割和/或反射器检测的触发信号可适于检测整体运动，例如足够大量的平均运动矢量，而运动检测的其他用途可能对较小的运动更加敏感，例如用于生成运动掩码(例如，用于排除眨眼、面部表情变化等)和/或转换分割掩码以考虑(相对较小的)运动。

正如前面针对分割掩码所提到的，该掩码可以是二元的，但也可以是多值的，例如在序数或(基本上)连续的尺度上，例如概率、模糊或“软”掩码。这同样适用于指示运动的掩码，例如，使得分割掩码和运动掩码可被结合以便形成用于在确定关注的信号时被考虑在内的图像中的像素的二元(例如，通过集合交集)或多值(例如，指示概率或置信度)选择器。

该方法还包括确定105指示受试者的状态的信号，例如指示生理状态和/或参数的信号，比如指示心脏、心血管和/或呼吸功能的信号，例如光电容积描记(PPG)信号。

该信号根据通过分割和/或运动补偿步骤识别的图像像素来确定，例如，基于分割掩码(或至少其关注分量)内的图像像素的强度值，且优选地不被运动掩码(例如，假定是充分地无运动的)排除。从每个时间帧收集强度值，以构建时间序列(不限于此，例如，同样可以分析更有限的时间段和/或剔除或忽略一部分帧，例如，以便改善效率和/或避免基于较差数据的数据)。

例如，针对所考虑的每个图像帧，可将选定的像素(例如来自分割结果或通过运动剔除进行过滤的分割结果)组合成代表相应时间点的单个值，例如通过(空间)平均每个时间点的选定像素的像素强度，并组合形成时间序列。也可以使用其他量度来概括或组合像素值，例如中位数、加权平均值或替代值。该量度不必是中心度的量度，例如，根据旨在提取的信号，该量度也可以是分散度的量度，如方差、标准偏差、四分位间值等，或甚至是被认为适于从数据中推断的具体信号的不同量度。

通过分割生成的掩码可以是二进制掩码，但也可以是软掩码，例如指示每个像素的概率或置信度水平。同样，如果使用运动掩码，则这也可以是二进制掩码或软掩码，例如指示像素基本无运动的概率、每个像素的检测到的运动水平或另一合适的值。类似地，运动掩码也可以是运动剔除掩码，其中值(例如掩码的限定的每个像素)可指示(例如代表，例如成比例)检测到的运动的强度，例如使得可以基于(例如二进制的、非二进制量化的或实值的)运动剔除掩码来排除图像中经受较强的运动的区域。因此，针对每个时间帧的选定像素计算的汇总量度可相应地考虑这一点，例如，根据掩码或组合掩码对该量度的像素分量进行加权。也可以使用不同的加权方法，例如利用到掩码(或组合掩码)边界的距离对分量(例如，确定汇总量度的平均运算中的项)进行加权。这种距离可以根据各种度量标准来确定，例如Euclidean距离、Chebyshev距离、Manhatan距离或其他合适的距离度量标准。同样，也可以使用不同的替代方法来限定到边界的距离，而不管所使用的度量标准，例如到边界上或边界外的最近点的距离、使用到边界上的法向投影线并选择最近点、只考虑水平和竖直方向上的最近距离(在图像网格坐标的意义上，例如为了提高效率)，以及可能的其他替代方法。这种距离加权可以单独使用(或针对一些实施例根本不使用)，或者可以与软掩码固有的加权因子结合。使用基于距离的加权因子可能是有利的，因为离选定的像素区域的边界较远的像素可被假定为对边界抖动影响较不敏感。

确定105信号的步骤可以输出106如此确定的时间序列，例如代表选定像素的平均(例如)像素强度的原始信号，或者可以进一步处理该时间序列，以确定该信号作为该时间序列的关注特征，以便作为输出106来提供。例如，可以使用频率滤波和/或分析来减少噪音和/或选择关注的频率带。

被生成的信号可以是基于原始PPG的一个或多个特征(例如选定的皮肤像素的平均强度)的触发信号，例如原始信号中代表收缩阶段的波谷。这种触发信号可作为该方法的输出来提供，例如用于触发通过成像***实现的数据获取和/或用于处理或注释通过该***获取的数据。

图6示出了根据本发明的实施例的方法生成的作为时间的函数的PPG信号(标注为“摄像头PPG”)。Y轴上的刻度可被视为任意刻度，或者至少与用于生成与该信号的谷(局部最小值)(在曲线图中用圆圈指示)相对应的触发信号的目的不太相关。为了比较，在其下面显示的是同时获取的心电图(ECG)。在该ECG上，R峰通过圆圈指示出。从图中可以看出，尽管有较小的延迟，但可以实现基于PPG的触发信号与R峰之间的良好的对应性。因此，可以假定PPG标记在实际应用中可以用来触发MRI获取(或在类似的诊断成像应用或治疗递送应用中)，作为ECG触发信号的替代。

需注意的是，替代性地，该信号也可以通过跨时间匹配相应的像素来生成，从而收集对应于不同像素的多个时间序列(或较小像素组的平均值)，通过适当的处理可以将其合并为全局信号，例如，首先从每个信号中提取关注的特征(如指示信号轨迹中的局部最小值的触发信号)，然后对提取的特征进行平均(或以其他方式全局化)(例如，对与检测到的触发信号相关的时间点进行平均，应用多数表决策略，使用平均值创建指示置信度的非二进制值，和/或用于组合空间中的不同点的提取信息的另一合适策略)。

该方法还可包括输出106所生成的信号的步骤，例如，用作该***获取或治疗递送选通的触发信号，以便与由***获取的数据一起存储(例如，用于注释由该***获取的重建数据或原始数据)，帮助处理所获取的数据，和/或类似用途。

还需注意的是，根据实施例的该方法可适于至少一些步骤或操作的并行处理。例如，易于运动的像素区域(如眼睛、面部、胸部)的检测104和分割103可同时进行，如在单独的处理线程中进行，且当两结果都可用时可将结果合并，以获得用于信号提取105的像素的最终选择结果。

图7示出了根据实施例的方法的例示说明性应用。

获取摄像头图像91，其中使用多尺度模板搜索来检测反射镜组件(通过图像上的叠加图中的轮廓来指示)。这样创建用于指示图像中的关注区域的第一掩码92(尽管被示为相对于摄像头图像91稍作裁剪)。

在被该第一掩码遮挡的摄像头图像中，执行分割(见图像93)。在本示例中，从分割结果中选择用于信号提取的候选区域94，例如在尺寸上排在前三位的区域(不限于此)。此外，例如同时确定运动掩码95，以便在图像中找到基本上没有运动的区域。如可以看出的，眼睛被检测为易受运动影响，并在该运动掩码中被排除。

从选定的分割区域中，并在剔除易受运动影响的像素后，可以提取信号。图8示出了这种信号，其被构建为作为时间(或至少视频帧)的函数的平均像素强度，在本示例中该平均像素强度可用作合成的PPG信号。

还需注意的是，根据本发明的实施例的方法可被应用于以基本上实时的方式生成该信号，例如，通过在新的摄像头图像可用时对新的摄像头图像进行连续处理。即使图像处理可能需要一定的处理时间，也可以实现良好的响应，例如较低的处理延迟，例如通过有利地使用并行处理能力。

在第二方面中，本发明涉及一种用于基于远程摄像头观察结果在诊断成像或治疗过程期间确定指示受试者的状态的信号的设备。

图9中示意性地示出了根据本发明的实施例的示例性设备50。该设备包括用于接收来自一个摄像头52(或多个摄像头)的摄像头图像的输入装置51，该摄像头被配置为在诊断成像或治疗过程期间监测受试者的身体部位，例如直接监测和/或通过身体部位在反射表面上的反射。该设备可包括反射表面，例如反射镜，和/或在使用中，假定反射表面出现在摄像头的视图内。

该设备可包括摄像头52。该设备还可包括一个反射表面(或多个反射表面)，例如反射镜或反射镜组件。该设备还可包括用于照亮受试者的身体部位的光源。摄像头可包括红外摄像头、在可见光波长范围或其一部分内工作的单色摄像头、彩色摄像头和/或多光谱摄像头。

该设备包括图像特征检测器53，其用于检测在接收到的摄像头图像中的至少一个中的反射表面的形状或轮廓，以确定该图像中的关注区域，该关注区域包含与关注的身体部位相对应的图像信息。

图像特征检测器可适于执行多尺度搜索，以便使用反射表面的模板来检测反射表面的形状或轮廓。例如，多尺度搜索可评估摄像头图像中的多个不同的候选位置和模板的多个不同的尺度的对应性的量度，以识别模板与摄像头图像在位置和尺度上的(例如最佳)对应性。

例如，该设备可适于接收模板和/或存储模板。该设备还可适于执行校准过程，在校准过程中从摄像头接收校准图像，将校准图像裁剪到该图像中的反射表面的尺寸(例如，通过手动交互和/或通过应用计算要求更高的形状检测算法)，以及(可选地)应用高频空间核来抑制低频上下文信息。同样，特征检测器可适于在摄像头图像的基础上计算对应性的量度之前，将高频空间核(或类似滤波器)应用于摄像头图像。

该设备还可包括另一个输入装置，其用于从用于执行所述过程的诊断成像或治疗递送***接收有关在该过程期间的受试者定位的信息，其中特征检测器可适于将该信息考虑在内。

由特征检测器限定的关注区域可包括由反射表面的轮廓包围的第一图像区域。此外或替代性地，该关注区域可包括第二图像区域，在第二图像区域内通过使用所述第二图像区域相对于反射表面的预定空间关系可通过摄像头直接观察身体部位，而无需通过反射表面进行反射。关注区域可以由多个区域组成，例如不相连和/或相邻的区域，这些区域可以对应不同的反射表面，例如反射镜，和/或可假定摄像头能够直接观察到的不同区域。

该设备包括分割器54，其用于分割(例如通过图像处理)所获取的摄像头图像中的至少一个中的检测到的关注区域，以便选择关注区域中的与关注的身体部位的特征相对应的像素或一个或多个区域。分割器可被配置为具体地将分割限制于仅对检测到的关注区域进行，例如出于效率的原因。

分割器可适于基于像素强度(或多维度，例如颜色、像素值)对摄像头图像中的像素进行分类，以确定像素或图像区域是否对应于关注的身体部位的特征。

分割器可适于基于对摄像头图像序列中的像素强度(或值)的动态变化的分析来对摄像头图像中的像素进行分类，以确定像素或图像区域是否对应于关注的身体部位的特征。

该设备包括信号提取器55，其用于从选定的像素或区域中确定指示受试者的状态的信号。信号提取器可适于生成指示受试者的心脏、心血管和/或呼吸功能的信号或指示受试者的生理状态和/或参数的另一信号。信号提取器可适于生成光电容积描记信号。

该设备可包括输出装置57，其用于输出生成的信号(或由此得出的信号)。例如，输出装置可向诊断成像***和/或治疗递送***提供触发信号，以对通过诊断成像***实现的数据获取进行选通，控制治疗过程的递送，和/或用于对通过诊断成像***获取的图像数据进行分类、整理、选择和/或注释。

该设备还可包括运动检测器56，其用于确定在不同时刻获取的摄像头图像之间的身体部位的运动或身体部位内的运动。例如，关注区域(由图像特征检测器53确定的区域)中检测到运动的像素可被从由分割器确定的选择结果中排除。此外或替代性地，可以使用检测到的运动，基于早期获取的图像对通过分割确定的选择结果进行配准，以考虑图像中的身体部位的位置和/或其他空间特性的变化。此外或替代性地，当检测到的运动超过预定阈值或满足指示整体运动的其他标准时，分割器和/或图像特征检测器可接收触发信号，以便再次执行反射表面检测和/或分割。例如，运动检测器56可应用光流估计算法。

鉴于上文提供的有关根据本发明的实施例的方法的描述，根据本发明的实施例的设备的其他特征或上文描述的特征的细节应是清楚的。例如，该设备可包括处理器、计算机或类似的通用计算设备，其与适于执行如上文所讨论的方法或至少其多个步骤的软件相结合。根据本发明的实施例，该设备还可替代性地或另外包括用于执行该方法或其一个或多个步骤的专用硬件。例如，这种专用硬件可包括专用集成电路或可配置的硬件，如现场可编程门阵列。

在第三方面中，本发明涉及一种诊断成像***，如磁共振成像***或计算机断层扫描***。该***具有检查区且包括摄像头***，该摄像头***用于监测在被定位于检查区内时接受检查的受试者。因此，该***可适于通过磁共振成像、计算机断层扫描、正电子发射断层扫描和/或单光子发射计算机断层扫描对受试者成像。替代性体，在另一方面中，本发明涉及用于执行放射疗法介入的类似***，例如，包括摄像头***和根据本发明的第二方面的实施例所述的设备。

图10示意性地示出了根据本发明的实施例的诊断成像***1。在本示例中，该***为磁共振成像***，然而，本发明的原理同样可被应用于不同的诊断成像方式的***。

根据本发明的实施例的磁共振检查***可包括主磁体组件10，主磁体组件10限定检查区11，例如，检查区可由这样的体积形成，即在该体积中磁场条件(其基本上由磁体组件创建和控制)适合磁共振成像。因此，检查区可对应于由该***的磁体孔所包围的体积(至少是其可用的一部分)(不受限制，例如本发明的原理同样应用于开放孔的***和其他不常用的磁体组件配置)。

在使用该***中，待检查的受试者(如患者)13可被定位在位于检查区内的患者诊察台14上。主磁体组件可包括磁体绕组，例如同轴(例如超导)绕组，以便在检查区内产生静态的均匀磁场。检查区可以是由这些磁体绕组包围的圆柱形体积。

该***可包括重建器15，其用于根据由使用中的该***获取的磁共振信号来重建磁共振图像，例如断层扫描MRI图像。重建的图像可通过输出装置16提供，以便用于查看、处理或存储。

辅助设备，如RF T/R头部线圈12，在使用中可放置在检查区内，以便获取受试者的头部的磁共振信号。其他辅助线圈配置可用于获取其他身体部位的信号或用于不同的使用情况，而信号通常也可由已被集成在主磁体组件的壳体中的接收器线圈来接收。

该***包括摄像头52或摄像头组件，例如包括多个摄像头。摄像头***适于从正被检查的受试者获得信息，例如，用于获得生命体征、运动、痛苦指示等。这些图像可以呈现给操作人员进行评估，即通过观察图像获得有用的信息，例如指示设备和/或患者的状态，并且根据本发明的实施例，可以通过图像处理(例如通过电子处理设备)被用于确定代表一个或多个关注的参数的有用信号。

摄像头可安装在靠近检查区的一个入口处。例如，摄像头可被集成在MR孔的凸缘内或被安装在MR孔的凸缘上(例如，使得可用的自由孔直径不受影响或仅被最小程度地减小，和/或避免或最大程度地减少对MR***操作的干扰)。例如，(可选的)照明灯29也可被设置在该凸缘内或该凸缘上(不限于此)。

摄像头***还可包括用于控制摄像头52的摄像头控件25，例如用于调整比如光轴的方向、焦距等的参数。摄像***可包括显示器26，其用于显示通过摄像头获取的检查区11的内部的图像(原始图像或经过适当处理后的图像)。这使操作员能够目视监测检查区内的受试者。

通过摄像头52获取的图像可提供给图像处理器27(例如其可以在软件、硬件或两者的组合中实现)，以便从获取的一个或多个摄像头图像中提取有关受试者的信息。图像处理器是或包括根据本发明的第二方面的实施例所述的设备50。

图像处理器27可适于处理通过摄像头***获取的图像信息，例如用于执行静态和/或动态图像分析，以便从患者获得信息，如患者的生命体征、和/或患者的运动、和/或患者的痛苦迹象(或更一般地，患者情绪检测)、和/或光电容积描记(PPG)、和/或基于视频的说话检测(或语音识别，例如基于面部特征的简单单词或指令)。关于患者运动的信息可包括例如呼吸运动和/或心脏运动，例如，指示呼吸阶段和/或心动周期的阶段。例如，关于患者运动的信息可以从患者身体的外部躯体的图像信息中获得。这些信息可以通过处理(例如通过基于图像的运动检测器)和/或操作员或工作人员通过该***对患者进行(直接)视觉监测来确定。

呼吸和/或心脏阶段信息(和/或指示运动的更通用的信息)，例如由设备50生成的信号，可提供给重建器15，以便对所获取的磁共振信号进行运动校正和/或对重建的磁共振图像应用运动校正。例如，可基于来自摄像头的视频信号确定心脏触发信号。由于明显的原因，心脏触发对心脏MRI尤其有用，但也可以更普遍地应用。例如，在神经成像中，头部和/或颈部扫描中由血液和/或脑脊液的搏动流引起的伪影可以通过这种触发技术或基于心脏阶段信号的其他补偿方法而得到抑制或减少。这对于颈动脉中血流的定量测量也很有用。此外，还可以通过分析皮肤像素(例如在受试者的面部，如在前额或脸颊处)的细微强度变化而从视频信号中提取PPG信号。

因此，由设备50提供的信号可用于对通过该***(例如MRI***或其他用于执行诊断成像过程的***)实现的数据获取进行选通。此外或替代性地，可以使用治疗***控制治疗过程的递送。此外或替代性地，该信号还可用于对通过诊断成像***获取的图像数据进行分类、整理、选择和/或注释。

在根据本发明的实施例的磁共振成像***中，摄像头***还可包括一个或多个光源29。虽然不必排除依赖被动照明进行成像的实施例，但技术人员应理解，在使用主动照明时可以更好地控制照明条件，且成像也可更有效。

光源29可被配置和定位成用于将其光束直接射入/射到检查区，在可能的情况下由反射镜或反射表面支持。

光源和/或摄像头可位于检查区之外，或在其边缘区域上或附近。这可以简化磁共振成像***的配置(例如，避免或减少对该***的RF和磁场操作的干扰)，并可以在检查区内提供更自由的孔宽度。例如，对于圆柱形孔的***，摄像头和光源两者(或其中任一者，单独地)可位于孔的一端处的孔围壳的凸缘处，这样可使另一端基本上是自由的，例如，以便允许不受阻碍地进入检查区(用于将患者和/或辅助设备带入检查区)，并减少受试者在由该***进行成像时潜在的幽闭效应以及因此可能产生的不适感。

在根据本发明的实施例的磁共振成像***中，该摄像头(或多个摄像头)可适于操作在(例如窄的)红外波长范围内和可见光波长范围外的光(例如基本上排他性地对该光敏感)。

在根据本发明的实施例的磁共振成像***中，该摄像头(或多个摄像头)可适于在可见光波长范围内工作(例如基本上排他性地对可见光波长范围敏感)，例如对宽白光光谱或其一部分光谱(例如色带)敏感。摄像头可适于获取单色信息，或者可以是彩色摄像头，例如，适于检测(优选地，独立且基本上同时检测)不同的颜色成分，如红色、绿色和蓝色成分(不限于此)。摄像头也可适于检测相对较多(例如多于三个)的光谱成分，例如可以是多光谱摄像头。

光源可发出在适合摄像头的光谱内的光，例如，宽带白光可为在可见光范围内的单色或彩色摄像头提供照明。同样，红外光源也可用于发射在红外摄像头对其敏感的光谱范围内的红外光。应理解的是，光源和摄像头的光谱不必相同，或者甚至不必密切相关，例如，光源的光谱可以更宽，只要与摄像头对其敏感的光谱存在足够的重叠即可。

摄像头可以是模拟摄像头，或优选地是数码摄像头，例如包括像素光检测器阵列。

该***包括反射镜或反射镜组件22，其被布置在检查区内，用于将来自受试者的身体部位(例如脸部或其一部分(如眼睛或眼球、前额上的区域......))的光反射到摄像头上，和/或将来自光源的光反射到所述身体部位上。反射镜组件可包括(例如非金属)反射镜。术语“反射镜”的使用不应作狭义的解释，例如，反射镜组件可由作为反射镜和/或反射器(即反射关注的光谱范围内的光)的部件构成。

反射镜或反射镜组件22可安装在检查区的内壁上，例如磁体孔围壳的内壁上，和/或安装在辅助设备上，例如头部线圈组件上。因此，反射镜组件可安装在头部T/R线圈(例如用于颈椎、颅骨和/或神经放射MR检查)上或被形成为其一部分。需要注意的是，将反射镜集成在头部线圈内或头部线圈上可避免对现有设备(如扫描仪孔)进行昂贵或复杂的改装。虽然摄像头(例如安装在孔的凸缘上)之间的距离相对较远可能会导致非常有限的视野，例如只能显示前额或前额的一部分，但这对于一些应用可能已经足够，例如通过像素强度的微小变化来监测血液搏动。

优选地，反射镜22不干扰磁共振成像***的射频操作和/或不扰乱MRI***的磁场和RF动态传输场。非金属的反射镜可尤其适于实现这一优点。例如，非金属反射镜可以是电介质反射镜，例如包括由具有不同折射率的层形成的堆叠体，例如，使得通过该堆叠体形成电介质谐振器。虽然这种布置结构尤其适用于窄波长范围，但应理解的是，改变堆叠体中各层的厚度可以适应不同波长的反射，使得也可以容易地实现宽带反射(或近似宽带反射)或多种颜色成分的反射。

在根据本发明的实施例的磁共振成像***中，反射镜组件可尤其适于反射光，以便允许在摄像头的成像平面上形成关注的身体部位的图像(用于摄像头观察)，和/或将来自光源的光反射到关注的身体部位。因此，反射镜(或反射镜组件)22可以在检查区的一部分(即受试者接受检查时身体部位所在的位置)和摄像头之间布置光路，使得摄像头能够从该部分获取图像信息。反射镜组件可被定位在检查区内，例如通过安装在磁体孔围壳的内壁上。替代性地，反射镜组件可被设置在位于检查区内的辅助设备上，如局部射频(RF)线圈上，例如在局部射频线圈被定位在位于检查区内的患者诊察台上时。例如，将反射镜组件安装到RF头部线圈上可能是切实可行的。

在第四方面中，本发明涉及一种计算机程序产品，其用于在由计算设备运行时执行根据本发明的第一方面的实施例所述的方法。例如，该计算机程序产品可包括机器可解释的指令，该指令用于指导计算设备(例如计算机)实施实施例的方法。

Claims (15)

1.一种计算机实现的方法(100)，其用于基于远程摄像头观察结果在诊断成像或治疗过程期间确定指示受试者的状态的信号，所述方法包括：

从摄像头获取(101)摄像头图像，所述摄像头被配置为在所述诊断成像或治疗过程期间直接监测所述受试者的身体部位和/或通过所述受试者的身体部位在反射表面上的反射来监测所述受试者的身体部位；

检测(102)在所获取的所述摄像头图像中的至少一个中的所述反射表面的形状或轮廓，以确定所述图像中的关注区域，所述关注区域包含与关注的所述身体部位相对应的图像信息；

分割(103)在所获取的所述摄像头图像中的至少一个中的检测到的所述关注区域，以选择在所述关注区域中的与所关注的所述身体部位的特征相对应的像素或一个或多个区域；以及

从选定的所述像素或所述区域中确定(105)指示所述受试者的所述状态的所述信号。

2.根据权利要求1所述的方法，其中，所述摄像头被配置为在所述诊断成像或治疗过程期间通过所述受试者的身体部位在反射表面上的反射来监测所述受试者的身体部位；并且所述检测(102)所述反射表面的所述形状或轮廓包括使用所述反射表面的模板进行多尺度搜索，其中针对所述摄像头图像中的多个不同的候选位置以及针对所述模板的多个不同的尺度来评估对应性的量度，以便识别所述模板与所述摄像头图像在位置和尺度上的最佳对应性。

3.根据权利要求2所述的方法，其中，所述模板是通过以下方式构建的：使用所述摄像头获取校准图像，将所述校准图像裁剪为所述图像中的所述反射表面的尺寸，并应用高频空间核来抑制低频上下文信息，其中所述检测(102)包括在计算所述对应性的量度之前将所述高频空间核应用于所述摄像头图像。

4.根据前述权利要求中的任一项所述的方法，其中，所述检测(102)进一步考虑由用于执行所述过程的诊断成像或治疗递送***提供的关于在所述过程期间所述受试者的定位的信息。

5.根据前述权利要求中的任一项所述方法，其中，所述检测(102)限定所述关注区域，所述关注区域包括第一图像区域和/或第二图像区域，所述第一图像区域由所述反射表面的所述轮廓包围，在所述第二图像区域中通过使用所述第二图像区域相对于所述反射表面的预定空间关系在无需通过所述反射表面进行反射的情况下能够由所述摄像头直接观察所述身体部位。

6.根据前述权利要求中的任一项所述的方法，其中，所述分割(103)基于像素强度对所述摄像头图像中的像素进行分类，和/或分析所述摄像头图像的序列中像素强度的动态变化，以便确定像素或图像区域是否对应于所关注的所述身体部位的所述特征。

7.根据前述权利要求中的任一项所述的方法，其中，所述方法包括确定(104)在不同时刻获取的摄像头图像之间的所述身体部位的运动或所述身体部位内的运动，其中在检测到运动的所述关注区域内的像素被排除在通过所述分割(103)确定的所述选择结果之外，和/或检测到的所述运动被用于基于早期获取的图像配准通过所述分割确定的所述选择结果，以考虑所述图像中的所述身体部位的位置和/或其它空间特性的变化，和/或当检测到的所述运动超过预定阈值或指示整体运动的其他标准时，再次执行所述分割(103)和/或反射表面检测(102)。

8.根据权利要求7所述的方法，其中，所述运动通过光流算法确定(104)。

9.根据前述权利要求中的任一项所述的方法，其中，所述诊断或治疗过程包括通过磁共振成像、计算机断层扫描、正电子发射断层扫描和/或单光子发射计算机断层扫描，和/或外科手术和/或放射疗法介入对所述受试者成像。

10.根据前述权利要求中的任一项所述的方法，其中，所述身体部位包括面部或其一部分。

11.根据前述权利要求中的任一项所述的方法，其中，所述信号指示所述受试者的心脏、心血管和/或呼吸功能，是光电容积描记信号，或者是指示所述受试者的生理状态和/或参数的另一信号。

12.根据前述权利要求中的任一项所述的方法，其中，所述信号用于对通过用于所述诊断成像过程的***实现的数据获取进行选通，用于控制所述治疗过程的递送，和/或用于对通过诊断成像***获取的图像数据进行分类、整理、选择和/或注释。

13.一种用于基于远程摄像头观察结果在诊断成像或治疗过程期间确定指示受试者的状态的信号的设备(50)，所述设备包括：

输入装置(51)，其用于接收来自摄像头(52)的摄像头图像，所述摄像头(52)被配置为在所述诊断成像或治疗过程期间直接监测所述受试者的身体部位和/或通过所述受试者的身体部位在反射表面上的反射来监测所述受试者的身体部位；

图像特征检测器(53)，其用于检测在接收到的所述摄像头图像中的至少一个中的所述反射表面的形状或轮廓，以限定在所述图像中的关注区域，所述关注区域包含与所关注的所述身体部位相对应的图像信息；

分割器(54)，其用于分割在接收到的所述摄像头图像中的至少一个中的检测到的所述关注区域，以便选定所述关注区域中的与所关注的所述身体部位的特征相对应的像素或一个或多个区域；以及

信号提取器(55)，其用于从选定的所述像素或区域中确定指示所述受试者的所述状态的所述信号。

14.一种具有检查区(11)的诊断成像***(1)，所述诊断成像***包括：

摄像头(52)，其用于从在被定位于所述检查区内时接受检查的受试者(13)获取图像；

反射表面(22)，其被布置在所述检查区内，用于将光反射到所述摄像头上；

图像处理器(27)，其用于从所获取的一个或多个摄像头图像中确定在所述检查期间指示所述受试者的状态的信号，所述图像处理器包括根据权利要求13所述的设备(50)。

15.一种计算机程序产品，其用于在由计算设备运行时执行根据权利要求1至12中的任一项所述的方法。