CN105556539A - 检测兴趣区域的检测装置和方法 - Google Patents

Abstract

提供一种检测方法和检测装置，用于检测至少一个兴趣区域(ROI)。图像传感器俘获多个连续帧。在多个连续帧中的第一帧被分割为多个子区域。获得多个子区域中第一子区域的第一生命指征特征。根据第一生命指征特征获得第一特征信号。确定第一特征信号是第一有效图像信号。当确定第一特征信号是第一有效图像信号时，第一子区域识别为第一ROI。追踪在发生于第一帧后的帧中的第一ROI。

Description

检测兴趣区域的检测装置和方法

【交叉参考相关引用】

本申请要求2014年5月16日提交的序列号为61/994,240的美国临时申请的优先权，上述申请参考并入本文。

【技术领域】

本发明关于检测装置，且更特别地，关于根据生命指征信号检测兴趣区域的检测装置。

【背景技术】

近来，视频相机被提供以通过非接触方法确定人类对象的生命指征。通过视频照相机提取生命指征有若干优点；因为视频相机的无线和非接触操作，其对于人类对象非常方便、舒适和安全。此外，与主流医学设备相比，视频相机的成本较低。对于家庭护理中的长期监视，较低的成本对用户有益。

当视频照相机用于提取生命指征信号时，兴趣区域(Regionofinterest，ROI)，例如，允许心脏活动检测或血氧检测的人类对象的皮肤区域或可用于检测呼吸率的胸部区域，应该提前识别。然而，如果人类对象不是面对视频照相机，人类对象周围的条件可能太亮或太暗，或对象的脸可能没有被识别，并且视频照相机因此不能够识别适当的ROI。在这样的情况中，生命指征不能被准确地测量，或生命指征的测量将失败。

【发明内容】

因此，期望提供一种检测装置，可根据关于对象的生命指征的信号检测兴趣区域。

提供一种检测装置的示范性实施例。检测装置检测由图像传感器俘获的第一帧中的至少一个兴趣区域(ROI)。检测装置包含图像处理模块、计算模块和识别模块。图像处理模块将第一帧分割为多个子区域；计算模块，在多个子区域中获得第一子区域的第一生命指征特征，以生成第一特征信号；识别模块，接收第一特征信号，并确定第一特征信号是否是第一有效图像信号，当识别模块确定第一特征信号是第一有效图像信号时，识别模块识别第一子区域为第一ROI。

提供一种检测方法的示范性实施例。执行检测方法以检测至少一个兴趣区域(ROI)。检测方法包含俘获多个连续帧；在多个连续帧中将第一帧分割为多个子区域；在多个子区域获得第一子区域的第一生命指征特征；根据第一生命指征特征生成第一特征信号；确定第一特征信号是否是第一有效图像信号；当确定第一特征信号是第一有效图像信号，识别第一子区域为第一ROI；以及追踪发生于第一帧后的帧的第一ROI的步骤。

提供图像追踪装置的另一示范性实施例。追踪装置包含图像传感器、检测装置和追踪模块。图像传感器，俘获多个连续帧；检测装置，通过将一个帧分割为多个子区域对连续帧执行检测操作，在多个子区域中获得至少一个子区域的至少一个生命指征特征，以生成至少一个特征信号，并确定至少一个特征信号是否是有效的，其中，当检测装置确定至少一个特征信号是有效的时，述检测装置识别至少一个子区域为兴趣区域(ROI)；以及追踪模块，追踪发生于一个帧之后的帧中的ROI。

详细描述在下文的实施例参考附图给出。

【附图说明】

通过阅读后续详细描述和参考附图的示例，可以更全面的理解本发明，其中：

图1是图示根据本发明示范性实施例的便携式电子装置的示意图；

图2显示电子***的一个示范性实施例；

图3是图示通过方形分割参考帧的示意图；

图4是图示通过超级像素分割参考帧的示意图；

图5显示电子***的另一示范性实施例；

图6和7显示检测装置的示范性实施例；

图8显示追踪装置的示范性实施例；以及

图9显示检测方法的示范性实施例。

【具体实施方式】

下文的描述是实施本发明的最佳模式。此描述是为了说明本发明的一般原理并不应该被认为是限制。本发明的范围最好通过参考所附的权利要求来确定。

图1是图示根据本发明示范性实施例的便携式电子装置100的示意图。便携式电子装置100可包括处理器110、存储器单元120、RF电路130、触摸屏140和照相机150。在示范性实施例中，便携式电子装置100可以是蜂窝电话、智能电话或平板电脑。处理器110可以是能够执行储存于存储器单元120中的一个或多个类型的计算机可读介质的数据处理器、图像处理器、数字信号处理器、图形处理器和/或中央处理器的一个或多个。如图1所示，处理器110通过***接口115耦合到RF电路130、触摸屏140和照相机150。

RF电路130可以耦合到一个或多个天线135，并允许与一个或多个附加的装置、计算机和/或服务器使用无线网络通信。便携式电子装置100可支持各种通信协议，例如，码分多址(CDMA)、全球移动通信***(GSM)，增强数据GSM环境(Edge)，高速下行链路分组访问(HSDPA)，Wi-Fi(例如IEEE802.11a/b/g/n)、蓝牙、Wi-MAX、电子邮件协议、即时消息(IM)和/或短消息服务(SMS)，但本发明不限于此。

照相机150可从多个场景俘获多个帧，并通过***接口115将关于所俘获帧的信号发送到处理器110。***接口115通过有线或无线连接方式耦合到照相机150。在图1的实施例中，照相机150装备在便携式电子装置100中。然而，在另一实施例中，照相机150单独实施或在另一装置中实施，并通过有线或无线方式耦合到便携式电子装置100。

触摸屏140可使用现在知道或以后开发的多个触摸灵敏度技术的任何一个检测其接触和任何移动其离开，多个触摸灵敏度技术包含但不限于，电容的、电阻的、红外和表面声波技术，以及其它接近传感器阵列或用于确定触摸屏140的一个或多个接触点的其他元件。然而，触摸屏140还可显示来自便携式装置100的视觉的输出。在一些实施例中，便携式电子装置100可包含电路(未示出于图1中)用于支持位置确定能力，例如，由全球定位***(GPS)所提供。在一些实施例中，当不需要触摸敏感功能时，触摸屏140可以由显示屏幕替代。

存储器控制器112可以耦合到存储器单元120，其可包含一个或多个类型的计算机可读介质。存储器单元120可包含高速随机存取存储器(例如，SRAM或DRAM)和/或非易失性存储器，例如，一个或多个磁盘存储装置、一个或多个光存储装置和/或闪存。存储器单元120可储存操作***122，例如，LINUX、UNIX、OSX、WINDOWS、Android或嵌入式操作***例如，VxWorks。操作***122可包含用于处理基本***服务和用于执行依赖硬件的任务的程序。存储器单元120还可在通信模块124中储存通信程序。通信程序可用于与一个或多个附加的装置、一个或多个计算机和/或一个或多个服务器通信。存储器单元120可包含显示模块125、接触/运动模块126，以确定一个或多个接触点和/或它们的移动，以及图形模块128。图形模块128可支持小部件(widget)，即，具有嵌入图形的模块或应用。小部件可以使用JavaScript、HTML、AdobeFlash或其它合适的计算机程序语言和技术来实施。

存储器单元120还可包含一个或多个应用129。例如，储存在存储器单元120的应用可包含电话应用、电子邮件应用、文本消息或即时消息应用、便签应用、地址簿或联系人列表、日历、拍照和管理应用以及音乐播放和管理应用。应用129可包含网页浏览器(未在图1中示出)用于以超文本标记语言(HTML)、无线置标语言(WML)或适用于组成网页的其它语言或其它在线内容来渲染页面书写。存储器单元120还可包含键盘模块(或一组指令)131。键盘模块131操作一个或多个软键盘。

应该注意到，每个以上识别的模块和应用对应于一组指令，用于执行一个或多个上述功能。这些模块(即，此组指令)不需要实施为单独的软件程序、方法或模块。各种模块和子模块可以重新安排和/或结合。便携式电子装置100的各种功能可以实施于含于一个或多个信号处理和/或专用集成电路的硬件和/或软件。

图2显示电子***的示范性实施例。如图2所示，电子***2包含处理器20和图像传感器21。处理器20用于在对象上检测兴趣区域(ROI)。图像传感器21用于在多个帧期间中的场景俘获多个连续帧。处理器20耦合到图像传感器21以接收关于俘获的帧的感测信号S20。处理器20在所俘获的帧中选择一个帧以作为参考帧。在一实施例中，参考帧可以是在处理器20开始操作检测ROI后发生的第一帧期间中俘获的帧。处理器20将参考帧分成多个子区域。因此，关于参考帧的感测信号S20分别属于参考帧的子区域，且每个子区域的感测信号S20包含由子区域覆盖的像素的颜色信息。颜色信息可以是RGB、YUV、YCrCb、灰度级、红外数据或传感器原始数据。在一实施例中，处理器20通过图像传感器的像素配置、多个方形、多个多边形、或多个圆形来分割参考帧。例如，如图3所示，参考帧3显示包含对象(例如，人)30和背景31的场景，且帧3通过多边形分成子区域，例如，子区域301和302。在另一实施例中，处理器20通过超级像素分割参考帧。如图4所示，在对象(例如，人)40和背景41之间有一些边缘。此外，背景41包含具有相对高的亮度的一些部分和具有相对低的亮度的一些部分，其导致变化亮度的部分之间的颜色差。因此，处理器20通过超级像素将参考帧分成子区域(例如，子区域401和402)，其根据显示于参考帧4的边缘外观和颜色差来确定。每个子区域对应于一个对象。例如，如在参考帧4中所示，对应于区域402的对象包含对象40的嘴巴、鼻子、下巴和脸颊。

在完成参考帧的分割后，对象可以移动到接下来的帧期间。此时，至少一个子区域的形状和/或位置可以通过追踪至少一个子区域的对应对象来改变。例如，如图4所示，当对象40向右移动时，子区域402的位置随着对应对象(包含嘴巴、鼻子、下巴和脸颊)的移动而移动。覆盖对象40或位于对象40附近的子区域的形状和/或位置可以随着对应对象的移动而改变。

当获得参考帧的子区域时，处理器20对发生在参考帧俘获后的预定时间间隔中的参考帧的每个子区域的感测信号S20执行具体操作以获得特征。在实施例中，在预定时间间隔中，有若干帧期间。处理器20根据获得的特征生成关于子区域的特征信号。在实施例中，特征信号是关于对象(人30或40)的生命指征的信号，例如，心率、呼吸率或血氧含量。在下文中，使用关于心率的特征信号是在其中获得的示例来描述具体操作。在此情况下，特征信号被称作“生命指征信号”。由于当血液流过时具体对象的肤色可改变，颜色信息可作为生命指征特征来估计对象的心率。在此情况下，对于每个子区域，处理器20对对应感测信号执行具体操作以计算涉及对应感测信号在预定时间间隔中的像素的至少一个颜色组分(例如，R、G和/或B组分)的平均值。计算的平均值用作子区域的生命指征特征。根据计算的平均值，处理器20估计关于心率的特征信号。

在实施例中，处理器20估计参考帧所有子区域的特征信号。然而，在其它实施例中，处理器20可估计参考帧的一些子区域的特征信号。例如，来自子区域的在参考帧中过曝或曝光不足的感测信号的质量通常较差，因为生命指征的细微改变可丢失，并因此，过曝或曝光不足的这些子区域可能对于ROI检测是无效的。因此，处理器20仅仅估计除了过曝或曝光不足的的子区域的子区域的特征信号。

然后，对于每个估计的特征信号，处理器20确定特征信号是否是有效的图像信号。在一实施例中，处理器20评估特征信号的质量并根据所评估的质量确定特征信号是否为有效的图像信号。在一个情形中，处理器20可确定发生在预定时间间隔中的两个邻近帧之间的一个子区域的图像差是否大于预定阈值(被称作“像素域方式”用于质量评估)。当图像差不大于预定阈值时，其表示对象可能没有移动或可能在两个邻近帧期间位移中微小移动，处理器20确定特征信号的质量是高的并确定特征信号是有效的图像信号；当图像差大于预定阈值，其表示对象可在两个邻近帧期间位中移动更大的位移，处理器20确定特征信号的质量低并确定特征信号不是有效的图像信号。在另一情形中，处理器20可确定是否有相对高的峰值发生在预定时间间隔内的一个子区域的特征信号中(被称作“信号域方式”用于质量评估)。当没有相对高的峰值时，其表示对象可具有稳定的特征信号或没有移动或在这些若干连续帧期间移动微小位移，处理器20确定特征信号的质量高并确定特征信号是有效的图像信号；当存在相对高的峰值时，其表示对象可具有不稳定的特征信号或在这些若干连续帧期间移动更大位移，处理器20确定特征信号的质量低并确定特征信号不是有效的图像信号。在另外另一情形中，处理器20可经由一些技术将特征信号从时域转换到频域，例如，快速傅里叶变换(FFT)。处理器20确定频谱能量是否集中在一个频谱频率的小的附近频率范围(被称作“频域方式”用于质量评估)。当频谱能量的集中度大于预定阈值时，处理器20确定特征信号的质量高并确定特征信号是有效的图像信号；当频谱能量的集中度不大于预定阈值时，处理器20确定特征信号的质量低并确定特征信号不是有效的图像信号。处理器20通过像素域、信号域以及频域方式中的至少一个评估每个特征信号的质量。在实施例中，对于一个子区域，以上定义的方式中的至少一个在完成特征信号的获得后执行。在另一实施例中，对于一个子区域，以上定义的方式中的至少一个在预定时间间隔内的若干帧期间中执行，其中若干帧期间的总长度短于预定时间间隔。即，特征的质量可以在完成特征信号的估计之前预先评估。

在另一实施例中，对于每个估计的特征信号，处理器20将特征信号与提前获得的或是已经储存在存储器中的预定参考信号进行比较，并根据比较结果(特征比较)确定特征信号是否为有效的图像信号。当特征信号和预定参考信号之间的差在参考范围内时，处理器20确定特征信号是有效的图像信号；当特征信号与预定参考信号之间的差在参考范围外时，处理器20确定第一特征信号不是有效的图像信号。

在另外另一实施例，对于每个估计的特征信号，处理器20通过对子区域执行对象检测(例如，皮肤检测、面部检测或胸部检测)或使用对象的位置信息，确定特征信号是否是有效的图像信号。在一些实施例中，处理器20可执行质量评估、特征比较和对象检测中的至少两个，以确定特征信号是否是有效的图像信号。

当仅仅一个特征信号确定为有效的图像信号，处理器20直接识别对应子区域为ROI。在若干特征信号确定为有效的图像信号时，处理器20合并彼此相邻的对应子区域，以形成合并后的区域并识别合并后的区域为ROI。如果仍然由独立于合并后的区域的子区域，处理器20识别子区域为另一ROI。当识别了ROI后，ROI可以显示于位于电子***2中或连接到电子***2的显示器，例如，液晶显示器或触摸面板。

在图2的实施例中，处理器20和图像传感器21实施在一个单个电子装置中，例如，显示于图1中的便携式电子装置100。处理器20由图1的处理器110来实施，且图像传感器21是照相机，例如，显示于图1中的照相机150。在另一实施例中，处理器20和图像传感器21实施在不同的电子装置中。例如，处理器20实施在生命指征测量装置中，图像传感器21实施在照相机中。处理器20以有线或无线连接方式耦合到图像传感器21。

在图2的实施例中，处理器20可以由一个图像处理器和一个数据处理器来实施。如图5所示，图像处理器50执行关于如以上所描述的帧分割的操作，数据处理器51执行关于感测信号的获得、来自感测信号的特征信号的估计，每个特征信号是否是有效的图像信号的确定以及ROI的识别的操作。

根据以上实施例，当识别至少一个ROI时，ROI可作为用于生命指征测量(例如，对象的心率、呼吸率、血氧含量)、面部识别或照相机自动对焦的区域。

图6显示检测装置的示范性实施例。如图6所示，检测装置6包含图像处理模块61、计算模块62和识别模块63，并用于在对象上检测兴趣区域(ROI)。图像传感器60通过有线或无线连接方式耦合到检测装置6。图像传感器60用于从多个帧期间的场景俘获多个连续帧。在实施例中，图像传感器60是照相机，例如，显示于图1中的照相机150。图像处理模块61耦合图像传感器60，以接收关于复活的帧的感测信号S60。图像处理模块61在俘获的帧中选择一个帧以作为参考帧。在一实施例中，参考帧可以是在发生于处理器20开始检测ROI之后的第一帧期间俘获的帧。图像处理模块61将参考帧分成多个子区域。因此，关于参考帧的感测信号S60分别属于参考帧的子区域，且每个子区域的感测信号S60包含由子区域覆盖的像素的颜色信息。颜色信息可以是RGB、YUV、YCrCb、灰度级、红外数据或传感器原始数据，在一实施例中，图像处理模块61用图像传感器的像素配置、多个方形、多个多边形或多个圆形分割参考帧。例如，如图3所示，参考帧3显示包含对象(例如，人)30和背景31的场景，且帧3由方形被分割为子区域，例如，子区域301和302。在另一实施例中，图像处理模块61由超级像素分割参考帧。如图4所示，在对象(例如，人)40和背景41之间有一些边缘。此外，背景41包含具有相对高的亮度的一些部分和具有相对低的亮度的一些部分，这导致了变化亮度的部分之间的颜色差。因此，图像处理模块61通过根据显示于参考帧4中的边缘外观和颜色差确定的超级像素，将参考帧分割为子区域(例如，子区域401和402)。每个子区域对应于一个对象。例如，如4中所示，对应于区域402的对象包含对象40的嘴巴、鼻子、下巴和脸颊。

在完成参考帧的分割后，对象可以移动进入接下来的帧期间。此时，至少一个子区域的形状和/或位置通过追踪至少一个子区域的对应对象来改变。例如，如图4所示，当对象40向右移动时，子区域402的位置随着对应对象(包含嘴巴、鼻子、下巴和脸颊)的移动而移动。覆盖对象40或位于对象40附近的子区域的形状和/或位置可以随着对应对象的移动而改变。

当获得参考帧的子区域时，计算模块62对发生于参考帧俘获后的预定时间间隔中的参考帧的每个子区域的感测信号S60执行具体操作，以获得特征。在实施例中，在预定时间间隔中，有若干帧期间。计算模块62根据获得的特征生成关于子区域的特征信号。在实施例中，特征信号是关于对象(人30或40)的生命指征的信号，例如，心率、呼吸率或血氧含量。在下文中，使用关于心率的特征信号是在其中获得的示例来描述具体操作。在此情况下，特征信号被称作“生命指征信号”。由于当血液流过时具体对象的肤色可改变，颜色信息可作为生命指征特征来估计对象的心率。在此情况下，对于每个子区域，计算模块62对对应感测信号执行具体操作以计算涉及对应感测信号在预定时间间隔中的像素的至少一个颜色组分(例如，R、G和/或B组分)的平均值。计算的平均值用作子区域的生命指征特征。根据计算的平均值，计算模块62估计关于心率的特征信号。

在实施例中，计算模块62估计参考帧所有子区域的特征信号。然而，在其它实施例中，计算模块62可估计参考帧的一些子区域的特征信号。例如，来自子区域的在参考帧中过曝或曝光不足的感测信号的质量通常较差，因为生命指征的细微改变可丢失，并因此，过曝或曝光不足的这些子区域可能对于ROI检测是无效的。因此，计算模块62仅仅估计除了过曝或曝光不足的的子区域的子区域的特征信号。

然后，对于每个估计的特征信号，识别模块63确定特征信号是否是有效的图像信号。在一实施例中，识别模块63特征信号的质量并根据所评估的质量确定特征信号是否为有效的图像信号。在一个情形中，识别模块63可确定发生在预定时间间隔中的两个邻近帧之间的一个子区域的图像差是否大于预定阈值(被称作“像素域方式”用于质量评估)。当图像差不大于预定阈值时，其表示对象可能没有移动或可能在两个邻近帧期间位移中微小移动，识别模块63确定特征信号的质量是高的并确定特征信号是有效的图像信号；当图像差大于预定阈值，其表示对象可在两个邻近帧期间位中移动更大的位移，识别模块63确定特征信号的质量低并确定特征信号不是有效的图像信号。在另一情形中，识别模块63可确定是否有相对高的峰值发生在预定时间间隔内的一个子区域的特征信号中(被称作“信号域方式”用于质量评估)。当没有相对高的峰值时，其表示对象可具有稳定的特征信号或没有移动或在这些若干连续帧期间移动微小位移，识别模块63确定特征信号的质量高并确定特征信号是有效的图像信号；当存在相对高的峰值时，其表示对象可具有不稳定的特征信号或在这些若干连续帧期间移动更大位移，识别模块63确定特征信号的质量低并确定特征信号不是有效的图像信号。在另外另一情形中，处理器20可经由一些技术将特征信号从时域转换到频域，例如，快速傅里叶变换(FFT)。识别模块63确定频谱能量是否集中在一个频谱频率的小的附近频率范围(被称作“频域方式”用于质量评估)。频率范围是根据由计算模块62获得的特征确定的，例如，心率。当频谱能量的集中度大于预定阈值时，识别模块63确定特征信号的质量高并确定特征信号是有效的图像信号；当频谱能量的集中度不大于预定阈值时，识别模块63确定特征信号的质量低并确定特征信号不是有效的图像信号。识别模块63通过像素域、信号域以及频域方式中的至少一个评估每个特征信号的质量。在实施例中，对于一个子区域，以上定义的方式中的至少一个在完成特征信号的获得后执行。在另一实施例中，对于一个子区域，以上定义的方式中的至少一个在预定时间间隔内的若干帧期间中执行，其中若干帧期间的总长度短于预定时间间隔。即，特征的质量可以在完成特征信号的估计之前预先评估。

在另一实施例中，对于每个估计的特征信号，识别模块63将特征信号与提前获得的或是已经储存在存储器中的预定参考信号进行比较，并根据比较结果(特征比较)确定特征信号是否为有效的图像信号。当特征信号和预定参考信号之间的差在参考范围内时，识别模块63确定特征信号是有效的图像信号；当特征信号与预定参考信号之间的差在参考范围外时，识别模块63确定第一特征信号不是有效的图像信号。

在另外另一实施例，对于每个估计的特征信号，识别模块63通过对子区域执行对象检测(例如，皮肤检测、面部检测或胸部检测)或使用对象的位置信息，确定特征信号是否是有效的图像信号。在一些实施例中，识别模块63可执行质量评估、特征比较和对象检测中的至少两个，以确定特征信号是否是有效的图像信号。

当仅仅一个特征信号确定为有效的图像信号，识别模块63直接识别对应子区域为ROI。在若干特征信号确定为有效的图像信号时，识别模块63合并彼此相邻的对应子区域，以形成合并后的区域并识别合并后的区域为ROI。如果仍然由独立于合并后的区域的子区域，识别模块63识别子区域为另一ROI。当识别了ROI后，ROI可以显示于位于电子***6中或连接到电子***6的显示器，例如，液晶显示器或触摸面板。

在图6的实施例中，检测装置6可以由处理器实施，例如，显示于图1中的处理器110。在一实施例中，检测装置6中的每个模块可以由硬件和/或执行一个或多个上述对应功能的软件实施于处理器中，例如，显示于图1中的处理器110。在另一实施例中，存储器耦合到检测装置6。如图7所示，存储器7储存多组指令(或编码)70、71和72，分别对应于显示于图6中的模块的功能。检测装置6耦合到存储器7以载入多组指令70、71和72。当检测装置6执行任何一组指令时，检测装置6中的硬件和/或软件被称作对应模块。例如，当检测装置6执行关于质量评估功能的此组指令时，检测装置6中的硬件和/或软件被称作识别模块63。

根据以上实施例，当识别至少一个ROI时，ROI可作为用于生命指征测量(例如，对象的心率、呼吸率、血氧含量)、面部识别或照相机自动对焦的区域。

图8显示追踪装置的示范性实施例。如图8所示，图像追踪装置8包含图像传感器80、检测装置81和追踪模块82。图像传感器80用于从多个帧期间的场景俘获多个连续帧。检测装置81执行与图6的检测装置相同的检测操作以检测ROI。在检测ROI后，追踪模块82在接下来的帧中追踪ROI。

在一实施例中，追踪模块81可执行至少一个追踪算法以追踪ROI，例如，包含至少一个现存的基于图像的追踪技术的算法，例如，均值漂移、颗粒滤波或莫斯()。在另一实施例中，追踪模块82使能检测装置81以重复地执行检测操作以追踪ROI。在另一实施例中，追踪模块82执行至少一个追踪算法并使能检测装置81以重复地执行检测操作以追踪ROI。

图像追踪装置8可实施为便携式电子装置，例如，图1的便携式电子装置100或照相机装置。在另一实施例中，图像追踪装置8可实施为生物信号传感器用于检测形成ROI的心率、呼吸率、或血氧含量。每个检测装置81和追踪模块82可以通过硬件和/或执行一个或多个对应上述功能的软件实施在处理器中，例如，图1的处理器110。

图9显示检测方法的示范性实施例。检测方法可以由至少一个处理器执行，例如，显示于图1中的处理器110或显示于图2中的处理器20，或至少一个模块，例如，显示于图6中的模块。在对象上执行检测方法以检测兴趣区域(ROI)。来自多个帧期间中的场景的多个连续帧由图像传感器俘获，例如，显示于图1中的照相机150。检测方法包含在俘获的帧中间选择一个帧以作为参考帧的步骤(步骤S90)。在一实施例中，参考帧可以是在检测方法开始后发生的第一帧期间中俘获的帧。在另一实施例中，参考帧可以是在检测方法开始后的任何帧期间俘获的帧。检测方法还包括将参考帧分成多个子区域的步骤(步骤S91)。因此，关于参考帧的感测信号分别属于参考帧的子区域，且每个子区域的感测信号包含由子区域覆盖的像素的颜色信息。颜色信息可以是RGB、YUV、YCrCb、灰度级、红外数据或传感器原始数据，在一实施例中，参考帧是用图像传感器的像素配置、多个方形、多个多边形或多个圆形来分割。例如，如图3所示，参考帧3显示包含对象(例如，人)30和背景31的场景，且帧3由方形被分割为子区域，例如，子区域301和302。在另一实施例中，由超级像素分割参考帧。如图4所示，在对象(例如，人)40和背景41之间有一些边缘。此外，背景41包含具有相对高的亮度的一些部分和具有相对低的亮度的一些部分，这导致了变化亮度的部分之间的颜色差。因此，通过根据显示于参考帧4中的边缘外观和颜色差确定的超级像素，将参考帧分割为子区域(例如，子区域401和402)。每个子区域对应于一个对象。例如，如4中所示，对应于区域402的对象包含对象40的嘴巴、鼻子、下巴和脸颊。

在完成参考帧的分割的步骤后，对象可以移动进入接下来的帧期间。此时，至少一个子区域的形状和/或位置通过追踪至少一个子区域的对应对象来改变。例如，如图4所示，当对象40向右移动时，子区域402的位置随着对应对象(包含嘴巴、鼻子、下巴和脸颊)的移动而移动。覆盖对象40或位于对象40附近的子区域的形状和/或位置可以随着对应对象的移动而改变。

检测方法也包含对发生于参考帧俘获后的预定时间间隔中的参考帧的每个子区域的感测信号执行具体操作，以获得特征的步骤(步骤S92)并根据获得的特征生成关于子区域的特征信号的步骤(步骤S93)。在实施例中，有若干帧期间。在实施例中，特征信号是关于对象(人30或40)的生命指征的信号，例如，心率、呼吸率或血氧含量。在方法中，使用关于心率的特征信号是在其中获得的示例来描述具体操作。在此情况下，特征信号被称作“生命指征信号”。由于当血液流过时具体对象的肤色可改变，颜色信息可作为生命指征特征来估计对象的心率。在此情况下，对于每个子区域，在对应感测信号上执行具体操作以计算涉及对应感测信号在预定时间间隔中的像素的至少一个颜色组分(例如，R、G和/或B组分)的平均值。计算的平均值用作子区域的生命指征特征。根据计算的平均值，估计关于心率的特征信号。

在实施例中，估计参考帧所有子区域的特征信号。然而，在其它实施例中，估计参考帧的一些子区域的特征信号。例如，来自子区域的在参考帧中过曝或曝光不足的感测信号的质量通常较差，因为生命指征的细微改变可丢失，并因此，过曝或曝光不足的这些子区域可能对于ROI检测是无效的。因此，除了过曝或曝光不足的的子区域的子区域的特征信号被估计。

检测方法还包括，对于每个估计的特征信号，确定特征信号是否是有效的图像信号的步骤(步骤S94)。在一实施例中，评估特征信号的质量，并根据所评估的质量确定特征信号是否为有效的图像信号。在一个情形中，确定发生在预定时间间隔中的两个邻近帧之间的一个子区域的图像差是否大于预定阈值(被称作“像素域方式”用于质量评估)。当图像差不大于预定阈值时，其表示对象可能没有移动或可能在两个邻近帧期间位移中微小移动，确定特征信号的质量是高的并确定特征信号是有效的图像信号；当图像差大于预定阈值，其表示对象可在两个邻近帧期间位中移动更大的位移，确定特征信号的质量低，且特征信号不确定为有效的图像信号。在另一情形中，确定是否有相对高的峰值发生在预定时间间隔内的一个子区域的特征信号中(被称作“信号域方式”用于质量评估)。当没有相对高的峰值时，其表示对象可具有稳定的特征信号或没有移动或在这些若干连续帧期间移动微小位移，确定特征信号的质量高并确定特征信号是有效的图像信号；当存在相对高的峰值时，其表示对象可具有不稳定的特征信号或在这些若干连续帧期间移动更大位移，确定特征信号的质量低并确定特征信号不是有效的图像信号。在另外另一情形中，可经由一些技术将特征信号从时域转换到频域，例如，快速傅里叶变换(FFT)。确定频谱能量是否集中在一个频谱频率的小的附近频率范围(被称作“频域方式”用于质量评估)。当频谱能量的集中度大于预定阈值时，确定特征信号的质量高并确定特征信号是有效的图像信号；当频谱能量的集中度不大于预定阈值时，确定特征信号的质量低并确定特征信号不是有效的图像信号。通过像素域、信号域以及频域方式中的至少一个评估每个特征信号的质量。在实施例中，对于一个子区域，以上定义的方式中的至少一个在完成特征信号的获得后执行。在另一实施例中，对于一个子区域，以上定义的方式中的至少一个在预定时间间隔内的若干帧期间中执行，其中若干帧期间的总长度短于预定时间间隔。即，特征的质量可以在完成特征信号的估计之前预先评估。

在另一实施例中，对于每个估计的特征信号，将特征信号与提前获得的或是已经储存在存储器中的预定参考信号进行比较，并根据比较结果(特征比较)确定特征信号是否为有效的图像信号。当特征信号和预定参考信号之间的差在参考范围内时，确定特征信号是有效的图像信号；当特征信号与预定参考信号之间的差在参考范围外时，确定第一特征信号不是有效的图像信号。

在另外另一实施例，对于每个估计的特征信号，识别模块63通过对子区域执行对象检测(例如，皮肤检测、面部检测或胸部检测)或使用对象的位置信息，确定特征信号是否是有效的图像信号。在一些实施例中，可执行质量评估、特征比较和对象检测中的至少两个，以确定特征信号是否是有效的图像信号。

检测方法还包含当至少一个特征信号确定为有效的图像信号时，识别至少一个对应子区域为ROI的步骤(步骤S95)。当仅仅一个特征信号确定为有效的图像信号，直接识别对应子区域为ROI。当若干特征信号确定为有效的图像信号时，合并彼此相邻的对应子区域，以形成合并后的区域并识别合并后的区域为ROI。如果仍然由独立于合并后的区域的子区域，识别子区域为另一ROI。当识别了ROI后，ROI可以显示于显示器，例如，液晶显示器或触摸面板。

检测方法还包括追踪在发生于参考帧后的帧中获得的ROI。根据以上实施例，通过ROI的获得和ROI追踪，检测方法可以由电子装置执行，例如，显示于图1中的便携式电子装置100用于生命指征测量，例如，对象的心率、呼吸、血氧含量、面部识别或照相机的自动对焦。

在一实施例中，当由装备了图像传感器或连接到图像传感器的电子装置执行检测方法时，例如，显示于图1中的便携式电子装置100，检测方法还包括由图像传感器俘获多个连续帧的步骤，例如，显示于图1中的照相机150。

尽管本发明已经以示例的方式和在优选实施例方面进行描述，要理解，本发明不限于所公开的实施例。相反，其旨在覆盖各种修改和类似布置(如本领域技术人员熟知的)。因此，所附的权利要求的范围应该符合最广解释以便包含所有的修改和类似安排。

Claims (29)

1.一种检测装置，用于检测由图像传感器俘获的第一帧中的至少一个兴趣区域(ROI)，包含：

图像处理模块，将所述第一帧分割为多个子区域；

计算模块，在所述多个子区域中获得第一子区域的第一生命指征特征，以生成第一特征信号；以及

识别模块，接收所述第一特征信号，并确定所述第一特征信号是否是第一有效图像信号，

其中，当所述识别模块确定所述第一特征信号是所述第一有效图像信号时，所述识别模块识别所述第一子区域为第一ROI。

2.如权利要求1所述的检测装置，其特征在于，所述图像处理模块通过所述图像传感器的像素配置、多个方形、多个多边形或多个圆形将所述第一帧分割为所述多个子区域。

3.如权利要求1所述的检测装置，其特征在于，所述图像处理模块根据显示于所述第一帧的颜色差或边缘外观将所述第一帧分割为多个子区域。

4.如权利要求1所述的检测装置，其特征在于，每个所述子区域对应于对象，且在发生于所述第一帧被俘获后的预定时间间隔中，一个子区域的形状或位置通过追踪对应对象而改变。

5.如权利要求1所述的检测装置，其特征在于，所述计算模块对在发生于所述第一帧被俘获后的预定时间间隔中的所述第一子区域的感测信号上执行具体操作，以获得所述第一生命指征特征，且所述第一特征信号是根据所述第一生命指征特征来估计的。

6.如权利要求5所述的检测装置，其特征在于，所述计算模块对所述感测信号执行所述具体操作，以提取所述第一帧的至少一个颜色组分的平均值以作为所述第一生命指征特征。

7.如权利要求1所述的检测装置，其特征在于，所述第一生命指征特征是关于人的心率、呼吸率或血氧含量。

8.如权利要求1所述的检测装置，其特征在于，所述识别模块评估所述第一特征信号的质量，并根据评估结果确定所述第一特征信号是否是所述第一有效图像信号。

9.如权利要求1所述的检测装置，其特征在于，所述识别模块将所述第一特征信号与预定参考信号比较，并根据比较结果确定所述第一特征信号是否是所述第一有效图像信号。

10.如权利要求9所述的检测装置，其特征在于，当所述第一特征信号与所述预定参考信号之间的差在参考范围内时，所述识别模块确定所述第一特征信号是所述第一有效图像信号，且当所述第一特征信号与所述预定参考信号之间的所述差在所述参考范围外时，所述识别模块确定所述第一特征信号不是所述有效图像信号。

11.如权利要求1所述的检测装置电路，其特征在于，所述计算模块在所述多个子区域获得第二子区域的第二生命指征特征，以生成第二特征信号，且所述识别模块接收所述第二特征信号，并确定所述第二特征信号是否是第二有效图像信号，以及

其中，当所述识别模块确定所述第二特征信号是所述第二有效图像信号且所述第二子区域邻近于所述第一子区域时，所述识别模块将所述第一子区域和所示第二子区域合并，以形成合并的区域且识别所述合并的区域为所述第一ROI。

12.如权利要求1所述的检测装置电路，其特征在于，所述计算模块在所述多个子区域获得第二子区域的第二生命指征特征以生成第二特征信号，且所述识别模块接收所述第二特征信号，并确定所述第二特征信号是否是第二有效图像信号，

其中当所述识别模块确定所述第二特征信号是所述第二有效图像信号且所述第二子区域独立于所述第一子区域时，所述识别模块识别所述第二子区域为第二ROI。

13.一种检测方法，用于检测至少一个兴趣区域(ROI)：

俘获多个连续帧；

在所述多个连续帧中将第一帧分割为多个子区域；

在所述多个子区域获得第一子区域的第一生命指征特征；

根据所述第一生命指征特征生成第一特征信号；

确定所述第一特征信号是否是第一有效图像信号；

当确定所述第一特征信号是所述第一有效图像信号，识别所述第一子区域为第一ROI；以及

追踪发生于所述第一帧后的帧的所述第一ROI。

14.如权利要求13所述的检测方法，其特征在于，在将所述第一帧分割为所述多个子区域的步骤中，通过图像传感器的像素配置、多个方形、多个多边形或多个圆形分割所述第一帧。

15.如权利要求13所述的检测方法，其特征在于，在将所述第一帧分割为所述多个子区域的步骤中，根据显示于所述第一帧的颜色差或边缘外观分割所述第一帧。

16.如权利要求13所述的检测方法，其特征在于，每个所述子区域对应于对象，且在发生于所述第一帧被俘获后的预定时间间隔中，一个子区域的形状或位置通过追踪对应对象而改变。

17.如权利要求13所述的检测方法，其特征在于，在获得所述第一子区域的所述第一生命指征特征的步骤中，对在发生于所述第一帧被俘获后的预定时间间隔中的所述第一子区域的感测信号上执行具体操作，以获得所述第一生命指征特征。

18.如权利要求17所述的检测方法，其特征在于，对所述感测信号执行所述具体操作，以提取所述第一帧的至少一个颜色组分的平均值以作为所述第一生命指征特征。

19.如权利要求13所述的检测方法，其特征在于，所述第一生命指征特征是关于人的心率、呼吸率或血氧含量。

20.如权利要求13所述的检测方法，其特征在于，在确定所述第一特征信号是否是所述第一有效图像信号的步骤中，评估所述第一特征信号的质量，并根据评估结果确定所述第一特征信号是否是所述第一有效图像信号。

21.如权利要求13所述的检测方法，其特征在于，在确定所述第一特征信号是否是所述第一有效图像信号的步骤中，所述第一特征信号与预定参考信号比较，并根据比较结果确定所述第一特征信号是否是所述第一有效图像信号。

22.如权利要求13所述的检测方法电路，其特征在于，还包括：

在所述多个子区域获得第二子区域的第二生命指征特征，以生成第二特征信号；

确定所述第二特征信号是否是第二有效图像信号；

当确定所述第二特征信号是所述第二有效图像信号时，确定所述第二子区域是否邻近于所述第一子区域，用于检测所述至少一个ROI。

23.如权利要求22所述的检测方法电路，其特征在于，还包括：

当确定所述第二子区域邻近于所述第一区域时，将所述第一子区域和所述第二子区域合并，以形成合并的区域；以及

识别所述合并的区域为所述第一ROI。

24.如权利要求22所述的检测方法电路，其特征在于，还包括：

当确定所述第二子区域不是邻近于所述第一区域时，识别所述第二子区域为独立于所述第一ROI的第二ROI。

25.一种图像追踪装置，其特征在于，包含：

图像传感器，俘获多个连续帧；

检测装置，通过将一个帧分割为多个子区域对所述连续帧执行检测操作，在所述多个子区域中获得至少一个子区域的至少一个生命指征特征，以生成至少一个特征信号，并确定所述至少一个特征信号是否是有效的，其中，当所述检测装置确定所述至少一个特征信号是有效的时，所述检测装置识别所述至少一个子区域为兴趣区域(ROI)；以及

追踪模块，追踪发生于所述一个帧之后的帧中的ROI。

26.如权利要求25所述的图像追踪装置，其特征在于，所述追踪模块执行至少一个追踪算法以追踪所述ROI。

27.如权利要求25所述的图像追踪装置，其特征在于，所述至少一个追踪算法包含平方漂移、颗粒滤波和莫斯中的至少一个。

28.如权利要求25所述的图像追踪装置，其特征在于，所述追踪模块使能所述检测装置重复地执行所述检测操作以追踪所述ROI。

29.如权利要求25所述的图像追踪装置，其特征在于，所述追踪模块执行至少一个追踪算法并使能所述检测装置重复地执行所述检测操作以追踪所述ROI。