CN110415486A - 姿态判断方法、电子***以及非暂态电脑可读取记录媒体 - Google Patents

Abstract

本发明提供一种姿态判断方法、电子***以及非暂态电脑可读取记录媒体。该姿态判断方法适用于包括图像撷取装置的电子***，且图像撷取装置对应目标物来设置。所述姿态判断方法包括：取得图像撷取装置所撷取的多张连续图像；对连续图像进行动作检测；根据动作检测的检测结果判断连续图像的图像内容是否在动作后静止；以及判断在图像内容动作后静止时的目标物的姿态。本发明能够判断目标物当前的姿态并在适当的时机发出提示，可靠且成本低廉。

Description

姿态判断方法、电子***以及非暂态电脑可读取记录媒体

技术领域

本发明是有关于一种姿态判断方法、电子***以及非暂态电脑可读取媒体。

背景技术

近年来，人口老化的速度正快速地成长。在繁忙的都市当中，子女并无法随时近距离的照顾长辈。因此居家照护便越发重要，居家照护机构或看护派遣中心也跟着林立而生。

即使在老年照护或病患照护的机构当中，看护者也无法一对一的照顾所有的长辈或病患。因此，这些机构常在室内环境例如床铺附近设置摄影机等监视***，来监看卧床的老年人或病患是否可能发生危险。然而，目前的监视***并没有图像辨识的功能，看护者仍须时时监看着图像画面才能够确保老年人或病患的安全。据此，一种能够自动在卧床的老年人或病患可能发生危险时提出警示，且符合成本考虑的自动化***可说是当前时代的需求。

发明内容

有鉴于此，本发明提出一种姿态判断方法、电子***以及非暂态电脑可读取媒体，能够判断目标物当前的姿态并在适当的时机发出提示，可靠且成本低廉。

本发明的一实施例提出一种姿态判断方法，适用于包括图像撷取装置的电子***，且图像撷取装置对应目标物设置。所述姿态判断方法包括：取得图像撷取装置所撷取的多张连续图像；对连续图像进行动作检测；根据动作检测的检测结果判断连续图像的图像内容是否在动作后静止；以及判断在图像内容动作后静止时的目标物的姿态。

从另一观点来看，本发明的一实施例提出一种电子***，包括图像撷取装置以及处理器。图像撷取装置对应于目标物设置并且用以撷取多张连续图像。处理器耦接于图像撷取装置，用以：取得图像撷取装置所撷取的连续图像；对连续图像进行动作检测；根据动作检测的检测结果判断连续图像的图像内容是否在动作后静止；以及判断在图像内容动作后静止时的目标物的姿态。

从又另一观点来看，本发明的一实施例提出一种非暂态电脑可读取媒体，存储有程序码，当此程序码被载入至电脑并执行后可完成姿态判断方法。所述姿态判断方法包括：取得多张连续图像；对连续图像进行动作检测；根据动作检测的检测结果判断连续图像的图像内容是否在动作后静止；以及判断在图像内容动作后静止时的目标物的姿态。

基于上述，本发明实施例所提出的姿态判断方法、电子***以及非暂态电脑可读取记录媒体，对图像撷取装置所撷取的多张连续图像进行动作检测，来找出连续图像中的图像内容在动作后静止时的图像，以进行图像分析来判断目标物在动作后静止时的姿态。由于动作检测所需耗费的计算资源远小于图像分析所需耗费的计算资源，因此本发明实施例可大幅减少运算负担，供了可靠且成本低廉的姿态判断方式与工具。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。

附图说明

图1绘示本发明一实施例的图像内容的状态示意图。

图2绘示本发明一实施例的电子***的方块图。

图3至图7绘示本发明一实施例的姿态判断方法的流程图。

图8至图13绘示本发明一实施例的姿态判断方法的示意图。

附图标号

100：电子***

110：图像撷取装置

120：处理器

130：提示装置

FF：人脸外框

IMG：当前图像信息

NF：正规化图像

ROI：兴趣区域

R1、R2、R3、R4：区域

R80：人脸外框的中央80％面积的区域

S110、S120、S130、S140、S150、S160：姿态判断方法的步骤

S1401、S1402、S1403、S1404、S1405：步骤S140的详细步骤

S1501、S1502、S1503、S1504、S1505、S1506：步骤S150的详细步骤

S1601、S1603、S1605：步骤S160的详细步骤

S210、S220、S230、S240、S250、S260：判断目标物姿态的步骤。

具体实施方式

本发明的实施例将介绍一种姿态判断方法，从图像撷取装置所撷取的多张连续图像中判断目标物的姿态，例如包括判断目标物的面向与图像撷取装置之间的相对关系。特别是，由于目标物只有在动作后才会改变姿态，因此本发明实施例是在判断连续图像的图像内容从动作中转变为静止后，进一步分析并决定目标物的姿态。由于判断图像内容是否在动作中所需的计算量远小于进行图像分析以判断目标物姿态所需的计算量，因此本发明实施例所提出的方法能够大幅减少***的运算负担。

图1绘示本发明一实施例的图像内容的状态示意图。请参照图1，连续图像的图像内容包括四种可能的转变状态，以下分别以第一状态、第二状态、第三状态以及第四状态称之进行说明。

连续图像的图像内容维持静止的状态称为第一状态。在一些实施例中，当第n+1张图像与第n张图像相同时，表示图像内容维持静止，从第n张图像到第n+1张图像的转变状态为第一状态，表示图像内容无发生转变；当第n+2张图像与第n+1张图像相同时，表示图像内容仍然维持静止，因此从第n+1张图像到第n+2张图像的转变状态亦为第一状态，表示图像内容仍然无发生转变。

值得一提的是，当第2张图像与第1张图像相同时，表示初始的图像内容即维持静止，因此从第1张图像到第2张图像的转变状态亦类似于第一状态，表示初始的图像内容为静止。然而，以下的说明中将第一次出现的第一状态称为初始状态，而不以第一状态称之。

连续图像的图像内容从静止后开始动作的状态称为第二状态。在一些实施例中，当第n+2张图像与第n+3张图像不同时，表示图像内容在动作中，因此在已知第n+1张图像到第n+2张图像的转变状态为第一状态的前提下，第n+2张图像到第n+3张图像的转变状态为第二状态，表示图像内容从静止后开始动作。

连续图像的图像内容维持在动作中的状态称为第三状态。在一些实施例中，当第n+3张图像与第n+4张图像不同时，表示图像内容在动作中，因此在已知第n+2张图像到第n+3张图像的转变状态为第二状态的前提下，第n+3张图像到第n+4张图像的转变状态为第三状态，表示图像内容维持在动作中；当第n+4张图像与第n+5张图像不同时，表示图像内容仍然在动作中，因此在已知第n+3张图像到第n+4张图像的转变状态为第三状态的前提下，第n+4张图像到第n+5张图像的转变状态亦为第三状态，表示图像内容仍然维持在动作中。

连续图像的图像内容从动作后静止的状态称为第四状态。在一些实施例中，当第n+6张图像与第n+7张图像相同时，表示图像内容已经静止(即，第n+6张图像到第n+7张图像的转变状态为第一状态)，因此在已知第n+4张图像到第n+5张图像的转变状态为第三状态的前提下，第n+5张图像到第n+6张图像的转变状态为第四状态，表示图像内容从动作后转变为静止。

在一些实施例中，当取得两张连续图像时，根据上述的定义便能够得知此两张连续图像的图像内容是处于何种状态。

值得一提的是，在上述实施例中有两张图像相同即判断图像内容静止无转变，但本发明并不限于此。在其他实施例中，也可以设定为连续更多张图像(例如，3、4、5张或更多张图像)相同时，才判断图像内容是静止无转变。类似地，上述实施例中有两张图像不同即判断图像内容在动作中，但本发明并不限于此。在其他实施例中，也可以设定为连续更多张图像(例如，3、4、5张或更多张图像)不同时，才判断图像内容是在动作中。换言之，本发明并不在此限制判断初始状态、第一状态、第二状态、第三状态以及第四状态的实作方式，本领域技术人员当可依其需求来进行修饰或调整。

在本发明的一些实施例中，计算连续图像的光流(optical flow)信息，并且在根据光流信息判断连续图像的转变状态为第四状态时，进行图像分析来判断目标物的姿态，可节省运算资源。

图2绘示本发明一实施例的电子***的方块图。请参照图2，电子***100包括图像撷取装置110、处理器120以及提示装置130，用以执行本发明实施例所介绍的姿态判断方法以判断目标物的姿态，其中处理器120耦接于图像撷取装置110以及提示装置130。在一些实施例中，电子***100例如是在长照或看护设施中用以监控老年人或婴幼儿的睡眠姿势的***，能够判断老年人或婴幼儿在睡眠时是否处于不良姿势与记录老年人或婴幼儿的睡眠品质，或统计其翻身的次数等。在其他实施例中，电子***100亦可例如是在医院病房中用以监控病人姿势的***，本发明并不在此限。

图像撷取装置110是对应目标物设置，并且用以撷取多张连续图像。具体来说，图像撷取装置110是设置以用于拍摄目标物，因此在目标物没有被其他物体所遮蔽或覆盖的情形下，图像撷取装置110的视野范围内会包括目标物。在一些实施例中，图像撷取装置110例如是红外线摄影机，并且经设置以使其视野范围内至少包括床铺的上半部。在其他实施例中，图像撷取装置110视使用上的需求亦可实作为黑白摄影机或彩色摄影机等装置，本发明并不在此限制。

处理器120用以从图像撷取装置110取得其所撷取的多张连续图像，并且在判断连续图像的转变状态为第四状态时进行图像分析来判断目标物的姿态。此外，处理器120更在判断目标物的姿态后，通过提示装置130来发出提示信息，以提示其所判断的目标物的姿态。在一实施例中，处理器130可例如是双核心、四核心或八核心等各类型的中央处理器(central processing unit，CPU)、***芯片(system-on-chip，SOC)、应用处理器(application processor)、媒体处理器(media processor)、微处理器(microprocessor)、数字信号处理器(digital signal processor)或其他类似者，本发明不在此限制实作时所使用的处理器类型。

提示装置130用以根据处理器120的指令来发出提示信息。在一些实施例中，提示装置130例如是扬声器、显示器以及通信模块的其中之一或其组合。扬声器能够以声音或声响来发出提示信息提示使用者；显示器能够以图形或字样来发出提示信息提示使用者；而通信模块能够以电子邮件或手机简讯等方式来发出提示信息提示使用者。本领域技术人员当可依其需求来根据本发明实施例进行设计或修改，以实作出能够发出提示信息提示使用者的提示装置130，本发明并不在此限制提示装置130的具体实作方式。

图3至图7绘示本发明一实施例的姿态判断方法的流程图。图3至图7实施例所介绍的姿态判断方法适用于图2实施例的电子***100，故以下搭配电子***100中的各项元件来进行说明。此外，在本实施例中将用以监控睡眠姿势的***来作为电子***100的实例，以判断躺在床铺上的人是处于正躺、侧躺或棉被盖脸三种姿态的其中之一，但本发明并不限于此。

请参照图3，在步骤S110中，处理器120会取得图像撷取装置110所撷取的多张连续图像。

在本实施例中，图像撷取装置110的镜头朝向床铺设置，用以取得床铺的多张连续图像，并将所撷取的图像传递至处理器120。值得一提的是，根据图像撷取装置110的设置方式或角度，所取得的图像中会包括床铺以外或不必要关心的区域。因此，处理器120可设定兴趣区域(region of interest，ROI)作为用来辨识区域，在后续的图像分析与处理中都只处理兴趣区域中的图像，以减少计算的负担。举例来说，处理器120可例如将床铺分割为上下两个部分，其中有枕头的上半部为兴趣区域。

在步骤S120中，处理器120会对所取得的多张连续图像进行动作检测。具体来说，动作检测是用以判断连续图像中的图像内容是否在动作中，以取得检测结果。例如，处理器120可将连续图像中相邻的前后两张图像相减，再根据相减后两图像的差异来判断图像内容是否在动作中。因此，根据上述检测结果，当前的多张(例如但不限于，两张)连续图像的图像内容可能处于初始状态、第一状态、第二状态、第三状态或第四状态。

在本实施例中，人起初是躺于床铺上静止，因此处理器120取得前两张或前多张连续图像时，图像内容为初始状态(即，初次出现的第一状态)。

在步骤S130中，处理器120会根据检测结果来判断所述多张连续图像的图像内容的转变状态。若判断为初始状态或第一状态，表示当前图像内容在图像撷取装置110取得第一张图像后即静止(例如，初始状态)，则进入步骤S140，处理器120会从连续图像中取得目标物的参考图像；若判断为非初始状态的第一状态，表示当前图像内容维持静止，则处理器120可例如暂不对此判断进行回应而继续取得图像，或者，于其他实施例中，若判断为非初始状态的第一状态，同样进入步骤S140，取得目标物的参考图像，以更新目标物的参考图像；若判断为第二状态或第三状态，表示当前图像内容从静止后变为动作中或维持动作中，则进入步骤S150，处理器120会取得动作中的图像内容的移动方向；若判断为第四状态，表示当前图像内容在动作后变为静止，则进入步骤S160，处理器120会判断图像内容动作后静止时目标物的姿态。

图4绘示本发明一实施例中步骤S140的详细流程图。流程进入图4实施例的步骤表示当前图像内容在图像撷取装置110取得第一张图像后即静止。请参照图4，在步骤S1401中，处理器120会对静止图像进行图像分析，以判断静止图像的图像内容中是否包括目标物。由于在步骤S1401中的连续图像的图像内容皆为静止状态，因此这些连续图像又可称为静止图像。若判断静止图像的图像内容中包括目标物，则进入步骤S1402；反之，则会进入图7的流程(将于后续说明中详述之)。

在本实施例中，目标物为人脸或头型轮廓。因此，处理器120会对静止图像进行脸部检测，以判断静止图像的兴趣区域中是否有人脸。举例而言，脸部检测可使用OpenCV所释出的多种演算法，例如在兴趣区域中找出哈尔特征(Haar-like features)等来找出人脸，并且定义出人脸外框。

在步骤S1402中，处理器120会存储目标物的初始图像。具体来说，处理器120会将在连续图像中找出的目标物的图像存储于其所连接的存储装置(未绘示)中，以作为目标物的初始图像。所存储的初始图像可作为参考图像以在后续的图像分析中使用。

在本实施例中，处理器120会存储人脸外框内的人脸图像作为初始图像，并且开始在接下来取得的图像中追踪此人脸的位置。举例而言，处理器120可使用OpenCV的FacialLandmark来进行追踪动作，在输出人脸与位置的同时，也输出人脸的特征点。

为了判断目标物的姿态，在步骤S1403中，处理器120会判断静止图像中是否为目标物的第一面。具体来说，倘若静止图像中为目标物的第一面，则能够表示当前静止中的目标物是以第一面朝向图像撷取装置110，进入步骤S1404；反之，进入图7的流程。

在一些实施例中，判断图像中是否为目标物的第一面的方法例如可在图像中的目标物里寻找其中是否包括目标物的第一面的特征，若是则判断图像中的目标物为目标物的第一面，反之则判断图像中的目标物为目标物的第二面。

在本实施例中，人脸的第一面例如为正脸，第二面例如为侧脸，因此取鼻子作为正脸的判断特征。处理器120例如会在静止图像的人脸中寻找鼻子，若有则视为静止图像中的人脸为正脸，反之则表示虽然在步骤S1401中判断了静止图像的兴趣区域中有人脸，但其中并不包括正脸的判断特征，故视为静止图像中的人脸为侧脸。值得一提的是，由于鼻子在人脸的正中央，因此在一些实施例中，如图8所示，处理器120可只在人脸外框FF的中央80％面积的区域R80中寻找鼻子，以减少运算资源。

在步骤S1404中，处理器120会对静止图像中的目标物进行正规化，并存储目标物的正规化图像。正规化是用来将图像转正，以便于后续图像比对等处理的进行。具体来说，静止图像中目标物的第一面并不一定皆呈现同一个方向，因此处理器120可对其进行正规化，将其转换为以预设方向来呈现。类似地，所存储的正规化图像亦可作为参考图像在后续的图像分析中使用。

在本实施例中，如图8所示，静止图像中正脸的两眼连线可能并非水平(例如，歪头)，因此处理器120可取得人脸外框FF的中央80％面积的区域R80后，将其旋转以使其中两眼连线成为水平，以成为如图9所示的正规化图像NF，然后再存储此正规化图像NF。

值得一提的是，上述的步骤S1404为可选的。在一些实施例中，当处理器120在步骤S1403中判断静止图像中为目标物的第一面后便直接进入步骤S1405。另外，于另一实施例中，目标物的第一面已判断为呈现同一个方向，故在步骤S1404中，不需要进行正规化，而存储目标物的第一面的图像。

在步骤S1405中，处理器120会提示目标物的第一面是朝向图像撷取装置110，接着回到步骤S110以继续取得图像。具体来说，处理器120是判断目标物以第一面朝向图像撷取装置110，因此会通过提示装置130来发出提示信息，以提示目标物的第一面是朝向图像撷取装置110。

特别是，上述的步骤S140是当处理器120判断图像的转变状态为初始状态时所执行，并且在执行后回到步骤S110以继续取得图像。在一些实施例中，无论处理器120在执行完步骤S140后的图像是否仍为静止，转变状态皆不会再是初始状态。换言之，即使处理器120在执行完步骤S140后所继续取得的图像仍为静止，处理器120也会将其判断为非初始状态的第一状态而不回应地回到步骤S110继续取得图像。

在本实施例中，处理器120例如是通过作为通信模块的提示装置130来发出简讯给老人或小孩的照护者，以提示老人或小孩是以正脸朝向图像撷取装置110(即，正躺且未被棉被覆盖)。在其他实施例中，处理器120亦可例如是通过作为扬声器或显示器等的提示装置130来发出提示信息，本发明并不在此限。

图5绘示本发明一实施例中步骤S150的详细流程图。流程进入图5实施例的步骤表示当前图像内容从静止后变为动作中或维持动作中。请参照图5，在步骤S1501中，处理器120会取得在动作中的图像内容所对应的图像的光流信息，并且根据光流信息判断光流方向。由于步骤S1501中连续图像包括动作中的图像内容，因此处理器120会取得此些连续图像以计算光流信息，并对光流信息进行统计以决定光流方向。

在本实施例中，处理器120例如使用OpenCV的Lucas-Kanade optical flow演算法，先在多张的图像中找出相同的特征点位置(例如，边界点或角点等)，然后再利用每张图像中的特征点的位置差异计算出每个特征点的位移向量，位于图像中不同位置的此些位移向量即代表光流。本领域技术人员当可由相关文献获致足够计算光流信息以及寻找特征点的演算法(例如，Canny边缘检测算法、Harris角检测算法等等)，本发明并不在此限。

在本实施例中，处理器120会将上述的位移向量归类至上下左右四个方向当中。如图10所示，指向上方40度范围内的位移向量被归类为方向“上”，图10中以向上箭头表示；指向下方60度范围内的位移向量被归类为方向“下”，图10中以向下箭头表示；指向左方130度范围内的位移向量被归类为方向“左”，图10中以向左箭头表示；指向右方130度范围内的位移向量被归类为方向“右”，图10中以向右箭头表示。如此一来，方向为上方的判断会相对精确，能够较精确的判断出老人或小孩可能将棉被向上拉以盖住脸部的情况。然而，依据使用上的各种需求，本领域技术人员当可设计其他的方式来归类位移向量，本发明并不限于此。

在本实施例中，处理器120会过滤光流，也就是仅保留可信度较高的位移向量。根据连续图像的图像内容中有无脸部的情况，处理器120会分别根据不同的方式来进行过滤。

举例来说，处理器120可根据前一个姿态判断结果来决定是属于“有脸部”或“无脸部”。若前一个姿态判断结果为“以正脸朝向图像撷取装置110”或“正躺”，则决定为“有脸部”；若前一个姿态判断结果为“以侧脸朝向图像撷取装置110”或“侧躺”，则决定为“无脸部”，若前一个姿态判断结果为“棉被盖脸”，则决定为“无脸部”，于另一实施例中，处理器120亦可根据是否有先前存储的初始图像或参考图像来判断“有脸部”或“无脸部”。

“有脸部”的情况如图11所示，被归类为方向“上”的光流可能导致“棉被盖脸”的危险，因此必须经过人脸外框FF，且位移向量的长度必须大于长度阀值才会被保留。举例而言，长度阀值可设定为兴趣区域ROI高度的30％，也就是说太小的光流将被视为噪声而被排除。方向“左”或“右”的光流可以用于判断是否有翻身动作，因此只有在肩膀及其以下的部位，也就是在光流位于人脸外框FF以下的区域R2时才会被保留，位于区域R1中的方向“左”或“右”的光流则被排除。此外，方向“下”的光流则因其不会导致“棉被盖脸”的危险而全部排除，以减少运算时间。

“无脸部”的情况如图12所示，在此情况中兴趣区域ROI例如被区分为上方3/4的区域R3以及下方1/4的区域R4，但本发明并不限于此。方向“上”的光流必须经过肩膀才可能是拉被子的动作而导致“棉被盖脸”，因此必须经过区域R4，且位移向量的长度必须大于长度阀值(例如，兴趣区域ROI高度的30％)才会保留。方向“左”或“右”的光流可以用于判断是否有翻身动作，因此只有在肩膀及其以下的部位，也就是在光流位于区域R4时才会被保留，位于区域R3中的方向“左”或“右”的光流则被排除。此外，方向“下”的光流则因其不会导致“棉被盖脸”的危险而全部排除。

值得一提的是，在上述实施例中的兴趣区域ROI例如是有枕头的床铺上半部，因此基于肩膀的可能位置而将兴趣区域ROI区分为肩膀上方的区域R3以及肩膀下方的区域R4。然而，本发明并不限于此，本领域技术人员当可依需求来设计以进行光流过滤。

在本实施例中，处理器120在过滤完光流后会根据剩下的光流，来决定光流方向。举例来说，处理器120可以统计剩下光流对应的位移向量所被归类的方向(例如包括上、左、右)，并且决定数量最多的方向为光流方向。然而，本发明并不限于此。

在步骤S1502中，处理器120会判断是否存储有初始图像。具体来说，在图4实施例的步骤S1401中若处理器120有在静止图像中找到目标物，则目标物的初始图像会在步骤S1402中被存储。因此，处理器120判断存储装置中是否存储有目标物的初始图像，若有则进入步骤S1503，反之则进入步骤S1505，以光流方向作为动作中的图像内容的移动方向。

在本实施例中，处理器120会判断存储装置中是否存储有包括作为初始图像的人脸图像。若有，则表示在图4实施例的步骤S1402中有顺利找到目标物并存储其初始图像；反之，则可能表示图4实施例中的静止图像中的目标物就不存在或被覆盖，那么处理器120便会以步骤S1501中所计算的光流方向作为动作中的图像内容的移动方向，并将此移动方向记录于存储装置中。

在步骤S1503中，处理器120会根据初始图像，判断动作中的图像内容是否包括目标物。具体来说，处理器120会以初始图像为基准，在连续图像的其中之一(例如，对应当前状态的最后一张连续图像)的图像内容中追踪目标物。若图像内容中包括目标物，则进入步骤S1504，反之则进入步骤S1506，以预设覆盖方向来作为动作中的图像内容的移动方向。

在本实施例中，处理器120例如使用前述的OpenCV的Facial Landmark来进行追踪，以初始图像为基准来判断图像内容中是否包括人脸。举例而言，处理器120例如是设定第一相似度阀值，当所追踪的图像内容中包含有相似于初始图像中的人脸轮廓的轮廓时(例如，相似度高于第一相似度阀值)，便会判断图像内容中包括人脸。若处理器120判断其中不包括人脸，则可能表示人脸已经因为向上拉棉被的动作而被棉被所覆盖，因此处理器120会以预设覆盖方向(例如，上方)来作为动作中的图像内容的移动方向，并将此移动方向记录于存储装置中。

在步骤S1504中，处理器120会记录动作中的图像内容所对应的图像中的目标物为样板图像，并进入步骤S1505，以光流方向作为动作中的图像内容的移动方向。

在本实施例中，处理器120会将在图像内容中所追踪到的人脸存储为脸部样板，然后将步骤S1501中所计算出来的光流方向作为动作中的图像内容的移动方向，并将此移动方向记录于存储装置中。

在取得了动作中的图像内容的移动方向后，处理器120会回到步骤S110以继续取得连续图像。

图6绘示本发明一实施例中步骤S160的详细流程图。流程进入图6实施例的步骤表示当前图像内容在动作后变为静止，而在连续图像中，图像内容是静止的图像在图6实施例将以第一图像称之。例如，连续图像中的第n张图像与第n+1张图像相同，则第n张图像与第n+1张图像皆可以第一图像称之。

值得一提的是，由于第一图像亦为静止的图像，因此在图6实施例中的流程将类似于图4实施例中的流程。其差别在于，由于流程进入图6实施例的步骤时已并非初始状态，因此已经存储过的用来作为参考图像的初始图像或正规化图像可以不需要再次存储。也就是说，图6实施例的步骤S1601、S1603以及S1605将分别类似于图4实施例的步骤S1401、S1403以及S1405，其差别在于，在步骤S1601中若处理器120判断第一图像的图像内容中包括目标物，则直接进入步骤S1603来判断第一图像中是否为目标物的第一面，无须存储目标物的初始图像；在步骤S1603中若处理器120判断第一图像中为目标物的第一面，则直接进入步骤S1605来提示目标物是以第一面朝向图像撷取装置110，而无须再次建立与存储目标物的正规化图像。

请参照图6，在步骤S1601中，处理器120会对第一图像进行图像分析，以判断第一图像的图像内容中是否包括目标物。若判断第一图像中包括目标物，则进入步骤S1603；反之，则会进入图7的流程，以根据图像内容先前的移动方向来判断目标物的姿态(将于后续说明中详述之)。

在本实施例中，表示躺在床铺上的人可能曾经发生翻身或拉棉被等动作，并且在动作后(例如，翻完身或拉完棉被后)静止。因此，于步骤S1601中，处理器120会对静止时的图像进行图像分析，判断其图像内容中是否仍然包括有人脸。图像分析以判断人脸的方式已于步骤S1401的相关段落中举例说明，在此不再赘述。

在步骤S1603中，处理器120会判断第一图像中是否为目标物的第一面。具体来说，倘若第一图像中为目标物的第一面，则能够表示当前静止中的目标物是以第一面朝向图像撷取装置110，若判断第一图像中为目标物的第一面，则进入步骤S1605；反之，进入图7的流程，以根据图像内容先前的移动方向来判断目标物的姿态。

在本实施例中，处理器120例如会在第一图像的人脸中寻找鼻子，若有则表示第一图像中的人脸有很大机会为正脸，反之则表示第一图像中的人脸有很大机会为侧脸。

在步骤S1605中，处理器120会提示目标物的第一面是朝向图像撷取装置110，接着回到步骤S110以继续取得图像。具体来说，处理器120是判断目标物以第一面朝向图像撷取装置110，因此会通过提示装置130来发出提示信息，以提示目标物的第一面是朝向图像撷取装置110。

在本实施例中，处理器120例如是通过作为通信模块的提示装置130来发出简讯给老人或小孩的照护者，以提示老人或小孩是以正脸朝向图像撷取装置110(即，正躺且未被棉被覆盖)。在其他实施例中，处理器120亦可例如是通过作为扬声器或显示器等的提示装置130来发出提示信息，本发明并不在此限。于另一实施例中，提示装置130可显示特定时间段内曾经记录的所有动作或判断结果，例如有“正脸→有动作(翻身)→侧脸”，以使医护人员可推测目标物当前的姿态或被照护者的姿态进行统计(例如，计算翻身次数)等。

值得一提的是，虽然处理器120已经存储过的用来作为参考图像的初始图像或正规化图像，但仍可在图6实施例的流程中再次存储新的初始图像或正规化图像。

在一些实施例中，处理器120在步骤S1601中判断了第一图像的图像内容中包括目标物后，可例如先存储此目标物的初始图像后再进入步骤S1603。换言之，处理器120将会更新图4实施例的步骤S1402中所存储的目标物的初始图像。在一些实施例中，处理器120在步骤S1603判断了第一图像中为目标物的第一面后，例如会先对第一图像中的目标物进行正规化，并且存储目标物的正规化图像，随后再进入步骤S1605。换言之，处理器120将会更新图4实施例的步骤S1404中所存储的目标物的正规化图像。

图7绘示本发明一实施例中判断目标物姿态的流程图。流程进入图7实施例的步骤表示目标物当前并非以第一面朝向图像撷取装置110，也就是处理器120进行图像分析后无法在静止的图像当中找到目标物，或在静止的图像中找到目标物后，判断此图像中并非是目标物的第一面。因此，目标物可能被覆盖或是以不同于第一面的第二面朝向图像撷取装置110。

在步骤S210中，处理器120会判断先前是否有取得图像内容的移动方向。若有，则进入步骤S220，反之则回到步骤110继续取得连续图像。具体来说，只要图像内容曾经处于动作中的状态，处理器120就会执行过步骤S150而取得图像内容的移动方向，因此若在步骤S210中处理器120判断先前从未曾取得过图像内容的移动方向，表示进入此步骤时的连续图像的图像内容的转变状态为初始状态或第一状态，而还未执行过步骤S150；而若在步骤S210中处理器120判断先前曾经取得过图像内容的移动方向，表示进入此步骤时的连续图像的图像内容的转变状态为第四状态，并已执行过步骤S150而取得图像内容的移动方向。

在本实施例中，由于先前在取得图像内容的移动方向时处理器120同时将其记录于存储装置中，因此处理器120可通过判断存储装置中是否记录有图像内容的移动方向，来判断先前是否有取得图像内容的移动方向。

在步骤S220中，处理器120会判断移动方向是否为预设覆盖方向。若是，则进入步骤S240，反之则进入步骤S230。具体来说，预设覆盖方向是用以表示目标物可能被覆盖的动作方向，也就是若图像内容的移动方向为预设覆盖方向，则目标物有很大机会被覆盖。因此，处理器120会将先前取得的图像内容的移动方向与预设覆盖方向进行比较，若所述移动方向相同于预设覆盖方向，则进入步骤S240，进一步判断目标物是否被覆盖；若所述移动方向不同于预设覆盖方向，表示图像内容的移动方向与预设覆盖方向不同，进入步骤S230。

在本实施例中，由于拉棉被以致“棉被盖脸”的动作在图像内容中的移动方向是上方，因此预设覆盖方向为方向“上”。处理器120会判断存储装置中所记录的移动方向是否为方向“上”，若是，则处理器120会进一步根据图像内容来判断拉棉被的动作是否覆盖人脸，反之表示“向上拉棉被”的情形没有发生，则视为“以侧脸朝向图像撷取装置110”或“侧躺”。

在步骤S230中，处理器120会提示目标物是以不同于第一面的第二面朝向图像撷取装置110，接着回到步骤S110以继续取得图像。具体来说，处理器120判断目标物以第二面朝向图像撷取装置110，因此会通过提示装置130来发出提示信息，以提示目标物的第二面是朝向图像撷取装置110。

在本实施例中，如图13所示，处理器120例如是通过作为通信模块的提示装置130来发出内容包含有当前图像信息IMG的简讯或邮件等提示信息给老人或小孩的照护者，以提示老人或小孩是以侧躺朝向图像撷取装置110(例如但不限于，以文字提示于当前图像信息IMG的左上角)。在其他实施例中，处理器120亦可例如是通过作为扬声器或显示器等的提示装置130来发出提示信息，本发明并不在此限。

在步骤S240中，处理器120会判断是否记录有样板图像。若是，则进入步骤S250，反之则回到步骤S110继续取得图像。具体来说，即使图像内容曾经处于动作中的状态使得处理器120曾经取得图像内容的移动方向，此动作中的图像内容仍然可能因为不包括目标物而没有记录过样板图像(例如，图6实施例的步骤S1603：否)。然而，当处理器120在步骤S220中判断移动方向为预设覆盖方向且步骤S240中判断记录有样板图像，则其会根据样板图像与参考图像(例如，记录于存储装置中的初始图像或正规化图像)的相似度来进一步判断目标物是否被覆盖。

举例来说，处理器120例如是设定高于第一相似度阀值的第二相似度阀值，并且判断样板图像与参考图像的相似度是否高于第二相似度阀值，或判断样板图像与参考图像中是否包括相似度高于第二相似度阀值的轮廓。具体来说，若样板图像与参考图像的相似度过低，或样板图像与参考图像中不包括相似度高于第二相似度阀值的轮廓，表示在样板图像中已经找不到与目标物很相似的轮廓，而表示目标物很可能已经被覆盖；反之则表示样板图像中仍然存在有目标物的轮廓，而可确定目标物并未被覆盖。

在本实施例中，处理器120会判断存储装置中是否记录有样板图像。具体来说，若存储装置中记录有样板图像，表示处理器120曾经于图像内容在动作中判断出其中包括有目标物，因此处理器120有比较相似度的基准而能够决定当前或之前动作中的图像内容中是否有与目标物相似的轮廓，进入步骤S250，反之则表示处理器120无比较相似度的基准而会回到步骤S110继续取得图像。

在步骤S250中，处理器120会判断样板图像与参考图像的相似度是否高于预设阀值。若是，则进入步骤S230以提示目标物是以第二面朝向图像撷取装置110，反之则进入步骤S260以提示目标物被覆盖。此处的预设阀值例如为处理器120所预设的第二相似度阀值，实际的数值根据使用者的需求以及相似度的计算方式不同而有所不同，本发明并不在此限制。当样板图像与参考图像的相似度高于预设阀值，表示样板图像中尚存在有目标物的轮廓，而可视为目标物是以第二面朝向图像撷取装置110而未被覆盖；反之，当样板图像与参考图像的相似度不高于预设阀值，表示样板图像中已经找不到与目标物相似的轮廓，而可视为目标物被覆盖。

在本实施例中，处理器120会计算样板图像与存储装置中所记录的正规化图像NF的相似度，若存储装置中并没有记录正规化图像NF的相似度则计算样板图像与存储装置中所记录的初始图像的相似度。值得一提的是，本发明并不在此限制计算两图像相似度的具体方式。

举例来说，处理器120可使用方向梯度直方图(histogram of orientedgradient，HOG)来计算相似度，也就是在样板图像中寻找与参考图像中的人脸相似的轮廓。由于在参考图像中的人脸无论是正脸或侧脸都会存在例如是“Ω”形状的轮廓，因此处理器120可例如是在样板图像中寻找形状类似“Ω”的轮廓。如果在样板图像中的人脸已经被棉被所覆盖，则在样板图像中将找不到形状类似“Ω”的轮廓；反之，如果在样板图像中的人脸并未被棉被所覆盖，则在样板图像中将能够找到形状类似“Ω”的轮廓。

在步骤S260中，处理器120会提示目标物被覆盖，接着回到步骤S110以继续取得图像。具体来说，由于处理器120无法在样板图像中找到与参考图像中的人脸相似的轮廓，因此判断目标物被覆盖，而会通过提示装置130来发出提示信息，以提示目标物已经被覆盖。

在本实施例中，处理器120例如是通过作为通信模块的提示装置130来发出简讯给老人或小孩的照护者，以提示老人或小孩正发生棉被盖脸的情形。在其他实施例中，处理器120亦可例如是通过作为扬声器或显示器等的提示装置130来发出提示信息，本发明并不在此限。

根据本实施例所介绍的姿态判断方法以及电子***100，照护者能够即时的监控躺卧在床铺上的老年人或小孩。在老年人或小孩在动作后(例如，拉棉被)静止时，照护者能够接收到提示以得知当前老年人或小孩是否处于危险的姿态(例如，棉被盖脸)。

在一些实施例中，电子***100的处理器120会根据其所取得的判断结果(例如，包括正躺、侧躺以及棉被盖脸)，来计算与姿态相关的统计信息(例如，翻身次数等)，再将此统计信息附带于提示信息中通过提示装置130来发出。

在本发明的一实施例中，更提出一种非暂态的电脑可读取记录媒体，其中存储有电脑程序。此电脑程序被用以执行上述的姿态判断方法的各个步骤。此电脑程序由多个程序码片段所组成，这些程序码片段在被载入至电脑或处理器并执行后，便可上述姿态判断方法的步骤。

综上所述，本发明实施例所提出的姿态判断方法、电子***以及非暂态电脑可读取记录媒体，对图像撷取装置所撷取的多张连续图像进行动作检测，来找出连续图像中的图像内容在动作后静止时的图像，以进行图像分析来判断目标物在动作后静止时的姿态。由于诸如利用光流信息等方式就能够完成的动作检测所需耗费的计算资源远小于图像分析所需耗费的计算资源，因此本发明实施例可大幅减少运算负担，提供了可靠且成本低廉的姿态判断方式与工具。

虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何所属技术领域中相关技术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视权利要求所界定者为准。

Claims (20)

1.一种姿态判断方法，适用于包括一图像撷取装置的一电子***，其特征在于，该图像撷取装置对应一目标物设置，所述姿态判断方法包括：

取得该图像撷取装置所撷取的多张连续图像；

对该多张连续图像进行一动作检测；

根据该动作检测的一检测结果判断该多张连续图像的一图像内容是否在动作后静止；以及

判断在该图像内容在动作后静止时的该目标物的一姿态。

2.如权利要求1所述的姿态判断方法，其特征在于，更包括：

根据该动作检测的该检测结果取得在动作中的该图像内容的一移动方向。

3.如权利要求2所述的姿态判断方法，其特征在于，判断在该图像内容在动作后静止时的该目标物的该姿态的步骤包括：

对该图像内容在动作后静止时的一第一图像进行一图像分析，以判断该第一图像是否包括该目标物；

当判断该第一图像包括该目标物，根据该第一图像中的该目标物判断该目标物的该姿态；以及

当判断该第一图像不包括该目标物，根据该移动方向判断该目标物的该姿态。

4.如权利要求3所述的姿态判断方法，其特征在于，当判断该第一图像包括该目标物，根据该第一图像中的该目标物判断该目标物的该姿态的步骤包括：

判断该第一图像是否包括该目标物的一第一面的一特征；

当判断该第一图像包括该第一面的该特征，判断该目标物的该第一面朝向该图像撷取装置；以及

当判断该第一图像不包括该第一面的该特征，根据该移动方向判断该目标物的该姿态。

5.如权利要求4所述的姿态判断方法，其特征在于，根据该移动方向判断该目标物的该姿态的步骤包括：

比较该移动方向以及一预设覆盖方向；

当判断该移动方向不同于该预设覆盖方向，判断该目标物的一第二面朝向该图像撷取装置，其中该第二面不同于该第一面；以及

当判断该移动方向相同于该预设覆盖方向，计算该图像内容中，该目标物与该目标物的一参考图像的一相似度，并且根据该相似度判断该目标物的该第二面朝向该图像撷取装置或该目标物被覆盖。

6.如权利要求2所述的姿态判断方法，其特征在于，根据该动作检测的该检测结果取得在动作中的该图像内容的该移动方向的步骤包括：

取得该多张连续图像中，在动作中的该图像内容所对应的一第二图像；

当该第二图像不包括该目标物时，设定该移动方向为一预设覆盖方向。

7.如权利要求1所述的姿态判断方法，其特征在于，更包括：

对该多张连续图像中的一静止图像进行一图像分析，以取得该目标物的一参考图像。

8.如权利要求1所述的姿态判断方法，其特征在于，更包括：

发出提示信息以提示所判断的该目标物的该姿态。

9.如权利要求1至8中任一权利要求所述的姿态判断方法，其特征在于，对该多张连续图像进行该动作检测包括：

取得该多张连续图像的一光流信息；以及

根据该光流信息进行该动作检测。

10.如权利要求1所述的姿态判断方法，其特征在于，该目标物为一脸部或一头型轮廓。

11.一种电子***，其特征在于，包括：

一图像撷取装置，对应一目标物设置并且用以撷取多张连续图像；以及

一处理器，耦接于该图像撷取装置，用以：

取得该多张连续图像；

对该多张连续图像进行一动作检测；

根据该动作检测的一检测结果判断该多张连续图像的一图像内容是否在动作后静止；以及

判断在该图像内容在动作后静止时的该目标物的一姿态。

12.如权利要求11所述的电子***，其特征在于，该处理器更用以：

根据该动作检测的该检测结果取得在动作中的该图像内容的一移动方向。

13.如权利要求12所述的电子***，其特征在于，该处理器判断在该图像内容在动作后静止时的该目标物的该姿态时，包括：

对该图像内容在动作后静止时的一第一图像进行一图像分析，以判断该第一图像是否包括该目标物；

当该处理器判断该第一图像包括该目标物，根据该第一图像中的该目标物判断该目标物的该姿态；以及

当该处理器判断该第一图像不包括该目标物，根据该移动方向判断该目标物的该姿态。

14.如权利要求13所述的电子***，其特征在于，当该处理器判断该第一图像包括该目标物，并根据该第一图像中的该目标物判断该目标物的该姿态时，包括：

判断该第一图像是否包括该目标物的一第一面的一特征；

当该处理器判断该第一图像包括该第一面的该特征，判断该目标物的该第一面朝向该图像撷取装置；以及

当该处理器判断该第一图像不包括该第一面的该特征，根据该移动方向判断该目标物的该姿态。

15.如权利要求14所述的电子***，其特征在于，该处理器根据该移动方向判断该目标物的该姿态时，包括：

比较该移动方向以及一预设覆盖方向；

当该处理器判断该移动方向不同于该预设覆盖方向，判断该目标物的一第二面朝向该图像撷取装置，其中该第二面不同于该第一面；以及

当该处理器判断该移动方向相同于该预设覆盖方向，计算该图像内容中，该目标物与该目标物的一参考图像的一相似度，并且根据该相似度判断该目标物的该第二面朝向该图像撷取装置或该目标物被覆盖。

16.如权利要求12所述的电子***，其特征在于，该处理器根据该动作检测的该检测结果取得在动作中的该图像内容的该移动方向时，包括：

取得该多张连续图像中，在动作中的该图像内容所对应的一第二图像；

当该第二图像不包括该目标物时，设定该移动方向为一预设覆盖方向。

17.如权利要求12所述的电子***，其特征在于，该处理器更用以：

对该多张连续图像中的一静止图像进行一图像分析，以取得该目标物的一参考图像。

18.如权利要求11所述的电子***，其特征在于，更包括：

一提示装置，耦接于该处理器，其中该处理器更用以通过该提示装置发出提示信息以提示所判断的该目标物的该姿态。

19.如权利要求11至18中任一权利要求所述的电子***，其特征在于，该处理器对该多张连续图像进行该动作检测时，包括：

取得该多张连续图像的一光流信息；以及

根据该光流信息进行该动作检测。

20.一种非暂态电脑可读取记录媒体，其特征在于，存储有一程序码，当该程序码被载入至一电脑并执行后可完成一姿态判断方法，所述姿态判断方法包括：

取得多张连续图像；

对该多张连续图像进行一动作检测；

根据该动作检测的一检测结果判断该多张连续图像的一图像内容是否在动作后静止；以及

判断在该图像内容在动作后静止时的一目标物的一姿态。