CN112560565A - 人类行为理解***及人类行为理解方法 - Google Patents

Abstract

本发明提供一种人类行为理解***及人类行为理解方法。人类行为理解***包括传感器及处理器。传感器感测人体部位在一时间周期内的运动。获取传感器的序列的运动感测数据。根据运动感测数据生成分别对应于时间周期内的至少两个时间点的至少两个比较结果。通过将运动感测数据与基本运动数据进行比较，生成比较结果。基本运动数据与多个基本运动相关。根据比较结果确定人体部位的行为信息。行为信息与由基本运动中的至少一者形成的行为相关。因此，可提高行为理解的准确性，且实施例可快速地预测行为。

Description

人类行为理解***及人类行为理解方法

技术领域

本发明涉及一种用于估计行为的方法，尤其涉及一种人类行为理解***及一种人类行为理解方法。

背景技术

人类运动分析及行为理解的问题多年来一直存在，并因其广泛的潜在应用而引起了许多研究的兴趣。

然而，由于人类运动的复杂本质，理解人类行为的任务仍是困难的。进一步使任务复杂化的是需要在执行速度及几何变形(如主体的大小、其在场景中的位置及其相对于传感器的定向)方面为稳健的。另外，在一些背景下，人类行为意味着与对象的互动。尽管此种互动可帮助区分相似的人类运动，但是其也增加了挑战，如身体部位的遮挡(occlusion)。

发明内容

在现有技术中，提供一个或更多个传感器来感测用户的运动，且基于传感器的感测结果估测使用者的行为。然而，人类有非常多种行为，且难以准确地预测用户的行为。因此，本发明涉及一种人类行为理解***及人类行为理解方法。

在示例性实施例中的一者中，一种行为理解方法包括但不限于以下步骤。获取序列的运动感测数据，且运动感测数据是通过感测人体部位在一时间周期内的运动而生成。生成分别对应于至少两个时间点的至少两个比较结果。通过将运动感测数据与基本运动数据进行比较，比较结果。基本运动数据与多个基本运动相关。根据比较结果确定人体部位的行为信息。行为信息与由至少一个基本运动形成的行为相关。

在示例性实施例中的一者中，一种人类行为理解***包括但不限于传感器及处理器。传感器用于感测人体部位在一时间周期内的运动。处理器经配置用以以下步骤。生成分别对应于至少两个时间点的至少两个比较结果。时间点在时间周期内。通过将运动感测数据与基本运动数据进行比较，生成比较结果。基本运动数据与多个基本运动相关。根据比较结果确定人体部位的行为信息。行为信息与由至少一个基本运动形成的行为相关。

基于上述，在本发明实施例的人类行为理解方法及人类行为理解***中，在不同时间点所取得的运动感测数据与预定行为比对。各预定行为相关于一个或更多个预定基本运动。对应于多个时间点的运动感测的这些基本运动将受检查是否与预定行为匹配，以决定人体部位的当前行为信息。藉此，可改进行为理解的准确度，且本发明实施例可快速地预测行为信息。

然而，应理解，此发明内容可不含有本发明的方面及实施例中的所有方面及实施例，不意在以任何方式进行限制或约束，且应理解，如本文中所公开的本发明是且将被所属领域中的普通技术人员理解为囊括对本发明的明显改进及润饰。

附图说明

包括附图是为了提供对本发明的进一步的理解，且并入本说明书中并构成本说明书的一部位。附图示出本发明的实施例并与说明一起用于解释本发明的原理。

图1是示出根据本发明示例性实施例中的一者的人类行为理解***的方块图；

图2是示出根据本发明示例性实施例中的一者的人类行为理解***的示意图；

图3是示出根据本发明示例性实施例中的一者的人类行为理解方法的流程图；

图4是示出根据本发明示例性实施例中的一者的运动检测方法的流程图；

图5是示出根据本发明示例性实施例中的一者的在不同时间点处的行为理解的示意图；

图6A及图6B是示出根据本发明示例性实施例中的一者的两种行为的示意图。

附图标号说明

100、200：人类行为理解***

110：传感器

111、113：惯性测量单元(IMU)

120：头戴式显示器(HMD)

130：存储器

140：踝传感器

150：处理器

160：手持式控制器

B1、B2、B3、B4、B5：人体部位

S310、S330、S350、S401、S402、S403、S404、S405、S406、S407、S408、S409：步骤

A：加速度

G：旋转

M：磁场

M₁、M₂：畸变校正图像

m₁、m₂：单色图像

t1：第一时间点

t2：第二时间点

t3：时间点/第三时间点

t4：时间点/第四时间点

W1、W2、W3：时间窗口

具体实施方式

现将详细参照本发明的当前优选实施例，在附图中示出所述优选实施例的实例。尽可能地，在附图及说明中使用相同的元件符号指代相同或相似的部件。

图1是示出根据本发明示例性实施例中的一者的人类行为理解***100的方块图。参照图1，人类行为理解***100包括但不限于一个或多个传感器110、存储器130及处理器150。人类行为理解***100可适以用于虚拟现实(virtual reality，VR)、增强现实(augmented reality，AR)、混合现实(mixed reality，MR)、扩展现实(extended reality，XR)或其他现实相关技术。

传感器110可为加速度计、陀螺仪、磁强计、激光传感器、惯性测量单元(inertialmeasurement unit，IMU)、红外线(infrared ray，IR)传感器、图像传感器、深度相机或前述传感器的任何组合。在本发明的实施例中，传感器110用于感测一个或多个人体部位在一时间周期内的运动。人体部位可为手、头、踝、腿、腰或其他部位。传感器110可感测对应人体部位的运动，以根据传感器110在所述时间周期内的多个时间点处的感测结果(例如，相机图像、所感测到的强度值等)生成序列的运动感测数据。举一个实例，运动感测数据包括3自由度(3-degree of freedom，3-DoF)数据，且3-DoF数据与人体部位在三维(three-dimensional，3D)空间中的旋转数据(例如横摆(yaw)、翻滚(roll)及俯仰(pitch)中的加速度)相关。举另一个实例，运动感测数据包括人体部位在二维(two-dimensional，2D)/3D空间中的相对位置和/或位移。应注意，传感器110可嵌入于手持式控制器或例如可穿戴控制器、智能手表、踝传感器、头戴式显示器(head-mounted display，HMD)等可穿戴设备中。

存储器130可为任何类型的固定的或可移动的随机存取存储器(Random-AccessMemory，RAM)、只读存储器(Read-Only Memory，ROM)、闪速存储器或相似装置或者以上装置的组合。存储器130可用于存储程序码、装置配置、缓冲数据或永久数据(例如运动感测数据、比较结果、与基本运动相关的信息等)，且稍后将介绍这些数据。

处理器150耦接存储器130，且处理器150被配置成加载存储在存储器130中的程序码，以实行本发明示例性实施例的过程。处理器150的功能可使用例如中央处理单元(central processing unit，CPU)、微处理器、微控制器、数字信号处理(digital signalprocessing，DSP)芯片、现场可编程门阵列(field programmable gate array，FPGA)等可编程单元来实施。处理器150的功能也可通过独立的电子装置或集成电路(integratedcircuit，IC)来实施，且处理器150的操作也可通过软件来实施。

应注意，处理器150可与传感器110设置在同一设备处，也可不与传感器110设置在同一设备处。然而，分别配备有传感器110及处理器150的设备可进一步包括具有兼容通信技术的通信收发器(例如蓝牙、无线保真(wireless fidelity，Wi-Fi)、IR或物理传输线)，以彼此传输/接收数据。

图2是示出根据本发明示例性实施例中的一者的人类行为理解***200的示意图。参照图2，人类行为理解***200包括HMD 120、两个踝传感器140及两个手持式控制器160。IMU 111及IMU 113(即，传感器110)嵌入在踝传感器140及手持式控制器160中，以获取运动感测数据的第一部位。立体相机(即，传感器110)及处理器150嵌入在HMD 120中，且立体相机可被配置成朝向人体部位B1至B5中的一者或多者捕获相机图像，以确定运动感测数据的第二部位。

在一些实施例中，序列的运动感测数据可通过对同一人体的运动感测数据的第一部位与运动感测数据的第二部位加以组合来生成。例如，基于一个或多个时间点处的运动感测数据的第一部位确定一个运动感测数据，且基于一个或多个其他时间点处的运动感测数据的第二部位确定另一个运动感测数据。举另一个实例，将一个时间点处的运动感测数据的第一部位及运动感测数据的第二部位与所述第一部位和所述第二部位的权重关系融合，以确定序列的运动感测数据中的一者。

在一些实施例中，序列的运动感测数据可仅根据运动感测数据的第一部位或运动感测数据的第二部位来生成。例如，选择运动感测数据的第一部位及运动感测数据的第二部位中的一者来确定序列的运动感测数据，且将忽略未选择的运动感测数据。

在一些实施例中，HMD 120可进一步包括另一IMU(未示出)，以获取人体部位B5(即，头)的旋转信息。HMD 120、踝传感器140及手持式控制器160可通过兼容通信技术彼此通信。

应注意，人类行为理解***200仅为示出传感器110及处理器150的设置方式及通信方式的实例。然而，仍可存在人类行为理解***100的其他实施方案，且本发明不限于此。

为更好地理解本发明的一个或多个实施例中所提供的操作过程，以下将举例说明几个实施例，以详细说明人类行为理解***100或人类行为理解***200的操作过程。在以下实施例中应用人类行为理解***100或人类行为理解***200中的装置及模块来解释本文中所提供的控制方法。控制方法的每一步骤可根据实际的实施情况进行调整，且不应限于本文中所述者。

本发明的实施例中的术语“行为”由三种类型来定义：人类手势、人类动作及人类活动。每一类型的行为的特征在于运动复杂度的具体程度、人-对象互动的具体程度以及行为的具体持续时间。例如，手势行为具有低的复杂度和短的持续时间，动作行为具有中等的复杂度和中等的持续时间，且活动行为具有高的复杂度和长的持续时间。对于手势行为来说，与另一个对象互动是不可能的，且对于动作行为及活动行为来说，与另一个对象互动是可能的。一种手势行为的特征可在于人体部位(通常是手臂)的仅一个部位的运动。一种动作行为的特征可在于稍微更复杂的移动(其也可为多个手势的组合)，或者特征可在于多个人体部位的运动。另外，活动行为的特征可在于高水平的运动复杂度，其中连续地实行多个移动或动作。

图3是示出根据本发明示例性实施例中的一者的行为理解方法的流程图。参照图3，通过传感器110获取运动感测数据(步骤S310)。就不同类型的传感器110来说，可获取对应人体部位在2D/3D空间中的运动的加速度、旋转、磁力、定向、距离和/或位置(此后称为感测结果)，且传感器110的一个或多个感测结果将成为人体部位的运动感测数据。

以人类行为理解***200为例，可确定人体部位B1的6-DoF信息。图4是示出根据本发明示例性实施例中的一者的运动检测方法的流程图。参照图2及图4，踝传感器140包括具有加速度计、陀螺仪及磁传感器的功能的IMU111，且获取人体部位B1的加速度A、旋转(其可包括定向及角速度)G及磁场M(步骤S401)。将根据在人体部位B1上感测到的加速度A、旋转G及磁力M来估计人体部位B1的姿势(步骤S402)，且可确定人体部位B1在预定坐标系中的旋转信息。例如，姿势可为向上旋转、向左旋动等。

另一方面，立体相机朝向人体部位B1捕获单色图像m₁、m₂(步骤S403)。处理器150可对单色图像m₁、m₂实行鱼眼畸变校正处理(fisheye dewarp process)，且生成畸变校正图像M₁、M₂(步骤S404)。将通过机器学***行于立体相机的平面处的2D位置(步骤S406)。处理器150可根据在步骤S405及步骤S406处估计的人体部位B1的距离及2D位置在预定坐标系中生成3D位置(步骤S407)。接着，可融合人体部位B1在预定坐标系中的旋转及3D位置(步骤S408)，且可输出将被视为运动感测数据的6-DoF信息(步骤S409)。

在另一个实施例中，可根据人体部位B5的3D位置及人体部位B1的旋转信息来确定人体部位B1的3D位置。具体来说，可在人体部位B5上配备6-DoF传感器，以获取人体部位B5的位置及旋转信息。另一方面，如在步骤S402处所述，可获取人体部位B1的旋转信息。接着，可通过人体部位B1在三个轴上的所检测加速度的二重积分(double integral)来估计人体部位B1的位移。然而，当用户行走时，可能累积用户的人体部位B1的所估计位移的误差，且人体部位B1的所估计位置将不准确。为提高所估计位置的准确度，可将人体部位B5的位置视为用户的参考点，且可根据参考点校正人体部位B1的所估计位置。在行走或跑步时，人体部位B5的位移将对应于具有例如抬腿、展开腿、任何其他行走或跑步姿势等特定姿势的人体部位B1的位移。具有特定姿势的人体部位B1的位置可被视为复位位置(resetposition)，且复位位置具有与参考点对应的特定相对位置。当处理器150根据人体部位B1的位移确定用户正在行走或跑步时，可根据与参考点对应的特定相对位置在复位位置处校正人体部位B1的所估计位置，以消除由IMU 111产生的估计误差。

应注意，仍存在许多其他用于获取运动感测数据的实施例。例如，可在人体部位B1上配备6-DoF传感器，以使6-DoF信息为运动感测数据。举另一个实例，可在人体部位B1上配备深度相机，以使所检测的深度信息为运动感测数据。

参照图3，处理器150可生成分别对应于至少两个时间点的至少两个比较结果(步骤S330)。具体来说，通过将所述运动感测数据与基本运动数据进行比较，生成每一比较结果。基本运动数据与多个基本运动相关，且基本运动数据可包括每一基本运动的特定运动感测数据。以人体部位B1或人体部位B2为例，基本运动可为上抬(lifting)、指向(pointing)、踢腿(kicking)、跨步(stepping)或跳跃(jumping)。上抬基本运动可与运动感测数据的特定姿势相关。依序实行一个或多个基本运动以形成行为。此意味着，每一行为与具有时间顺序的一个或多个基本运动相关联。所述时间顺序包括多个时间点。一个行为可在多个时间点处分成一个或多个基本运动。例如，人体部位B1的踢腿行为包括在两个时间点处依序进行的上抬基本运动及踢腿基本运动。应注意，两个相邻时间点之间的持续时间可为固定的或者可基于实际需要而为可变的。

在一些实施例中，将会将每一时间点处的运动感测数据与基本运动数据中的多个预定基本运动进行比较，以生成比较结果。每一预定基本运动与例如在3D空间中的特定位置及特定定向等特定运动感测数据相关联。另外，由于多个基本运动的次序是形成一个行为的必要条件，因此将不同时间点处的比较结果存储在存储器130中以供以后使用。应注意，在实施例中所阐述的次序被叙述成通过基本运动的发生时间点对基本运动进行排序。

在一些实施例中，多个基本运动的特定运动感测数据可为用于训练分类器的训练样本或基于机器学习技术的神经网络模型。分类器或神经网络模型可用于识别哪一基本运动对应于在步骤S310处获取的运动感测数据，或者确定所检测的人体部位的运动是基本运动中的一者的似然性。

在一些实施例中，比较结果可为最相似的一个或多个基本运动或者分别对应于不同基本运动的似然性。

在一些实施例中，为量化似然性，可使用运动感测数据与基本运动数据之间的匹配程度来表示所检测的人体部位的运动是特定基本运动的一个似然性。匹配程度可为从0％到100％的值，以呈现人体部位的运动是特定基本运动的可能性，且与所有预定基本运动对应的匹配度的总和可为例如100％。例如，一时间点处的比较结果包括10％的上抬基本运动、0％的指向基本运动、75％的踢腿基本运动、3％的跨步基本运动及22％的跳跃基本运动。

在一些实施例中，可根据与每一时间点处的所有基本运动对应的匹配度选择一个或多个基本运动来作为比较结果的代表。例如，具有最高匹配度的所述一个或多个基本运动可为比较结果的代表。对于另一个实例，匹配度大于阈值(例如60％、75％或80％)的所述一个或多个基本运动可为比较结果的代表。

应注意，比较结果包括与前述实施例中的所有预定基本运动对应的多个匹配度。然而，仍可存在其他用于确定比较结果的实施方案。例如，比较结果可包括在步骤S310处获取的运动感测数据与基本运动的特定运动感测数据之间的差异，且具有较小差异的所述一个或多个基本运动可为比较结果的代表。另外，可根据人体几何结构的限制首先选择基本运动来与运动感测数据进行比较。例如，大部位人类无法相对于其胸部在水平方向上将其手臂朝后伸展达特定程度。

在一些实施例中，除预定基本运动以外，可使用序列的运动感测数据及机器学习算法来训练与基本运动数据中的预定基本运动不同的非预定基本运动。例如，如果不存在匹配度大于阈值的预定基本运动，则当前时间点处的运动感测数据将为用于训练分类器的训练样本或新基本运动的神经网络模型。

参照图3，处理器150可根据所述至少两个比较结果确定人体部位的行为信息(步骤S350)。如之前所提及，依序实行一个或多个基本运动以形成一个行为。行为信息与由基本运动中的至少一者形成的行为相关。不同时间点处的比较结果将被基于其次序加以组合，以确定哪一预定行为与比较结果的组合匹配。每一预定行为依次与一个或多个特定基本运动相关联。在一个实施例中，确定在步骤S330处所确定的比较结果的连续性。该些所确定基本运动(即，比较结果的代表)之间的连续性与基本运动的实行次序相关。例如，第三时间点处的基本运动是在第二时间点处的另一基本运动之后实行。将根据连续性确定人体部位的行为。处理器150可选择包括与较早时间点处的运动感测数据对应的所确定基本运动的一个或多个预定行为，且将检查所选择的预定行为是否进一步包括后续时间点处的另一所确定基本运动。作为另外一种选择，将会将一个组合中的多个比较结果与同一时间处的预定行为进行比较，且处理器150可根据所述组合直接输出结果。所述结果与所述组合是否和一个预定行为匹配相关。行为信息可包括但不限于所确定行为、形成所确定行为的多个基本运动及对应的序列的运动感测数据。

图5是示出根据本发明示例性实施例中的一者的在不同时间点处的行为理解的示意图。图6A及图6B是示出根据本发明示例性实施例中的一者的两种行为的示意图。参照图5及图6A，就人体部位B1来说，例如，根据第一时间点t1处的运动感测数据确定上抬基本运动，且根据第二时间点t2处的运动感测数据确定指向基本运动。时间窗口W1内的两个所确定基本运动将被组合成一个组合。实施例中的时间窗口与一个组合中的比较结果的数目相关。接着，处理器150可根据所述组合(即，上抬基本运动与踢腿基本运动)确定实行了跨步行为。所述连续性被叙述成在上抬基本运动之后实行指向基本运动。

参照图5及图6B，就人体部位B1及人体部位B2来说，例如，根据第三时间点t3处的运动感测数据确定深蹲(deep squatting)基本运动，且根据第四时间点t4处的运动感测数据确定跳跃基本运动。时间窗口W3内的两个所确定基本运动将被组合成一个组合。接着，处理器150可根据所述组合(即，深蹲基本运动与跳跃基本运动)确定实行了跳跃行为。所述连续性被叙述成在深蹲基本运动之后实行跳跃基本运动。

因此，在不获取后续时间点处的进一步的运动感测数据的条件下，可正确地预测一个行为。

应注意，时间窗口可为可变的。响应于比较结果不与任何预定行为匹配，可扩大时间窗口以包括一个组合中的更多比较结果。例如，参照图5，时间窗口W1放大而变成时间窗口W2，且时间窗口W2内的组合包括三个时间点处的三个比较结果。将判断时间窗口W2内的组合是否与任何预定行为匹配。

另一方面，响应于比较结果与一个预定行为匹配，可减小或维持时间窗口。例如，参照图5，在时间窗口W2内的组合与一个预定行为匹配之后，时间窗口W2减小而变成时间窗口W3。时间窗口W3内的另一组合包括两个时间点t3及t4处的两个比较结果。接着，处理器150可判断时间窗口W3内的组合是否与任何预定行为匹配。

应注意，匹配度的值可与比较结果为正确的可信度相关。在一个实施例中，可将每一时间点处的比较结果的代表的匹配度与阈值进行比较。阈值可为例如50％、70％或80％。响应于代表的匹配度大于阈值，将使用所述代表来确定人体部位的行为。例如，阈值是60％，且75％的跳跃基本运动将作为用于确定行为的参考。

另一方面，响应于代表的匹配度不大于阈值，将不使用所述代表来确定人体部位的行为。所述代表将被舍弃或被赋予较低优先级。例如，阈值是80％，且65％的踢腿基本运动将被舍弃，且踢腿基本运动将不作为确定行为的参考。举另一个实例，阈值是60％，确定第一时间点处的65％的指向基本运动、第二时间点处的55％的上抬基本运动及第三时间点处的80％的踢腿基本运动。处理器150可不认为通过所述三个基本运动实行了踢腿行为。

另外，一个行为可与多个人体部位的基本运动相关。例如，参照图2，假定用户的行为是跑步。在一个时间点处，人体部位B1的运动可对应于上抬基本运动，且人体部位B2的运动可对应于指向基本运动。在一个实施例中，将获取通过感测另一人体部位的运动生成的第二运动感测数据，根据第二运动感测数据确定分别对应于所述至少两个时间点的至少两个第二比较结果，且根据在步骤S330处确定的所述至少两个比较结果以及所述至少两个第二比较结果确定人体部位的行为。获取第二运动感测数据和确定第二比较结果的方式可分别与步骤S310及步骤S330相同或相似，且将省略相关说明。与前述实施例的差异在于，在本实施例中，一个人体部位的一些预定行为与多个人体部位的多个特定基本运动相关联。处理器150可检查两个或更多个人体部位的所确定基本运动是否与一个预定行为匹配。

例如，根据第一时间点t1处的人体部位B1的运动感测数据确定上抬基本运动，且根据第二时间点t2处的人体部位B1的运动感测数据确定指向基本运动。另外，根据第一时间点t1处的人体部位B2的运动感测数据确定指向基本运动，且根据第二时间点t2处的人体部位B2的运动感测数据确定上抬基本运动。接着，处理器150可根据人体部位B1及人体部位B2的所确定基本运动的组合确定实行了跑步行为。

应注意，基于一个不同的设计要求，在其他实施例中，一个或多个预定行为可与三个或更多个人体部位的多个基本运动相关联。处理器150可判断这些人体部位的比较结果是否与任何预定行为匹配。

在确定人体部位的行为信息之后，可根据所确定行为修改显示器中呈现的虚拟化身(avatar)或图像的运动。例如，腿的行为是跑步，且虚拟替身可相应地跑步。举另一个实例，头的行为是抬头，且在显示器的图像中将示出天空。

综上所述，在本发明实施例的人类行为理解***及人类行为理解方法中，首先在各时间点判断特定人体部位的运动是否与一个或更多个基础动作匹配。将两个或更多个已决定的基本运动与多个预定行为比对，以决定一个匹配行为。此外，连续性及匹配度也可作为估测行为的条件。藉此，可改善行为理解的准确度，且本案发明实施例可快速地预测行为。

对于所属领域中的技术人员而言将显而易见的是，在不背离本发明的范围或精神的条件下，可对本发明的结构作出各种润饰及变化。有鉴于此，本发明旨在涵盖本发明的润饰及变化，只要其落于随附权利要求及其等效范围的范围内即可。

Claims (18)

1.一种人类行为理解方法，包括：

获取序列的运动感测数据，其中所述运动感测数据是通过感测人体部位在时间周期内的运动而生成；

生成分别对应于至少两个时间点的至少两个比较结果，其中所述至少两个时间点在所述时间周期内，且所述至少两个比较结果是通过将所述运动感测数据与基本运动数据进行比较来生成，其中所述基本运动数据与多个基本运动相关；以及

根据所述至少两个比较结果确定所述人体部位的行为信息，其中所述行为信息与所述基本运动中的至少一者所形成的行为相关。

2.根据权利要求1所述的人类行为理解方法，其中生成分别对应于所述至少两个时间点的所述至少两个比较结果的步骤包括：

确定所述运动感测数据与所述基本运动数据之间的匹配度，其中所述至少两个比较结果中的每一者包括所述匹配度，且所述匹配度与所述感测运动数据是所述基本运动中的一者的似然性相关。

3.根据权利要求2所述的人类行为理解方法，其中根据所述时间点中的每一者处的所述运动感测数据确定分别对应于所述基本运动的所述匹配度的步骤包括：

在每一所述时间点处根据所述匹配度选择所述基本运动中的一者来作为所述至少两个比较结果中的一者的代表。

4.根据权利要求3所述的人类行为理解方法，其中根据所述至少两个比较结果确定所述人体部位的所述行为信息的步骤包括：

将所述代表的所述匹配度与阈值进行比较；

响应于所述代表的所述匹配度大于所述阈值，确定所述人体部位的所述行为信息；以及

响应于所述代表的所述匹配度不大于所述阈值，不确定所述人体部位的所述行为信息。

5.根据权利要求1所述的人类行为理解方法，其中根据所述至少两个比较结果确定所述人体部位的所述行为信息的步骤包括：

确定所述至少两个比较结果的连续性，其中所述连续性与所述基本运动中的至少两者的实行次序相关；以及

根据所述连续性确定所述人体部位的所述行为信息。

6.根据权利要求1所述的人类行为理解方法，其中获取所述序列的所述运动感测数据的步骤包括：

获取多个相机图像；以及

根据所述相机图像确定所述序列的所述运动感测数据。

7.根据权利要求1所述的人类行为理解方法，其中获取所述序列的所述运动感测数据的步骤包括：

从惯性测量单元获取所述序列的所述运动感测数据。

8.根据权利要求1所述的人类行为理解方法，其中获取所述序列的所述运动感测数据的步骤包括：

获取多个相机图像；以及

根据所述相机图像及来自惯性测量单元的感测结果确定所述序列的所述运动感测数据。

9.根据权利要求1所述的人类行为理解方法，进一步包括：

使用所述序列的所述运动感测数据及机器学习算法将与所述基本运动不同的非预定基本运动添加到所述基本运动数据中。

10.一种人类行为理解***，包括：

传感器，感测人体部位在时间周期内的运动；以及

处理器，经配置用以：

获取所述传感器的序列的运动感测数据；

生成分别对应于至少两个时间点的至少两个比较结果，其中所述至少两个时间点在所述时间周期内，且所述至少两个比较结果是通过将所述运动感测数据与基本运动数据进行比较来生成，其中所述基本运动数据与多个基本运动相关；以及

根据所述至少两个比较结果确定所述人体部位的行为信息，其中所述行为信息与所述基本运动中的至少一者所形成的行为相关。

11.根据权利要求10所述的人类行为理解***，其中所述处理器经配置用以：

确定所述运动感测数据与所述基本运动数据之间的匹配度，其中所述至少两个比较结果中的每一者包括所述匹配度，且所述匹配度与所述运动是所述基本运动中的一者的似然性相关。

12.根据权利要求11所述的人类行为理解***，其中所述处理器经配置用以：

在每一所述时间点处根据所述匹配度选择所述基本运动中的一者来作为所述至少两个比较结果中的一者的代表。

13.根据权利要求12所述的人类行为理解***，其中所述处理器经配置用以：

将所述代表的所述匹配度与阈值进行比较；

响应于所述代表的所述匹配度大于所述阈值，确定所述人体部位的所述行为信息；以及

响应于所述代表的所述匹配度不大于所述阈值，不确定所述人体部位的所述行为信息。

14.根据权利要求10所述的人类行为理解***，其中所述处理器经配置用以：

确定所述至少两个比较结果的连续性，其中所述连续性与所述基本运动中的至少两者的实行次序相关；以及

根据所述连续性确定所述人体部位的所述行为信息。

15.根据权利要求10所述的人类行为理解***，其中所述传感器获取多个相机图像，且所述处理器被进一步配置成实行：

根据所述相机图像确定所述序列的所述运动感测数据。

16.根据权利要求10所述的人类行为理解***，其中所述传感器是惯性测量单元，且所述处理器经进一步配置用以：

从所述惯性测量单元获取所述序列的所述运动感测数据。

17.根据权利要求10所述的人类行为理解***，其中所述传感器获取多个相机图像，且所述人类行为理解***进一步包括：

第二传感器，其中所述第二传感器是惯性测量单元，且所述处理器被进一步配置成实行：

根据所述相机图像及来自所述惯性测量单元的感测结果确定所述序列的所述运动感测数据。

18.根据权利要求10所述的人类行为理解***，其中所述处理器经配置用以：

使用所述序列的所述运动感测数据及机器学习算法将与所述基本运动不同的非预定基本运动添加到所述基本运动数据中。

Images