CN117555427B - 基于人体姿态的交互控制方法、设备及存储介质 - Google Patents
基于人体姿态的交互控制方法、设备及存储介质 Download PDFInfo
- Publication number
- CN117555427B CN117555427B CN202410041327.7A CN202410041327A CN117555427B CN 117555427 B CN117555427 B CN 117555427B CN 202410041327 A CN202410041327 A CN 202410041327A CN 117555427 B CN117555427 B CN 117555427B
- Authority
- CN
- China
- Prior art keywords
- information
- limb segment
- central axis
- gesture
- detection time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 95
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000001514 detection method Methods 0.000 claims abstract description 110
- 230000002452 interceptive effect Effects 0.000 claims abstract description 50
- 230000008859 change Effects 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 13
- 230000003213 activating effect Effects 0.000 claims description 4
- 230000009471 action Effects 0.000 abstract description 10
- 230000036544 posture Effects 0.000 description 66
- 238000004458 analytical method Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 3
- 238000001994 activation Methods 0.000 description 2
- 238000010009 beating Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009323 psychological health Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供一种基于人体姿态的交互控制方法、设备及存储介质，包括：获取目标对象在各个检测时间点的压力图数据；基于任一检测时间点的压力图数据，检测得到目标对象在任一检测时间点下的各个肢节的位置信息和睡姿信息，以及确定各肢节的中轴线；基于所有检测时间点对应的睡姿信息、各肢节的位置信息和中轴线，分析得到目标对象的姿态识别信息；若姿态识别信息符合交互姿态信息，则生成交互姿态信息对应的控制指令，以基于控制指令，对智能设备进行控制。本发明通过基于睡姿信息、各肢节的位置信息和中轴线相关特征进行目标姿态及动作的检测，有效提高交互姿态识别的准确性，进而基于交互姿态对应的控制指令，对智能设备进行精准交互控制。
Description
技术领域
本发明涉及智能设备控制技术领域，尤其涉及一种基于人体姿态的交互控制方法、设备及存储介质。
背景技术
随着社会科技的迅猛发展，人们对生活品质的需求逐渐从基本满足转变为追求更为智能化和个性化的体验。睡眠作为人体生理和心理健康的重要组成部分，引起了更多人对床上智能科技的关注和需求。
目前，一些智能床或床上用品已经实现了一系列简单而实用的智能控制功能，例如，当人上床时，床头的智能***能够感知到并自动关掉窗帘和调暗灯光，为用户创造一个更为舒适的入睡环境；反之，当用户离床时，***则可以自动开启窗帘和点亮灯光，提供更为明亮的起床体验。这种智能控制的实现主要依赖于床上传感器对离床和上床动作等简单动作捕捉，容易造成误识别的情况，会导致控制***在某些情况下执行不准确的操作。
发明内容
本发明提供一种基于人体姿态的交互控制方法、设备及存储介质，旨在解决依赖于床上传感器对离床和上床动作等简单动作捕捉，容易造成误识别的情况，导致控制***在某些情况下执行不准确的操作的技术问题。
本发明提供一种基于人体姿态的交互控制方法，包括：
获取目标对象在预设时间窗口内各个检测时间点的压力图数据；
基于任一所述检测时间点的压力图数据，检测得到所述目标对象在任一所述检测时间点下的睡姿信息和各个肢节的位置信息，以及确定各所述肢节的中轴线；
基于所有检测时间点对应的睡姿信息、各肢节的位置信息和中轴线，分析得到所述目标对象的姿态识别信息；
若所述姿态识别信息符合预设的交互姿态信息，则生成所述交互姿态信息对应的控制指令，以基于所述控制指令，对智能设备进行控制。
根据本发明提供的一种基于人体姿态的交互控制方法，所述基于所有检测时间点对应的睡姿信息、各肢节的位置信息和中轴线，分析得到所述目标对象的姿态识别信息，包括：
基于任一所述检测时间点的睡姿信息、各个肢节对应的中轴线和位置信息，确定任一所述检测时间点的多个特征信息；
基于所有检测时间点的任一特征信息，形成任一所述特征信息对应的时间特征序列；
基于各所述时间特征序列，确定所述目标对象的姿态识别信息。
根据本发明提供的一种基于人体姿态的交互控制方法，所述基于任一所述检测时间点的睡姿信息、各个肢节对应的中轴线和位置信息，确定任一所述检测时间点的多个特征信息，包括：
对于任一所述检测时间点：
基于所述检测时间点的压力图数据，确定各个肢节的压力均值特征；
基于各个肢节的位置信息，确定各个肢节的位置特征；
基于所述各个肢节对应的中轴线，确定各个肢节的中轴线曲率变化特征以及各所述中轴线之间的夹角特征；
基于所述睡姿信息、各所述肢节的压力均值特征、位置特征、中轴线曲率变化特征以及各所述中轴线之间的夹角特征，形成所述检测时间点的多个特征信息。
根据本发明提供的一种基于人体姿态的交互控制方法，所述基于所述各个肢节对应的中轴线，确定各个肢节的中轴线曲率变化特征，包括：
针对任一所述肢节对应的中轴线：
按照预设构建的坐标系，确定所述中轴线中每一个点的坐标值；
基于所述每一个点的坐标值，确定每一个点对应的曲率值；
基于所述每一个点对应的曲率值，确定所述肢节的中轴线曲率变化特征。
根据本发明提供的一种基于人体姿态的交互控制方法，所述若所述姿态识别信息符合预设的交互姿态信息，则生成所述交互姿态信息对应的控制指令之前，还包括：
分别确定所述姿态识别信息中各时间特征序列与所述交互姿态信息中各目标特征序列之间的特征相似度；
确定任一所述时间特征序列对应的第一均值，以及任一所述目标特征序列对应的第二均值；
基于任一所述时间特征序列对应的第一均值以及任一所述目标特征序列对应的第二均值，确定任一所述时间特征序列与其对应的目标特征序列之间的绝对偏差；
基于各所述时间特征序列对应的绝对偏差和特征相似度，确定相关性系数；
若所述相关性系数大于预设的相关性阈值，则判定所述姿态识别信息符合所述交互姿态信息；
若所述相关性系数不大于所述相关性阈值，则判定所述姿态识别信息不符合所述交互姿态信息。
根据本发明提供的一种基于人体姿态的交互控制方法，所述确定各所述肢节的中轴线，包括：
对所述压力图数据进行边缘提取，得到各个肢节的压力边缘信息；
对任一所述肢节的压力边缘信息进行线性拟合，得到任一所述肢节的中轴线；或者，
对任一所述肢节的压力边缘信息进行线性拟合，得到任一所述肢节的参考线；
确定任一所述参考线对应的法线；
确定所述法线与任一所述肢节的压力边缘信息对应的各个交点坐标；
基于各所述交点坐标之间的中值，形成任一所述肢节的中轴线。
根据本发明提供的一种基于人体姿态的交互控制方法，所述基于任一所述检测时间点的压力图数据，检测得到所述目标对象在任一所述检测时间点下的睡姿信息和各个肢节的位置信息，包括：
对于任一所述检测时间点：
对所述检测时间点的压力图数据进行特征提取，得到若干个不同尺寸的候选区域；
对所述不同尺寸的候选区域进行归一化处理，得到目标候选区域；
对所述目标候选区域进行类别识别，得到所述目标对象的各个肢节的位置信息和睡姿信息。
根据本发明提供的一种基于人体姿态的交互控制方法，所述获取目标对象在预设时间窗口内各个检测时间点的压力图数据之前，还包括：
获取目标对象在预设时间窗口内的目标压力图数据；
基于所述目标压力图数据，分析所述目标对象的目标姿态信息；
若所述目标姿态信息符合预设的唤醒姿势信息，则激活交互控制***。
本发明还提供一种基于人体姿态的交互控制装置，包括：
获取模块，用于获取目标对象在预设时间窗口内各个检测时间点的压力图数据；
检测模块，用于基于任一所述检测时间点的压力图数据，检测得到所述目标对象在任一所述检测时间点下的睡姿信息和各个肢节的位置信息，以及确定各所述肢节的中轴线；
分析模块，用于基于所有检测时间点对应的睡姿信息、各肢节的位置信息和中轴线，分析得到所述目标对象的姿态识别信息；
控制模块，用于若所述姿态识别信息符合预设的交互姿态信息，则生成所述交互姿态信息对应的控制指令，以基于所述控制指令，对智能设备进行控制。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于人体姿态的交互控制方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于人体姿态的交互控制方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于人体姿态的交互控制方法。
本发明提供的基于人体姿态的交互控制方法、设备及存储介质，包括：获取目标对象在预设时间窗口内各个检测时间点的压力图数据；基于任一所述检测时间点的压力图数据，检测得到所述目标对象在任一所述检测时间点下的睡姿信息和各个肢节的位置信息，以及确定各所述肢节的中轴线；基于所有检测时间点对应的睡姿信息、各肢节的位置信息和中轴线，分析得到所述目标对象的姿态识别信息；若所述姿态识别信息符合预设的交互姿态信息，则生成所述交互姿态信息对应的控制指令，以基于所述控制指令，对智能设备进行控制。本发明通过基于预设时间窗口内各个检测时间点的压力图数据，检测在任一检测时间点下的各肢节的位置信息及睡姿信息，以及提取各个肢节的中轴线，进而使用预设时间窗口内的位置信息、睡姿信息以及中轴线相关特征进行目标姿态及动作的检测，能够有效提高交互姿态识别的准确性，从而基于交互姿态对应的控制指令，对智能设备进行精准交互控制。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图逐一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于人体姿态的交互控制方法的流程示意图之一；
图2是本发明一实施例提供的用户仰卧的压力图数据；
图3是本发明一实施例提供的人体提取的压力边缘信息以及各个肢节的中轴线的示意图；
图4是本发明提供的基于人体姿态的交互控制方法的流程示意图之二；
图5是本发明提供的基于人体姿态的交互控制方法的流程示意图之三；
图6是本发明提供的基于人体姿态的交互控制方法的流程示意图之四；
图7是本发明提供的基于人体姿态的交互控制方法的流程示意图之五；
图8是本发明提供的基于人体姿态的交互控制方法的流程示意图之六；
图9是本发明提供的基于人体姿态的交互控制方法的流程示意图之七；
图10是本发明提供的基于人体姿态的交互控制方法的流程示意图之八；
图11是本发明提供的基于人体姿态的交互控制方法的流程示意图之九；
图12是本发明提供的基于人体姿态的交互控制装置的结构示意图；
图13是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明一个或多个实施例。在本发明一个或多个实施例中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本发明一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”。
图1是本发明提供的基于人体姿态的交互控制方法的流程示意图之一。如图1所示，该基于人体姿态的交互控制方法包括：
步骤S11，获取目标对象在预设时间窗口内各个检测时间点的压力图数据；
需要说明的是，压力图数据是基于设置在智能床垫上的压力传感器阵列采集得到，也即，将多个传感器分布在智能床垫的不同位置，从而可测量智能床垫上每个位置的压力值，可选地，压力传感器阵列的分辨率为64*16，数据精度为8bit，更优地，选取压力传感器阵列的分辨率为128*32，数据精度为16bit。此外，所述预设时间窗口以及检测时间点可根据实际情况自定义设置，例如，预设时间窗口设置为4秒，每一秒检测一次，此时检测时间点则为第1秒、第2秒、第3秒和第4秒。具体地，获取压力传感器阵列在各个检测时间点的压力图数据，可参照图2，图2是本发明一实施例提供的用户仰卧的压力图数据。
步骤S12，基于任一所述检测时间点的压力图数据，检测得到所述目标对象在任一所述检测时间点下的睡姿信息和各个肢节的位置信息，以及确定各所述肢节的中轴线；
需要说明的是，睡姿信息包括仰卧和侧卧等睡姿，肢节包括双手、双腿以及躯干。肢节的中轴线是基于肢节的边缘信息形成的轴线。
具体地，对于任一所述检测时间点的压力图数据均执行以下步骤：在一实施例中，对压力图数据进行特征提取，进而对提取的特征进行类别识别，得到所述目标对象的各个肢节的位置信息和睡姿信息。在另一实施例中，压力图数据进行特征提取，得到若干个不同尺寸的候选区域，候选区域的尺寸可根据实际情况设置，从而更好地捕捉到不同尺寸目标物体的特征，有助于提高检测的准确性。进而对不同尺寸的候选区域进行归一化处理，得到目标候选区域，进一步地，对目标候选区域进行类别识别，得到所述目标对象的各个肢节的位置信息和睡姿信息。
另外地，参照图3，图3是本发明一实施例提供的人体提取的压力边缘信息以及各个肢节的中轴线的示意图，对压力图数据进行边缘提取，各个肢节的压力边缘信息，例如，利用Prewitt算子、Roberts算子以及其他高通滤波方法进行边缘信息提取，进而可对任一所述肢节的压力边缘信息进行线性拟合，以计算得到任一所述肢节的中轴线。
步骤S13，基于所有检测时间点对应的睡姿信息、各肢节的位置信息和中轴线，分析得到所述目标对象的姿态识别信息；
具体地，对于任一所述检测时间点：基于所述压力图数据，计算得到任一肢节中压力均值特征。此外，基于各个肢节的位置信息，计算得到各个肢节的位置特征。另外地，基于所述各个肢节对应的中轴线，分别计算得到各所述中轴线之间的夹角特征以及中轴线曲率变化特征，所述中轴线曲率变化特征可基于中轴线上各个点的曲率确定。进而基于所述睡姿信息、各所述肢节的压力均值特征、位置特征、中轴线曲率变化特征以及各所述中轴线之间的夹角特征，形成该检测时间点下的多维度的特征信息。进一步地，基于所有检测时间点检测的特征信息，形成各个特征信息分别对应的时间特征序列，以基于各所述时间特征序列，确定所述目标对象的姿态识别信息。
步骤S14，若所述姿态识别信息符合预设的交互姿态信息，则生成所述交互姿态信息对应的控制指令，以基于所述控制指令，对智能设备进行控制。
需要说明的是，交互姿态信息关联有多个交互姿态对应的目标特征序列，例如，在床上进行滚动、左手或右手在床上持续拍打、或交替拍打等姿态对应的目标特征序列。所述智能设备包括但不限于智能音箱、手机、平板、空调和灯光等智能设备。用户可以预先录入一个或多个交互姿态信息，不同的交互姿态信息关联对应不同的控制指令。
具体地，判断姿态识别信息是否符合预设的交互姿态信息，可选地，在一实施例中，可计算所述姿态识别信息中各时间特征序列与目标特征序列之间的相似度，从而基于相似度来判断姿态识别信息是否符合交互姿态信息。在一实施例中，还可计算得到时间特征序列与其对应的目标特征序列之间的绝对偏差，其中，绝对偏差是基于时间特征序列对应的特征均值以及目标特征序列对应的特征均值确定，从而结合绝对偏差和相似度，来判断姿态识别信息是否符合交互姿态信息。
进一步地，若所述姿态识别信息符合预设的交互姿态信息，则生成所述交互姿态信息对应的控制指令，进而将所述控制指令发送至智能控制中枢，对智能设备进行控制。例如，左手或右手在床上持续拍打，生成空调对应的温度调低指令，以调节空调的温度。
本发明实施例通过基于预设时间窗口内各个检测时间点的压力图数据，检测在任一检测时间点下的各肢节的位置信息及睡姿信息，以及提取各个肢节的中轴线，进而使用各个检测时间点的位置信息、睡姿信息以及中轴线相关特征进行目标姿态及动作的检测，能够有效提高交互姿态识别的准确性，从而基于交互姿态对应的控制指令，对智能设备进行精准交互控制。
参照图4，图4是本发明提供的基于人体姿态的交互控制方法的流程示意图之二；在本发明的一个实施例中，基于所有检测时间点对应的睡姿信息、各肢节的位置信息和中轴线，分析得到所述目标对象的姿态识别信息，包括：
步骤S21，基于任一所述检测时间点的睡姿信息、各个肢节对应的中轴线和位置信息，确定任一所述检测时间点的多个特征信息；
步骤S22，基于所有检测时间点的任一特征信息，形成任一所述特征信息对应的时间特征序列；
步骤S23，基于各所述时间特征序列，确定所述目标对象的姿态识别信息。
需要说明的是，多维度的特征信息包括各个肢节的压力均值特征、位置信息、睡姿信息对应的特征等特征，为了更准确的识别到目标对象的动作，特征信息还可包括各个中轴线之间的夹角特征和中轴线的曲率变化特征。具体地，基于所述检测时间点的压力图数据，确定各个肢节的压力均值特征，并且基于各个肢节的位置信息，确定各个肢节的位置特征，以及基于所述各个肢节对应的中轴线，计算得到各个肢节的中轴线曲率变化特征以及各所述中轴线之间的夹角特征，可选地，中轴线曲率变化特征可根据下述实施例具体阐述，在此不作赘述。夹角特征可参照图3，θ1为右臂中轴线与躯干中轴线的夹角，θ2为左臂中轴线与躯干中轴线的夹角，θ3为右腿中轴线与躯干中轴线的夹角，θ4为左腿中轴线与躯干中轴线的夹角。进一步地，对于任一特征信息：基于所有检测时间点检测的特征信息，形成该特征信息对应的时间特征序列，例如，预设时间窗口是5秒，基于每一秒计算得到左腿的特征信息，形成左腿对应的时间特征序列。从而基于各所述时间特征序列，确定所述目标对象的姿态识别信息。
本发明实施例通过基于睡姿信息、各个肢节对应的中轴线和位置信息，计算得到多维度的特征信息，进而基于多次识别到的特征信息，形成各个特征信息对应的时间特征序列，以基于各个时间特征序列，确定目标对象最终的姿态识别信息，从而实现多维度的特征进行目标姿态及动作的检测，有效提高交互姿态识别的准确性。
参照图5，图5是本发明提供的基于人体姿态的交互控制方法的流程示意图之三。在本发明的一个实施例中，基于任一所述检测时间点的睡姿信息、各个肢节对应的中轴线和位置信息，确定任一所述检测时间点的多个特征信息，包括：
对于任一所述检测时间点：
步骤S31，基于所述检测时间点的压力图数据，确定各个肢节的压力均值特征；
步骤S32，基于各个肢节的位置信息，确定各个肢节的位置特征；
步骤S33，基于所述各个肢节对应的中轴线，确定各个肢节的中轴线曲率变化特征以及各所述中轴线之间的夹角特征；
步骤S34，基于所述睡姿信息、各所述肢节的压力均值特征、位置特征、中轴线曲率变化特征以及各所述中轴线之间的夹角特征，形成所述检测时间点的多个特征信息。
具体地，对于任一所述检测时间点均执行以下步骤：基于所述压力图数据，提取得到任一肢节中各个点的压力值，进而任一肢节中各个点的压力值，计算得到任一肢节中压力均值，并且将压力均值作为肢节的压力均值特征。此外，基于各个肢节的位置信息，分别计算得到各个肢节的位置特征。
另外地，基于所述各个肢节对应的中轴线，分别计算得到各所述中轴线之间的夹角特征。还可构建直角坐标系，例如，以左下角为坐标远点，顶点向右为x轴正方向、顶点向上为y轴正方向构建一个坐标系，进而确定任一肢节对应的中轴线上各个点的坐标值，进而基于所述每一个点的坐标值，计算得到每一个点对应的曲率值，进而在各个曲率值中选取绝对值最大的曲率值作为肢节的中轴线曲率变化特征。
进一步地，基于所述睡姿信息、各所述肢节的压力均值特征、位置特征、中轴线曲率变化特征以及各所述中轴线之间的夹角特征，形成所述检测时间点的多维度的特征信息。
本发明实施例结合睡姿信息、各个肢节对应的中轴线和位置信息等信息，确定压力均值特征、位置特征、中轴线曲率变化特征以及夹角特征等多维度的特征信息，从而利用多个特征信息识别到多种类型的姿态动作，有效提高交互姿态识别的准确性。
参照图6，图6是本发明提供的基于人体姿态的交互控制方法的流程示意图之四。在本发明的一个实施例中，基于所述各个肢节对应的中轴线，确定各个肢节的中轴线曲率变化特征，包括：
针对任一所述肢节对应的中轴线：
步骤S41，按照预设构建的坐标系，确定所述中轴线中每一个点的坐标值；
步骤S42，基于所述每一个点的坐标值，确定每一个点对应的曲率值；
步骤S43，基于所述每一个点对应的曲率值，确定所述肢节的中轴线曲率变化特征。
需要说明的是，所述坐标系表示以压力图数据的左下角顶点为坐标原点，顶点向右为x轴正方向、顶点向上为y轴正方向构建的坐标系。具体地，针对任一所述肢节对应的中轴线均执行以下步骤：按照预设构建的坐标系，确定所述中轴线中每一个点的坐标值，进而基于所述每一个点的坐标值，计算得到每一个点对应的曲率值，其中，曲率值计算公式如下：
其中，x’（i）和y’（i）分别为第i个点沿x轴和y轴的一阶导数，x’’（i）和y’’（i）分别为第i个点沿x轴和y轴的二阶导数。其中，一阶导数和二阶倒数的计算公式分别如下：
其中，x(i)、y(i)为中轴线上第i个点的坐标值，x(i+1)、y(i+1)为中轴线上第i+1个点的坐标值。进而选取绝对值最大对应的曲率值作为所述肢节的中轴线曲率变化特征。在其他实施例中，中轴线曲率变化特征也可是曲率一阶差分或其他变化的极值。
本发明实施例通过计算每一肢节的中轴线曲率变化特征，从而在进行姿态识别过程中，结合轴线曲率变化特征进行目标姿态及动作的检测，有效提高交互姿态识别的准确性。
参照图7，图7是本发明提供的基于人体姿态的交互控制方法的流程示意图之五。在本发明的一个实施例中，若所述姿态识别信息符合预设的交互姿态信息，则生成所述交互姿态信息对应的控制指令之前，还包括：
步骤S51，分别确定所述姿态识别信息中各时间特征序列与所述交互姿态信息中各目标特征序列之间的特征相似度；步骤S52，确定任一所述时间特征序列对应的第一均值，以及任一所述目标特征序列对应的第二均值；步骤S53，基于任一所述时间特征序列对应的第一均值以及任一所述目标特征序列对应的第二均值，确定任一所述时间特征序列与其对应的目标特征序列之间的绝对偏差；步骤S54，基于各所述时间特征序列对应的绝对偏差和特征相似度，确定相关性系数；步骤S55，判断所述相关性系数是否大于预设的相关性阈值；步骤S56，若是，则判定所述姿态识别信息符合所述交互姿态信息；步骤S57，若否，则判定所述姿态识别信息不符合所述交互姿态信息。
需要说明的是，用户可以预先录入一个或多个交互姿态信息，不同标准的交互姿态信息对应不同的控制指令。预设的相关性阈值可根据实际情况设置，例如，设置为0.6。
具体地，对于所述姿态识别信息中任意一个时间特征序列均执行以下步骤：在一实施例中，计算所述时间特征序列与其对应的目标特征序列之间的特征相似度；例如，计算目标对象对应的左腿的时间特征序列和预先设置的左腿目标特征序列之间的特征相似度，进而直接将特征相似度作为相关性系数，从而基于相关性系数和相关性阈值，判断所述姿态识别信息是否符合所述交互姿态信息。
在另一实施例中，在计算得到特征相似度之后，还可分别计算任一所述时间特征序列对应的第一均值，以及任一所述目标特征序列对应的第二均值。进一步地，基于所述时间特征序列对应的第一均值以及预存的目标特征序列对应的第二均值，计算得到所述时间特征序列与其对应的目标特征序列之间的绝对偏差。进一步地，基于每一时间特征序列对应的特征相似度和绝对偏差，按照各个时间特征序列预设的相似度权重和绝对偏差权重，计算最终的相关性系数。相关性系数的计算公式如下：
其中，表示相关性系数，CORRi表示特征相似度，MAEi表示绝对偏差，ɑi表示相似度权重，βi表示绝对偏差权重，n表示特征的数量。更进一步地，若所述相关性系数大于预设的相关性阈值，则判定所述姿态识别信息符合所述交互姿态信息，证明能够与智能设备进行交互控制；若所述相关性系数不大于所述相关性阈值，则判定所述姿态识别信息不符合所述交互姿态信息，从而继续监测目标对象的姿态信息。
本发明实施例通过基于各个特征信息对应时间特征序列与预先设置的交互姿态信息中各目标特征序列，计算得到特征相似度和绝对偏差，进而基于各个时间特征序列对应的绝对偏差和特征相似度，确定相关性系数，从而基于相关性系数，判断姿态识别信息是否符合交互姿态信息，以现实对智能设备进行精准交互控制。
参照图8，图8是本发明提供的基于人体姿态的交互控制方法的流程示意图之六。在本发明的一个实施例中，确定各所述肢节的中轴线，包括：
步骤S611，对所述压力图数据进行边缘提取，得到各个肢节的压力边缘信息；步骤S612，对任一所述肢节的压力边缘信息进行线性拟合，得到任一所述肢节的中轴线；
具体地，首先对压力图数据进行边缘提取，例如，利用Prewitt算子、Roberts算子以及其他高通滤波方法进行边缘信息提取，其中，边缘信息提取方法如下：
其中，针对压力图数据中各个位置点的压力值，以左上角为坐标原点，沿水平方向向右为横轴正方向，垂直于横轴向下为纵轴正方向，构建直角坐标系，i表示为横轴第i个点，j表示为纵轴第j个点，xi,j是该点对应的压力值，Yi,j为经过边缘提取处理后的压力值。从而确定各个肢节的压力边缘信息，具体可参照图3，在其他实施例中，进一步采用边界跟踪法进行边界优化，其操作步骤如下：从左下角开始逐点扫描，当遇到边缘点时，则跟踪，直至跟后续点回到起始点（对于闭合线），或其后续点在没有新的后续点（对于非闭合线）为止。如果为非闭合线，则跟踪一侧后，需从起始点开始朝相反方向跟踪到另一尾点。如果不止一个后续点，则按选择距离最近的点为后续点，另外近的后续点作为新的边缘跟踪起点另行跟踪。一条线跟踪完后，接着扫描到下一个未跟踪点，直到所有边缘都跟踪完毕，从而得到各个肢节优化的的压力边缘信息。
进一步地，对任一所述肢节的压力边缘信息进行线性拟合，得到任一所述肢节的中轴线，线性拟合公式如下：
其中，x为横轴的坐标值，y为纵轴的坐标值，a、b、c、d为待拟合系数。
进一步地，图9是本发明提供的基于人体姿态的交互控制方法的流程示意图之七。在本发明的一个实施例中，确定各所述肢节的中轴线，包括：
步骤S621，对所述压力图数据进行边缘提取，得到各个肢节的压力边缘信息；步骤S622，对任一所述肢节的压力边缘信息进行线性拟合，得到任一所述肢节的参考线；步骤S623，确定任一所述参考线对应的法线；步骤S624，确定所述法线与任一所述肢节的压力边缘信息对应的各个交点坐标；步骤S625，基于各所述交点坐标之间的中值，形成任一所述肢节的中轴线。
具体地，对所述肢节的压力边缘信息进行线性拟合，将线性拟合初步得到的中轴线作为参考线，进而确定任一所述参考线对应的法线，也即，垂直于参考线的直线。进一步地，确定所述法线与任一所述肢节的压力边缘信息对应的各个交点坐标；进而计算各交点坐标之间的中值，从而基于各交点坐标之间的中值，形成任一所述肢节的中轴线。可以理解地，参照图3，图3中所示的L1、L2、L3、L4和L5即为各个肢节的中轴，其中，L1为右臂的中轴线，L2为左臂的中轴线，L3为右腿的中轴线，L4为左腿的中轴线，L5为躯干的中轴线。
本发明实施例通过对压力图数据进行边缘提取，以得到各个肢节的压力边缘信息，进而基于各个肢节的压力边缘信息提取得到各个肢节的中轴线。从而可结合中轴线相关特征进行目标姿态及动作的检测，有效提高交互姿态识别的准确性。
参照图10，图10是本发明提供的基于人体姿态的交互控制方法的流程示意图之八。在本发明的一个实施例中，基于任一所述检测时间点的压力图数据，检测得到所述目标对象在任一所述检测时间点下的睡姿信息和各个肢节的位置信息，包括：
对于任一所述检测时间点：步骤S71，对所述检测时间点的压力图数据进行特征提取，得到若干个不同尺寸的候选区域；步骤S72，对所述不同尺寸的候选区域进行归一化处理，得到目标候选区域；步骤S73，对所述目标候选区域进行类别识别，得到所述目标对象的各个肢节的位置信息和睡姿信息。
需要说明的是，可预先收集大量带标注的压力图数据，基于压力图数据，对初始检测模型进行迭代训练，获得目标检测模型，压力图数据中的标注信息包括左右手臂所在的位置信息、左右腿所在的位置信息、躯干所在的位置信息、当前的睡姿信息。可选地，在一优选实施例中，目标检测模型的模型结构包括第一卷积层、第一池化层、第二卷积层、第二池化层、第一全连接层、第二全连接层和分类层，具体结构可参照下述表1。在其他实施例中，目标检测模型可以是其他R-CNN（Region with ConvolutionalNeuralNetworks features）衍生模型或者迁移学习后的YOLO系列模型等模型。
表1 目标检测模型的模型结构
具体地，对于任一所述检测时间点的压力图数据均执行以下步骤：首先对所述压力图数据进行特征提取，得到提取得到不同尺寸的候选区域，从而更好地捕捉到不同尺寸目标物体的特征，有助于提高目标检测模型对于各种尺寸目标的鲁棒性，可选地，候选区域的尺寸大小包括16*16、8*32、32*8、4*64、64*4、8*8、4*16、16*4、2*32、32*2、4*4、2*8、8*2、2*2和3*3，进一步地，对所述不同尺寸的候选区域进行归一化处理，得到目标候选区域，可选地，目标候选区域的尺寸是64*16。进一步地，针对目标候选区域，对所述目标候选区域进行类别识别，得到所述目标对象的各个肢节的位置信息和睡姿信息，也即，确定目标对象在当前时间点下左右手臂所在的位置信息、左右腿所在的位置信息、躯干所在的位置信息以及当前的睡姿信息。可选地，可采用上述表1中模型结构对应的目标检测模型进行类别识别。
本发明实施例通过对压力图数据进行特征提取，得到若干个不同尺寸的候选区域，以更好地捕捉到不同尺寸目标物体的特征，进而对归一化后的目标候选区域进行类别识别，得到目标对象的各个肢节的位置信息和睡姿信息，从而提高各个肢节的位置信息和睡姿信息检测的准确性。
参照图11，图11是本发明提供的基于人体姿态的交互控制方法的流程示意图之九。在本发明的一个实施例中，获取目标对象在预设时间窗口内各个检测时间点的压力图数据之前，还包括：
步骤S81，获取目标对象在预设时间窗口内的目标压力图数据；
步骤S82，基于所述目标压力图数据，分析所述目标对象的目标姿态信息；
步骤S83，若所述目标姿态信息符合预设的唤醒姿势信息，则激活交互控制***。
需要说明的是，为了避免误触发和误操作的情况，在本实施例中，需要先检测目标对象的姿态是否有符合预设的唤醒姿势信息，也即，要求用户采取特定的姿势来激活交互控制***，从而防止交互控制***在不需要的情况下被意外唤醒，能够降低交互控制***的功耗。
具体地，获取目标对象在预设时间窗口内各个时间点的目标压力图数据，进而基于任一时间点的目标压力图数据，检测得到所述目标对象在任一时间点下的睡姿信息和各个肢节的位置信息，以及确定各所述肢节的中轴线，进一步地，基于各所述时间点下的睡姿信息、各肢节的位置信息和中轴线，分析得到所述目标对象的目标姿态信息，可选地，目标姿态信息的分析识别过程与姿态识别信息的识别过程基本相同，在此不作赘述。更进一步地，判断目标姿态信息符合预设的唤醒姿势信息，其中，判断目标姿态信息是否符合唤醒姿势信息的判断过程和判断姿态识别信息是否符合交互姿态信息的过程基本相同，在此不作赘述。也即，若目标姿态信息符合预设的唤醒姿势信息，则激活交互控制***。可选地，当交互控制***处于唤醒状态时，交互控制***进行提示用户，例如：设备电源上的指示灯呈现特定颜色。
此外，由于交互控制***长时间处于激活状态较为耗能，在本实施例中，***在激活过程中检测目标对象是否存在交互姿势信息，若存在交互姿势信息与预设的交互姿态信息之间的相关性超过预设阈值，则将交互控制***的激活状态的持续时长设置为第一时长。若交互姿势信息与预设的交互姿态信息之间的相关性不超过预设阈值，则将交互控制***的激活状态的持续时长设置为第二时长，从而当第二时长到达，交互控制***转换为低能耗状态或者关闭状态。其中，第一时长比第二时长大，例如，第一时长设置为10s，第二时长设置为为5s。
本发明实施例通过在检测交互姿态之前，当检测目标对象的姿态符合预设的唤醒姿势信息时，才激活交互控制***，有效减少误触发和误操作的情况，还能够降低交互控制***的功耗。
下面对本发明提供的基于人体姿态的交互控制装置进行描述，下文描述的基于人体姿态的交互控制装置与上文描述的基于人体姿态的交互控制方法可相互对应参照。
图12是本发明提供的基于人体姿态的交互控制装置的结构示意图，如图12所示，本发明实施例的一种基于人体姿态的交互控制装置，该装置包括：
获取模块91，用于获取目标对象在预设时间窗口内各个检测时间点的压力图数据；
检测模块92，用于基于任一所述检测时间点的压力图数据，检测得到所述目标对象在任一所述检测时间点下的睡姿信息和各个肢节的位置信息，以及确定各所述肢节的中轴线；
分析模块93，用于基于所有检测时间点对应的睡姿信息、各肢节的位置信息和中轴线，分析得到所述目标对象的姿态识别信息；
控制模块94，用于若所述姿态识别信息符合预设的交互姿态信息，则生成所述交互姿态信息对应的控制指令，以基于所述控制指令，对智能设备进行控制。
所述基于人体姿态的交互控制装置还包括：
基于任一所述检测时间点的睡姿信息、各个肢节对应的中轴线和位置信息，确定任一所述检测时间点的多个特征信息；
基于所有检测时间点的任一特征信息，形成任一所述特征信息对应的时间特征序列；
基于各所述时间特征序列，确定所述目标对象的姿态识别信息。
所述基于人体姿态的交互控制装置还包括：
对于任一所述检测时间点：
基于所述检测时间点的压力图数据，确定各个肢节的压力均值特征；
基于各个肢节的位置信息，确定各个肢节的位置特征；
基于所述各个肢节对应的中轴线，确定各个肢节的中轴线曲率变化特征以及各所述中轴线之间的夹角特征；
基于所述睡姿信息、各所述肢节的压力均值特征、位置特征、中轴线曲率变化特征以及各所述中轴线之间的夹角特征，形成所述检测时间点的多个特征信息。
所述基于人体姿态的交互控制装置还包括：
针对任一所述肢节对应的中轴线：
按照预设构建的坐标系，确定所述中轴线中每一个点的坐标值；
基于所述每一个点的坐标值，确定每一个点对应的曲率值；
基于所述每一个点对应的曲率值，确定所述肢节的中轴线曲率变化特征。
所述基于人体姿态的交互控制装置还包括：
分别确定所述姿态识别信息中各时间特征序列与所述交互姿态信息中各目标特征序列之间的特征相似度；
确定任一所述时间特征序列对应的第一均值，以及任一所述目标特征序列对应的第二均值；
基于任一所述时间特征序列对应的第一均值以及任一所述目标特征序列对应的第二均值，确定任一所述时间特征序列与其对应的目标特征序列之间的绝对偏差；
基于各所述时间特征序列对应的绝对偏差和特征相似度，确定相关性系数；
若所述相关性系数大于预设的相关性阈值，则判定所述姿态识别信息符合所述交互姿态信息；
若所述相关性系数不大于所述相关性阈值，则判定所述姿态识别信息不符合所述交互姿态信息。
所述基于人体姿态的交互控制装置还包括：
对所述压力图数据进行边缘提取，得到各个肢节的压力边缘信息；
对任一所述肢节的压力边缘信息进行线性拟合，得到任一所述肢节的中轴线；或者，
对任一所述肢节的压力边缘信息进行线性拟合，得到任一所述肢节的参考线；
确定任一所述参考线对应的法线；
确定所述法线与任一所述肢节的压力边缘信息对应的各个交点坐标；
基于各所述交点坐标之间的中值，形成任一所述肢节的中轴线。
所述基于人体姿态的交互控制装置还包括：
对于任一所述检测时间点：
对所述检测时间点的压力图数据进行特征提取，得到若干个不同尺寸的候选区域；
对所述不同尺寸的候选区域进行归一化处理，得到目标候选区域；
对所述目标候选区域进行类别识别，得到所述目标对象的各个肢节的位置信息和睡姿信息。
所述基于人体姿态的交互控制装置还包括：
获取目标对象在预设时间窗口内的目标压力图数据；
基于所述目标压力图数据，分析所述目标对象的目标姿态信息；
若所述目标姿态信息符合预设的唤醒姿势信息，则激活交互控制***。
在此需要说明的是，本发明实施例提供的上述装置，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同技术效果，在此不再对本实施例中与方法实施例相同部分及有益效果进行具体赘述。
图13是本发明提供的电子设备的结构示意图，如图13所示，该电子设备可以包括：处理器(processor)310、存储器(memory)320、通信接口(Communications Interface)330和通信总线340，其中，处理器310，存储器320，通信接口330通过通信总线340完成相互间的通信。处理器310可以调用存储器320中的逻辑指令，以执行基于人体姿态的交互控制方法。
此外，上述的存储器320中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于人体姿态的交互控制方法。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于人体姿态的交互控制方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种基于人体姿态的交互控制方法，其特征在于，包括：
获取目标对象在预设时间窗口内各个检测时间点的压力图数据；
基于任一所述检测时间点的压力图数据，检测得到所述目标对象在任一所述检测时间点下的睡姿信息和各个肢节的位置信息，以及确定各所述肢节的中轴线；
基于所有检测时间点对应的睡姿信息、各肢节的位置信息和中轴线，分析得到所述目标对象的姿态识别信息；
若所述姿态识别信息符合预设的交互姿态信息，则生成所述交互姿态信息对应的控制指令，以基于所述控制指令，对智能设备进行控制；
所述基于所有检测时间点对应的睡姿信息、各肢节的位置信息和中轴线，分析得到所述目标对象的姿态识别信息，包括：
基于任一所述检测时间点的睡姿信息、各个肢节对应的中轴线和位置信息，确定任一所述检测时间点的多个特征信息；
基于所有检测时间点的任一特征信息，形成任一所述特征信息对应的时间特征序列；
基于各所述时间特征序列，确定所述目标对象的姿态识别信息；
所述基于任一所述检测时间点的睡姿信息、各个肢节对应的中轴线和位置信息，确定任一所述检测时间点的多个特征信息，包括：
对于任一所述检测时间点：
基于所述检测时间点的压力图数据，确定各个肢节的压力均值特征；
基于各个肢节的位置信息，确定各个肢节的位置特征；
基于所述各个肢节对应的中轴线，确定各个肢节的中轴线曲率变化特征以及各所述中轴线之间的夹角特征；
基于所述睡姿信息、各所述肢节的压力均值特征、位置特征、中轴线曲率变化特征以及各所述中轴线之间的夹角特征，形成所述检测时间点的多个特征信息；
所述中轴线包括右臂中轴线、左臂中轴线、右腿中轴线、左腿中轴线和躯干中轴线；
所述夹角特征包括右臂中轴线与躯干中轴线的夹角、左臂中轴线与躯干中轴线的夹角、右腿中轴线与躯干中轴线的夹角、左腿中轴线与躯干中轴线的夹角。
2.根据权利要求1所述的基于人体姿态的交互控制方法，其特征在于，所述基于所述各个肢节对应的中轴线，确定各个肢节的中轴线曲率变化特征，包括：
针对任一所述肢节对应的中轴线：
按照预设构建的坐标系，确定所述中轴线中每一个点的坐标值；
基于所述每一个点的坐标值，确定每一个点对应的曲率值；
基于所述每一个点对应的曲率值，确定所述肢节的中轴线曲率变化特征。
3.根据权利要求1所述的基于人体姿态的交互控制方法，其特征在于，所述若所述姿态识别信息符合预设的交互姿态信息，则生成所述交互姿态信息对应的控制指令之前，还包括：
分别确定所述姿态识别信息中各时间特征序列与所述交互姿态信息中各目标特征序列之间的特征相似度；
确定任一所述时间特征序列对应的第一均值，以及任一所述目标特征序列对应的第二均值；
基于任一所述时间特征序列对应的第一均值以及任一所述目标特征序列对应的第二均值，确定任一所述时间特征序列与其对应的目标特征序列之间的绝对偏差；
基于各所述时间特征序列对应的绝对偏差和特征相似度，确定相关性系数；
若所述相关性系数大于预设的相关性阈值，则判定所述姿态识别信息符合所述交互姿态信息；
若所述相关性系数不大于所述相关性阈值，则判定所述姿态识别信息不符合所述交互姿态信息。
4.根据权利要求1所述的基于人体姿态的交互控制方法，其特征在于，所述确定各所述肢节的中轴线，包括：
对所述压力图数据进行边缘提取，得到各个肢节的压力边缘信息；
对任一所述肢节的压力边缘信息进行线性拟合，得到任一所述肢节的中轴线；或者，
对任一所述肢节的压力边缘信息进行线性拟合，得到任一所述肢节的参考线；
确定任一所述参考线对应的法线；
确定所述法线与任一所述肢节的压力边缘信息对应的各个交点坐标；
基于各所述交点坐标之间的中值，形成任一所述肢节的中轴线。
5.根据权利要求1所述的基于人体姿态的交互控制方法，其特征在于，所述基于任一所述检测时间点的压力图数据，检测得到所述目标对象在任一所述检测时间点下的睡姿信息和各个肢节的位置信息，包括：
对于任一所述检测时间点：
对所述检测时间点的压力图数据进行特征提取，得到若干个不同尺寸的候选区域；
对所述不同尺寸的候选区域进行归一化处理，得到目标候选区域；
对所述目标候选区域进行类别识别，得到所述目标对象的各个肢节的位置信息和睡姿信息。
6.根据权利要求1所述的基于人体姿态的交互控制方法，其特征在于，所述获取目标对象在预设时间窗口内各个检测时间点的压力图数据之前，还包括：
获取目标对象在预设时间窗口内的目标压力图数据；
基于所述目标压力图数据，分析所述目标对象的目标姿态信息；
若所述目标姿态信息符合预设的唤醒姿势信息，则激活交互控制***。
7.一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于人体姿态的交互控制方法。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于人体姿态的交互控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410041327.7A CN117555427B (zh) | 2024-01-11 | 2024-01-11 | 基于人体姿态的交互控制方法、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410041327.7A CN117555427B (zh) | 2024-01-11 | 2024-01-11 | 基于人体姿态的交互控制方法、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117555427A CN117555427A (zh) | 2024-02-13 |
| CN117555427B true CN117555427B (zh) | 2024-04-16 |
Family
ID=89815198
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410041327.7A Active CN117555427B (zh) | 2024-01-11 | 2024-01-11 | 基于人体姿态的交互控制方法、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117555427B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109157061A (zh) * | 2018-07-24 | 2019-01-08 | 深圳市赛亿科技开发有限公司 | 智能床垫及其控制方法、电子设备和存储介质 |
| CN111296994A (zh) * | 2019-12-20 | 2020-06-19 | 石狮市森科智能科技有限公司 | 智能姿态交互控制*** |
| CN113341748A (zh) * | 2021-06-17 | 2021-09-03 | 佛山市赤虎家具有限公司 | 基于姿态的沙发智能控制方法、***及存储介质 |
| CN115568714A (zh) * | 2022-09-07 | 2023-01-06 | 重庆海尔空调器有限公司 | 自动控温床垫及其控制方法、电子设备和存储介质 |
| WO2023050877A1 (zh) * | 2021-09-30 | 2023-04-06 | 青岛海尔空调器有限总公司 | 用于家电的控制方法、控制装置、智能床垫和服务器 |
| CN116518539A (zh) * | 2023-05-19 | 2023-08-01 | Tcl空调器(中山)有限公司 | 空调控制方法、装置、空调及存储介质 |
-
2024
- 2024-01-11 CN CN202410041327.7A patent/CN117555427B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109157061A (zh) * | 2018-07-24 | 2019-01-08 | 深圳市赛亿科技开发有限公司 | 智能床垫及其控制方法、电子设备和存储介质 |
| CN111296994A (zh) * | 2019-12-20 | 2020-06-19 | 石狮市森科智能科技有限公司 | 智能姿态交互控制*** |
| CN113341748A (zh) * | 2021-06-17 | 2021-09-03 | 佛山市赤虎家具有限公司 | 基于姿态的沙发智能控制方法、***及存储介质 |
| WO2023050877A1 (zh) * | 2021-09-30 | 2023-04-06 | 青岛海尔空调器有限总公司 | 用于家电的控制方法、控制装置、智能床垫和服务器 |
| CN115568714A (zh) * | 2022-09-07 | 2023-01-06 | 重庆海尔空调器有限公司 | 自动控温床垫及其控制方法、电子设备和存储介质 |
| CN116518539A (zh) * | 2023-05-19 | 2023-08-01 | Tcl空调器(中山)有限公司 | 空调控制方法、装置、空调及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117555427A (zh) | 2024-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2017050140A1 (zh) | 一种人体动作识别方法、识别用户动作的方法和智能终端 | |
| CN110197169A (zh) | 一种非接触式的学习状态监测***及学习状态检测方法 | |
| CN111288986B (zh) | 一种运动识别方法及运动识别装置 | |
| CN112762895B (zh) | 一种基于传感器判定读写姿态的方法 | |
| SG188111A1 (en) | Condition detection methods and condition detection devices | |
| CN112926541A (zh) | 一种睡岗检测方法、装置及相关设备 | |
| WO2019003859A1 (ja) | 見守り支援システム及びその制御方法、及びプログラム | |
| CN111197845A (zh) | 一种基于深度学习的空调运行模式的控制方法及*** | |
| CN117555427B (zh) | 基于人体姿态的交互控制方法、设备及存储介质 | |
| CN109858402B (zh) | 一种图像检测方法、装置、终端以及存储介质 | |
| CN108108709B (zh) | 一种识别方法及装置、计算机存储介质 | |
| CN103870814A (zh) | 基于智能相机的非接触式实时眼动识别方法 | |
| CN112818796A (zh) | 一种适用于在线监考场景下的智能姿态判别方法和存储设备 | |
| CN111166340B (zh) | 基于自适应加速度信号分割的人体姿势实时识别方法 | |
| CN112843425A (zh) | 基于睡眠枕的睡姿检测方法、装置、电子设备及存储介质 | |
| CN110674751A (zh) | 一种基于单目摄像机检测头部姿态的装置及方法 | |
| CN111862160A (zh) | 一种基于arm平台的目标跟踪方法、介质和*** | |
| CN112527118B (zh) | 一种基于动态时间规整的头部姿态识别方法 | |
| KR102233157B1 (ko) | 딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 방법 및 시스템 | |
| CN112287758B (zh) | 基于关键点检测的攀爬识别方法 | |
| CN116092129B (zh) | 一种智能书架及其控制方法 | |
| JP2021179712A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN114255507A (zh) | 一种基于计算机视觉的学生姿势识别分析方法 | |
| CN112084814A (zh) | 一种学习辅助方法和智能装置 | |
| CN117968222B (zh) | 一种基于目标检测的制冷设备的控制方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |